KR20160104953A - 모드 변경 로봇 및 그 제어방법 - Google Patents

Abstract

모드 변경 로봇 및 그 제어방법이 개시된다.
모드 변경 로봇은 시간 또는 관리자의 설정에 따라 모드 변경 로봇의 동작 모드를 인터렉션 모드 또는 방범 모드 중 적어도 하나가 선택되어 동작한다. 또한, 인터렉션 모드 또는 방범 모드 동작 중 재난 상황 발생하면 동작 모드가 재난 대비 모드로 전환되어 동작한다.

Description

모드 변경 로봇 및 그 제어방법{MODE CHANGING ROBOT AND CONTROL METHOD THEREOF}

본 발명은 모드 변경 로봇 및 그 제어방법에 관한 것으로서, 보다 상세하게는 모드 전환을 통해 다양한 동작을 수행하는 모드 변경 로봇 및 그 제어방법에 관한 것이다.

최근에는 이동식 로봇기술의 발달로 지하철 역사, 극장, 백화점, 전시장 등의 특정 장소 내를 이동하면서 길 안내 및 광고를 제공하는 서비스를 제공하고 있다. 또한, 종래의 이동식 로봇은 보다 효율적인 광고 효과를 내기 위해, 특정 장소 내에 있는 사용자들의 특징을 분석하여 사용자에게 맞는 맞춤형 광고를 제공하고 있다.

그러나, 이러한 이동식 로봇이 이동하는 지하철 역사, 극장, 백화점, 전시장 등과 같은 장소는 사람들이 활동하는 시간 또는 개장 시간 이외의 시간에는 사람이 없어, 광고 효과가 떨어질 뿐만 아니라 이러한 이동식 로봇이 사용될 필요가 없어 에너지 및 자원이 낭비되는 문제점이 있다.

따라서, 24시간 내내 이동식 로봇을 효과적으로 사용할 수 있도록 광고 제공 서비스를 제공받는 사람들이 활동하는 시간에는 광고 제공 동작을 수행하며, 그 이외의 시간에 다른 동작을 수행할 수 있는 로봇이 필요한 상황이다.

한국등록특허 제1170686호

본 발명의 일측면은 시간 또는 관리자의 설정에 따라 로봇이 맞춤형 콘텐츠 제공 기능 또는 방범 기능을 수행할 수 있도록 시간 또는 관리자의 설정에 따라 로봇의 동작 모드가 선택되는 모드 변경 로봇을 제공한다.

본 발명의 일 측면은 메모리부, 제어부를 포함하는 모드 변경 로봇의 제어방법에 있어서, 상기 메모리부는 접근이 감지된 사람의 특징 정보를 기반으로 콘텐츠를 선택하여 출력하는 인터렉션 모드 및 이상 상황이 발생하면 관리자에게 이상 상황 발생 정보를 송신하는 방범 모드에 대한 정보를 미리 저장하고, 상기 제어부는 미리 정해진 시간 또는 관리자의 설정에 따라 상기 메모리에 저장된 인터렉션 모드 또는 방범 모드 중 어느 하나의 모드를 선택하고, 선택된 모드에 따라 동작하도록 제어한다.

상기 모드 변경 로봇은 상기 인터렉션 모드 또는 상기 방범 모드로 동작 시, 재난 상황이 발생한 것으로 감지되면 재난 대비 모드로 전환되며, 상기 재난 대비 모드는 재난 상황이 발생한 영역에 재난 상황에 대한 정보를 출력하거나 상기 관리자에게 재난 상황 발생 정보를 송신할 수 있다.

상기 재난 대비 모드에서 상기 재난 상황이 발생한 영역에 재난 상황에 대한 정보를 출력하는 것은, 재난 상황이 발생한 것으로 확인되면 상기 모드 변경 로봇에 마련된 프로젝터 또는 레이저를 이용하여 재난 상황이 발생한 실제 영역에 재난 알림 정보 또는 대피 정보를 출력할 수 있다.

상기 재난 대비 모드에서 상기 재난 상황이 발생한 영역을 촬영하고, 상기 재난 상황이 발생한 영역을 촬영된 영상을 분석하여 상기 재난 상황이 발생한 영역에 대한 공간 정보를 획득하고, 상기 획득한 공간 정보와 영역마다 대피 정보가 매칭되어 저장된 공간 정보를 합성하여 상기 재난 상황이 발생한 영역에 대한 3차원 지도를 생성하는 것을 더 포함할 수 있다.

상기 재난 상황이 발생한 실제 영역에 재난 알림 정보 및 대피 정보를 출력하는 것은, 상기 3차원 지도 상에서 상기 재난 상황이 발생한 영역을 검색하고, 상기 3차원 지도에서 상기 재난 상황이 발생한 영역에 대응하는 대피 정보를 검색하고, 상기 재난 상황이 발생한 실제 영역에 상기 대피 정보 및 재난 알림 정보를 출력할 수 있다.

상기 모드 변경 로봇의 모드가 인터렉션 모드로 설정되면 사람의 접근을 감지하고, 상기 사람이 상기 모드 변경 로봇으로부터 미리 정해진 일정 반경 내에 진입하면 상기 모드 변경 로봇에 마련된 카메라를 통해 촬영된 영상을 분석하여 상기 사람의 얼굴 영역을 검출하고, 상기 사람의 얼굴 영역에 대한 특징을 분석하여 상기 사람의 얼굴 영역에 대한 특징 정보에 따라 동작을 수행할 수 있다.

상기 사람의 얼굴 영역에 대한 특징 정보에 따라 동작을 수행하는 것은, 상기 사람의 얼굴 영역에 대한 특징 정보를 미리 등록된 특징 정보와 비교하여 상기 사람의 얼굴 영역에 대한 특징 정보가 상기 미리 등록된 특징 정보와 일치하는지 여부를 판단하고, 상기 사람의 얼굴 영역에 대한 특징 정보가 상기 미리 등록된 특징 정보와 일치하면 상기 사람의 얼굴 영역에 대한 특징 정보에 대응되는 행동패턴에 따라 동작하거나 상기 사람의 얼굴 영역에 대한 특징 정보에 대응되는 콘텐츠를 출력할 수 있다.

상기 사람의 얼굴 영역에 대한 특징 정보가 상기 미리 등록된 특징 정보와 비일치하면 상기 사람의 얼굴 영역에 대한 특징 정보를 데이터베이스에 저장하고, 상기 사람의 얼굴 영역 영상을 기반으로 하여 상기 모드 변경 로봇에 마련된 헤드 디스플레이에 출력되는 모드 변경 로봇의 얼굴 콘텐츠를 변경할 수 있다.

상기 모드 변경 로봇의 모드가 상기 방범 모드로 설정되면 이상 상황이 발생하는지 여부를 확인하고, 이상 상황이 발생한 것으로 확인되면 경고등 또는 경고음을 출력하고, 상기 관리자의 단말기로 알림 메시지 또는 이상 상황이 발생한 영역에서 촬영된 영상을 송신할 수 있다.

상기 모드 변경 로봇의 모드가 상기 방범 모드로 설정되면 미리 정해진 위치에서 상기 방범 모드에 따른 동작이 수행되도록 제어하거나 미리 설정된 이동 패턴에 따라 이동하며 상기 방범 모드에 따른 동작이 수행되도록 제어할 수 있다.

본 발명의 일측면에 따른 모드 변경 로봇은, 영상, 온도, 습도, 연기, 전압, 불꽃 중 적어도 하나를 센싱하는 센싱부, 상기 센싱부에 의해 접근이 감지된 사람의 특징 정보를 기반으로 콘텐츠를 선택하여 출력하는 인터렉션 모드와 상기 센싱부에 의해 이상 상황이 발생한 것으로 확인되면 관리자에게 이상 상황 발생 정보를 제공하는 방범 모드에 대한 정보를 저장하는 메모리부 및 시간 또는 상기 관리자의 설정에 따라 상기 인터렉션 모드 또는 상기 방범 모드 중 어느 하나를 선택하여 동작하도록 제어하는 제어부를 포함한다.

상기 제어부는, 상기 인터렉션 모드 또는 상기 방범 모드 동작 시 상기 센싱부에 의해 센싱된 정보를 통해 재난 상황이 발생한 것으로 확인되면 상기 모드 변경 로봇의 모드를 재난 대비 모드로 전환하도록 제어하며, 상기 재난 대비 모드는 재난 상황이 발생한 영역에 재난 상황에 대한 정보를 출력하거나 상기 관리자에게 재난 상황 발생 정보를 송신할 수 있다.

상기 제어부는, 상기 모드 변경 로봇의 모드가 인터렉션 모드로 설정되면 사람의 접근을 감지하고, 상기 사람이 상기 모드 변경 로봇으로부터 미리 정해진 일정 반경 내에 진입하면 상기 센싱부에 의해 센싱된 영상을 분석하여 상기 사람의 얼굴 영역을 검출하고, 상기 사람의 얼굴 영역에 대한 특징을 분석하여 상기 사람의 얼굴 영역에 대한 특징 정보에 대응하는 콘텐츠를 검색하고, 검색된 콘텐츠를 상기 모드 변경 로봇에 마련된 메인 디스플레이에 출력하도록 제어할 수 있다.

상기 제어부는, 상기 모드 변경 로봇의 모드가 상기 방범 모드로 설정되면 이상 상황이 발생하는지 여부를 확인하고, 이상 상황이 발생한 것으로 확인되면 경고등 또는 경고음을 출력하고, 상기 관리자의 단말기로 알림 메시지 또는 이상 상황이 발생한 영역에서 센싱된 영상을 송신하도록 제어할 수 있다.

상술한 본 발명의 일측면에 따르면, 시간 또는 관리자의 설정에 따라 동작 모드가 전환됨으로써, 하나의 로봇을 이용하여 콘텐츠 제공 기능, 방범 기능과 같은 다양한 기능을 수행할 수 있다.

또한, 인터렉션 모드 또는 방범 모드 동작 중 재난 상황 발생하면 동작 모드를 재난 대비 모드로 전환함으로써, 시간 또는 관리자의 설정과 관계없이 재난 상황이 발생하면 재난 대비 기능을 수행할 수 있다.

도 1 은 본 발명의 일 실시예에 따른 모드 변경 로봇을 도시한 도면이다.
도 2 는 도 1 에 도시한 모드 변경 로봇의 제어 블록도이다.
도 3 은 도 2 에 도시된 인터렉션 모드 동작 제어부의 세부 블록도이다.
도 4 는 도 2 에 도시된 인터렉션 모드 동작 제어부의 동작 방법을 설명하기 위해 도시된 도면이다.
도 5 는 도 3 에 도시된 콘텐츠 검색부에 의해 검색된 콘텐츠가 헤드 디스플레이에 출력되는 일예를 도시한 도면이다.
도 6 은 도 3 에 도시된 콘텐츠 검색부에 의해 검색된 콘텐츠가 메인 디스플레이에 출력되는 일예를 도시한 도면이다.
도 7 은 도 2 에 도시된 방범 모드 동작 제어부의 세부 블록도이다.
도 8 은 도 2 에 도시된 재난 대비 모드 동작 제어부의 세부 블록도이다.
도 9 는 도 8 에 도시된 대피 정보 검색부에 의해 검색된 대피 정보가 출력되는 일예를 도시한 도면이다.
도 10 은 본 발명의 일 실시예에 따른 모드 변경 로봇의 제어 방법을 도시한 순서도이다.
도 11 은 도 10 에 도시된 인터렉션 모드에 따른 동작 수행 방법을 도시한 세부 순서도이다.
도 12 는 도 10 에 도시된 방범 모드에 따른 동작 수행 방법을 도시한 세부 순서도이다.
도 13 은 도 10 에 도시된 재난 대비 모드에 따른 동작 수행 방법을 도시한 세부 순서도이다.
도 14 는 재난 대비 모드에서 대비 정보를 제공하기 위해 필요한 3차원 지도를 생성하는 방법을 도시한 순서도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.

본 발명의 일 실시예에 따른 모드 변경 로봇은 시간 또는 관리자의 설정에 따라 다른 동작 모드로 설정되어 동작할 수 있다. 모드 변경 로봇은 인터렉션 모드, 방범 모드 또는 재난 대비 모드 중 적어도 하나가 선택되어 동작할 수 있다. 이때, 인터렉션 모드는 모드 변경 로봇 주변에 있는 사람에게 광고와 같은 콘텐츠를 제공할 수 있는 모드이며, 방범 모드는 주변에 이상 상황의 발생을 감지하여 관리자에게 이상 상황 발생을 알리는 모드이며, 재난 대비 모드는 인터렉션 모드 및 방범 모드의 동작과 관계 없이 상시적으로 동작할 수 있는 모드로, 재난 상황에 포함되는 이상 상황 및 비상 상황 발생 시 동작할 수 있으며, 이상 상황 발생 했을 시에는 방범 모드와 동일한 기능을 수행하고 비상 상황이 발생했을 시에는 비상 상황이 발생한 영역을 대비할 수 있는 대피 정보를 제공하는 모드일 수 있다. 본 발명의 일 실시예에 따른 모드 변경 로봇은 인터렉션 모드 또는 방범 모드 동작 시 재난 상황이 발생한 것으로 감지되면 동작 모드를 재난 대비 모드로 전환할 수 있다.

도 1 은 본 발명의 일 실시예에 따른 모드 변경 로봇을 도시한 도면이다.

본 발명의 일 실시예에 따른 모드 변경 로봇(1)은 사람과 유사하게 머리, 몸통, 다리 부분이 구분될 수 있으며, 머리 부분에는 헤드 디스플레이(10), 카메라(20), 적외선 센서 모듈(30), 온습도 및 가스 감지 센서(40), 램프(50)를 구비할 수 있으며, 몸통 부분에는 연기감지 센서(60) 및 메인 디스플레이(70)를 구비할 수 있으며, 다리 부분에는 바퀴를 장착되어 있어 모드 변경 로봇(1)이 용이하게 이동할 수 있다. 이때, 도 1 에는 모드 변경 로봇(1)의 전면부에만 카메라(20)가 장착되어 있는 것으로 도시되어 있지만, 카메라(20)는 전면부, 우측 측면부, 좌측 측면부, 후면부에 모두 장착될 수 있으며, 모든 면에 장착된 카메라(20)를 이용하여 360° 모두 촬영할 수 있다. 본 발명의 일 실시예에 따른 모드 변경 로봇은 머리 부분에 프로젝터 및 레이저 출력모듈을 더 구비할 수 있으며, 온습도 및 가스 감지 센서(40)와 연기감지 센서(60) 이외에 전압 센서, 불꽃 센서, CO_2센서, CO센서를 더 구비할 수 있다.

도 2 는 도 1 에 도시한 모드 변경 로봇의 제어 블록도이다.

본 발명의 모드 변경 로봇(1)은 통신부(100), 센싱부(200), 제어부(300), 메모리부(400) 및 출력부(500)를 포함할 수 있다.

통신부(100)는 외부에 있는 관리자 단말기 또는 외부 서버와 무선 통신하여 소정의 정보를 송수신할 수 있다. 본 발명의 일 실시예에 따른 통신부(100)는 카메라(20)를 통해 촬영된 영상을 관리자 단말기로 전송할 수 있으며, 후술하는 제어부(300)에 의해 생성된 알림 메시지를 관리자 단말기로 전송할 수 있으며, 후술하는 메모리부(400)에 저장되어 있는 공간 정보를 갱신할 수 있도록 외부 서버로부터 새로운 공간 정보를 수신할 수 있다.

센싱부(200)는 모드 변경 로봇(1)에 마련된 카메라(20)에 의해 촬영된 영상, 온습도 및 가스 감지 센서(40)에 의해 감지된 온도, 습도, 가스 및 연기감지 센서(60)에 의해 감지된 연기 중 적어도 하나를 센싱할 수 있다.

제어부(300)는 모드 변경 로봇(1)의 전반적인 동작을 제어할 수 있다. 본 발명에 일 실시예에 따른 제어부(300)는 시간 또는 관리자의 설정에 따라 모드 변경 로봇(1)의 동작 모드를 설정 또는 전환시킬 수 있으며, 설정 또는 전환된 동작 모드에 해당하는 동작을 수행하도록 제어할 수 있다. 제어부(300)는 재난 상황 발생 여부에 따라 동작 모드를 전환시킬 수 있다. 이를 위해, 제어부(300)는 재난 상황 감지부(310), 모드 전환부(320), 인터렉션 모드 동작 제어부(330), 방범 모드 동작 제어부(340) 및 재난 대비 모드 동작 제어부(350)를 포함할 수 있다.

재난 상황 감지부(310)는 센싱부(200)에 의해 센싱된 영상, 온도, 습도, 가스 및 연기 중 적어도 하나를 이용하여 재난 상황 발생 여부를 감지할 수 있다.

구체적으로, 재난 상황 감지부(310)는 카메라(20)를 통해 촬영된 영상을 분석하여 재난 상황의 발생을 감지하거나 온도, 습도, 가스 및 연기 중 적어도 하나를 이용하여 재난 상황 발생 여부를 감지할 수 있다. 이때, 재난 상황에는 이상 상황과 비상 상황이 포함될 수 있다. 이때, 카메라(20)를 통해 촬영된 영상을 분석하여 재난 상황의 발생을 감지하는 것은, 카메라(20)를 통해 촬영된 영상과 해당 영역의 미리 저장된 정상 상태의 표준 영상을 비교하여 재난 상황이 발생했는지 여부를 감지할 수 있다. 이때, 재난 상황 감지부(310)는 카메라(20)를 통해 촬영된 영상과 해당 영역의 미리 저장된 정상 상태의 표준 영상을 비교하여 카메라(20)를 통해 촬영된 영상과 해당 영역의 미리 저장된 정상 상태의 표준 영상이 일치하는지 여부를 확인하고, 일치되지 않는 정도(이하, 비일치율)를 산출할 수 있다. 이때, 비일치율을 산출하는 것은, 정상 상태의 표준 영상 대비 일치되지 않는 영역의 넓이에 대한 비율을 산출하여 획득할 수 있다. 또한, 이상 상황 및 비상 상황 별로 비일치율 범위가 설정되어 있으며, 재난 상황 감지부(310)는 산출한 비일치율에 따라 이상 상황이 발생하였는지 또는 비상 상황이 발생하였는지 여부를 판별할 수 있다. 카메라(20)를 통해 촬영된 영상과 해당 영역의 미리 저장된 정상 상태의 표준 영상을 비교하여 이상 상황 또는 비상 상황 발생 여부를 감지하는 방법은 이미 공지된 “한국등록특허 제0993205호”에 상세히 개시되어 있다. 한편, 재난 상황 감지부(310)는 통신부(100)의 GPS 기능을 이용하여 현재 위치한 영역의 위치 정보를 확인 할 수 있으며, 메모리부(400)에 미리 저장된 정상 상태 표준 영상 데이터에서 해당 영역의 위치 정보에 대응하는 정상 상태 표준 영상을 검색할 수 있다. 또한, 카메라(20)를 통해 촬영된 영상을 분석하여 재난 상황의 발생을 감지하는 것은, 적외선 카메라를 이용하여 적외선에 의해 열을 감지하고, 감지한 열의 온도에 따라 이상 상황 또는 재난 상황 발생 여부를 감지할 수 있다. 이때, 재난 상황 감지부(310)는 이상 상황 및 비상 상황 별로 열의 온도 범위가 미리 설정되어 있어 감지된 열의 온도에 따라 이상 상황이 발생했는지 또는 비상 상황이 발생했는지 여부를 구분하여 감지할 수 있다. 카메라(20)를 통해 촬영된 영상을 분석하여 이상 상황 또는 비상 상황의 발생을 감지하는 것은 카메라(20)를 통해 촬영된 영상을 분석하여 재난 상황의 발생을 감지할 수 있는 방법이라면 상술한 방법 이외에 다른 방법도 적용될 수 있음은 물론이다. 또한, 온도, 습도, 가스 및 연기 중 적어도 하나를 이용하여 재난 상황 발생 여부를 감지하는 것은, 센싱된 온도, 습도, 가스 및 연기 중 적어도 하나를 미리 설정된 감지 범위 데이터와 비교하여 재난 상황 발생 여부를 감지할 수 있다. 이때, 미리 설정된 감지 범위는 이상 상황 및 비상 상황 별로 설정되어 있어, 이상 상황 및 비상 상황을 구분하여 발생 여부를 감지할 수 있다. 예를 들어, 센싱된 온도가 50℃이고, 이상 상황에 따른 미리 설정된 감지 범위는 40~60℃이고, 비상 상황에 따른 미리 설정된 감지 범위는 60℃이상이면, 현재 이상 상황이 발생한 것으로 감지할 수 있다. 온도, 습도, 가스 및 연기 중 적어도 하나를 미리 설정된 감지 범위 데이터와 비교하여 재난 상황 발생 여부를 감지하는 방법은 이미 공지된 “한국등록특허 제0197796호” 및 “한국등록특허 제0347300호”에 상세히 개시되어 있다. 또한, 재난 상황 감지부(310)는 온도, 습도, 가스 및 연기에 대해 측정된 값 중 적어도 2개 이상의 값을 연산하여 환경 계측값을 산출하고, 산출한 환경 계측값과 이상 상황 및 비상 상황 별로 미리 설정된 감지 범위를 비교하여 이상 상황 또는 비상 상황의 발생 여부를 감지할 수 있다.

모드 전환부(320)는 시간 또는 관리자의 설정에 따라 인터렉션 모드 또는 방범 모드 중 하나를 선택하여 선택한 모드에 따라 동작하게 제어할 수 있다. 모드 전환부(320)는 재난 상황의 발생 여부에 따라 모드 변경 로봇(1)의 동작 모드를 인터렉션 모드 또는 방범 모드에서 재난 대비 모드로 전환시킬 수 있다.

구체적으로, 모드 전환부(320)는 모드 변경 로봇(1)이 구동되면 현재 시간 또는 관리자에 의해 입력되는 모드 정보를 확인할 수 있다. 모드 전환부(320)는 현재 시간에 동작하도록 미리 설정된 동작 모드를 확인하거나 관리자에 의해 입력되는 모드 정보를 확인하여 확인된 동작 모드로 모드 변경 로봇(1)이 동작하도록 제어할 수 있다. 모드 전환부(320)는 선택한 모드에 따라 동작 중 선택한 모드에 설정된 동작 시간이 지나면 그 시간에 해당하는 모드로 동작 모드를 전환시킬 수 있다. 예를 들어, 06 ~ 18시에는 인터렉션 모드가 동작하도록 설정되어 있으며, 18 ~ 06시에는 방범 모드가 동작하도록 설정되어 있고, 현재 시간이 07시이면 인터렉션 모드를 선택하여 동작하도록 제어할 수 있다. 또한, 시간이 18시가 넘어가는 순간 모드 변경 로봇(1)의 동작 모드를 인터렉션 모드에서 방범 모드로 전환시킬 수 있다.

또한, 모드 전환부(320)는 시간 또는 관리자의 설정에 따라 인터렉션 모드 또는 방범 모드 중 하나를 선택하여 동작 중, 재난 상황 감지부(310)에 의해 재난 상황이 발생한 것으로 감지되면 모드 변경 로봇(1)의 동작 모드를 재난 대비 모드로 전환시킬 수 있다. 이때, 인터렉션 모드 또는 방범 모드로 동작 중, 재난 상황이 발생한 것으로 감지되면 동작 모드를 재난 대비 모드로 전환하는 것은, 재난 상황이 발생한 경우 시간 또는 관리자의 설정과 관계없이 모드 변경 로봇(1)이 상시적으로 재난 대비 기능을 수행할 수 있도록 하기 위함이다.

인터렉션 모드 동작 제어부(330)는 모드 전환부(320)에 의해 모드 변경 로봇(1)이 인터렉션 모드로 전환되면, 모드 변경 로봇(1)이 인터렉션 모드에 따른 동작을 수행하도록 제어할 수 있다. 인터렉션 모드 동작 제어부(330)의 자세한 동작 방법은 도 3 내지 6 을 통하여 설명하도록 한다.

방범 모드 동작 제어부(340)는 모드 전환부(320)에 의해 모드 변경 로봇(1)이 방범 모드로 전환되면, 모드 변경 로봇(1)이 방범 모드에 따른 동작을 수행하도록 제어할 수 있다. 방범 모드 동작 제어부(340)의 자세한 동작 방법은 도 7 을 통하여 설명하도록 한다.

재난 대비 모드 동작 제어부(350)는 모드 전환부(320)에 의해 모드 변경 로봇(1)이 재난 대비 모드로 전환되면, 모드 변경 로봇(1)이 재난 대비 모드에 따른 동작을 수행하도록 제어할 수 있다. 재난 대비 모드 동작 제어부(350)의 자세한 동작 방법은 도 8 내지 9 를 통하여 설명하도록 한다.

메모리부(400)는 제어부(300)의 처리 및 제어를 위한 프로그램이 저장될 수 있고, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수 있다.

이러한 메모리부(400)는 인터렉션 모드, 방범 모드 및 재난 대비 모드 별로 동작 정보 및 이를 수행하기 위해 필요한 정보를 저장할 수 있으며, 카메라(20)를 통해 촬영된 영상을 저장할 수 있다.

출력부(500)는 오디오 신호 또는 비디오 신호 또는 알람 신호의 출력을 위한 것으로, 모드 변경 로봇(1)에 구비된 헤드 디스플레이(10), 램프(50) 및 메인 디스플레이(70)를 통해 오디오 신호 또는 비디오 신호 또는 알람 신호 등을 출력할 수 있다.

도 3 은 도 2 에 도시된 인터렉션 모드 동작 제어부의 세부 블록도이며, 도 4 는 도 2 에 도시된 인터렉션 모드 동작 제어부의 동작 방법을 설명하기 위해 도시된 도면이며, 도 5 는 도 3 에 도시된 콘텐츠 검색부에 의해 검색된 콘텐츠가 헤드 디스플레이에 출력되는 일예를 도시한 도면이며, 도 6 은 도 3 에 도시된 콘텐츠 검색부에 의해 검색된 콘텐츠가 메인 디스플레이에 출력되는 일예를 도시한 도면이다.

도 3 을 참조하면, 본 발명의 일 실시예에 따른 인터렉션 모드 동작 제어부(330)는 인터렉션 모드에 따른 동작인 접근이 감지된 사람의 특징 정보를 기반으로 광고와 같은 콘텐츠를 출력하는 동작을 수행하도록 제어할 수 있으며, 이를 위해 사람 감지부(331), 얼굴 영역 검출부(332), 얼굴 영역 특징 추출부(333) 및 콘텐츠 검색부(334)를 포함할 수 있다.

사람 감지부(331)는 카메라(20)를 통해 촬영된 영상을 분석하여 도 4 와 같이, 모드 변경 로봇(1)으로부터 미리 정해진 일정 반경 내에 사람이 접근하는지 여부를 감지할 수 있다. 이때, 사람 감지부(331)는 차영상법을 이용하여 촬영된 영상에서 미리 정해진 일정 반경 내에 사람의 형상이 존재하는지 여부를 확인하여 사람 접근 여부를 감지할 수 있다. 더 자세히 설명하면, 카메라(20)를 통해 촬영된 영상을 이루는 화소(Fixel)의 영역별 RGB 값을 통해 소정의 비율을 갖는 대상을 사람으로 인식하여 미리 정해진 일정 반경 내의 사람 접근 여부를 감지하거나 사람의 형상을 갖는 비교 데이터를 미리 저장하고, 촬영된 영상과 비교 데이터를 비교하여 매칭시키는 것으로 미리 정해진 일정 반경 내의 사람 접근 여부를 감지할 수 있다. 미리 정해진 일정 반경 내의 사람 접근 여부를 감지하는 방법은 촬영된 영상 내의 있는 사람을 감지할 수 있는 방법이라면 상술한 방법 이외에 다른 방법도 적용될 수 있음을 물론이다. 또한, 본 발명의 다른 실시예에 따른 사람 감지부(331)는 모드 변경 로봇(1)에 사람 감지 센서를 더 구비하여 미리 정해진 일정 반경 내에 사람이 접근하는지 여부를 감지할 수 있다.

얼굴 영역 검출부(332)는 사람 감지부(331)에 의해 모드 변경 로봇(1)으로부터 미리 정해진 일정 반경 내에 감지된 사람의 특징 정보에 따라 광고와 같은 콘텐츠를 제공하기 위해, 미리 정해진 일정 반경 내에 감지된 사람의 얼굴 영역을 검출할 수 있다.

구체적으로, 얼굴 영역 검출부(332)는 미리 정해진 일정 반경 내에 감지된 사람의 얼굴 영역을 검출할 수 있다. 얼굴 영역 검출부(332) 메모리부(400)에 미리 저장된 복수 개의 얼굴 영상을 분석하여 얼굴 영역과 얼굴 영역이 아닌 영역을 구분할 수 있는 특징(feature)을 추출할 수 있다. 얼굴 영역 검출부(332)는 얼굴 영역에 대한 특징을 추출하는 과정을 반복적으로 수행하는 기계학습(machine learning)을 통해 얼굴 분류기를 생성할 수 있다. 얼굴 영역 검출부(332)는 생성한 얼굴 분류기를 이용하여 촬영된 영상에 존재하는 사람의 얼굴 영역을 검출할 수 있다. 한편, 얼굴 분류기는 아다부스트(Adaboost) 학습 분류기일 수 있다. 아다부스트(Adaboost) 학습 분류기는 일종의 템플릿 매칭의 한 종류로 특징 값들을 분류하여 물체를 검출하는 방식을 사용하는 분류기이다. 아다부스트(Adaboost) 학습 분류기 외에도 얼굴의 특징을 추출 및 인식하는 방식으로는 Gabor Filter, PCA(Principal Component Analysis), FDA(Fisher Discriminant Analysis), ICA(Independent Component Analysis), LBP(Lpcal Binary Feature), SVM(Suppert Vector Machine) 등과 같은 다양한 특징 추출 및 인식 알고리즘이 적용될 수 있음은 물론이다. 또한, 원본 영상에서 얼굴 영역을 검출하는 방법으로는 상술한 방식 이외에 Feature invariant 방법, Template matching 방법, Appearance-based 방법 등이 사용될 수 있다.

얼굴 영역 특징 추출부(333)는 얼굴 영역 검출부(332)에 의해 검출된 얼굴 영역에 대한 특징을 추출할 수 있다.

구체적으로, 얼굴 영역 특징 추출부(333)는 얼굴을 이루는 요소에 대한 특징을 추출할 수 있는 지역적 기저 벡터를 생성할 수 있다. 얼굴 영역 특징 추출부(333)는 생성한 지역적 기저 벡터를 검출한 얼굴 영역 영상에 선영 투영하여 검출한 얼굴 영역에 대한 얼굴 영역 특징을 추출할 수 있다. 얼굴 영역에 대한 특징을 추출하는 방법은 이미 공지된 “한국등록특허 제0639988호”에 자세히 개시되어 있다.

콘텐츠 검색부(334)는 얼굴 영역 특징 추출부(333)에 의해 추출된 얼굴 영역 특징 정보를 기반으로 하여 미리 정해진 일정 반경 내에 접근한 사람에 맞는 콘텐츠를 검색할 수 있다. 콘텐츠 검색부(334)는 검색된 콘텐츠가 출력될 수 있도록 제어할 수 있다.

구체적으로, 콘텐츠 검색부(334)는 얼굴 영역 특징 추출부(333)에 의해 추출된 얼굴 영역 특징 정보와 미리 등록된 특징 정보를 비교할 수 있다. 콘텐츠 검색부(334)는 얼굴 영역 특징 추출부(333)에 의해 추출된 얼굴 영역 특징 정보와 미리 등록된 특징 정보가 일치하면 추출된 얼굴 영역 특징 정보와 메모리부(400)에 미리 저장된 콘텐츠 데이터를 비교하여 추출된 얼굴 영역 특징 정보에 대응하는 콘텐츠를 검색할 수 있다. 이때, 콘텐츠는 광고와 같은 영상 데이터를 의미할 수 있으며, 추출된 얼굴 영역 특징 정보에 대응하는 콘텐츠는 모드 변경 로봇(1)으로부터 미리 정해진 일정 반경 내에서 감지된 사람이 관심있는 분야와 관련된 콘텐츠일 수 있다. 이에 따라, 모드 변경 로봇(1)는 미리 정해진 일정 반경 내에서 감지된 사람에게 맞춤형 서비스를 제공할 수 있다. 또한, 메모리부(400)에 미리 저장된 콘텐츠 데이터는 얼굴 영역 특징 정보 별로 콘텐츠가 분류되어 저장된 데이터일 수 있다. 콘텐츠 검색부(334)는 검색된 콘텐츠를 메인 디스플레이(70)에 출력되도록 제어할 수 있다. 콘텐츠 검색부(334)는 콘텐츠 검색부(334)는 얼굴 영역 특징 추출부(333)에 의해 추출된 얼굴 영역 특징 정보와 미리 등록된 특징 정보가 일치하지 않으면, 추출한 얼굴 영역에 대한 특징 정보를 메모리부(400)에 저장할 수 있으며, 추출한 얼굴 영역에 대한 특징 정보를 기반으로 하여 헤드 디스플레이에 출력되는 모드 변경 로봇(1)의 얼굴 콘텐츠를 변경시킬 수 있다. 이때, 추출한 얼굴 영역에 대한 특징 정보를 기반으로 하여 헤드 디스플레이(10)에 출력되는 모드 변경 로봇(1)의 얼굴 콘텐츠를 변경시키는 것은, 도 5 와 같이 검출한 얼굴 영역 영상(a)을 헤드 디스플레이(10)에 출력(b)하거나 추출한 얼굴 영역에 대한 특징을 포함하는 얼굴 이미지를 헤드 디스플레이(10)에 출력하거나 추출한 얼굴 영역에 대한 특징을 분석하여 사람의 표정을 검출하고, 검출한 표정에 따라 헤드 디스플레이(10)에 출력되어 있는 모드 변경 로봇(1)의 얼굴 콘텐츠의 표정을 변경하는 것을 포함할 수 있다.

본 발명의 다른 실시예에 따른 콘텐츠 검색부(334)는 상술한 것과 같이 추출한 얼굴 영역에 대한 특징에 대응하는 콘텐츠를 검색한 후, 사람의 관심을 끌기 위해 1차적으로 추출한 얼굴 영역에 대한 특징을 기반으로 헤드 디스플레이(10)에 출력되는 모드 변경 로봇(1)의 얼굴 콘텐츠를 변경하고, 그 후 사람의 관심을 끈 것으로 확인되면, 즉 사람이 모드 변경 로봇(1)을 바라보고 있는 것으로 확인되면 메인 디스플레이(70)에 추출된 얼굴 영역에 대한 특징 정보에 대응되는 콘텐츠를 출력할 수 있다.

구체적으로, 콘텐츠 검색부(334)는 얼굴 영역 특징 추출부(333)에 의해 추출된 얼굴 영역 특징 정보와 미리 등록된 특징 정보를 비교할 수 있다. 콘텐츠 검색부(334)는 얼굴 영역 특징 추출부(333)에 의해 추출된 얼굴 영역 특징 정보와 미리 등록된 특징 정보가 일치하면 도 5 와 같이 1차적으로 추출된 얼굴 영역 특징 정보를 기반으로 하여 헤드 디스플레이(10)에 출력되는 모드 변경 로봇(1)의 얼굴 콘텐츠를 변경할 수 있다. 이때, 1차적으로 추출된 얼굴 영역 특징 정보를 기반으로 헤드 디스플레이(10)에 출력되는 얼굴 콘텐츠를 변경하는 것은, 모드 변경 로봇(1)의 헤드 디스플레이(10)에 사람의 얼굴과 동일하거나 유사한 영상이 출력함으로써 해당 사람의 관심을 끌기 위함이다. 이때, 본 발명의 다른 실시예에 따른 인터렉션 모드 동작 제어부(330)는 이동 및 회전 동작 제어부(미도시)를 더 구비하여, 헤드 디스플레이(10)에 출력된 얼굴 콘텐츠를 변경한 후 해당 사람이 이를 볼 수 있도록 해당 사람이 있는 방향으로 헤드 디스플레이(10)가 장착되어 있는 모드 변경 로봇(1)의 머리를 회전시키거나 모드 변경 로봇(1)의 전면부가 해당 사람이 있는 방향을 향하도록 회전시킬 수 있으며, 모드 변경 로봇(1)의 머리 또는 모드 변경 로봇(1)의 전면부가 바라보는 방향을 회전시킨 후 해당 사람이 있는 곳으로 모드 변경 로봇(1)을 이동시킬 수 있다. 콘텐츠 검색부(334)는 얼굴 콘텐츠를 변경한 후, 사람이 모드 변경 로봇(1)을 바라보는지 여부를 확인할 수 있다. 이를 위해, 콘텐츠 검색부(334)는 검출한 얼굴 영역의 영상을 분석하여 사람이 눈동자가 바라보는 방향, 즉 시선을 검출하고, 사람의 시선이 모드 변경 로봇(1)이 있는 방향을 바라보는지 여부를 확인할 수 있다. 이때, 사람의 시선을 검출하는 것은 이미 공지된 “한국등록특허 제1286965호” 및 “한국등록특허 제1471488호”에 자세히 개시되어 있다. 콘텐츠 검색부(334)는 사람이 모드 변경 로봇(1)을 바라보고 있는 것으로 확인되면, 도 6 과 같이 메인 디스플레이(70)에 추출된 얼굴 영역에 대한 특징 정보에 대응되는 콘텐츠를 검색하여 출력하도록 제어할 수 있다. 콘텐츠 검색부(334)는 1차적으로 헤드 디스플레이(10)에 출력되는 얼굴 콘텐츠를 변경하여 사람의 관심을 끈 후 메인 디스플레이(70)에 콘텐츠를 출력함으로써, 메인 디스플레이(70)에 출력되는 콘텐츠가 광고일 경우 광고 효과를 보다 증가시킬 수 있다. 한편, 콘텐츠 검색부(334)는 메인 디스플레이(70)에 추출된 얼굴 영역에 대한 특징 정보에 대응되는 콘텐츠를 출력하는 동안 헤드 디스플레이(10)의 출력된 해당 사람의 얼굴 영역 특징에 해당하는 얼굴 콘텐츠가 계속 출력되도록 제어하거나 실시간으로 해당 사람의 얼굴 영역을 검출하여 실시간 얼굴 영역 영상이 헤드 디스플레이(10)에 출력되도록 제어하거나 메인 디스플레이(70)에 콘텐츠가 출력되면 헤드 디스플레이(10)에 출력된 얼굴 콘텐츠가 더 이상 출력되지 않도록 제어할 수 있다.

콘텐츠 검색부(334)는 얼굴 영역 특징 추출부(333)에 의해 추출된 얼굴 영역 특징 정보와 미리 등록된 특징 정보가 일치하지 않으면, 도 5 와 같이 1차적으로 추출된 얼굴 영역 특징 정보를 기반으로 하여 헤드 디스플레이(10)에 출력되는 모드 변경 로봇(1)의 얼굴 콘텐츠를 변경할 수 있다. 이때, 본 발명의 다른 실시예에 따른 인터렉션 모드 동작 제어부(330)는 이동 및 회전 동작 제어부(미도시)를 더 구비하여, 헤드 디스플레이(10)에 출력된 얼굴 콘텐츠를 변경한 후 해당 사람이 이를 볼 수 있도록 해당 사람이 있는 방향으로 헤드 디스플레이(10)가 장착되어 있는 모드 변경 로봇(1)의 머리를 회전시키거나 모드 변경 로봇(1)의 전면부가 해당 사람이 있는 방향을 향하도록 회전시킬 수 있으며, 모드 변경 로봇(1)의 머리 또는 모드 변경 로봇(1)의 전면부가 바라보는 방향을 회전시킨 후 해당 사람이 있는 곳으로 모드 변경 로봇(1)을 이동시킬 수 있다. 콘텐츠 검색부(334)는 얼굴 콘텐츠를 변경한 후, 사람이 모드 변경 로봇(1)을 바라보는지 여부를 확인할 수 있다. 이를 위해, 콘텐츠 검색부(334)는 검출한 얼굴 영역의 영상을 분석하여 사람이 눈동자가 바라보는 방향, 즉 시선을 검출하고, 사람의 시선이 모드 변경 로봇(1)이 있는 방향을 바라보는지 여부를 확인할 수 있다. 콘텐츠 검색부(334)는 사람이 모드 변경 로봇(1)을 바라보고 있는 것으로 확인되면, 추출한 얼굴 영역의 특징 정보를 분석하여 해당 사람의 상세 정보(예를 들어, 성별, 나이 등)를 검출할 수 있다. 콘텐츠 검색부(334)는 검출한 상세 정보를 이용하여 콘텐츠를 검색할 수 있다. 이때, 검출한 상세 정보를 이용하여 콘텐츠를 검색하는 것은, 검출한 상세 정보와 메모리부(400)에 미리 저장된 콘텐츠 데이터를 비교하여 검출한 상세 정보에 대응하는 콘텐츠를 검색할 수 있으며, 이때 콘텐츠 데이터는 상세 정보 별로 콘텐츠가 분류되어 있는 데이터를 의미할 수 있다. 콘텐츠 검색부(334)는 검색된 콘텐츠가 메인 디스플레이(70)에 출력되도록 제어할 수 있다. 콘텐츠 검색부(334)는 메인 디스플레이(70)에 추출된 얼굴 영역에 대한 특징 정보에 대응되는 콘텐츠를 출력하는 동안 헤드 디스플레이(10)의 출력된 해당 사람의 얼굴 영역 특징에 해당하는 얼굴 콘텐츠가 계속 출력되도록 제어하거나 실시간으로 해당 사람의 얼굴 영역을 검출하여 실시간 얼굴 영역 영상이 헤드 디스플레이(10)에 출력되도록 제어하거나 메인 디스플레이(70)에 콘텐츠가 출력되면 헤드 디스플레이(10)에 출력된 얼굴 콘텐츠가 더 이상 출력되지 않도록 제어할 수 있다.

도 7 은 도 2 에 도시된 방범 모드 동작 제어부의 세부 블록도이다.

방범 모드 동작 제어부(340)는 방범 모드에 따른 동작인 이상 상황이 발생하면 상기 관리자에게 이상 상황 발생 정보를 전송하는 동작을 수행하도록 제어할 수 있으며, 이를 위해 이상 상황 감지부(341), 방범 모드용 알림 메시지 생성부(342), 및 방범 모드용 알람 제어부(343)를 포함할 수 있다.

이상 상황 감지부(341)는 카메라(20)를 통해 촬영된 영상을 분석하여 이상 상황의 발생을 감지하거나 온도, 습도, 가스 및 연기 중 적어도 하나를 이용하여 이상 상황의 발생 여부를 감지할 수 있다. 이상 상황 감지부(341)는 상술한 재난 상황 감지부(310)에서 이상 상황을 감지하는 방법과 동일한 방법을 통해 이상 상황의 발생 여부를 감지할 수 있다.

방범 모드용 알림 메시지 생성부(342)는 이상 상황 감지부(341)에 의해 이상 상황이 발생한 것으로 확인되면 이상 상황이 발생하였다는 것을 관리자에게 알리기 위해 알림 메시지를 생성하고, 이를 관리자 단말기로 전송할 수 있다.

구체적으로, 방범 모드용 알림 메시지 생성부(342)는 이상 상황 감지부(341)에 의해 이상 상황이 발생한 것으로 확인되면 통신부(100)에 구비된 GPS 기능을 통해 이상 상황이 발생한 영역의 위치 정보를 획득할 수 있다. 방범 모드용 알림 메시지 생성부(342)는 이상 상황이 발생한 것으로 확인된 시간을 확인할 수 있다. 방범 모드용 알림 메시지 생성부(342)는 이상 상황이 발생한 영역의 위치 정보, 이상 상황이 발생한 시간 정보 및 “이상 상황이 발생하였습니다.”와 같은 메시지를 포함하는 알림 메시지를 생성할 수 있다. 방범 모드용 알림 메시지 생성부(342)는 통신부(100)를 통해 생성한 알림 메시지를 관리자 단말기로 전송하도록 제어할 수 있다.

방범 모드용 알람 제어부(343)는 이상 상황 감지부(341)에 의해 이상 상황이 발생한 것으로 확인되면 알림 메시지를 생성하여 관리자 단말기로 전송하는 동시에, 모드 변경 로봇(1)에 구비된 램프(50) 및 스피커를 통해 경고등, 경고음 또는 경고 음성을 출력하도록 제어할 수 있다.

본 발명의 일 실시예에 따른 방범 모드 동작 제어부(340)는 모드 변경 로봇(1)의 동작 모드가 방범 모드로 설정되면, 모드 변경 로봇(1)이 미리 정해진 위치에서 방범 모드에 따른 동작이 수행되도록 제어하거나 미리 설정된 이동 패턴에 따라 이동하며 방범 모드에 따른 동작이 수행되도록 제어할 수 있다.

도 8 은 도 2 에 도시된 재난 대비 모드 동작 제어부의 세부 블록도이며, 도 9 는 도 8 에 도시된 대피 정보 검색부에 의해 검색된 대피 정보가 출력되는 일예를 도시한 도면이다.

도 8 을 참조하면, 재난 대비 모드 동작 제어부(350)는 재난 대비 모드에 따른 동작인 이상 상황 발생 시에는 상기 방범 모드와 동일한 동작을 수행하며, 비상 상황 발생 시에는 비상 상황이 발생한 영역에 재난 상황에 대한 정보를 출력하는 동작을 수행하도록 제어할 수 있으며, 이를 위해 재난 대비 모드용 알림 메시지 생성부(351), 재난 대비 모드용 알람 제어부(352), 3차원 지도 생성부(353) 및 대피 정보 검색부(354)를 포함할 수 있다.

재난 대비 모드용 알림 메시지 생성부(351)는 재난 상황 감지부(310)에 의해 이상 상황이 발생한 것으로 확인되면 이상 상황이 발생하였다는 것을 관리자에게 알리기 위해 알림 메시지를 생성할 수 있으며, 이를 관리자 단말기로 전송할 수 있다.

구체적으로, 재난 대비 모드용 알림 메시지 생성부(351)는 재난 상황 감지부(310)에 의해 이상 상황이 발생한 것으로 확인되면 통신부(100)에 구비된 GPS 기능을 통해 이상 상황이 발생한 영역의 위치 정보를 획득할 수 있다. 재난 대비 모드용 알림 메시지 생성부(351)는 이상 상황이 발생한 것으로 확인된 시간을 확인할 수 있다. 재난 대비 모드용 알림 메시지 생성부(351)는 이상 상황이 발생한 영역의 위치 정보, 이상 상황이 발생한 시간 정보 및 “이상 상황이 발생하였습니다.”와 같은 메시지를 포함하는 알림 메시지를 생성할 수 있다. 재난 대비 모드용 알림 메시지 생성부(351)는 통신부(100)를 통해 생성한 알림 메시지를 관리자 단말기로 전송하도록 제어할 수 있다.

재난 대비 모드용 알람 제어부(352)는 이상 상황이 발생한 것으로 확인되면 알림 메시지를 생성하여 관리자 단말기로 전송하는 동시에, 모드 변경 로봇(1)에 구비된 램프(50) 및 스피커를 통해 경고등, 경고음 또는 경고 음성을 출력할 수 있다.

3차원 지도 생성부(353)는 재난 상황 중 비상 상황 발생 시 비상 상황이 발생한 영역에 해당하는 대피 정보를 제공할 수 있도록 비상 상황이 발생한 영역에 대한 3차원 지도를 생성할 수 있다.

구체적으로, 3차원 지도 생성부(353)는 비상 상황이 발생한 것으로 확인되면 비상 상황이 발생한 영역을 카메라(20)를 이용하여 촬영하도록 제어할 수 있다. 3차원 지도 생성부(353)는 촬영한 영상을 분석하여 촬영한 영역에 대한 공간 정보를 획득할 수 있다. 이때, 3차원 지도 생성부(353)는 병렬 추적 및 매핑(parallel tracking and mapping(PTAM)) 방법[예컨대, 죠그 크레인(Georg Klein) 및 데이비드 머레이(David Murray)가 2007 나라(Nara)의 ISMAR(International Symposium on Mixed and Augmented Reality)에서 발표한 "Parallel Tracking and Mapping for Small AR Workspaces"에서 기술한 것]을 이용하여 촬영한 영역에 대한 공간 정보를 획득할 수 있다. 3차원 지도 생성부(353)는 메모리부(400)에 미리 저장된, 영역마다 대피 정보가 매칭되어 있는 공간 정보 상에서 획득한 공간 정보에 해당하는 영역과 매칭되도록 획득한 공간 정보와 메모리부(400)에 미리 저장된, 영역마다 대피 정보가 매칭되어 있는 공간 정보를 합성하여 3차원 지도를 생성할 수 있다. 한편, 3차원 지도에 표시된 각 영역은 영역 별로 실제 영역에 대한 위치 정보를 매칭하여 저장할 수 있다.

대피 정보 검색부(354)는 재난 상황 감지부(310)에 의해 비상 상황이 발생한 것으로 확인되면 3차원 지도 생성부(360)에 의해 생성한 3차원 지도로부터 대피 정보를 검색할 수 있다. 대피 정보 검색부(354)는 검색된 대피 정보 및 재난 알림 정보가 실제 비상 상황이 발생한 영역에 출력되도록 제어할 수 있다.

구체적으로, 대피 정보 검색부(354)는 재난 상황 감지부(310)에 의해 비상 상황이 발생한 것으로 확인되면 3차원 지도 생성부(353)에 의해 생성된 3차원 지도에서 비상 상황이 발생한 영역에 대응하는 대피 정보를 검색할 수 있다. 대피 정보 검색부(354)는 도 9 와 같이 검색된 대피 정보 또는 비상 알림 정보가 비상 상황이 발생한 영역에 출력되도록 제어할 수 있다.

본 발명의 다른 실시예에 따른 대피 정보 검색부(354)는 비상 상황이 발생한 영역에 대해 최적 대피 정보를 검색할 수 있으며, 검색된 최적 대피 정보가 비상 상황이 발생한 영역에 출력되도록 제어할 수 있다.

구체적으로, 본 발명의 다른 실시예에 따른 대피 정보 검색부(354)는 통신부(100)의 GPS 기능, 센싱부(200), 재난 상황 감지부(310)를 통해 비상 상황이 발생한 영역 내에서 적어도 하나 이상 화재, 홍수, 폭설, 붕괴 등과 같은 비상 상황이 발생한 현장을 검출할 수 있다. 대피 정보 검색부(354)는 검출한 비상 상황 발생 영역 내에서 적어도 하나 이상의 비상 상황 발생 현장에 대한 위치 정보 및 현재 모드 변경 로봇(1)의 위치 정보를 통신부(100)를 통해 외부에 있는 서버(미도시)로 전송할 수 있다. 대피 정보 검색부(354)는 외부에 있는 서버(미도시)로부터 비상 상황 발생 영역 내에서 적어도 하나 이상의 비상 상황 발생 현장 및 현재 모드 변경 로봇(1)의 위치 정보를 고려하여 검출된 최적의 대피 경로 정보가 포함된 최적 대피 정보를 수신할 수 있다. 대피 정보 검색부(354)는 수신한 최적 대피 정보를 비상 상황이 발생한 영역에 출력할 수 있다.

본 발명의 일 실시예에 따른 재난 대비 모드 동작 제어부(350)는 이상 상황 또는 비상 상황 발생에 따른 동작 수행 후 이상 상황 또는 비상 상황이 종료되었는지를 확인할 수 있다. 재난 대비 모드 동작 제어부(350)는 이상 상황 또는 비상 상황이 종료되었는지 여부에 따라 동작 모드가 전환되도록 제어할 수 있다. 이때, 재난 대비 모드 동작 제어부(350)는 이상 상황에 따른 동작인 알림 메시지 전송 후 모드 전환부(320)에 이상 상황이 종료되었다는 사실을 알려 다시 시간 또는 관리자의 설정에 따라 동작 모드가 인터렉션 모드 또는 방범 모드 중 하나가 선택되어 모드 변경 로봇(1)이 동작되도록 제어할 수 있다. 또한, 재난 대비 모드 동작 제어부(350)는 비상 상황에 따른 동작인 대비 정보 출력 후 재난 상황 감지부(310)를 통해 비상 상황이 종료되었는지 여부를 감지할 수 있다. 이때, 비상 상황이 종료되었는지 여부를 감지하는 것은, 대비 정보 출력 후 재난 상황 감지부(310)를 통해 비상 상황이 발생하는지 여부를 재감지하여 그 발생 여부에 따라 비상 상황이 종료되었는지 여부를 감지할 수 있다. 재난 대비 모드 동작 제어부(350)는 비상 상황이 종료된 것으로 확인되면 모드 전환부(320)에 비상 상황이 종료되었다는 사실을 알려 다시 시간 또는 관리자의 설정에 따라 동작 모드가 인터렉션 모드 또는 방범 모드 중 하나가 선택되어 모드 변경 로봇(1)이 동작되도록 제어할 수 있다.

이하에서는, 도 10 을 통하여 본 발명의 일 실시예에 따른 모드 변경 로봇의 제어 방법에 대해 설명한다.

먼저, 모드 변경 로봇(1)이 구동되면 구동된 시간 또는 관리자의 설정 정보 확인(610)하고, 인터렉션 모드 또는 방범 모드 중 확인된 시간 또는 관리자의 설정에 해당하는 동작 모드를 선택한다(615).

이때, 시간 또는 관리자의 설정에 따라 인터렉션 모드가 선택되면 인터렉션 모드에 따른 동작 수행한다(620). 인터렉션 모드에 따른 동작 방법은 후술하는 도 11 을 통하여 자세히 설명한다.

인터렉션 모드가 동작되는 시간에 관계없이 재난 상황 발생 시 모드 변경 로봇(1)이 바로 재난 대비 기능을 수행할 수 있도록 인터렉션 모드에 따른 동작 수행 중 재난 상황이 발생하는지 여부를 확인한다(625).

또한, 시간 또는 관리자의 설정에 따라 방범 모드가 선택되면 방범 모드에 따른 동작 수행한다(630). 방범 모드에 따른 동작 방법은 후술하는 도 12 를 통하여 자세히 설명한다.

방범 모드가 동작하는 시간에 관계없이 재난 상황 발생 시 모드 변경 로봇(1)이 바로 재난 대비 기능을 수행할 수 있도록 방범 모드에 따른 동작 수행 중 재난 상황이 발생하는지 여부를 확인한다(635).

이때, 재난 상황이 발생한 것으로 확인되면, 모드 변경 로봇(1)의 동작 모드를 재난 대비 모드로 전환한다(640).

모드 변경 로봇(1)의 동작 모드가 재난 대비 모드로 전환되면 재난 대비 모드에 따른 동작 수행한다(645). 재난 대비 모드에 따른 동작 방법은 후술하는 도 13 을 통하여 자세히 설명한다.

재난 상황이 종료되면 더 이상 재난 대비 모드가 동작하지 않고 시간 또는 관리자의 설정에 따라 선택되는 동작 모드에 따라 모드 변경 로봇(1)이 동작할 수 있도록 재난 대비 모드에 따른 동작 수행 후, 재난 상황이 종료되는지 여부를 확인한다(650).

이때, 재난 상황이 종료되지 않은 것으로 확인되면 계속 재난 대비 모드에 따른 동작을 수행하고, 재난 상황이 종료된 것으로 확인되면 시간 또는 관리자의 설정에 따라 동작 모드 선택하여 동작한다(655).

이하에서는, 도 11 을 통하여 도 10 에 도시된 인터렉션 모드에 따른 동작 수행 방법에 대해 설명한다.

먼저, 모드 변경 로봇(1)으로부터 미리 정해진 일정 반경 내에 사람이 감지되는지 여부를 확인(710)하고, 미리 정해진 일정 반경 내에 사람이 감지되면 감지된 사람의 얼굴 영역을 검출한다(720).

검출한 얼굴 영역의 특징 정보 추출(730)하고, 추출한 특징 정보와 미리 등록된 특징 정보를 비교하여 추출한 특징 정보가 미리 등록된 특징 정보와 일치하는지 여부를 확인한다(740).

이때, 추출한 특징 정보가 미리 등록된 특징 정보와 일치하면, 추출한 특징 정보와 미리 저장된 콘텐츠 데이터를 비교하여 추출한 특징 정보에 대응되는 콘텐츠 검색(750)하고, 검색된 콘텐츠를 메인 디스플레이(70)에 출력하도록 제어한다(760).

또한, 추출한 특징 정보가 미리 등록된 특징 정보와 일치하지 않으면, 추출한 특징 정보 저장(770)하고, 추출한 특정 정보를 기반으로 헤드 디스플레이(10)에 출력된 얼굴 콘텐츠 변경한다(780).

이때, 추출한 특정 정보를 기반으로 헤드 디스플레이(10)에 출력된 얼굴 콘텐츠를 변경하는 것은, 검출한 얼굴 영역 영상을 헤드 디스플레이(10)에 출력하거나 추출한 얼굴 영역에 대한 특징을 포함하는 얼굴 이미지를 헤드 디스플레이(10)에 출력하거나 추출한 얼굴 영역에 대한 특징을 분석하여 사람의 표정을 검출하고, 검출한 표정에 따라 헤드 디스플레이(10)에 출력되어 있는 모드 변경 로봇(1)의 얼굴 콘텐츠의 표정을 변경하는 것을 포함할 수 있다.

이하에서는, 도 12 을 통하여 도 10 에 도시된 방범 모드에 따른 동작 수행 방법에 대해 설명한다.

먼저, 모드 변경 로봇(1) 주변에 이상 상황이 발생하는지 여부를 확인한다(810).

이때, 이상 상황이 발생하는지 여부를 확인하는 것은, 카메라(20)를 통해 촬영된 영상을 분석하여 이상 상황의 발생을 감지하거나 온도, 습도, 가스 및 연기 중 적어도 하나를 이용하여 이상 상황의 발생 여부를 감지할 수 있다.

이때, 이상 상황이 발생한 것으로 확인되면 경고등 또는 경고음 출력(820)하고, 이상 상황이 발생하였다는 것을 알리는 알림 메시지 생성(830)하고, 생성한 알림 메시지를 관리자 단말기로 전송한다(840).

이때, 알림 메시지는 이상 상황이 발생한 시간 정보, 위치 정보를 포함할 수 있다.

이하에서는, 도 13 을 통하여 도 10 에 도시된 재난 대비 모드에 따른 동작 수행 방법에 대해 설명한다.

먼저, 현재 상황이 재난 상황에 포함된 이상 상황 또는 비상 상황 중 비상 상황인지 여부를 확인한다(910).

이때, 현재 상황이 이상 상황 또는 비상 상황 중 비상 상황인지 여부를 판별하는 것은, 이상 상황 및 비상 상황 별로 이상 상황 및 비상 상황을 분류하여 판별할 수 있는 감지 범위 값이 정해져 있으며, 카메라(20)를 통해 촬영된 영상, 온도, 습도, 가스 및 연기 중 적어도 하나를 이용하여 환경 계측값을 산출하고, 산출한 환경 계측값과 이상 상황 및 비상 상황 별로 미리 정해진 감지 범위 값을 비교하여 현재 상황이 이상 상황 또는 비상 상황 중 재난 상황인지 여부를 판별할 수 있다.

이때, 비상 상황이 발생한 것으로 검출되면 비상 상황이 발생한 영역의 위치 정보 검출(920)하고, 검출한 위치 정보를 이용하여 3차원 지도 상에서 비상 상황이 발생한 영역 검출한다(930).

이때, 3차원 지도는 영역에 대한 공간 정보를 포함할 수 있으며, 3차원 지도를 생성하는 방법은 도 14 를 통하여 자세히 설명하도록 한다.

3차원 지도에서 비상 상황이 발생한 영역에 대응하는 대비 정보 검색(940)하고, 검색된 대비 정보를 비상 상황이 발생한 영역에 출력한다(950).

또한, 이상 상황이 발생한 것으로 검출되면 경고등 또는 경고음 출력(960)하고, 이상 상황이 발생하였다는 것을 알리는 알림 메시지 생성(970)하고, 생성한 알림 메시지를 관리자 단말기로 전송한다(980).

이하에서는, 도 14 를 통하여 재난 대비 모드에서 대비 정보를 제공하기 위해 필요한 3차원 지도를 생성하는 방법에 대해 설명한다.

먼저, 재난 상황 감지부(310)에 의해 비상 상황이 발생한 것으로 감지되면 비상 상황이 발생한 영역을 촬영(1010)하고, 촬영한 비상 상황이 발생한 영역의 영상을 분석하여 공간 정보 획득한다(1020).

이때, 촬영한 영역의 영상을 분석하여 공간 정보 획득하는 것은, 병렬 추적 및 매핑(parallel tracking and mapping(PTAM)) 방법[예컨대, 죠그 크레인(Georg Klein) 및 데이비드 머레이(David Murray)가 2007 나라(Nara)의 ISMAR(International Symposium on Mixed and Augmented Reality)에서 발표한 "Parallel Tracking and Mapping for Small AR Workspaces"에서 기술한 것]을 이용하여 촬영한 영역에 대한 공간 정보를 획득할 수 있다.

또한, 통신부(100)의 GPS 기능을 사용하여 촬영한 영역의 위치 정보를 검출한다(1030).

검출한 위치 정보를 이용하여 메모리부(400)에 미리 저장된 전체 공간 정보에서 촬영된 영역과 매칭되는 영역 검출(1040)하고, 매칭되는 영역에 맞게 미리 저장된 전체 공간 정보와 획득한 공간 정보를 합성하여 3차원 지도 생성한다(1050).

이때, 미리 저장된 전체 공간 정보는 전체 영역에 대한 대피 정보를 포함할 수 있다.

이와 같은, 시간, 사용자의 설정 또는 주변 상황에 따라 복수 개의 모드로 전환되어 복수의 기능을 수행할 수 있는 모드 변경 로봇을 제어하는 기술은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

1: 모드 변경 로봇
100: 통신부
200: 센싱부
300: 제어부
400: 메모리부
500: 출력부

Claims (14)

1. 메모리부, 제어부를 포함하는 모드 변경 로봇의 제어방법에 있어서,
   상기 메모리부는 접근이 감지된 사람의 특징 정보를 기반으로 콘텐츠를 선택하여 출력하는 인터렉션 모드 및 이상 상황이 발생하면 관리자에게 이상 상황 발생 정보를 송신하는 방범 모드에 대한 정보를 미리 저장하고,
   상기 제어부는 미리 정해진 시간 또는 관리자의 설정에 따라 상기 메모리에 저장된 인터렉션 모드 또는 방범 모드 중 어느 하나의 모드를 선택하고, 선택된 모드에 따라 동작하도록 제어하는 모드 변경 로봇의 제어방법.
2. 제 1 항에 있어서,
   상기 모드 변경 로봇은 상기 인터렉션 모드 또는 상기 방범 모드로 동작 시, 재난 상황이 발생한 것으로 감지되면 재난 대비 모드로 전환되며,
   상기 재난 대비 모드는 재난 상황이 발생한 영역에 재난 상황에 대한 정보를 출력하거나 상기 관리자에게 재난 상황 발생 정보를 송신하는 것을 특징으로 하는 모드 변경 로봇의 제어방법.
3. 제 2 항에 있어서,
   상기 재난 대비 모드에서 상기 재난 상황이 발생한 영역에 재난 상황에 대한 정보를 출력하는 것은,
   재난 상황이 발생한 것으로 확인되면 상기 모드 변경 로봇에 마련된 프로젝터 또는 레이저를 이용하여 재난 상황이 발생한 실제 영역에 재난 알림 정보 또는 대피 정보를 출력하는 모드 변경 로봇의 제어방법.
4. 제 3 항에 있어서,
   상기 재난 대비 모드에서 재난 상황이 발생한 것으로 감지되면 상기 모드 변경 로봇에 마련된 카메라를 이용하여 상기 재난 상황이 발생한 영역을 촬영하고, 상기 재난 상황이 발생한 영역이 촬영된 영상을 분석하여 상기 재난 상황이 발생한 영역에 대한 공간 정보를 획득하고, 상기 획득한 공간 정보와 영역마다 대피 정보가 매칭되어 저장된 공간 정보를 합성하여 3차원 지도를 생성하는 것을 더 포함하는 모드 변경 로봇의 제어방법.
5. 제 4 항에 있어서,
   상기 재난 상황이 발생한 실제 영역에 재난 알림 정보 또는 대피 정보를 출력하는 것은,
   상기 3차원 지도 상에서 상기 재난 상황이 발생한 영역을 검색하고, 상기 3차원 지도에서 상기 재난 상황이 발생한 영역에 대응하는 대피 정보를 검색하고, 상기 재난 상황이 발생한 실제 영역에 상기 대피 정보 또는 재난 알림 정보를 출력하는 모드 변경 로봇의 제어방법.
6. 제 1 항에 있어서,
   상기 모드 변경 로봇의 모드가 인터렉션 모드로 설정되면 사람의 접근을 감지하고, 상기 사람이 상기 모드 변경 로봇으로부터 미리 정해진 일정 반경 내에 진입하면 상기 모드 변경 로봇에 마련된 카메라를 통해 촬영된 영상을 분석하여 상기 사람의 얼굴 영역을 검출하고, 상기 사람의 얼굴 영역에 대한 특징을 분석하여 상기 사람의 얼굴 영역에 대한 특징 정보에 따라 동작을 수행하는 모드 변경 로봇의 제어방법.
7. 제 6 항에 있어서,
   상기 사람의 얼굴 영역에 대한 특징 정보에 따라 동작을 수행하는 것은,
   상기 사람의 얼굴 영역에 대한 특징 정보를 미리 등록된 특징 정보와 비교하여 상기 사람의 얼굴 영역에 대한 특징 정보가 상기 미리 등록된 특징 정보와 일치하는지 여부를 판단하고, 상기 사람의 얼굴 영역에 대한 특징 정보가 상기 미리 등록된 특징 정보와 일치하면 상기 사람의 얼굴 영역에 대한 특징 정보에 대응되는 행동패턴에 따라 동작하거나 상기 사람의 얼굴 영역에 대한 특징 정보에 대응되는 콘텐츠를 출력하는 모드 변경 로봇의 제어방법.
8. 제 7 항에 있어서,
   상기 사람의 얼굴 영역에 대한 특징 정보가 상기 미리 등록된 특징 정보와 비일치하면 상기 사람의 얼굴 영역에 대한 특징 정보를 데이터베이스에 저장하고, 상기 사람의 얼굴 영역 영상을 기반으로 하여 상기 모드 변경 로봇에 마련된 헤드 디스플레이에 출력되는 모드 변경 로봇의 얼굴 콘텐츠를 변경하는 모드 변경 로봇의 제어방법.
9. 제 1 항에 있어서,
   상기 모드 변경 로봇의 모드가 상기 방범 모드로 설정되면 이상 상황이 발생하는지 여부를 확인하고, 이상 상황이 발생한 것으로 확인되면 경고등 또는 경고음을 출력하고, 상기 관리자의 단말기로 알림 메시지 또는 이상 상황이 발생한 영역에서 촬영된 영상을 송신하는 모드 변경 로봇의 제어방법.
10. 제 9 항에 있어서,
    상기 모드 변경 로봇의 모드가 상기 방범 모드로 설정되면 미리 정해진 위치에서 상기 방범 모드에 따른 동작이 수행되도록 제어하거나 미리 설정된 이동 패턴에 따라 이동하며 상기 방범 모드에 따른 동작이 수행되도록 제어하는 모드 변경 로봇의 제어방법.
11. 영상, 온도, 습도, 연기, 전압, 불꽃 중 적어도 하나를 센싱하는 센싱부;
    상기 센싱부에 의해 접근이 감지된 사람의 특징 정보를 기반으로 콘텐츠를 선택하여 출력하는 인터렉션 모드와 상기 센싱부에 의해 이상 상황이 발생한 것으로 확인되면 관리자에게 이상 상황 발생 정보를 제공하는 방범 모드에 대한 정보를 저장하는 메모리부; 및
    시간 또는 관리자의 설정에 따라 상기 인터렉션 모드 또는 상기 방범 모드 중 어느 하나를 선택하여 동작하도록 제어하는 제어부를 포함하는 모드 변경 로봇.
12. 제 11 항에 있어서,
    상기 메모리부는 상기 센싱부에 의해 재난 상황이 발생한 것으로 감지되면 재난 상황이 발생한 영역에 재난 상황에 대한 정보를 출력하거나 상기 관리자에게 재난 상황 발생 정보를 송신하는 재난 대비 모드를 더 저장하며,
    상기 제어부는 상기 인터렉션 모드 또는 상기 방범 모드 동작 시 상기 센싱부에 의해 센싱된 정보를 통해 재난 상황이 발생한 것으로 확인되면 상기 모드 변경 로봇의 모드를 상기 재난 대비 모드로 전환하도록 제어하는 모드 변경 로봇.
13. 제 12 항에 있어서,
    상기 제어부는,
    상기 모드 변경 로봇의 모드가 인터렉션 모드로 설정되면 사람의 접근을 감지하고, 상기 사람이 상기 모드 변경 로봇으로부터 미리 정해진 일정 반경 내에 진입하면 상기 센싱부에 의해 센싱된 영상을 분석하여 상기 사람의 얼굴 영역을 검출하고, 상기 사람의 얼굴 영역에 대한 특징을 분석하여 상기 사람의 얼굴 영역에 대한 특징 정보에 대응하는 콘텐츠를 검색하고, 검색된 콘텐츠를 상기 모드 변경 로봇에 마련된 메인 디스플레이에 출력하도록 제어하는 모드 변경 로봇.
14. 제 12 항에 있어서,
    상기 제어부는,
    상기 모드 변경 로봇의 모드가 상기 방범 모드로 설정되면 이상 상황이 발생하는지 여부를 확인하고, 이상 상황이 발생한 것으로 확인되면 경고등 또는 경고음을 출력하고, 상기 관리자의 단말기로 알림 메시지 또는 이상 상황이 발생한 영역에서 센싱된 영상을 송신하도록 제어하는 모드 변경 로봇.

Images