KR20170025095A

KR20170025095A - 상황 인지 기반 양방향 안내 시스템 및 그의 제어 방법

Info

Publication number: KR20170025095A
Application number: KR1020150121029A
Authority: KR
Inventors: 허철균
Original assignee: 허철균
Priority date: 2015-08-27
Filing date: 2015-08-27
Publication date: 2017-03-08
Also published as: KR101760898B1

Abstract

본 발명은 상황 인지 기반 양방향 안내 시스템 및 그의 제어 방법을 개시한다. 즉, 본 발명은 미리 설정된 영역 내에 객체가 진입하는 경우, 상황을 인지한 후, 해당 영역에 대응하여 설치된 지향성 마이크 및 지향성 스피커를 통해 해당 객체와 정보(또는 음성 정보, 소리 등 포함)를 송/수신함으로써, 특정 정보를 필요로 하는 해당 객체에만 해당 정보를 제공함에 따른 사용자의 만족도를 높이고, 추가적인 장치 없이도 해당 정보를 제공받을 수 있다.

Description

상황 인지 기반 양방향 안내 시스템 및 그의 제어 방법{Context awareness based interactive guidance system and control method thereof}

본 발명은 상황 인지 기반 양방향 안내 시스템 및 그의 제어 방법에 관한 것으로, 특히 미리 설정된 영역 내에 객체가 진입하는 경우, 상황을 인지한 후, 해당 영역에 대응하여 설치된 지향성 마이크 및 지향성 스피커를 통해 해당 객체와 정보(또는 음성 정보, 소리 등 포함)를 송/수신하는 상황 인지 기반 양방향 안내 시스템 및 그의 제어 방법에 관한 것이다.

안내 방송 시스템은 쇼핑몰, 백화점, 지하철 등의 다중 편의 시설 등에서 다양한 정보를 제공하는 시스템이다.

이러한 안내 방송 시스템은 단방향(one-way) 통신 방식에 의해 동작하여, 미리 설정된 정보만을 반복적으로 제공함에 따라 고객과의 양방향 통신이 어렵고, 해당 정보의 수신을 원치 않은 고객에게도 무분별하게 전송됨에 따라 고객의 불편을 가중시킨다.

한국등록특허 제10-1081179호 [명칭: 자동 소음 감쇄를 위한 이득 조절 방법 및 장치]

본 발명의 목적은 미리 설정된 영역 내에 객체가 진입하는 경우, 해당 영역에 대응하여 설치된 지향성 마이크 및 지향성 스피커를 통해 해당 객체와 정보(또는 음성 정보, 소리 등 포함)를 송/수신하는 상황 인지 기반 양방향 안내 시스템 및 그의 제어 방법을 제공하는 데 있다.

또한, 본 발명의 다른 목적은 미리 설정된 영역에 진입하는 객체 및 상황을 인식하고, 객체의 안내 요구 의지를 인식/확인하고, 객체가 선호하는 언어를 인식/확인하고, 인식된 정보를 근거로 해당 객체와 관련한 개인 정보를 확인하고, 확인된 개인 정보를 근거로 해당 객체와의 쌍방향 통신 기능을 수행하는 상황 인지 기반 양방향 안내 시스템 및 그의 제어 방법을 제공하는 데 있다.

본 발명의 실시예에 따른 상황 인지 기반 양방향 안내 시스템은 지향성 스피커 및 지향성 마이크를 통해 미리 설정된 영역 내에 존재하는 객체에 안내 정보나 광고 정보를 전달하는 상황 인지 기반 양방향 안내 시스템에 있어서, 상기 미리 설정된 영역 내에 진입하는 객체를 감지하는 동작 인식 센서; 상기 미리 설정된 영역 내에 진입하는 상기 객체가 미리 설정된 시간 이상 상기 영역 내에 위치할 때, 상기 객체를 촬영하는 카메라부; 상기 촬영된 객체에서 상기 객체의 발 방향 또는 몸 방향을 인식하고, 상기 인식된 객체의 발 방향 또는 몸 방향에 대응하는 언어를 확인하고, 상기 객체의 얼굴을 인식하는 제어부; 상기 인식된 얼굴에 대한 정보와 상기 인식된 얼굴에 대응하여 생성된 단일 코드 정보와 상기 확인된 언어에 대한 정보와 상기 안내 장치의 고유 식별 정보를 서버에 전송하고, 상기 전송된 인식된 얼굴에 대한 정보에 응답하여 상기 서버로부터 전송되는 상기 확인된 언어의 형태로 제공되는 안내 정보 및 광고 정보 중 적어도 하나를 수신하는 통신부; 상기 제어부의 제어에 의해, 상기 수신된 안내 정보 및 광고 정보 중 적어도 하나를 상기 영역 내에 존재하는 객체를 지향하여 출력하는 지향성 스피커; 및 상기 객체로부터 출력되는 음성 정보를 수신하는 지향성 마이크를 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 제어부는, 미리 설정된 방향별 언어 중에서 상기 인식된 객체의 발 방향 또는 몸 방향에 대응하는 언어를 확인할 수 있다.

본 발명과 관련된 일 예로서 상기 제어부는, 상기 지향성 마이크로부터 수신되는 음성 정보에서 잡음을 제거하고, 상기 잡음이 제거된 음성 정보에 대한 신호 처리 과정을 수행하고, 상기 신호 처리된 음성 정보를 상기 통신부를 통해 상기 서버에 전송하며, 상기 전송된 신호 처리된 음성 정보에 응답하여 상기 서버로부터 전송되는 다른 안내 정보 및 다른 광고 정보 중 적어도 하나를 출력하도록 상기 지향성 스피커를 제어할 수 있다.

본 발명과 관련된 일 예로서 상기 제어부는, 상기 동작 인식 센서 또는 상기 카메라를 통해, 상기 영역 내에 존재하는 객체의 이동이 감지될 때, 상기 객체의 이동을 추종하고, 상기 객체의 이동에 대응하도록 상기 지향성 스피커 및 상기 지향성 마이크의 방향을 제어할 수 있다.

본 발명의 실시예에 따른 상황 인지 기반 양방향 안내 시스템은 지향성 스피커 및 지향성 마이크를 통해 미리 설정된 영역 내에 존재하는 객체에 안내 정보나 광고 정보를 전달하는 상황 인지 기반 양방향 안내 시스템에 있어서, 상기 미리 설정된 영역 내에 진입하는 상기 객체를 감지하고 상기 감지된 객체가 미리 설정된 시간 이상 상기 영역 내에 위치할 때, 상기 객체를 촬영하고, 상기 촬영된 객체에서 상기 객체의 발 방향 또는 몸 방향을 인식하고, 상기 인식된 객체의 발 방향 또는 몸 방향에 대응하는 언어를 확인하고, 상기 촬영된 객체의 얼굴을 인식하고, 상기 인식된 얼굴에 대한 정보와 상기 인식된 얼굴에 대응하여 생성된 단일 코드 정보와 상기 확인된 언어에 대한 정보와 상기 안내 장치의 고유 식별 정보를 서버에 전송하고, 상기 전송된 인식된 얼굴에 대한 정보에 응답하여 상기 서버로부터 전송되는 상기 확인된 언어의 형태로 제공되는 제 1 안내 정보 및 제 1 광고 정보 중 적어도 하나를 수신하고, 상기 수신된 제 1 안내 정보 및 제 1 광고 정보 중 적어도 하나를 상기 지향성 스피커를 통해 상기 영역 내에 존재하는 객체를 지향하여 출력하는 안내 장치; 및 미리 저장된 얼굴 정보에 따른 복수의 개인 정보 중에서 상기 안내 장치로부터 전송되는 상기 인식된 얼굴에 대한 정보에 대응하는 상기 확인된 언어의 형태의 개인 정보를 확인하고, 상기 확인된 개인 정보에 대응하는 맞춤형 제 1 안내 정보 및 제 1 광고 정보 중 적어도 하나를 상기 안내 장치에 전송하는 상기 서버를 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 안내 장치는, 상기 지향성 마이크를 통해 상기 객체로부터 전달되는 음성 정보를 수신하고, 상기 음성 정보에서 잡음을 제거하고, 상기 잡음이 제거된 음성 정보에 대한 신호 처리 과정을 수행하고, 상기 신호 처리된 음성 정보를 상기 서버에 전송하며, 상기 전송된 신호 처리된 음성 정보에 응답하여 상기 서버로부터 전송되는 제 2 안내 정보 및 제 2 광고 정보 중 적어도 하나를 상기 지향성 스피커를 통해 상기 영역 내에 존재하는 객체를 지향하여 출력할 수 있다.

본 발명과 관련된 일 예로서 상기 안내 장치는, 상기 영역 내에 존재하는 객체의 이동이 감지될 때, 상기 객체의 이동에 대응하도록 상기 지향성 스피커 및 상기 지향성 마이크의 방향을 제어할 수 있다.

본 발명의 실시예에 따른 상황 인지 기반 양방향 안내 시스템의 제어 방법은 지향성 스피커 및 지향성 마이크를 통해 미리 설정된 영역 내에 존재하는 객체에 안내 정보나 광고 정보를 전달하는 상황 인지 기반 양방향 안내 시스템의 제어 방법에 있어서, 제어부를 통해, 카메라부를 통해 촬영되는 영상 정보를 근거로 상기 미리 설정된 영역 내에 진입하는 객체를 감지하는 단계; 상기 카메라부를 통해, 상기 감지된 객체가 상기 미리 설정된 영역 내에서 미리 설정된 시간 이상 머무를 때, 상기 객체를 촬영하는 단계; 상기 제어부를 통해, 상기 촬영된 객체에서 상기 객체의 발 방향 또는 몸 방향을 인식하는 단계; 상기 제어부를 통해, 상기 인식된 객체의 발 방향 또는 몸 방향에 대응하는 언어를 확인하는 단계; 상기 제어부를 통해, 상기 촬영된 객체에서 객체의 얼굴을 인식하는 단계; 통신부를 통해, 상기 인식된 얼굴에 대한 정보, 상기 인식된 얼굴에 대응하여 생성된 단일 코드 정보, 상기 확인된 언어에 대한 정보 및 상기 안내 장치의 고유 식별 정보를 서버에 전송하는 단계; 상기 통신부를 통해, 상기 전송된 인식된 얼굴에 대한 정보에 응답하여 상기 서버로부터 전송되는 상기 확인된 언어의 형태로 제공되는 안내 정보 및 광고 정보 중 적어도 하나를 수신하는 단계; 및 상기 제어부를 통해, 상기 수신된 안내 정보 및 광고 정보 중 적어도 하나를 상기 영역 내에 존재하는 객체를 지향하여 출력하도록 상기 지향성 스피커를 제어하는 단계를 포함할 수 있다.

본 발명과 관련된 일 예로서 지향성 마이크를 통해, 상기 영역 내에 존재하는 객체로부터 출력되는 음성 정보를 수신하는 단계; 상기 제어부를 통해, 상기 수신된 음성 정보에서 잡음을 제거하고, 상기 잡음이 제거된 음성 정보에 대한 신호 처리 과정을 수행하는 단계; 상기 통신부를 통해, 상기 신호 처리된 음성 정보를 상기 서버에 전송하는 단계; 상기 제어부를 통해, 상기 전송된 신호 처리된 음성 정보에 응답하여 상기 서버로부터 전송되는 다른 안내 정보 및 다른 광고 정보 중 적어도 하나를 상기 영역 내에 존재하는 객체를 지향하여 출력하도록 상기 지향성 스피커를 제어하는 단계; 및 상기 제어부를 통해, 상기 영역 내에 존재하는 객체의 이동이 감지될 때, 상기 객체의 이동에 대응하도록 상기 지향성 스피커 및 상기 지향성 마이크의 방향을 제어하는 단계를 더 포함할 수 있다.

본 발명의 실시예에 따른 상황 인지 기반 양방향 안내 시스템의 제어 방법은 지향성 스피커 및 지향성 마이크를 통해 미리 설정된 영역 내에 존재하는 객체에 안내 정보나 광고 정보를 전달하는 상황 인지 기반 양방향 안내 시스템의 제어 방법에 있어서, 안내 장치를 통해, 상기 미리 설정된 영역 내에 진입하는 상기 객체를 감지하고 상기 감지된 객체가 미리 설정된 시간 이상 상기 영역 내에 위치할 때, 상기 객체를 촬영하는 단계; 상기 안내 장치를 통해, 상기 촬영된 객체에서 상기 객체의 발 방향 또는 몸 방향을 인식하는 단계; 상기 안내 장치를 통해, 상기 인식된 객체의 발 방향 또는 몸 방향에 대응하는 언어를 확인하는 단계; 상기 안내 장치를 통해, 상기 촬영된 객체의 얼굴을 인식하는 단계; 상기 안내 장치를 통해, 상기 인식된 얼굴에 대한 정보, 상기 인식된 얼굴에 대응하여 생성된 단일 코드 정보, 상기 확인된 언어에 대한 정보 및 상기 안내 장치의 고유 식별 정보를 서버에 전송하는 단계; 상기 서버를 통해, 미리 저장된 얼굴 정보에 따른 복수의 개인 정보 중에서 상기 안내 장치로부터 전송되는 상기 인식된 얼굴에 대한 정보 및 상기 확인된 언어에 대응하는 개인 정보를 확인하는 단계; 상기 서버를 통해, 상기 확인된 개인 정보에 대응하는 맞춤형 제 1 안내 정보 및 제 1 광고 정보 중 적어도 하나를 상기 안내 장치에 전송하는 단계; 상기 안내 장치를 통해, 상기 서버로부터 전송되는 상기 언어의 형태로 제공되는 제 1 안내 정보 및 제 1 광고 정보 중 적어도 하나를 상기 지향성 스피커를 통해 상기 영역 내에 존재하는 객체를 지향하여 출력하는 단계; 상기 안내 장치를 통해, 상기 지향성 마이크를 통해 상기 객체로부터 전달되는 음성 정보를 수신하고, 상기 음성 정보에서 잡음을 제거하고, 상기 잡음이 제거된 음성 정보에 대한 신호 처리 과정을 수행하고, 상기 신호 처리된 음성 정보를 상기 서버에 전송하는 단계; 상기 서버를 통해, 상기 신호 처리된 음성 정보에 응답하여 제 2 안내 정보 및 제 2 광고 정보 중 적어도 하나를 상기 안내 장치에 전송하는 단계; 및 상기 안내 장치를 통해, 상기 제 2 안내 정보 및 제 2 광고 정보 중 적어도 하나를 상기 지향성 스피커를 통해 상기 영역 내에 존재하는 객체를 지향하여 출력하는 단계를 포함할 수 있다.

본 발명은 미리 설정된 영역 내에 객체가 진입하는 경우, 해당 영역에 대응하여 설치된 지향성 마이크 및 지향성 스피커를 통해 해당 객체와 정보(또는 음성 정보, 소리 등 포함)를 송/수신함으로써, 특정 정보를 필요로 하는 해당 객체에만 해당 정보를 제공함에 따른 사용자의 만족도를 높이고, 추가적인 장치 없이도 해당 정보를 제공받을 수 있는 효과가 있다.

또한, 본 발명은 미리 설정된 영역에 진입하는 객체 및 상황을 인식하고, 객체의 안내 요구 의지를 인식/확인하고, 객체가 선호하는 언어를 인식/확인하고, 인식된 정보를 근거로 해당 객체와 관련한 개인 정보를 확인하고, 확인된 개인 정보를 근거로 해당 객체와의 쌍방향 통신 기능을 수행함으로써, 특정 객체에 특화된 정보나 광고를 제공할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 상황 인지 기반 양방향 안내 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 안내 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 상황 인지 기반 양방향 안내 시스템의 제어 방법을 나타낸 흐름도이다.
도 4는 본 발명의 실시예에 따른 안내 장치의 화면을 나타낸 도이다.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

도 1은 본 발명의 실시예에 따른 상황 인지 기반 양방향 안내 시스템(10)의 구성을 나타낸 블록도이다.

도 1에 도시한 바와 같이, 상황 인지 기반 양방향 안내 시스템(10)은 안내 장치(100) 및 서버(200)로 구성된다. 도 1에 도시된 상황 인지 기반 양방향 안내 시스템(10)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 상황 인지 기반 양방향 안내 시스템(10)이 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 상황 인지 기반 양방향 안내 시스템(10)이 구현될 수도 있다.

상기 안내 장치(100)는 쇼핑몰, 백화점, 지하철 등의 다중 편의 시설의 미리 설정된 위치에 설치(또는 배치)한다.

또한, 상기 안내 장치(100)는 다중 편의 시설 내의 특정 설치 위치에 따른 고유 위치 정보(또는 상기 안내 장치(100)가 설치된 지역에 대응하는 위치 정보)를 설정된 상태일 수 있으며, 해당 안내 장치별 위치 정보는 상기 서버(200)에서 관리 및 저장할 수 있다.

도 2에 도시된 바와 같이, 안내 장치(100)는 카메라부(110), 동작 인식 센서(120), 지향성 스피커(130), 지향성 마이크(140), 통신부(150), 저장부(160) 및 제어부(170)로 구성된다. 도 2에 도시된 안내 장치(100)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 2에 도시된 구성 요소보다 많은 구성 요소에 의해 안내 장치(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 안내 장치(100)가 구현될 수도 있다.

상기 카메라부(또는 촬영부)(110)는 미리 설정된 영역 내에 존재하는 객체(또는 고객)를 촬영할 수 있도록 해당 영역 내에 인접한 미리 설정된 위치에 설치(또는 배치)한다.

또한, 상기 카메라부(110)는 영상 통화 모드, 촬영 모드, 영상 회의 모드 등에서 이미지 센서(카메라 모듈 또는 카메라)에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 즉, 상기 카메라부(110)는 코덱(CODEC)에 따라 상기 이미지 센서에 의해 얻어지는 해당 화상 데이터들을 각 규격에 맞도록 인코딩/디코딩한다.

또한, 상기 카메라부(110)는 상기 미리 설정된 영역 내에 진입하는(또는 존재하는) 객체를 촬영한다.

또한, 상기 동작 인식 센서(120)를 통해 상기 미리 설정된 영역 내에 진입하는 객체가 감지되고 해당 객체가 상기 영역 내에서 미리 설정된 시간 이상 위치하는 경우, 상기 카메라부(110)는 상기 제어부(170)의 제어에 의해 해당 영역 내에 존재하는 객체를 촬영한다.

또한, 상기 카메라부(110)는 상기 처리된 화상 프레임을 상기 제어부(170)에 제공한다.

또한, 상기 카메라부(110)에서 처리된 화상 프레임은 상기 제어부(170)의 제어에 의해 상기 저장부(160)에 저장되거나 상기 통신부(150)를 통해 상기 서버(200)에 전송될 수 있다.

또한, 상기 카메라부(110)는 상기 제어부(170)의 제어에 의해 해당 카메라부(110)의 방향(또는 각도/자세)이 제어된다.

상기 동작 인식 센서(또는 센서부)(120)는 상기 미리 설정된 영역 내에 진입하는(또는 존재하는) 객체를 감지하기 위한 미리 설정된 위치에 설치(또는 배치)한다. 여기서, 상기 동작 인식 센서(120)는 물체의 움직임이나 위치를 인식하는 센서, 지자기 센서(Geomagnetism Sensor), 가속도 센서(Acceleration Sensor), 자이로 센서(Gyro Sensor), 관성 센서(Inertial Sensor), 고도계(Altimeter), 진동 센서 등의 센서를 포함하며, 동작 인식에 관련된 센서들이 추가로 포함될 수 있다.

또한, 상기 동작 인식 센서(120)는 상기 미리 설정된 영역 내에 진입하는(또는 존재하는) 객체를 감지(또는 인식)한다.

또한, 상기 동작 인식 센서(120)는 상기 제어부(170)의 제어에 의해 해당 영역 내에 진입한 후 움직이는(또는 이동하는) 해당 객체의 이동(또는 움직임)을 감지한다. 이러한 영역 내에서의 객체의 이동(또는 움직임)을 감지하기 위해서, 상기 동작 인식 센서(120)가 복수로 구성될 수도 있다.

또한, 상기 동작 인식 센서(120)에 의해 감지되는 정보들은 디지털 신호 처리 과정을 통해 디지털화되어, 상기 디지털화된 정보들이 상기 제어부(170)에 전달된다.

또한, 상기 동작 인식 센서(120)는 상기 안내 장치(100) 내 정보, 상기 안내 장치(100)를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 상기 동작 인식 센서(120)는 근접 센서(proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), 관성 센서(Inertial Sensor), 고도계(Altimeter), 진동 센서, RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라), 마이크로폰(microphone), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 더 포함할 수 있다. 한편, 본 명세서에 개시된 상기 안내 장치(100)는 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.

상기 지향성 스피커(directional speaker)(또는 초지향성 스피커)(130)는 목적으로 하는 방향으로만 소리를 방사하는 지향성을 갖게 한 스피커 시스템으로, 둘 이상의 동일 구경 스피커를 같은 평면상에 배치하여 전체로서 하나의 스피커로서 동작하도록 한 것이다.

또한, 상기 지향성 스피커(130)는 상기 미리 설정된 영역 내에 존재하는(또는 위치하는) 객체에만 음성 정보가 전달될 수 있도록, 상기 안내 장치(100)가 위치하는 쇼핑몰, 백화점, 지하철 등의 다중 편의 시설의 미리 설정된 특정 위치에 설치(또는 배치)한다.

또한, 상기 지향성 스피커(130)는 상기 제어부(170)의 제어에 의해 안내 정보(또는 음성 정보) 및/또는 광고 정보를 출력한다.

상기 지향성 마이크(directional microphone)(또는 초지향성 마이크)(140)는 특정 방향에서 들려오는 좁은 각도의 소리만 선택적으로 녹취할 수 있도록 만든 기다란 모양의 마이크로폰으로, 단일 지향성과 양 지향성이 있다.

또한, 상기 지향성 마이크(140)는 상기 미리 설정된 영역 내에 존재하는(또는 위치하는) 객체로부터 전달되는(출력되는) 음성 정보(또는 소리)를 수신할 수 있도록, 상기 안내 장치(100)가 위치하는 쇼핑몰, 백화점, 지하철 등의 다중 편의 시설의 미리 설정된 특정 위치에 설치(또는 배치)한다.

또한, 상기 지향성 마이크(140)는 상기 영역 내에 존재하는 객체로부터 전달되는 음성 정보를 상기 제어부(170)에 전달한다.

상기 통신부(150)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 이때, 상기 외부의 임의의 단말기는 상기 서버(200) 등을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 상기 통신부(150)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.

또한, 상기 통신부(150)는 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.

또한, 상기 통신부(150)는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 상기 서버(200) 중 적어도 하나와 무선 신호를 송수신한다.

또한, 상기 통신부(150)는 상기 서버(200)로부터 전송되는 안내 정보(또는 음성 정보), 광고 정보 등을 수신한다.

상기 저장부(160)는 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장한다.

또한, 상기 저장부(160)는 상기 안내 장치(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.

즉, 상기 저장부(160)는 상기 안내 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 안내 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는 안내 장치(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 안내 장치(100)상에 존재할 수 있다. 한편, 응용 프로그램은 상기 저장부(160)에 저장되고, 안내 장치(100) 상에 설치되어, 제어부(170)의 제어에 의하여 상기 안내 장치(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.

또한, 상기 저장부(160)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, 안내 장치(100)은 인터넷(internet)상에서 저장부(160)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 상기 웹 스토리지와 관련되어 동작할 수도 있다.

또한, 상기 저장부(160)는 상기 제어부(170)의 제어에 의해 상기 통신부(150)를 통해 수신한 상기 서버(200)로부터 전송된 안내 정보(또는 음성 정보), 광고 정보 등을 저장한다. 이때, 상기 안내 정보, 광고 정보 등은 특정 언어로 제작된 상태일 수 있다.

상기 제어부(170)는 상기 안내 장치(100)의 전반적인 제어 기능을 실행한다.

또한, 상기 제어부(170)는 상기 저장부(160)에 저장된 프로그램 및 데이터를 이용하여 상기 안내 장치(100)의 전반적인 제어 기능을 실행한다. 상기 제어부(170)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 저장부(160)에 액세스하여, 저장부(160)에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 저장부(160)에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.

또한, 상기 미리 설정된 영역(예를 들어 서비스 영역) 내에 진입하는 객체(또는 고객)가 상기 카메라부(110) 및/또는 상기 동작 인식 센서(120)를 통해 감지(또는 인식)되는 경우, 상기 제어부(170)는 상기 미리 설정된 영역 내에 상기 객체가 미리 설정된 시간 이상 머무르는지(또는 위치하는지/존재하는지) 여부를 확인(또는 판단)한다.

즉, 상기 영역 내에 진입하는 객체가 상기 동작 인식 센서(120)를 통해 감지되는 경우, 상기 제어부(170)는 상기 영역 내에 진입하는(또는 존재하는/위치하는) 해당 객체가 미리 설정된 시간 이상 머무르는지(또는 위치하는지/존재하는지) 여부를 확인(또는 판단)한다.

또한, 상기 제어부(170)는 상기 카메라부(110)로부터 실시간으로 획득되는 영상 정보를 분석하고, 상기 분석 결과를 근거로 상기 영역 내에 진입하는 객체의 여부를 확인한다. 또한, 상기 확인 결과, 상기 영역 내에 객체가 진입하는 것으로 확인되는 경우, 상기 제어부(170)는 상기 영역 내에 진입하는(또는 존재하는/위치하는) 해당 객체가 상기 미리 설정된 영역 내에 상기 미리 설정된 시간 이상 머무르는지 여부를 확인한다.

이때, 상기 미리 설정된 영역 내의 미리 설정된 표시 구역(예를 들어 발자국 패턴 등 포함) 내에 상기 객체가 위치하는 경우, 상기 제어부(170)는 상기 객체가 상기 미리 설정된 영역 내에 상기 미리 설정된 시간 이상 머무르는지 여부를 확인할 수도 있다.

확인 결과(또는 판단 결과), 상기 미리 설정된 영역 내에 상기 객체가 미리 설정된 시간 이상 머무르지 않는 경우, 상기 제어부(170)는 해당 객체가 안내 정보를 제공받거나 문의 사항을 전송하는 쌍방향 안내 기능을 수행하지 않는 것으로 판단하며, 대기 상태로 전환한다.

또한, 확인 결과(또는 판단 결과), 상기 미리 설정된 영역 내에 상기 객체가 미리 설정된 시간 이상 머무르는 경우, 상기 제어부(170)는 상기 안내 장치(100)에 포함된 카메라부(110)를 통해 해당 객체를 촬영한다.

즉, 상기 미리 설정된 시간 이상 상기 영역 내에 위치하는(또는 존재하는) 상기 객체가 상기 카메라부(110) 및/또는 상기 동작 인식 센서(120)를 통해 감지(또는 인식)되는 경우, 상기 제어부(170)는 상기 영역 내에 진입하는(또는 존재하는/위치하는) 해당 객체를 촬영하도록 상기 카메라부(110)를 제어할 수도 있다.

이때, 상기 영역 내의 미리 설정된 표시 구역 내에 위치하는(또는 존재하는) 상기 객체가 상기 카메라부(110) 및/또는 상기 동작 인식 센서(120)를 통해 감지(또는 인식)되는 경우, 상기 제어부(170)는 상기 영역 내에 진입하는(또는 존재하는/위치하는) 해당 객체를 촬영하도록 상기 카메라부(110)를 제어할 수도 있다. 여기서, 상기 표시 구역은 해당 영역 내의 미리 설정된 위치에 표시되는 발자국 형태, 원형이나 다각형 등의 형태 등일 수 있다.

또한, 상기 제어부(170)는 상기 카메라부(110)를 통해 촬영된 객체(또는 해당 객체를 포함하는 영상 정보)에서 해당 객체의 발 방향 또는 몸 방향을 확인(또는 인식)한다.

또한, 상기 제어부(170)는 확인된(또는 인식된) 객체의 발 방향 또는 객체의 몸 방향이 미리 설정된 방향별 언어(또는 방향별 안내 언어) 중에서 어떤 언어에 해당하는지 확인한다.

즉, 상기 제어부(170)는 미리 설정된 복수의 안내 언어(또는 방향별 안내 언어) 중에서 상기 확인된 객체의 발 방향 또는 몸 방향에 대응하는 언어(또는 안내 언어)를 확인한다. 이때, 상기 제어부(170)는 상기 미리 설정된 영역 내의 언어 선택의 위한 복수의 영역 중 하나의 영역에 위치하는 상기 객체의 신체 중 일부를 확인(또는 인식)하고, 상기 확인된 복수의 영역 중 하나의 영역에 대응하는 언어를 확인(또는 인식)할 수도 있다.

이와 같이, 상기 제어부(170)는 상기 객체의 발 방향, 몸 방향 등에 의해 객체가 선호하는(또는 안내 받고자 하는) 언어(또는 안내 언어/언어 종류)를 확인할 수 있다.

또한, 이와 같이, 상기 제어부(170)는 상황을 인지하고, 상기 인지된 상황에 따른 제어 기능을 수행할 수 있다.

또한, 상기 제어부(170)는 상기 카메라부(110)를 통해 촬영된 객체(또는 해당 객체를 포함하는 영상 정보)에서 해당 객체의 얼굴을 인식한다. 이때, 상기 제어부(170)는 공지된 얼굴 인식 기술들을 근거로 해당 객체의 얼굴을 인식할 수 있으며, 본 발명에서는 해당 얼굴 인식 기술들에 대한 설명은 생략한다.

또한, 상기 제어부(170)는 상기 인식된 얼굴에 대한 정보(예를 들어 특징 정보(또는 특징점) 등 포함), 상기 인식된 얼굴(또는 상기 인식된 얼굴에 대한 정보)에 대응하여 생성된 단일 코드 정보, 상기 확인된 언어(또는 안내 언어/언어 종류)에 대한 정보, 상기 안내 장치(100)의 고유 식별 정보(또는 상기 안내 장치(100)가 설치된 지역에 대응하는 위치 정보) 등을 상기 통신부(150)를 통해 상기 서버(200)에 전송한다.

또한, 상기 제어부(170)는 상기 전송된 상기 인식된 얼굴에 대한 정보 등에 응답하여 상기 서버(200)로부터 전송되는 해당 객체와 관련한 개인 정보에 대응하는 안내 정보(또는 음성 정보), 광고 정보 등을 수신하도록 상기 통신부(150)를 제어한다. 이때, 상기 개인 정보에 대응하는 안내 정보, 광고 정보 등은 상기 확인된 언어에 대응하는 언어로 제작된 상태일 수 있다.

또한, 상기 제어부(170)는 상기 수신된 안내 정보(또는 음성 정보), 광고 정보 등을 상기 지향성 스피커(130)를 통해 해당 객체(또는 고객)에게만 출력한다.

또한, 상기 제어부(170)는 상기 지향성 마이크(140)를 통해 수신되는(또는 입력되는) 해당 객체의 음성 정보에 대해서 미리 설정된 잡음 제거 기능을 수행하고, 상기 잡음이 제거된 음성 정보를 미리 설정된 신호 처리 기능을 수행하고, 상기 신호 처리된 음성 정보를 상기 통신부(150)를 통해 상기 서버(200)에 전송한다.

이와 같이, 상기 제어부(170)는 상기 지향성 스피커(130) 및/또는 지향성 마이크(140)를 통해 상기 서버(200)와의 쌍방향 음성 정보 송/수신 기능을 수행한다.

또한, 상기 카메라부(110) 및/또는 상기 동작 인식 센서(120)를 통해 상기 미리 설정된 영역 내에 위치하는 해당 객체의 이동(또는 움직임)이 감지되는 경우(또는 해당 영역 내에서 상기 객체가 움직이는 경우), 상기 제어부(170)는 상기 카메라부(110) 및/또는 상기 동작 인식 센서(120)를 통해 감지되는 정보를 근거로 해당 객체의 이동(또는 움직임)을 추종(following)한다.

즉, 상기 제어부(170)는 상기 카메라부(110)를 통해 촬영되는 영상 정보 내의 객체의 이동을 분석한다. 또한, 상기 카메라부(110)를 통해 촬영되는 영상 정보 내에서 객체의 이동이 감지되는 경우, 상기 제어부(170)는 상기 카메라부(110)를 통해 추가로(또는 실시간으로) 촬영되는 영상 정보 내의 객체의 이동을 분석하여, 해당 객체의 이동(또는 움직임)을 확인한다.

또한, 상기 제어부(170)는 상기 동작 인식 센서(120)를 통해 감지되는 영역 내의 객체의 이동을 분석한다. 또한, 상기 동작 인식 센서(120)를 통해 감지되는 영역 내의 객체의 이동이 감지되는 경우, 상기 제어부(170)는 상기 동작 인식 센서(120)를 통해 추가로(또는 실시간으로) 감지되는 정보 내의 객체의 이동을 분석하여, 해당 객체의 이동을 확인한다.

또한, 상기 제어부(170)는 상기 객체의 이동을 근거로(또는 해당 객체의 이동/움직임에 따라) 상기 지향성 스피커(130) 및 상기 지향성 마이크(140)의 방향(또는 각도/자세)을 상기 객체의 이동(또는 움직임)에 대응하도록 제어한다.

즉, 상기 제어부(170)는 상기 객체의 이동을 추종하며, 상기 객체의 이동에 대응하도록 상기 지향성 스피커(130) 및 상기 지향성 마이크(140)의 방향(또는 각도/자세)을 제어한다.

이때, 상기 객체가 상기 미리 설정된 영역 내에서 움직이는 경우 또는, 상기 미리 설정된 영역을 포함하는 유효 영역(예를 들어 상기 미리 설정된 반경 1미터의 영역에 0.5미터가 추가된 반경 1.5 미터의 영역) 내에서 움직이는 경우, 상기 제어부(170)는 상기 객체의 이동을 추종하고, 상기 추종된 객체의 이동에 대응하도록 상기 지향성 스피커(130) 및 상기 지향성 마이크(140)의 방향(또는 각도)을 제어한다.

또한, 상기 객체가 상기 미리 설정된 영역을 포함하는 유효 영역을 벗어나는 경우, 상기 제어부(170)는 상기 객체의 이동 추종을 중단하고, 상기 지향성 스피커(130) 및 상기 지향성 마이크(140)의 방향(또는 각도)을 미리 설정된 초기 위치(또는 방향/각도)로 전환하도록 제어한다. 여기서, 상기 지향성 스피커(130) 및 상기 지향성 마이크(140)의 미리 설정된 초기 위치는 상기 미리 설정된 영역을 지향하는 위치일 수 있다.

또한, 상기 카메라부(110) 및/또는 상기 동작 인식 센서(120)를 통해 상기 미리 설정된 영역 내에 진입하는 객체가 감지되지 않는 경우, 상기 제어부(170)는 상기 지향성 스피커(130)를 통해 상기 서버(200)로부터 전송되는 다른 안내 방송을 출력한다.

이와 같이, 상기 제어부(170)는 상기 미리 설정된 영역인 인바운드 영역 내에 객체(또는 고객)가 존재하는 경우와 존재하지 않는 경우를 인지하여, 영역 내의 고객 존재 여부에 따라 서로 다른 안내 방송을 출력할 수 있다.

또한, 고객이 해당 영역 내에 진입한 후 실제 서버(200)와 통신 기능을 수행하기 전까지의 대기 시간 동안, 상기 제어부(170)는 미리 설정된 또 다른 안내 정보를 상기 지향성 스피커(130)를 통해 출력할 수도 있다.

본 발명에 따른 상기 안내 장치(100)는 상기 제어부(170)의 제어에 의해 상기 저장부(160)에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시하는 표시부(미도시)를 포함할 수 있다. 여기서, 상기 표시부에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 상기 표시부는 터치 스크린 일 수 있다. 이때, 사용자의 터치 제스쳐를 감지하기 위한 터치 센서가 포함될 수 있다. 터치 센서는 정전식이나, 감압식, 압전식 등과 같은 다양한 형태 중 하나일 수 있다. 정전식인 경우 터치 스크린 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 터치 스크린 표면에 터치되었을 때 사용자의 인체로 여기되는 미세 전기를 감지하여 터치 좌표가 산출된다. 감압식인 경우 터치 스크린에 두 개의 전극 판이 내장되며, 사용자가 화면을 터치하면 터치된 위치의 상하 전극 판이 접촉되어 전류가 흐르게 되며, 이러한 전류의 흐름이 감지되어 터치 좌표가 산출된다. 이 외에도, 사용자 장치가 펜 입력 기능을 지원할 수 있으며, 이 경우 사용자의 신체 일부가 아닌 펜과 같은 입력 수단을 활용한 사용자의 제스쳐도 감지될 수 있다. 예로서, 입력 수단이 코일을 내부에 포함하는 스타일러스 펜인 경우, 사용자 장치는 스타일러스 펜 내부의 코일에 의해 변화되는 자기장을 감지하기 위한 자기장 감지 센서를 포함할 수 있다. 이 경우 사용자의 터치 제스쳐 뿐만 아니라 호버링(hovering)과 같은 사용자의 근접 제스쳐도 감지할 수 있다.

또한, 상기 표시부는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나의 형태로 구현될 수 있으며, 이를 위한 구동회로, 백라이트 유닛 등을 함께 포함할 수 있다.

또한, 상기 표시부는 상기 제어부(170)의 제어에 의해 상기 안내 장치(100)의 동작 상태, 상기 카메라부(110)를 통해 촬영되는 영상 정보(또는 해당 객체를 포함하는 영상 정보), 상기 서버(200)로부터 전송되는 안내 정보, 광고 정보 등을 표시한다.

상기 서버(200)는 상기 안내 장치(100) 등과 통신한다.

또한, 상기 서버(200)는 상기 안내 장치(100)에 적용된 카메라부, 동작 인식 센서, 지향성 스피커, 지향성 마이크, 통신부, 저장부, 제어부 등의 구성 요소를 포함할 수 있다.

또한, 상기 서버(200)는 상기 안내 장치(100)로부터 전송되는 상기 인식된 얼굴에 대한 정보(예를 들어 특징 정보(또는 특징점) 등 포함), 상기 인식된 얼굴(또는 상기 인식된 얼굴에 대한 정보)에 대응하여 생성된 단일 코드 정보, 상기 확인된 언어(또는 안내 언어/언어 종류)에 대한 정보, 상기 안내 장치(100)의 고유 식별 정보(또는 상기 안내 장치(100)가 설치된 지역에 대응하는 위치 정보) 등을 수신한다.

또한, 상기 서버(200)는 미리 저장된 얼굴 정보(또는 단일 코드 정보)에 따른 복수의 개인 정보 중에서 상기 수신된 상기 인식된 얼굴에 대한 정보(또는 상기 수신된 단일 코드 정보)에 대응하는 개인 정보를 확인한다. 여기서, 상기 개인 정보는 이름, 주소, 성별, 연령, 이전 상담 내용 등을 포함한다. 이때, 상기 서버(200)는 상기 수신된 언어에 대한 정보를 근거로 상기 개인 정보를 해당 언어로 변환한다.

또한, 상기 서버(200)는 미리 저장된 단일 코드 정보에 따른 복수의 개인 정보 중에서 상기 수신된 단일 코드 정보에 대응하는 개인 정보를 확인한다.

또한, 상기 서버(200)는 상기 안내 장치(100)의 중계 기능에 의해, 상기 확인된 개인 정보를 근거로 상기 감지된 객체와의 쌍방향 통신 기능을 수행한다.

즉, 상기 서버(200)는 상기 확인된 개인 정보를 근거로 상기 개인 정보에 대응하는 안내 정보(또는 음성 정보), 광고 정보 등을 상기 안내 장치(100)에 전송한다. 이때, 상기 안내 장치(100)는 상기 서버(200)로부터 전송되는 안내 정보(또는 음성 정보) 및/또는 광고 정보를 상기 안내 장치(100)에 포함된 지향성 스피커(130)를 통해 해당 객체가 위치한 지역에만 출력할 수 있다. 이때, 상기 서버(200)는 상기 수신된 언어에 대한 정보를 근거로 상기 객체가 희망하는 해당 언어로 상기 안내 정보 및/또는 광고 정보를 상기 안내 장치(100)를 통해 상기 객체에 제공할 수 있다.

또한, 상기 서버(200)는 상기 안내 장치(100)에 포함된 지향성 마이크(140)를 통해 전달되는 해당 객체의 음성 정보를 수신한다.

또한, 상기 서버(200)는 상기 수신된 음성 정보에 대응하는 안내 정보(또는 음성 정보), 광고 정보 등을 상기 안내 장치(100)에 전송한다. 이때, 상기 안내 장치(100)는 상기 서버(200)로부터 전송되는 안내 정보(또는 음성 정보) 및/또는 광고 정보를 상기 안내 장치(100)에 포함된 지향성 스피커(130)를 통해 해당 객체가 위치한 지역에만 출력할 수 있다.

본 발명의 실시예에서는 상기 안내 장치(100)와 상기 서버(200)의 각 기능을 구분하여 설명하고 있으나, 이에 한정되는 것은 아니며, 상기 서버(200)의 모든 기능은 상기 안내 장치(100)에서 수행될 수도 있다.

즉, 상기 안내 장치(100)와 상기 서버(200)가 하나의 단일 장치로 구현될 수도 있다.

이와 같이, 미리 설정된 영역 내에 객체가 진입하는 경우, 해당 영역에 대응하여 설치된 지향성 마이크 및 지향성 스피커를 통해 해당 객체와 정보(또는 음성 정보, 소리 등 포함)를 송/수신할 수 있다.

또한, 이와 같이, 미리 설정된 영역에 진입하는 객체를 인식하고, 객체의 안내 요구 의지를 인식/확인하고, 객체가 선호하는 언어를 인식/확인하고, 인식된 정보를 근거로 해당 객체와 관련한 개인 정보를 확인하고, 확인된 개인 정보를 근거로 해당 객체와의 쌍방향 통신 기능을 수행할 수 있다.

이하에서는 본 발명에 따른 상황 인지 기반 양방향 안내 시스템의 제어 방법을 도 1 내지 도 4를 참조하여 상세히 설명한다.

도 3은 본 발명의 실시예에 따른 상황 인지 기반 양방향 안내 시스템의 제어 방법을 나타낸 흐름도이다.

먼저, 미리 설정된 영역(예를 들어 서비스 영역) 내에 진입하는 객체(또는 고객)가 안내 장치(100)를 통해 감지(또는 인식)되는 경우, 상기 안내 장치(100)는 상기 미리 설정된 영역 내에 상기 객체가 미리 설정된 시간 이상 머무르는지(또는 위치하는지/존재하는지) 여부를 확인(또는 판단)한다.

이때, 상기 미리 설정된 영역 내의 미리 설정된 표시 구역(예를 들어 발자국 패턴 등 포함) 내에 상기 객체가 위치하는 경우, 상기 안내 장치(100)는 상기 객체가 상기 미리 설정된 영역 내에 상기 미리 설정된 시간 이상 머무르는지 여부를 확인할 수도 있다.

일 예로, 도 4에 도시된 바와 같이, 상기 안내 장치(100)를 통해, 쇼핑몰 내의 미리 설정된 반경 1미터 영역(410)의 중앙 부위에 표시된 발자국 패턴(420)에 서 있는 고객(430)이 감지될 때, 상기 안내 장치(100)는 해당 고객(430)이 미리 설정된 시간인 3초 이상 해당 1미터 영역(410)(또는 발자국 패턴(420)) 내에 위치하는지 여부를 확인한다(S310).

확인 결과(또는 판단 결과), 상기 미리 설정된 영역 내에 상기 객체가 미리 설정된 시간 이상 머무르지 않는 경우, 상기 안내 장치(100)는 해당 객체가 안내 정보를 제공받거나 문의 사항을 전송하는 쌍방향 안내 기능을 수행하지 않는 것으로 판단하며, 대기 상태로 전환한다.

일 예로, 상기 도 4에 도시된 해당 고객(430)이 미리 설정된 시간인 3초 이상 해당 1미터 영역(410)(또는 발자국 패턴(420)) 내에 위치하지 않을 때, 상기 안내 장치(100)는 대기 상태로 전환한다(S320).

또한, 확인 결과(또는 판단 결과), 상기 미리 설정된 영역 내에 상기 객체가 미리 설정된 시간 이상 머무르는 경우, 상기 안내 장치(100)는 상기 안내 장치(100)에 포함된 카메라부(110)를 통해 해당 객체를 촬영한다.

일 예로, 상기 도 4에 도시된 해당 고객(430)이 미리 설정된 시간인 3초 이상 해당 1미터 영역(410)(또는 발자국 패턴(420)) 내에 위치할 때, 상기 안내 장치(100)는 해당 고객을 촬영하여, 해당 고객을 포함하는 영상 정보를 획득한다(S330).

이후, 상기 안내 장치(100)는 촬영된 객체를 포함하는 영상 정보에서 해당 객체의 발 방향 또는 몸 방향을 확인(또는 인식)한다.

또한, 상기 안내 장치(100)는 확인된(또는 인식된) 객체의 발 방향 또는 객체의 몸 방향이 미리 설정된 방향별 언어(또는 방향별 안내 언어) 중에서 어떤 언어에 해당하는지 확인한다.

즉, 상기 안내 장치(100)는 미리 설정된 복수의 안내 언어 중에서 상기 확인된 객체의 발 방향 또는 몸 방향에 대응하는 언어(또는 안내 언어)를 확인한다. 이때, 상기 안내 장치(100)는 상기 미리 설정된 영역 내의 언어 선택의 위한 복수의 영역 중 하나의 영역에 위치하는 상기 객체의 신체 중 일부를 확인(또는 인식)하고, 상기 확인된 복수의 영역 중 하나의 영역에 대응하는 언어를 확인(또는 인식)할 수도 있다.

일 예로, 상기 도 4에 도시된 바와 같이, 상기 안내 장치(100)는 상기 객체의 방향이 미리 설정된 방향별 언어(예를 들어 미리 설정된 정면 방향을 기준으로 10시(또는 11시) 방향의 영어, 12시 방향(또는 정면 방향)의 중국어, 2시(또는 1시) 방향의 일본어 중에서 상기 확인된 객체(430)의 몸 방향인 12시 방향(440)에 대응하는 중국어를 확인한다.

이와 같이, 상기 안내 장치(100)는 상기 객체의 발 방향, 몸 방향 등에 의해 객체가 선호하는(또는 안내 받고자 하는) 언어(또는 안내 언어/언어 종류)를 확인할 수 있다(S340).

이후, 상기 안내 장치(100)는 상기 촬영된 객체에서 해당 객체의 얼굴을 인식한다.

또한, 상기 안내 장치(100)는 상기 인식된 얼굴에 대한 정보(예를 들어 특징 정보(또는 특징점) 등 포함), 상기 인식된 얼굴(또는 상기 인식된 얼굴에 대한 정보)에 대응하여 생성된 단일 코드 정보, 상기 확인된 언어(또는 안내 언어/언어 종류)에 대한 정보, 상기 안내 장치(100)의 고유 식별 정보(또는 상기 안내 장치(100)가 설치된 지역에 대응하는 위치 정보) 등을 서버(200)에 전송한다.

일 예로, 상기 안내 장치(100)는 미리 설치된 얼굴 인식 프로그램을 통해 상기 촬영된 영상 정보 내의 고객의 얼굴을 인식한다. 또한, 상기 안내 장치(100)는 상기 인식된 얼굴에 대응하여 '01010001' 과 같은 단일 코드 정보를 생성한다. 또한, 상기 안내 장치(100)는 상기 인식된 얼굴에 대한 정보, 상기 생성된 단일 코드 정보, 상기 확인된 언어(예를 들어 중국어)에 대한 정보, 상기 안내 장치(100)의 고유 식별 정보 등을 상기 서버(200)에 전송한다(S350).

이후, 상기 서버(200)는 상기 안내 장치(100)로부터 전송되는 상기 인식된 얼굴에 대한 정보(예를 들어 특징 정보(또는 특징점) 등 포함), 상기 인식된 얼굴(또는 상기 인식된 얼굴에 대한 정보)에 대응하여 생성된 단일 코드 정보, 상기 확인된 언어(또는 안내 언어/언어 종류)에 대한 정보, 상기 안내 장치(100)의 고유 식별 정보(또는 상기 안내 장치(100)가 설치된 지역에 대응하는 위치 정보) 등을 수신한다.

일 예로, 상기 서버(200)는 미리 저장된 복수의 개인 정보 중에서 상기 인식된 얼굴에 대한 정보에 대응하는 제 1 개인 정보를 확인한다(S360).

이후, 상기 서버(200)는 상기 안내 장치(100)의 중계 기능에 의해, 상기 확인된 개인 정보를 근거로 상기 감지된 객체와의 쌍방향 통신 기능을 수행한다.

즉, 상기 서버(200)는 상기 확인된 개인 정보를 근거로 상기 개인 정보에 대응하는 안내 정보(또는 음성 정보) 및/또는 광고 정보를 상기 안내 장치(100)에 전송한다. 또한, 상기 안내 장치(100)는 상기 서버(200)로부터 전송되는 안내 정보(또는 음성 정보) 및/또는 광고 정보를 상기 안내 장치(100)에 포함된 지향성 스피커(130)를 통해 해당 객체가 위치한 지역에만 출력한다. 이때, 상기 서버(200)는 상기 수신된 언어에 대한 정보를 근거로 상기 객체가 희망하는 해당 언어로 상기 안내 정보 및/또는 광고 정보를 상기 안내 장치(100)를 통해 상기 객체에 제공할 수 있다.

또한, 상기 안내 장치(100)는 상기 안내 장치(100)에 포함된 지향성 마이크(140)를 통해 해당 객체가 출력하는 음성 정보를 수신하고, 상기 수신된 음성 정보에 대해 미리 설정된 신호 처리 기능을 수행한 후, 상기 신호 처리된 음성 정보를 상기 서버(200)에 전송한다. 또한, 상기 서버(200)는 상기 신호 처리된 음성 정보에 대응하는 안내 정보 및/또는 광고 정보를 상기 안내 장치(100)에 전송한다. 또한, 상기 안내 장치(100)는 상기 서버(200)로부터 전송되는 안내 정보(또는 음성 정보) 및/또는 광고 정보를 상기 안내 장치(100)에 포함된 지향성 스피커(130)를 통해 해당 객체가 위치한 지역에만 출력한다.

이와 같이, 상기 안내 장치(100)에 포함된 지향성 스피커(130) 및/또는 지향성 마이크(140)를 통해 상기 서버(200)와 상기 객체 간의 쌍방향 음성 정보 송/수신 기능이 수행될 수 있다.

일 예로, 상기 서버(200)는 상기 확인된 제 1 개인 정보를 근거로 상기 인식된 얼굴의 고객에게 특화된 중국어로 제작된(또는 중국어 자막이 추가된) 제 1 광고 정보(예를 들어 쇼핑몰 내의 화장품 광고 매장에 대한 정보)를 상기 안내 장치(100)에 전송한다. 또한, 상기 안내 장치(100)는 상기 서버(200)로부터 전송되는 제 1 광고 정보를 상기 지향성 스피커(130)를 통해 해당 고객이 위치한 영역에 출력한다.

다른 일 예로, 상기 안내 장치(100)는 해당 고객으로부터 입력되는 중국어 형태의 음성 정보를 상기 지향성 마이크(140)를 통해 수신하고, 상기 수신된 음성 정보에 포함된 잡음(또는 노이즈)을 제거한 후, 미리 설정된 신호 처리 과정을 수행하고, 상기 신호 처리된 음성 정보를 상기 서버(200)에 전송한다. 이후, 상기 서버(200)는 상기 안내 장치(100)로부터 전송되는 해당 고객의 음성 정보에 대응하는 중국어 형태의 제 1 안내 정보를 상기 안내 장치(100)에 전송한다. 또한, 상기 안내 장치(100)는 상기 서버(200)로부터 전송되는 상기 음성 정보에 대응하는 제 1 안내 정보를 상기 지향성 스피커(130)를 통해 해당 고객이 위치한 영역에 출력한다(S370).

이후, 상기 감지 중인 해당 객체가 움직이는(또는 이동하는) 경우, 상기 안내 장치(100)는 해당 객체의 이동(또는 움직임)을 추종한다.

또한, 상기 안내 장치(100)는 상기 객체의 이동에 따라 상기 지향성 스피커(130) 및 상기 지향성 마이크(140)의 방향(또는 각도/자세)을 상기 객체(또는 상기 객체의 이동/움직임)에 대응하도록 제어한다.

일 예로, 상기 감지 중인 고객이 움직일 때, 상기 안내 장치(100)에 포함된 카메라부(110) 및/또는 동작 인식 센서(120)는 상기 고객의 이동을 추종한다. 또한, 상기 안내 장치(100)는 상기 추종된 객체의 이동을 근거로 상기 지향성 스피커(130) 및 상기 지향성 마이크(140)의 방향(또는 각도/자세)을 상기 고객의 이동에 대응하도록 제어한다.

이때, 상기 객체가 상기 미리 설정된 영역 내에서 움직이는 경우 또는, 상기 미리 설정된 영역을 포함하는 유효 영역(예를 들어 상기 미리 설정된 반경 1미터의 영역에 0.5미터가 추가된 반경 1.5 미터의 영역) 내에서 움직이는 경우, 상기 안내 장치(100)는 상기 객체의 이동을 추종하고, 상기 추종된 객체의 이동에 대응하도록 상기 지향성 스피커(130) 및 상기 지향성 마이크(140)의 방향(또는 각도)을 제어한다.

또한, 상기 객체가 상기 미리 설정된 영역을 포함하는 유효 영역을 벗어나는 경우, 상기 안내 장치(100)는 상기 객체의 이동 추종을 중단하고, 상기 지향성 스피커(130) 및 상기 지향성 마이크(140)의 방향(또는 각도)을 미리 설정된 초기 위치(또는 방향/각도)로 전환하도록 제어한다(S380).

본 발명의 실시예에 따른 양방향 안내 시스템 및 그의 제어 방법은 컴퓨터 프로그램으로 작성 가능하며, 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터나 본 발명의 실시예에 따른 안내 장치, 서버 등에 의하여 읽혀지고 실행됨으로써 양방향 안내 시스템 및 그의 제어 방법을 구현할 수 있다.

정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다. 본 발명의 실시예에 따른 양방향 안내 시스템 및 그의 제어 방법을 구현하는 컴퓨터 프로그램은 안내 장치, 서버 등의 내장 메모리에 저장 및 설치될 수 있다. 또는, 본 발명의 실시예에 따른 양방향 안내 시스템 및 그의 제어 방법을 구현하는 컴퓨터 프로그램을 저장 및 설치한 스마트 카드 등의 외장 메모리가 인터페이스를 통해 안내 장치, 서버 등에 장착될 수도 있다.

본 발명의 실시예는 앞서 설명된 바와 같이, 미리 설정된 영역 내에 객체가 진입하는 경우, 해당 영역에 대응하여 설치된 지향성 마이크 및 지향성 스피커를 통해 해당 객체와 정보(또는 음성 정보, 소리 등 포함)를 송/수신하여, 특정 정보를 필요로 하는 해당 객체에만 해당 정보를 제공함에 따른 사용자의 만족도를 높이고, 추가적인 장치 없이도 해당 정보를 제공받을 수 있다.

또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 미리 설정된 영역에 진입하는 객체를 인식하고, 객체의 안내 요구 의지를 인식/확인하고, 객체가 선호하는 언어를 인식/확인하고, 인식된 정보를 근거로 해당 객체와 관련한 개인 정보를 확인하고, 확인된 개인 정보를 근거로 해당 객체와의 쌍방향 통신 기능을 수행하여, 특정 객체에 특화된 정보나 광고를 제공할 수 있다.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명은 미리 설정된 영역 내에 객체가 진입하는 경우, 해당 영역에 대응하여 설치된 지향성 마이크 및 지향성 스피커를 통해 해당 객체와 정보(또는 음성 정보, 소리 등 포함)를 송/수신함으로써, 특정 정보를 필요로 하는 해당 객체에만 해당 정보를 제공함에 따른 사용자의 만족도를 높이고, 추가적인 장치 없이도 해당 정보를 제공받을 수 있는 것으로, 객체 인식 분야, 안내 정보 제공 분야, 단말 분야, 서버 분야 등에서 광범위하게 이용될 수 있다.

10: 상황 인지 기반 양방향 안내 시스템
100: 안내 장치 200: 서버
300: 서버 110: 카메라부
120: 동작 인식 센서 130: 지향성 스피커
140: 지향성 마이크 150: 통신부
160: 저장부 170: 제어부

Claims

지향성 스피커 및 지향성 마이크를 통해 미리 설정된 영역 내에 존재하는 객체에 안내 정보나 광고 정보를 전달하는 상황 인지 기반 양방향 안내 시스템에 있어서,
상기 미리 설정된 영역 내에 진입하는 객체를 감지하는 동작 인식 센서;
상기 미리 설정된 영역 내에 진입하는 상기 객체가 미리 설정된 시간 이상 상기 영역 내에 위치할 때, 상기 객체를 촬영하는 카메라부;
상기 촬영된 객체에서 상기 객체의 발 방향 또는 몸 방향을 인식하고, 상기 인식된 객체의 발 방향 또는 몸 방향에 대응하는 언어를 확인하고, 상기 객체의 얼굴을 인식하는 제어부;
상기 인식된 얼굴에 대한 정보와 상기 인식된 얼굴에 대응하여 생성된 단일 코드 정보와 상기 확인된 언어에 대한 정보와 상기 안내 장치의 고유 식별 정보를 서버에 전송하고, 상기 전송된 인식된 얼굴에 대한 정보에 응답하여 상기 서버로부터 전송되는 상기 확인된 언어의 형태로 제공되는 안내 정보 및 광고 정보 중 적어도 하나를 수신하는 통신부;
상기 제어부의 제어에 의해, 상기 수신된 안내 정보 및 광고 정보 중 적어도 하나를 상기 영역 내에 존재하는 객체를 지향하여 출력하는 지향성 스피커; 및
상기 객체로부터 출력되는 음성 정보를 수신하는 지향성 마이크를 포함하는 상황 인지 기반 양방향 안내 시스템.
제 1 항에 있어서,
상기 제어부는,
미리 설정된 방향별 언어 중에서 상기 인식된 객체의 발 방향 또는 몸 방향에 대응하는 언어를 확인하는 것을 특징으로 하는 상황 인지 기반 양방향 안내 시스템.
제 1 항에 있어서,
상기 제어부는,
상기 지향성 마이크로부터 수신되는 음성 정보에서 잡음을 제거하고, 상기 잡음이 제거된 음성 정보에 대한 신호 처리 과정을 수행하고, 상기 신호 처리된 음성 정보를 상기 통신부를 통해 상기 서버에 전송하며, 상기 전송된 신호 처리된 음성 정보에 응답하여 상기 서버로부터 전송되는 다른 안내 정보 및 다른 광고 정보 중 적어도 하나를 출력하도록 상기 지향성 스피커를 제어하는 것을 특징으로 하는 상황 인지 기반 양방향 안내 시스템.
제 1 항에 있어서,
상기 제어부는,
상기 동작 인식 센서 또는 상기 카메라를 통해, 상기 영역 내에 존재하는 객체의 이동이 감지될 때, 상기 객체의 이동을 추종하고, 상기 객체의 이동에 대응하도록 상기 지향성 스피커 및 상기 지향성 마이크의 방향을 제어하는 것을 특징으로 하는 상황 인지 기반 양방향 안내 시스템.
지향성 스피커 및 지향성 마이크를 통해 미리 설정된 영역 내에 존재하는 객체에 안내 정보나 광고 정보를 전달하는 상황 인지 기반 양방향 안내 시스템에 있어서,
상기 미리 설정된 영역 내에 진입하는 상기 객체를 감지하고 상기 감지된 객체가 미리 설정된 시간 이상 상기 영역 내에 위치할 때, 상기 객체를 촬영하고, 상기 촬영된 객체에서 상기 객체의 발 방향 또는 몸 방향을 인식하고, 상기 인식된 객체의 발 방향 또는 몸 방향에 대응하는 언어를 확인하고, 상기 촬영된 객체의 얼굴을 인식하고, 상기 인식된 얼굴에 대한 정보와 상기 인식된 얼굴에 대응하여 생성된 단일 코드 정보와 상기 확인된 언어에 대한 정보와 상기 안내 장치의 고유 식별 정보를 서버에 전송하고, 상기 전송된 인식된 얼굴에 대한 정보에 응답하여 상기 서버로부터 전송되는 상기 확인된 언어의 형태로 제공되는 제 1 안내 정보 및 제 1 광고 정보 중 적어도 하나를 수신하고, 상기 수신된 제 1 안내 정보 및 제 1 광고 정보 중 적어도 하나를 상기 지향성 스피커를 통해 상기 영역 내에 존재하는 객체를 지향하여 출력하는 안내 장치; 및
미리 저장된 얼굴 정보에 따른 복수의 개인 정보 중에서 상기 안내 장치로부터 전송되는 상기 인식된 얼굴에 대한 정보에 대응하는 상기 확인된 언어의 형태의 개인 정보를 확인하고, 상기 확인된 개인 정보에 대응하는 맞춤형 제 1 안내 정보 및 제 1 광고 정보 중 적어도 하나를 상기 안내 장치에 전송하는 상기 서버를 포함하는 상황 인지 기반 양방향 안내 시스템.
제 5 항에 있어서,
상기 안내 장치는,
상기 지향성 마이크를 통해 상기 객체로부터 전달되는 음성 정보를 수신하고, 상기 음성 정보에서 잡음을 제거하고, 상기 잡음이 제거된 음성 정보에 대한 신호 처리 과정을 수행하고, 상기 신호 처리된 음성 정보를 상기 서버에 전송하며, 상기 전송된 신호 처리된 음성 정보에 응답하여 상기 서버로부터 전송되는 제 2 안내 정보 및 제 2 광고 정보 중 적어도 하나를 상기 지향성 스피커를 통해 상기 영역 내에 존재하는 객체를 지향하여 출력하는 것을 특징으로 하는 상황 인지 기반 양방향 안내 시스템.
제 5 항에 있어서,
상기 안내 장치는,
상기 영역 내에 존재하는 객체의 이동이 감지될 때, 상기 객체의 이동에 대응하도록 상기 지향성 스피커 및 상기 지향성 마이크의 방향을 제어하는 것을 특징으로 하는 상황 인지 기반 양방향 안내 시스템.
지향성 스피커 및 지향성 마이크를 통해 미리 설정된 영역 내에 존재하는 객체에 안내 정보나 광고 정보를 전달하는 상황 인지 기반 양방향 안내 시스템의 제어 방법에 있어서,
제어부를 통해, 카메라부를 통해 촬영되는 영상 정보를 근거로 상기 미리 설정된 영역 내에 진입하는 객체를 감지하는 단계;
상기 카메라부를 통해, 상기 감지된 객체가 상기 미리 설정된 영역 내에서 미리 설정된 시간 이상 머무를 때, 상기 객체를 촬영하는 단계;
상기 제어부를 통해, 상기 촬영된 객체에서 상기 객체의 발 방향 또는 몸 방향을 인식하는 단계;
상기 제어부를 통해, 상기 인식된 객체의 발 방향 또는 몸 방향에 대응하는 언어를 확인하는 단계;
상기 제어부를 통해, 상기 촬영된 객체에서 객체의 얼굴을 인식하는 단계;
통신부를 통해, 상기 인식된 얼굴에 대한 정보, 상기 인식된 얼굴에 대응하여 생성된 단일 코드 정보, 상기 확인된 언어에 대한 정보 및 상기 안내 장치의 고유 식별 정보를 서버에 전송하는 단계;
상기 통신부를 통해, 상기 전송된 인식된 얼굴에 대한 정보에 응답하여 상기 서버로부터 전송되는 상기 확인된 언어의 형태로 제공되는 안내 정보 및 광고 정보 중 적어도 하나를 수신하는 단계; 및
상기 제어부를 통해, 상기 수신된 안내 정보 및 광고 정보 중 적어도 하나를 상기 영역 내에 존재하는 객체를 지향하여 출력하도록 상기 지향성 스피커를 제어하는 단계를 포함하는 상황 인지 기반 양방향 안내 시스템의 제어 방법.
제 8 항에 있어서,
지향성 마이크를 통해, 상기 영역 내에 존재하는 객체로부터 출력되는 음성 정보를 수신하는 단계;
상기 제어부를 통해, 상기 수신된 음성 정보에서 잡음을 제거하고, 상기 잡음이 제거된 음성 정보에 대한 신호 처리 과정을 수행하는 단계;
상기 통신부를 통해, 상기 신호 처리된 음성 정보를 상기 서버에 전송하는 단계;
상기 제어부를 통해, 상기 전송된 신호 처리된 음성 정보에 응답하여 상기 서버로부터 전송되는 다른 안내 정보 및 다른 광고 정보 중 적어도 하나를 상기 영역 내에 존재하는 객체를 지향하여 출력하도록 상기 지향성 스피커를 제어하는 단계; 및
상기 제어부를 통해, 상기 영역 내에 존재하는 객체의 이동이 감지될 때, 상기 객체의 이동에 대응하도록 상기 지향성 스피커 및 상기 지향성 마이크의 방향을 제어하는 단계를 더 포함하는 것을 특징으로 하는 상황 인지 기반 양방향 안내 시스템의 제어 방법.
지향성 스피커 및 지향성 마이크를 통해 미리 설정된 영역 내에 존재하는 객체에 안내 정보나 광고 정보를 전달하는 상황 인지 기반 양방향 안내 시스템의 제어 방법에 있어서,
안내 장치를 통해, 상기 미리 설정된 영역 내에 진입하는 상기 객체를 감지하고 상기 감지된 객체가 미리 설정된 시간 이상 상기 영역 내에 위치할 때, 상기 객체를 촬영하는 단계;
상기 안내 장치를 통해, 상기 촬영된 객체에서 상기 객체의 발 방향 또는 몸 방향을 인식하는 단계;
상기 안내 장치를 통해, 상기 인식된 객체의 발 방향 또는 몸 방향에 대응하는 언어를 확인하는 단계;
상기 안내 장치를 통해, 상기 촬영된 객체의 얼굴을 인식하는 단계;
상기 안내 장치를 통해, 상기 인식된 얼굴에 대한 정보, 상기 인식된 얼굴에 대응하여 생성된 단일 코드 정보, 상기 확인된 언어에 대한 정보 및 상기 안내 장치의 고유 식별 정보를 서버에 전송하는 단계;
상기 서버를 통해, 미리 저장된 얼굴 정보에 따른 복수의 개인 정보 중에서 상기 안내 장치로부터 전송되는 상기 인식된 얼굴에 대한 정보 및 상기 확인된 언어에 대응하는 개인 정보를 확인하는 단계;
상기 서버를 통해, 상기 확인된 개인 정보에 대응하는 맞춤형 제 1 안내 정보 및 제 1 광고 정보 중 적어도 하나를 상기 안내 장치에 전송하는 단계;
상기 안내 장치를 통해, 상기 서버로부터 전송되는 상기 언어의 형태로 제공되는 제 1 안내 정보 및 제 1 광고 정보 중 적어도 하나를 상기 지향성 스피커를 통해 상기 영역 내에 존재하는 객체를 지향하여 출력하는 단계;
상기 안내 장치를 통해, 상기 지향성 마이크를 통해 상기 객체로부터 전달되는 음성 정보를 수신하고, 상기 음성 정보에서 잡음을 제거하고, 상기 잡음이 제거된 음성 정보에 대한 신호 처리 과정을 수행하고, 상기 신호 처리된 음성 정보를 상기 서버에 전송하는 단계;
상기 서버를 통해, 상기 신호 처리된 음성 정보에 응답하여 제 2 안내 정보 및 제 2 광고 정보 중 적어도 하나를 상기 안내 장치에 전송하는 단계; 및
상기 안내 장치를 통해, 상기 제 2 안내 정보 및 제 2 광고 정보 중 적어도 하나를 상기 지향성 스피커를 통해 상기 영역 내에 존재하는 객체를 지향하여 출력하는 단계를 포함하는 상황 인지 기반 양방향 안내 시스템의 제어 방법.