KR102526883B1

KR102526883B1 - 배리어 프리 무인 안내 장치 및 그 제어 방법

Info

Publication number: KR102526883B1
Application number: KR1020220172876A
Authority: KR
Inventors: 최승환
Original assignee: 주식회사 차세대아이씨티융합센터
Priority date: 2022-12-12
Filing date: 2022-12-12
Publication date: 2023-05-02

Abstract

배리어 프리(barrier free) 무인 안내 장치가 개시된다. 본 발명의 무인 안내 장치는 무인 안내 장치의 전방을 촬영하기 위한 카메라, 감지되는 사용자의 액션에 따라, 안내 정보를 출력하기 위한 디스플레이 및, 카메라를 통해 전방에 위치한 사용자를 인식하고, 사용자가 소지하거나 착용한 보행 보조도구, 사용자의 감지된 움직임, 장애인 또는 노약자의 보행 보조도구 및 움직임 특성에 대한 기 학습된 머신러닝(machine learning) 데이터에 기초하여, 사용자가 장애인 또는 노약자인지 여부를 판단하며, 사용자가 장애인 또는 노약자라고 판단되는 경우, 무인 안내 장치의 현재 제1 동작 모드를 디지털 취약 계층 전용의 제2 동작 모드로 전환하는 프로세서를 포함한다.

Description

배리어 프리 무인 안내 장치 및 그 제어 방법 { BARRIER-FREE UNMANNED GUIDANCE DEVICE AND CONTROL METHOD THEREOF }

본 발명은 배리어 프리 무인 안내 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 디지털 취약 계층이 좀 더 편리하고 신속하게 사용할 수 있는 무인 안내 장치 및 그 제어 방법에 관한 것이다.

디지털이 보편화되면서 디지털을 제대로 활용할 수 있는 사람들은 금융서비스, 주문서비스, 관공서 안내서비스 등의 이용에 있어 디지털의 편리함을 누리는 반면, 디지털을 제대로 이용할 수 없는 사람들은 디지털 정보 격차에서 오는 불편함을 느끼는 디지털 소외현상(Digital Exclusion)이 발생되고 있다.

정보격차란, 사회적, 경제적, 지역적 또는 신체적 여건으로 인하여 정보통신서비스에 접근하거나 정보통신서비스를 이용할 수 있는 기회에 차이가 생기는 것을 말한다.

디지털 취약 계층(또는, 디지털 소외 계층)은 정보격차로 디지털 활용 능력 및 수준이 떨어지고, 스마트폰이나 PC 등의 디지털 기기 접근성 등에서 불편함을 느끼는 계층을 말하며, 고령자, 저소득층, 농어민, 장애인 등이 주로 해당된다.

이러한 정보격차는 정보사회의 편익을 향유하기 곤란하게 하며, 정보사회로부터의 배제는 일상생활로부터의 배제로 이어지고, 이는 사회적 불이익, 불평등을 초래함으로써 사회적 비효율 및 디지털 경제의 성장에 장애가 되고 있다.

이러한 문제를 해결하기 위하여, 최근에는 디지털 취약 계층이 편리하게 사용할 수 있는 배리어프리(Barrier Free) 키오스크가 공공기관 등을 시작으로 점차 보편화되고 있다.

배리어프리 키오스크는 시각장애인을 위한 음성 안내 서비스와 맞춤형 키패드, 촉각 디스플레이 등을 활용하여 장애인을 포함한 모든 사람이 편리하게 사용할 수 있도록 한 무인 단말기로, 디지털 취약계층의 무인 단말기에 대한 벽을 허무는 데에 도움이 되고 있다.

그러나, 종래의 배리어프리 키오스크에서는 장애인 또는 노약자가 직접 음성 명령을 입력하기 위한 버튼을 누르거나 장애인 또는 노약자 전용 별도의 모드를 수동으로 선택하여야 하는 불편함이 있었다.

또한, 키오스크 자체의 사용이 매우 어려운 극도의 디지털 취약계층에 있어서는 담당 직원 등이 신속하게 실질적인 도움을 주기 어려운 문제가 있었다.

본 발명은 상술한 문제를 해결하기 위한 것으로, 본 발명의 목적은 모든 디지털 취약 계층에게 좀 더 신속하고 편리하게 실질적인 도움을 줄 수 있는 무인 안내 장치 및 그 제어 방법을 제공하는 데에 있다.

상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 배리어 프리(barrier free) 무인 안내 장치는 상기 무인 안내 장치의 전방을 촬영하기 위한 카메라, 감지되는 사용자의 액션에 따라, 안내 정보를 출력하기 위한 디스플레이 및, 상기 카메라를 통해 전방에 위치한 사용자를 인식하고, 상기 사용자가 소지하거나 착용한 보행 보조도구, 상기 사용자의 감지된 움직임, 장애인 또는 노약자의 보행 보조도구 및 움직임 특성에 대한 기 학습된 머신러닝(machine learning) 데이터에 기초하여, 상기 사용자가 장애인 또는 노약자인지 여부를 판단하며, 상기 사용자가 장애인 또는 노약자라고 판단되는 경우, 상기 무인 안내 장치의 현재 제1 동작 모드를 디지털 취약 계층 전용의 제2 동작 모드로 전환하는 프로세서를 포함한다.

이때, 상기 무인 안내 장치는 음성 출력부를 더 포함하고, 상기 프로세서는 상기 제2 동작 모드에서, 상기 사용자의 액션이 기 설정된 시간 이상 감지되지 않으면, 상기 음성 출력부를 통해 음성 안내를 제공할 수 있다.

또한, 상기 무인 안내 장치는 통신부를 더 포함하고, 상기 프로세서는 상기 제2 동작 모드에서, 상기 사용자의 액션이 기 설정된 시간 이상 감지되지 않으면, 상기 통신부를 통해 담당직원의 단말로 호출 명령을 전송할 수 있다.

또한, 상기 프로세서는 상기 담당직원의 단말로 호출 명령이 전송되는 경우, 상기 사용자가 조작 중인 상기 디스플레이의 화면 정보 및 조작 이력에 대한 정보를 상기 호출 명령과 함께 상기 담당직원의 단말로 전송할 수 있다.

또한, 상기 조작 이력에 대한 정보는 상기 사용자가 인식된 시점 이후로부터 선택된 메뉴에 대한 정보, 디스플레이 상에 터치된 영역에 대한 정보, 상기 사용자가 각 안내 페이지 상에서 머무른 시간에 대한 정보, 상기 사용자가 발화한 음성의 인식 정보 및 상기 사용자의 촬영 영상 정보 중 적어도 하나를 포함할 수 있다.

또한, 상기 프로세서는 상기 무인 안내 장치의 위치로부터 가장 가까운 장소에 위치하는 담당직원의 단말로 상기 호출 명령을 전송할 수 있다.

또한, 상기 프로세서는 상기 담당직원의 단말로부터 기 설정된 시간 이상 응답신호가 수신되지 않거나, 상기 담당직원의 기 저장된 출입 태그 기록으로부터 상기 담당직원이 부재중이라고 판단되는 경우, 상기 무인 안내 장치의 위치로부터 차순위로 가까운 장소에 위치하는 담당직원의 단말로 상기 호출 명령을 전송할 수 있다.

또한, 상기 프로세서는 상기 담당직원의 단말의 현재 위치에 대한 정보를 실시간으로 수신하여 상기 디스플레이를 통해 출력할 수 있다.

또한, 상기 장애인 또는 노약자의 움직임 특성은 동일한 장소를 반복적으로 서성이는 움직임 및 통행로가 아닌 곳으로 보행하는 움직임 중 적어도 하나를 포함할 수 있다.

또한, 상기 보행 보조도구는 선글라스, 지팡이, 휠체어 및 안내보조견 중 적어도 하나를 포함할 수 있다.

한편, 본 발명의 일 실시 예에 따른 배리어 프리 무인 안내 장치의 제어 방법은 카메라를 통해 전방에 위치한 사용자를 인식하는 단계, 상기 사용자가 소지하거나 착용한 보행 보조도구, 상기 카메라를 통해 감지된 상기 사용자의 움직임, 장애인 또는 노약자의 보행 보조도구 및 움직임 특성에 대한 기 학습된 머신러닝 데이터에 기초하여, 상기 사용자가 장애인 또는 노약자인지 여부를 판단하는 단계, 상기 사용자가 장애인 또는 노약자라고 판단되는 경우, 상기 무인 안내 장치의 현재 제1 동작 모드를 디지털 취약 계층 전용의 제2 동작 모드로 전환하는 단계 및, 감지되는 상기 사용자의 액션에 따라, 디스플레이를 통해 안내 정보를 출력하는 단계를 포함한다.

이때, 상기 안내 정보를 출력하는 단계는 상기 제2 동작 모드에서, 상기 사용자의 액션이 기 설정된 시간 이상 감지되지 않으면, 음성 안내를 출력할 수 있다.

또한, 상기 안내 정보를 출력하는 단계는 상기 제2 동작 모드에서, 상기 사용자의 액션이 기 설정된 시간 이상 감지되지 않으면, 담당직원의 단말로 호출 명령을 전송할 수 있다.

또한, 상기 담당직원을 호출하는 단계는 상기 사용자가 조작 중인 상기 디스플레이의 화면 정보 및 조작 이력에 대한 정보가 상기 호출 명령과 함께 상기 담당직원의 단말로 전송될 수 있다.

또한, 상기 담당직원을 호출하는 단계는 상기 무인 안내 장치의 위치로부터 가장 가까운 장소에 위치하는 담당직원의 단말로 상기 호출 명령을 전송할 수 있다.

또한, 상기 담당직원을 호출하는 단계는 상기 담당직원의 단말로부터 기 설정된 시간 이상 응답신호가 수신되지 않거나, 상기 담당직원의 기 저장된 출입 태그 기록으로부터 상기 담당직원이 부재중이라고 판단되는 경우, 상기 무인 안내 장치의 위치로부터 차순위로 가까운 장소에 위치하는 담당직원의 단말로 상기 호출 명령을 전송할 수 있다.

또한, 상기 제어 방법은 상기 담당직원의 단말의 현재 위치에 대한 정보를 실시간으로 수신하여 상기 디스플레이를 통해 출력하는 단계를 더 포함할 수 있다.

이상과 같은 본 발명의 다양한 실시 예에 따르면, 모든 디지털 취약 계층이 무인 안내 장치에 있어서 원하는 정보를 좀 더 신속하고 편리하게 입력하거나 제공받을 수 있게 된다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 무인 안내 장치의 구성을 간략히 도시한 블록도,
도 2a 및 2b는 본 발명의 일 실시 예에 따른 전방의 장애인 또는 노약자를 인식하는 무인 안내 장치를 나타낸 도면
도 3은 본 발명에 따른 장애인 또는 노약자에게 무인 안내 장치의 위치를 안내하는 예를 설명하기 위한 도면,
도 4 및 5는 본 발명의 일 실시 예에 따른 장애인 또는 노약자의 움직임 특성을 학습하는 예를 설명하기 위한 도면
도 6 및 7은 본 발명에 다양한 실시 예에 따른 직원 단말로 호출 명령을 전송하는 방법을 설명하기 위한 도면,
도 8은 본 발명의 일 실시 예에 따른 담당 직원의 출입 태그 기록을 이용하여 호출 명령을 전송할 직원 단말을 설정하는 방법을 설명하기 위한 도면,
도 9는 본 발명의 일 실시 예에 따른 무인 안내 장치의 제어 방법을 간략히 설명하기 위한 흐름도이다.

먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어일 수 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.

또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조 번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명하도록 한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성 요소를 모두 도시하고 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.

또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 '제1', '제2' 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성 요소들을 서로 구별하기 위하여 사용하는 것이며, 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안될 것이다. 일 예로, 이러한 서수와 결합된 구성 요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한 해석되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.

본 명세서에서 단수의 표현은 문맥상 명백하게 다름을 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '구성하다' 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.

이하, 첨부된 도면을 참조하여 본 발명을 더욱 구체적으로 설명하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 무인 안내 장치의 구성을 간략히 도시한 블록도이다.

도 1에 도시된 바와 같이, 본 발명의 무인 안내 장치(100)는 카메라(110), 디스플레이(120), 저장부(130) 및 프로세서(140)를 포함한다.

카메라(110)는 무인 안내 장치(100)의 전방을 촬영하기 위한 구성이다.

카메라(110)는 무인 안내 장치(100)의 전방의 영상 데이터를 촬영하며, 촬영된 광 신호를 전기적 신호로 변환하는 광학 센서와, 광학 센서로부터 촬영되는 아날로그 영상 신호를 디지털 데이터로 변환하는 신호처리부를 구비할 수 있다.

여기서, 광학 센서는 CCD 또는 CMOS 센서 등으로 구현될 수 있으며, 신호처리부는 DSP(Digital Signal Processor)로 구현할 수 있다. 또한, 광학 센서와 신호 처리부는 일체형으로 구현할 수 있으며, 분리하여 구현할 수도 있다.

카메라(110)는 바람직하게는 사용자의 얼굴을 포함한 상반신 또는 전신을 촬영하기 가장 적합하도록 무인 안내 장치(100) 전면의 상단부에 구비될 수 있다.

카메라(110)에서 처리된 화상 프레임은 디스플레이(120)에 표시될 수 있으며, 저장부(130)에 저장될 수 있다.

디스플레이(120)는 사용자에게 안내 정보를 출력하기 위한 구성이다.

구체적으로, 디스플레이(120)는 무인 안내 장치(100)의 전면에 구비될 수 있으며, 감지되는 사용자의 액션에 따라 안내 정보를 다양하게 변경하여 출력할 수 있다.

여기서, 사용자의 액션은 카메라(110)를 통해 감지되는 사용자의 제스처 또는 마이크(미도시)를 통해 입력되는 사용자의 음성을 포함할 수 있다.

또한, 디스플레이(120)가 터치 디스플레이로 구현되는 경우 사용자의 액션은 디스플레이(120)에 대한 터치 동작을 포함할 수 있다.

디스플레이(120)는 프로세서(140)의 제어에 따라 사용자에게 필요한 각종 정보를 표시할 수 있다. 여기서, 각종 정보는 길 안내, 청사 안내, 주문 정보 등을 포함하는 다양한 정보를 포함할 수 있다.

디스플레이(120)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes), 투명 디스플레이(Transparent Display) 및 플렉서블 디스플레이(Flexible Display) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이부(110) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다.

저장부(130)는 무인 안내 장치(100)를 구동하기 위한 다양한 모듈을 저장하는 구성이다.

구체적으로, 저장부(130)는 무인 안내 장치(100)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하는 베이스 모듈, 데이터베이스(DB)나 레지스트리를 관리하는 스토리지 모듈, 보안 모듈, 통신 모듈 등을 저장할 수 있다. 또한, 다양한 레이아웃의 화면을 생성하기 위한 그래픽 처리 모듈, 사용자 식별 정보를 기초로 사용자가 장애인 또는 노약자인지 여부를 식별하기 위한 사용자 식별 모듈, 감지되는 사용자의 움직임에 따른 정보를 처리하기 위한 움직임 처리 모듈 등이 저장될 수 있다.

저장부(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

또한, 무인 안내 장치(100)는 인터넷(internet) 상에서 저장부(130)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작될 수도 있다.

프로세서(140)는 저장부(130)에 저장된 각종 모듈을 이용하여 무인 안내 장치(100)의 전반적인 동작을 제어하는 구성이다.

프로세서(140)는 RAM, ROM, CPU 및 복수의 인터페이스 등을 포함하고, RAM, ROM, CPU 및 복수의 인터페이스는 버스를 통해 서로 연결될 수 있다.

ROM에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. CPU는 저장부(130)에 저장된 각종 어플리케이션 프로그램을 RAM에 복사하고, RAM에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.

CPU는 저장부(130)에 액세스하여, 저장부(130)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, CPU는 저장부(130)에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.

복수의 인터페이스는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.

프로세서(140)는 저장부(130)의 그래픽 처리 모듈을 통해 그래픽 처리를 수행한다. 프로세서(140)는 연산부 및 렌더링부를 이용하여 아이콘 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다.

한편, 프로세서(140)는 카메라(110)를 통해 전방에 위치한 사용자를 인식하여 사용자가 장애인 또는 노약자인지 여부를 판단할 수 있다.

이를 위하여, 프로세서(140)는 장애인 또는 노약자가 소지하거나 착용하는 보행 보조도구 및 장애인 또는 노약자의 시계열적 움직임 특성을 머신러닝(machine learning)을 통해 학습할 수 있다.

이후, 프로세서(140)는 카메라(110)를 통해 획득되는 영상 데이터 내 사용자가 소지하거나 착용한 보행 보조도구 및 사용자의 시계열적 움직임 특성을 머신러닝을 통해 기 학습된 분류 모델을 통해 분류하여 사용자가 장애인 또는 노약자인지 여부를 판단할 수 있다.

이때, 사용자가 장애인 또는 노약자라고 판단되는 경우, 프로세서(140)는 무인 안내 장치(100)의 현재 제1 동작 모드를 디지털 취약 계층 전용의 제2 동작 모드로 전환할 수 있다.

여기서, 제1 동작 모드는 디지털 취약 계층이 아닌 일반 사용자를 위한 인터페이스가 제공되는 모드, 제2 동작 모드는 디지털 취약 계층이 좀 더 편리하게 사용할 수 있도록 특화된 인터페이스가 제공되는 모드일 수 있다.

제2 동작 모드는 글씨, 색상, 메뉴의 구성, 음성 입력을 위한 아이콘 등에 있어서 제1 동작 모드와 차이가 있을 수 있다.

또한, 제2 동작 모드는 장애의 종류, 노약자, 어린이 등 인식을 통해 구별되는 디지털 취약 계층의 종류에 따라 복수로 마련되는 각각의 맞춤형 동작 모드를 포함할 수 있다.

도 2a 및 2b는 본 발명의 일 실시 예에 따른 전방의 장애인 또는 노약자를 인식하는 무인 안내 장치를 나타낸 도면이다.

무인 안내 장치(100)는 카메라(110)를 통해 인식되는 전방의 사용자의 다양한 보행 보조도구를 인식할 수 있다.

도 2a에 도시된 바와 같이, 보행 보조도구는 신체 장애인이 탑승한 휠체어(21) 및 노약자가 소지한 지팡이(22)를 포함할 수 있다.

또한, 도 2b에 도시된 바와 같이, 보행 보조도구는 시각 장애인이 착용한 선글라스(23), 시각 장애인이 소지한 지팡이(24), 시각 장애인 주변의 안내보조견(25) 중 적어도 하나를 포함할 수 있다. 안내보조견(25)의 경우 안내보조견임을 나타내는 안내견 인식 목줄, 조끼, 하네스 또는 장애인 보조견 표지 등을 이용하여 인식할 수 있다.

도 3은 본 발명에 따른 장애인 또는 노약자에게 무인 안내 장치의 위치를 안내하는 예를 설명하기 위한 도면이다.

전방에 촬영되는 사용자가 장애인 또는 노약자라고 판단되는 경우, 프로세서(140)는 무인 안내 장치(100)에 마련된 음성 출력부(150)를 통해 사용자에게 무인 안내 장치(100)의 위치를 안내하는 음성을 출력할 수 있다.

구체적으로, 도 3에 도시된 바와 같이, 프로세서(140)는 카메라(110)를 통해 촬영되는 사용자의 영상 내 방향, 위치 및 크기에 기초하여 사용자가 현재 무인 안내 장치(100)로부터 어느 방향에 얼마만큼 거리만큼 떨어져 있는지를 산출할 수 있다.

이에 따라, 프로세서(140)는 음성 출력부(150)를 통해 "2시 방향으로 20m 오시면 안내시스템이 있습니다"와 같이 무인 안내 장치(100)의 위치로 찾아오도록 안내하는 음성을 출력할 수 있다.

이후, 프로세서(140)는 무인 안내 장치(100)로부터 일정 거리 내 해당 사용자가 접근하면, 무인 안내 장치(100)의 모드를 제1 동작 모드에서 제2 동작 모드로 전환할 수 있다.

제2 동작 모드에서는 장애인 또는 노약자에 특화된 기 설정된 액션(음성 명령, 제스처 등)을 입력받을 수 있다.

그러나, 제2 동작 모드에서도, 사용자의 기 설정된 특정 액션이 일정 시간 이상(예를 들어, 30초, 1분 등) 감지되지 않으면, 음성 출력부(150)를 통해 "원하는 정보를 말씀해주세요"와 같은 음성 안내를 제공할 수 있다.

또한, 프로세서(140)는 사용자가 인식된 시점 이후로부터 메뉴를 선택하지 않거나, 특정 메뉴를 반복적으로 선택하는 경우, 디스플레이(120) 상에 기 설정된 횟수 이상 반복적으로 터치되는 영역이 메뉴가 없는 빈 영역인 경우, 사용자가 특정 안내 페이지 상에서 기 설정된 시간 이상 머무는 경우, 사용자가 발화한 음성 또는 사용자의 촬영 영상 정보로부터 분석되는 사용자의 발화 단어, 제스처 또는 표정으로부터, 사용자가 원하는 정보를 현재 찾지 못한다고 판단되는 경우 등 사용자가 무인 안내 장치(100)의 조작에 어려움을 겪고 있다고 판단되는 상황에 있어서도 마찬가지로 음성 출력부(150)를 통해 음성 안내를 제공할 수 있다.

음성 출력부(150)를 통해 음성 안내가 제공되는 경우, 프로세서(140)는 마이크의 상태를 활성화할 수 있으며, 사용자는 음성 명령을 입력하여 무인 안내 장치(100)의 동작을 제어할 수 있다.

도 4 및 5는 본 발명의 일 실시 예에 따른 장애인 또는 노약자의 움직임 특성을 학습하는 예를 설명하기 위한 도면이다.

도 4에 도시된 바와 같이, 장애인 또는 노약자의 움직임 특성은 장애의 종류 별 고유의 움직임 특성 및 노약자 고유의 움직임 특성을 포함할 수 있으나, 동일한 장소를 반복적으로 서성이는 움직임 특성 및 통행로가 아닌 곳으로 보행하는 움직임 특성을 포함할 수 있다.

예를 들어, 카메라(110)를 통해 인식되는 사용자가 반복적으로 일정 횟수 이상 일정 거리를 왕복하는 움직임이 탐지되는 경우, 프로세서(140)는 사용자가 길을 잃었다고 판단할 수 있다.

또한, 카메라(110)를 통해 인식되는 사용자가 통행로가 아닌 곳으로 보행하거나 기둥 등 장애물이 있는 곳으로 보행하는 움직임이 탐지되는 경우, 프로세서(140)는 사용자가 앞을 잘 볼 수 없거나 길을 잃었다고 판단할 수 있다.

이 경우에도 프로세서(140)는 카메라(110)를 통해 촬영되는 사용자의 영상 내 방향, 위치 및 크기에 기초하여 사용자가 현재 무인 안내 장치(100)로부터 어느 방향에 얼마만큼 거리만큼 떨어져 있는지를 산출하고, 음성 출력부(150)를 통해 무인 안내 장치(100)의 위치로 찾아오도록 안내하는 음성을 출력할 수 있다.

이후, 프로세서(140)는 인식된 사용자가 장애인 또는 노약자라고 판단되는 경우 무인 안내 장치(100)의 동작 모드를 제2 동작 모드로 전환할 수 있다.

한편, 도 5에 도시된 바와 같이, 본 발명의 무인 안내 장치(100)는 네트워크(2000)를 통해 검사 기관 서버(30)로부터 장애인 또는 노약자 고유의 움직임 특성 데이터, 동일한 장소를 반복적으로 서성이는 움직임 특성 및 통행로가 아닌 곳으로 보행하는 움직임 특성 데이터를 획득할 수 있다.

네트워크(2000)는 유선 또는 무선일 수 있다. 네트워크(2000)의 통신 방식은 제한되지 않으며, 네트워크(2000)가 포함할 수 있는 통신망(일례로, 이동통신망, 무선 온라인, 방송망)을 활용하는 통신 방식일 수 있다.

예를 들어, 네트워크(2000)는 WAN(Wide Area Network), MAN(Metropolitan Area Network), LAN(Local Area Network) 중 하나 이상 또는 이들의 결합으로 구성될 수 있다. 또한, 네트워크(2000)는 WLAN(Wireless LAN)(WiFi), Wibro(Wireless broadband) 및/또는 Wimax(World Interoperability for Microwave Access) 등의 무선 인터넷 기술, CDMA(Code Division Multiple Access), GSM(Global System for Mobile communication), LTE(Long Tern Evolution) 및/또는 LTE-Advanced 등의 이동 통신 기술, 및/또는 V2I(Vehicle to Infra) 등의 V2X(Vehicle to Everything) 통신 기술로 구현될 수 있다.

무인 안내 장치(100)는 장애인 또는 노약자의 보행 동작에 따라 좌우 양발로부터 각각 획득된 시계열 관성 데이터로부터 장애인 또는 노약자를 판별할 수 있는 모형을 설계하고, 이를 이용하여 전방의 사용자가 장애인인지 또는 노약자인지 여부 및 길을 잃었는지 여부를 예측할 수 있다.

보행 동작 학습 데이터베이스(300)는 의료기관 등에서 운영하는 의료기관 DB나 공공기관에서 운영하는 공공기관 DB를 포함할 수 있다. 보행 동작 학습 데이터베이스(300)는 공공에 개방되는 보건의료 데이터, 병원 등에 방문한 환장에 관련된 보건의료 데이터 등이 저장될 수 있다. 보행 동작 학습 데이터베이스(300)로부터 장애인, 노약자 및 건강한 사람의 데이터를 획득할 수 있다.

다음으로, 검사 기관 서버(30)는 병원, 공공기관, 연구소, 기업 등 여러 검사기관에서 운용하는 복수의 하위 검사기관 서버(31, 32)를 포함할 수 있다.

각 하위 검사기관 서버(31, 32)에서는 장애인 또는 노약자의 양발에 부착된 관성 센서(51)로부터 관성 데이터를 획득할 수 있다. 관성 데이터는 가속도 데이터 및 각가속도 데이터 등을 포함한다. 구체적으로, 관성 센서(51)는 가속도 센서 및 각가속도 센서를 포함할 수 있으며, 가속도 센서 또는 각가속도 센서를 구분하는 개념이 아닌 하나의 센서 유닛을 나타낼 수도 있다. 가속도 센서는 3차원 상에서 3축 방향의 가속도를 측정하는 센서이고, 각가속도 센서는 3차원 상에서 3축 방향의 각가속도를 측정하는 센서이다.

또한, 하위 검사기관 서버(31, 32)는 관성 센서(51)와 통신 연결되어 데이터를 획득한다. 구체적으로, 각각의 하위 검사기관 서버(31, 32)는 장애인 또는 노약자의 양발에 부착된 각 관성 센서(51)로부터 근거리 무선 통신을 수행할 수 있다. 예를 들어, 블루투스(Bluetooth), 지그비(Zigbee), NFC(Near Field Communication), 와이브리(Wibree) 등으로 근거리 무선 통신할 수 있다. 일례로, 블루투스 방식으로 반경 10~100m 안에서 무선으로 연결하며, 2.45Ghz 주파수를 사용하고, 와이브리 방식으로 2.4 Ghz 대역의 주파수를 사용하며, 10m 정도까지의 거리를 1Mbps의 통신 속도로 무선으로 연결할 수 있다.

그러므로, 관성 센서(51)로부터 근거리 통신 모듈을 이용하여 신뢰성 있는 관성 데이터를 전송받아 네트워크를 통해 각 하위 검사기관 서버(31, 32)에서 원격지에 있는 보행 동작 학습 데이터베이스(300), 무인 안내 장치(100) 등으로 전송할 수 있다. 물론, 관성 센서(51)가 상술하여 설명한 근거리 무선 통신에만 제한되지 않고, 다른 무선 통신 방식을 채택할 수 있음은 당업자에게 자명하다 할 것이다.

무인 안내 장치(100)는 보행 동작에 따라 좌우 양발로부터 각각 획득된 시계열 가속도 데이터 및 시계열 각가속도 데이터를 전처리한 후, 신호 특징들(features)을 추출하고, 추출된 신호 특징들을 학습하고, 이를 기초로 전방의 사용자가 장애인 또는 노약자인지 여부를 판단할 수 있다.

이러한 무인 안내 장치(100)는 보행 동작 학습 데이터베이스(300)를 통합 관제한다. 보행 동작 학습 데이터베이스(300)는 무인 안내 장치(100)에서 보행 동작으로부터 획득할 수 있는 시계열 가속도 및 각가속도 데이터를 이용하여 생성한 신호 특징들(features), 학습 모델들을 저장하고, 관리한다.

이때, 보행 동작 학습 데이터베이스(300)에 저장된 각종 정보 및 데이터의 검색, 관리 등을 용이하게 하기 위해 상기 보행 동작 학습 데이터베이스(300)는 정보의 소스, 특성 등에 따라 무인 안내 장치용 DB, 보건의료 데이터베이스용 DB, 검사기관 서버용 DB 등을 포함할 수 있다. 이러한 보행 동작 학습 데이터베이스(300)는 정보를 저장하기 위한 논리적 또는 물리적인 저장 서버를 의미하며, 예를 들어, 오라클(Oracle) 사의 Oracle DBMS, 마이크로소프트(Microsoft) 사의 MS-SQL DBMS, 사이베이스(Sybase) 사의 SYBASE DBMS 등의 형태일 수 있으나, 이에만 한정되지 않음은 당업자에게 자명하다 할 것이다.

도 6 및 7은 본 발명에 다양한 실시 예에 따른 직원 단말로 호출 명령을 전송하는 방법을 설명하기 위한 도면이다.

도 6에 도시된 바와 같이, 무인 안내 장치(100)의 프로세서(140)는 제2 동작 모드에서, 무인 안내 장치(100)를 제어하기 위한 사용자의 액션이 기 설정된 시간 이상 감지되지 않으면, 특정 담당직원의 직원 단말(200)로 호출 명령을 전송할 수 있다.

또한, 프로세서(140)는 사용자가 인식된 시점 이후로부터 메뉴를 선택하지 않거나, 특정 메뉴를 반복적으로 선택하는 경우, 디스플레이(120) 상에 기 설정된 횟수 이상 반복적으로 터치되는 영역이 메뉴가 없는 빈 영역인 경우, 사용자가 특정 안내 페이지 상에서 기 설정된 시간 이상 머무는 경우, 사용자가 발화한 음성 또는 사용자의 촬영 영상 정보로부터 분석되는 사용자의 발화 단어, 제스처 또는 표정으로부터, 사용자가 원하는 정보를 현재 찾지 못한다고 판단되는 경우 등 사용자가 무인 안내 장치(100)의 조작에 어려움을 겪고 있다고 판단되는 상황에 있어서도 마찬가지로 특정 담당직원의 직원 단말(200)로 호출 명령을 전송할 수 있다.

이를 위하여, 무인 안내 장치(100)는 각 부서 내 담당직원의 직원 단말(200)과 통신을 수행할 수 있는 통신부(160)를 더 포함할 수 있다.

통신부(160)는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EVDO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말 및 직원 단말(200)과 무선 신호를 송수신할 수 있다.

무선 신호는 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

또한, 통신부(160)는 무선 인터넷 기술, 예를 들어, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등의 무선 인터넷 기술에 따라 직원 단말(200)과 데이터를 송수신할 수 있다.

또한, 통신부(160)는 직원 단말(200)과 근거리 통신(short range communication), 예를 들어, 블루투스(Bluetooth?), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나의 근거리 통신을 이용하여 데이터를 송수신할 수도 있다.

호출 명령이 수신된 직원 단말(200)에는 호출 명령이 전송된 무인 안내 장치(100)의 고유 코드 또는 위치 정보가 표시되며, 호출 명령을 수신한 직원 단말(200)을 소지한 담당직원은 곧바로 호출 명령을 전송한 무인 안내 장치(100)의 위치로 이동하여, 담당직원을 호출한 장애인 또는 노약자에게 안내를 제공할 수 있다.

이때, 호출 명령을 수신하는 직원 단말(200)은 무인 안내 장치(100)의 위치로부터 가장 가까운 장소에 위치하는 담당직원의 단말일 수 있다.

예를 들어, 호출 명령을 수신하는 직원 단말(200)은 무인 안내 장치(100)의 위치에서 가장 가까운 자리에 근무 장소가 배치된 담당직원의 단말로서 기 설정되어 있을 수 있으며, 또는 호출 명령이 수신된 시점에 있어서 GPS 등을 통해 무인 안내 장치(100)와 가장 가까운 장소에 위치하는 것으로 판단되는 담당직원의 단말로서 실시간으로 변동될 수 있다.

또한, 호출 명령을 수신하는 직원 단말(200)은 무인 안내 장치(100)에서 감지된 전방의 사용자가 장애인인지 또는 노약자인지, 장애인이라면 감지된 장애의 종류(시각 장애, 팔 또는 다리 등의 신체적 장애, 인지 장애 등), 외국인이라면 감지되는 음성으로 인식되는 언어의 종류에 따라 어느 나라 사람인지 등 서로 다른 디지털 취약 특성에 따라 기 설정된 담당직원의 단말일 수도 있다.

예를 들어, 무인 안내 장치(100)에서 감지된 전방의 사용자가 언어 장애인이라면 수화가 가능한 직원의 직원 단말(200)로 호출 명령이 전송되도록 설정될 수 있으며, 무인 안내 장치(100)에서 감지된 전방의 사용자가 신체 장애인이라면 물리적 힘이 강한 남자 직원의 직원 단말(200)로 호출 명령이 전송되도록 설정될 수 있다. 무인 안내 장치(100)에서 감지된 전방의 사용자가 일본인이라면, 일본어 회화가 가능한 직원의 직원 단말(200)로 호출 명령이 전송되도록 설정될 수 있다.

또한, 프로세서(140)는 호출 명령이 전송되면, 직원 단말(200)과 통신을 수행하여 담당직원의 직원 단말(200)의 현재 위치에 대한 정보를 실시간으로 수신함으로써 호출 명령을 수신한 직원이 무인 안내 장치(100)로 이동하는 경로를 추적하고, 추적되는 담당직원의 현재 위치 정보를 무인 안내 장치(100)의 디스플레이(120)를 통해 출력할 수도 있다.

이에 따라, 사용자가 담당 직원이 오기까지 얼마나 기다려야 하는지 예상할 수 있다.

한편, 본 발명의 다른 실시 예에 따르면, 도 7에 도시된 바와 같이, 프로세서(140)는 담당 직원의 직원 단말(200)로 호출 명령이 전송되는 경우, 사용자가 조작 중인 디스플레이(120)의 화면 정보 및 조작 이력에 대한 정보를 호출 명령과 함께 담당 직원의 직원 단말(200)로 전송할 수도 있다.

이때, 조작 이력에 대한 정보는 사용자가 인식된 시점 이후로부터 선택된 메뉴에 대한 정보, 디스플레이(120) 상에 터치된 영역에 대한 정보, 사용자가 각 안내 페이지 상에서 머무른 시간에 대한 정보, 사용자가 발화한 음성의 인식 정보 및 사용자의 촬영 영상 정보 중 적어도 하나를 포함할 수 있다.

담당 직원의 직원 단말(200)로 현재 조작 중인 디스플레이(120)의 화면 정보 및 조작 이력에 대한 정보가 수신되면, 담당 직원은 화면 정보 및 조작 이력에 대한 정보를 바탕으로, 현재 사용자가 찾고자 하는 정보가 무엇인지 좀 더 쉽게 판단하고, 원격 통신을 통해 사용자에게 안내 정보를 제공할 수 있다.

즉, 사용자가 원하는 정보를 처음부터 담당 직원에게 설명하지 않더라도, 담당직원이 조작 이력에 대한 정보를 바탕으로 사용자가 어떤 메뉴를 선택하면 되는지 미리 예측하여 무인 안내 장치(100)에 마련된 음성 출력부(150) 및/또는 디스플레이(120)를 통해 원격 통화 또는 화상 통화로 안내 정보를 제공해줄 수 있다.

만약, 호출 명령을 수신한 담당직원의 직원 단말(200)로부터 기 설정된 시간 이상 응답신호가 수신되지 않거나, 해당 담당직원의 기 저장된 출입 태그 기록으로부터 해당 담당직원이 부재중이라고 판단되는 경우, 프로세서(140)는 무인 안내 장치(100)의 위치로부터 차순위로 가까운 장소에 위치하는 담당직원의 단말로 호출 명령을 전송할 수도 있다.

구체적으로, 도 8을 참조하면 재실 인원 확인 시스템은 카드 리더기(10), 건물 출입 게이트(20), 출입 통제 서버(400), 수집 서버(500) 및 메인 서버(600)를 포함하여 구성될 수 있다.

출입 통제 서버(400)는 건물 출입 게이트(Gate)(20)와 유선 또는 무선으로 통신 연결되어, 건물 출입 게이트(20)로부터 아이디(ID) 카드의 태깅(Tagging) 정보를 수신할 수 있다.

이때, 출입 통제 서버(400)는 건물 출입 게이트(20)를 출입하는 인원의 ID 카드의 태깅 정보를 수신할 수 있으며, 수신된 ID 카드 태깅 정보를 이용하여 게이트 출입 관련 정보(인사 정보 포함)를 기록한 게이트 출입 로그(Log)를 생성할 수 있다.

또한, 출입 통제 서버(400)는 메인 서버(600)와 유선 또는 무선으로 통신 연결될 수 있으며, 생성된 게이트 출입 로그를 메인 서버(600)에 전송할 수 있다.

카드 리더기(10)는 담당직원의 ID 카드를 리딩(Reading)하고, ID 카드의 리딩 정보로부터 ID 카드를 소유한 담당직원의 신원을 식별할 수 있는 고유 식별 코드를 인식할 수 있다.

참고로, 본 발명의 일 실시 예에서, ID 카드는 사원증 또는 공무원증을 포함하는 개념으로 이해될 수 있으며, 고유 식별 코드는 사원 코드(번호)를 포함하는 개념으로 이해될 수 있다.

카드 리더기(10)는 관리자의 휴대 단말기(예: 스마트폰)에 구비된 NFC 리더기를 포함하여 구성될 수 있다. 여기서, 관리자는 담당직원의 ID 카드를 태깅하는 사람을 가리킬 수 있다.

카드 리더기(10)는 인식된 사원 코드(번호)를 수집 서버(500)에 전달할 수 있다.

수집 서버(500)는 보안 유지 기능을 수행하기 위해 카드 리더기(10) 및 메인 서버(600)와 각각 통신 연결되어 데이터를 중계하는 릴레이 서버로서 기능할 수 있다. 이를 위해, 카드 리더기(10)에는 수집 서버(500)와 무선 통신할 수 있는 무선 통신 모듈(미도시)이 더 구비될 수 있다.

수집 서버(500)는 카드 리더기(10)로부터 고유 식별 코드, 담당직원의 신상 정보 등을 포함하는 재실 인원 정보를 전달받아 수집할 수 있다. 수집 서버(500)는 수집된 재실 인원 정보를 메인 서버(600)로 전송할 수 있다.

메인 서버(600)는 수집 서버(500)로부터 재실 인원 정보를 수신할 수 있다. 메인 서버(600)는 재실 인원 정보를 이용하여 재실 현황 정보를 생성할 수 있다. 메인 서버(600)는 생성된 재실 현황 정보를 카드 리더기(10) 및 무인 안내 장치(100)에 전송할 수 있다.

무인 안내 장치(100)의 프로세서(140)는 출입 태그 기록으로부터 획득된 재실 현황 정보를 이용하여 사용자를 안내하도록 설정된 담당직원이 현재 재실중인지 부재중인지 여부를 판단하고, 부재중인 경우, 기 설정된 재실 중인 제2 담당 직원 또는 실시간으로 가장 가까운 거리에 위치한다고 판단되는 담당 직원의 직원 단말(200)로 호출 명령을 전송할 수 있다.

도 9는 본 발명의 일 실시 예에 따른 무인 안내 장치의 제어 방법을 간략히 설명하기 위한 흐름도이다.

먼저, 제1 동작 모드에서, 카메라를 통해 전방의 사용자를 인식한다(S910).

이후, 기 학습된 머신러닝 데이터에 기초하여, 전방의 사용자가 장애인 또는 노약자인지 여부를 판단한다(S920). 이때, 카메라를 통해 사용자가 소지하거나 착용한 보행 보조도구, 사용자의 움직임을 감지하고, 기 학습된 장애인 또는 노약자의 보행 보조도구 및 움직임 특성과 비교하여 전방의 사용자가 장애인 또는 노약자인지 여부를 판단할 수 있다.

이때, 전방의 사용자가 장애인 또는 노약자라고 판단되는 경우(S930:Y), 제2 동작 모드로 전환한다(S930).

제2 동작 모드에서 사용자의 액션에 따라 디스플레이를 통해 안내 정보를 출력한다(S940).

이후, 안내 정보의 출력이 모두 완료되면, 제1 동작 모드로 전환한다(S950).

만약, 사용자가 장애인 또는 노약자가 아니라고 판단되는 경우에는(S930:N), 제1 동작 모드를 계속 유지한다(S970).

한편, 상술한 다양한 실시 예에 따른 무인 안내 장치의 제어 방법은 프로그램으로 구현되어 다양한 기록 매체에 저장될 수 있다. 즉, 각종 프로세서에 의해 처리되어 상술한 제어 방법을 실행할 수 있는 컴퓨터 프로그램이 기록 매체에 저장된 상태로 사용될 수도 있다.

일 예로, ⅰ) 카메라를 통해 전방에 위치한 사용자를 인식하는 단계, ⅱ) 사용자가 소지하거나 착용한 보행 보조도구, 카메라를 통해 감지된 사용자의 움직임, 장애인 또는 노약자의 보행 보조도구 및 움직임 특성에 대한 기 학습된 머신러닝 데이터에 기초하여, 사용자가 장애인 또는 노약자인지 여부를 판단하는 단계, ⅲ) 사용자가 장애인 또는 노약자라고 판단되는 경우, 무인 안내 장치의 현재 제1 동작 모드를 디지털 취약 계층 전용의 제2 동작 모드로 전환하는 단계 및, ⅳ) 감지되는 사용자의 액션에 따라, 디스플레이를 통해 안내 정보를 출력하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100: 무인 안내 장치 110: 카메라
120: 디스플레이 130: 저장부
140: 프로세서 150: 음성 출력부
200: 직원 단말 300: 특성정보 DB
400: 출입 통제 서버 500: 수집 서버
600: 메인 서버 1000: 네트워크

Claims

배리어 프리(barrier free) 무인 안내 장치에 있어서,
통신부;
상기 무인 안내 장치의 전방을 촬영하기 위한 카메라;
감지되는 사용자의 액션에 따라, 안내 정보를 출력하기 위한 디스플레이; 및
상기 카메라를 통해 전방에 위치한 사용자를 인식하고, 상기 사용자가 소지하거나 착용한 보행 보조도구, 상기 사용자의 감지된 움직임, 장애인 또는 노약자의 보행 보조도구 및 움직임 특성 데이터에 대한 기 학습된 머신러닝(machine learning) 데이터에 기초하여, 상기 사용자가 장애인 또는 노약자인지 여부를 판단하며, 상기 사용자가 장애인 또는 노약자라고 판단되는 경우, 상기 무인 안내 장치의 일반 사용자를 위한 인터페이스가 제공되는 현재 제1 동작 모드를 디지털 취약 계층에 특화된 인터페이스가 제공되는 제2 동작 모드로 전환하는 프로세서;를 포함하고,
상기 프로세서는,
상기 통신부를 통해, 장애인 또는 노약자 고유의 움직임 특성 데이터, 동일한 장소를 반복적으로 서성이는 움직임 특성 데이터 및 통행로가 아닌 곳으로 보행하는 움직임 특성 데이터를 포함하는 상기 움직임 특성 데이터를 검사 기관 서버로부터 획득하는 것을 특징으로 하는 무인 안내 장치.
제1항에 있어서,
음성 출력부;를 더 포함하고,
상기 프로세서는,
상기 제2 동작 모드에서, 상기 사용자의 액션이 기 설정된 시간 이상 감지되지 않으면, 상기 음성 출력부를 통해 음성 안내를 제공하는 것을 특징으로 하는 무인 안내 장치.
제1항에 있어서,
상기 프로세서는,
상기 제2 동작 모드에서, 상기 사용자의 액션이 기 설정된 시간 이상 감지되지 않으면, 상기 통신부를 통해 담당직원의 단말로 호출 명령을 전송하는 것을 특징으로 하는 무인 안내 장치.
제3항에 있어서,
상기 프로세서는,
상기 담당직원의 단말로 호출 명령이 전송되는 경우, 상기 사용자가 조작 중인 상기 디스플레이의 화면 정보 및 조작 이력에 대한 정보를 상기 호출 명령과 함께 상기 담당직원의 단말로 전송하는 것을 특징으로 하는 무인 안내 장치.
제4항에 있어서,
상기 조작 이력에 대한 정보는,
상기 사용자가 인식된 시점 이후로부터 선택된 메뉴에 대한 정보, 디스플레이 상에 터치된 영역에 대한 정보, 상기 사용자가 각 안내 페이지 상에서 머무른 시간에 대한 정보, 상기 사용자가 발화한 음성의 인식 정보 및 상기 사용자의 촬영 영상 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 무인 안내 장치.
제3항에 있어서,
상기 프로세서는,
상기 무인 안내 장치의 위치로부터 가장 가까운 장소에 위치하는 담당직원의 단말로 상기 호출 명령을 전송하는 것을 특징으로 하는 무인 안내 장치.
제6항에 있어서,
상기 프로세서는,
상기 담당직원의 단말로부터 기 설정된 시간 이상 응답신호가 수신되지 않거나, 상기 담당직원의 기 저장된 출입 태그 기록으로부터 상기 담당직원이 부재중이라고 판단되는 경우, 상기 무인 안내 장치의 위치로부터 차순위로 가까운 장소에 위치하는 담당직원의 단말로 상기 호출 명령을 전송하는 것을 특징으로 하는 무인 안내 장치.
제6항 또는 제7항에 있어서,
상기 프로세서는,
상기 담당직원의 단말의 현재 위치에 대한 정보를 실시간으로 수신하여 상기 디스플레이를 통해 출력하는 것을 특징으로 하는 무인 안내 장치.
제1항에 있어서,
상기 장애인 또는 노약자의 움직임 특성은,
동일한 장소를 반복적으로 서성이는 움직임 및 통행로가 아닌 곳으로 보행하는 움직임 중 적어도 하나를 포함하는 것을 특징으로 하는 무인 안내 장치.
제1항에 있어서,
상기 보행 보조도구는,
선글라스, 지팡이, 휠체어 및 안내보조견 중 적어도 하나를 포함하는 것을 특징으로 하는 무인 안내 장치.
배리어 프리 무인 안내 장치의 제어 방법에 있어서,
카메라를 통해 전방에 위치한 사용자를 인식하는 단계;
상기 사용자가 소지하거나 착용한 보행 보조도구, 상기 카메라를 통해 감지된 상기 사용자의 움직임, 장애인 또는 노약자의 보행 보조도구 및 움직임 특성 데이터에 대한 기 학습된 머신러닝 데이터에 기초하여, 상기 사용자가 장애인 또는 노약자인지 여부를 판단하는 단계;
상기 사용자가 장애인 또는 노약자라고 판단되는 경우, 상기 무인 안내 장치의 일반 사용자를 위한 인터페이스가 제공되는 현재 제1 동작 모드를 디지털 취약 계층에 특화된 인터페이스가 제공되는 제2 동작 모드로 전환하는 단계; 및
감지되는 상기 사용자의 액션에 따라, 디스플레이를 통해 안내 정보를 출력하는 단계;를 포함하고,
상기 움직임 특성 데이터는,
검사 기관 서버로부터 획득된, 장애인 또는 노약자 고유의 움직임 특성 데이터, 동일한 장소를 반복적으로 서성이는 움직임 특성 데이터 및 통행로가 아닌 곳으로 보행하는 움직임 특성 데이터를 포함하는 것을 특징으로 하는 제어 방법.
제11항에 있어서,
상기 안내 정보를 출력하는 단계는,
상기 제2 동작 모드에서, 상기 사용자의 액션이 기 설정된 시간 이상 감지되지 않으면, 음성 안내를 출력하는 것을 특징으로 하는 제어 방법.
제11항에 있어서,
상기 안내 정보를 출력하는 단계는,
상기 제2 동작 모드에서, 상기 사용자의 액션이 기 설정된 시간 이상 감지되지 않으면, 담당직원의 단말로 호출 명령을 전송하는 것을 특징으로 하는 제어 방법.
제13항에 있어서,
상기 담당직원을 호출하는 단계는,
상기 사용자가 조작 중인 상기 디스플레이의 화면 정보 및 조작 이력에 대한 정보가 상기 호출 명령과 함께 상기 담당직원의 단말로 전송되는 것을 특징으로 하는 제어 방법.
제14항에 있어서,
상기 조작 이력에 대한 정보는,
상기 사용자가 인식된 시점 이후로부터 선택된 메뉴에 대한 정보, 디스플레이 상에 터치된 영역에 대한 정보, 상기 사용자가 각 안내 페이지 상에서 머무른 시간에 대한 정보, 상기 사용자가 발화한 음성의 인식 정보 및 상기 사용자의 촬영 영상 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
제13항에 있어서,
상기 담당직원을 호출하는 단계는,
상기 무인 안내 장치의 위치로부터 가장 가까운 장소에 위치하는 담당직원의 단말로 상기 호출 명령을 전송하는 것을 특징으로 하는 제어 방법.
제16항에 있어서,
상기 담당직원을 호출하는 단계는,
상기 담당직원의 단말로부터 기 설정된 시간 이상 응답신호가 수신되지 않거나, 상기 담당직원의 기 저장된 출입 태그 기록으로부터 상기 담당직원이 부재중이라고 판단되는 경우, 상기 무인 안내 장치의 위치로부터 차순위로 가까운 장소에 위치하는 담당직원의 단말로 상기 호출 명령을 전송하는 것을 특징으로 하는 제어 방법.
제16항 또는 제17항에 있어서,
상기 담당직원의 단말의 현재 위치에 대한 정보를 실시간으로 수신하여 상기 디스플레이를 통해 출력하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
제11항에 있어서,
상기 장애인 또는 노약자의 움직임 특성은,
동일한 장소를 반복적으로 서성이는 움직임 및 통행로가 아닌 곳으로 보행하는 움직임 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
제11항에 있어서,
상기 보행 보조도구는,
선글라스, 지팡이, 휠체어 및 안내보조견 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
제11항 내지 제20항 중 어느 한 항의 제어 방법을 실행시키는 기록매체에 저장된 컴퓨터 프로그램.