KR102244768B1 - 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조 시스템 및 방법 - Google Patents

Abstract

본 발명은 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇 기반의 청각보조 시스템 및 방법에 관한 것으로서, 보다 상세하게는 스마트 글래스를 통해 노인들의 주변환경을 촬영한 영상정보 및 스마트보청기로부터 수신된 소리정보에 기초하여 도출된 장애물, 지면의 단차와 같은 위험에 대한 알림정보를 제공하고, 목적지로의 길안내를 수행할 수 있는 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇 기반의 청각보조 시스템 및 방법에 관한 것이다.

Description

인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조 시스템 및 방법{System and Method of Hearing Assistant System of Route Guidance Using Chatbot for Care of Elderly Based on Artificial Intelligence}

본 발명은 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇 기반의 청각보조 시스템 및 방법에 관한 것으로서, 보다 상세하게는 스마트 글래스를 통해 노인들의 주변환경을 촬영한 영상정보 및 스마트보청기로부터 수신된 소리정보에 기초하여 도출된 장애물, 지면의 단차와 같은 위험에 대한 알림정보를 제공하고, 목적지로의 길안내를 수행할 수 있는 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇 기반의 청각보조 시스템 및 방법에 관한 것이다.

현대사회에서는 고령화가 가속화되면서 노인 인구 증가에 따른 치매, 독거, 행동장애, 스마트기술 습득 부족 등의 다양한 사회문제가 발생하고 있다.

또한, 노인들은 시각, 청각, 및 균형감각 등의 저하와 신체의 근육의 감소, 골다공증으로 인한 뼈의 약화 등의 신체의 노화로 인해 일상생활의 어려움을 느끼며 보호자의 도움이 필요하지만, 보호자가 늘 옆에서 노인들을 돌보는 것은 현실적으로 많은 어려움이 있다. 또한, 이와 같은 노인들에게는 신체의 노화로 인해 낙상사고가 빈번하게 발생하고 있고, 신체가 약한 노인들에게 이에 대한 후유증이 크게 나타나는 실정이다.

한편, 웨어러블 디바이스 시장의 급속한 확대에 따라 다양한 스마트 기능을 가진 디바이스들이 웨어러블 형태로 적용되어 대중화가 이루어지고 있다. 특히, 스마트 글래스(Smart Glass)는 의료, 국방, 및 보안 등 다양한 분야에 활용될 것으로 예상되고 있다. 스마트 글래스는 가상현실 혹은 증강현실과 결합하여 사용자에게 다양한 정보를 더욱 효과적으로 제공할 수 있고, 스마트 글래스를 통해 실시간으로 부가정보를 갖는 가상세계를 현실세계와 합쳐 하나의 영상으로 표현할 수 있다는 특징이 있다.

한편, 대부분의 스마트 글래스를 이용한 기술들은 특정 정보를 표시하거나 작업자에게 작업현장에서 필요한 정보를 제공하는 기능을 수행하는 형태로 활용되고 있지만, 일상생활 공간에서 수많은 사람과 객체가 등장하고, 행동 및 움직임이 발생하는 영상으로부터 어떤 정보를 어떻게 제공하는지에 대한 시각 정보의 선별 방법은 제공되고 있지 않다.

한편, 특허문헌 1에서는 사용자가 착용하는 스마트글래스와 손가락에 착용하는 적외선 포인터를 통해 사용자의 제스처를 인식하는 기술에 대한 개시가 있으나, 이는 사용자의 제스처를 인식할 수 있을 뿐 상기와 같은 문제점을 해결할 수 없다.

상기와 같은 문제점을 해결하기 위하여 스마트글래스와 같은 웨어러블 디바이스를 사용하여 사용자 주변환경의 위험요소들을 식별하고, 사용자가 위치한 환경의 문턱, 계단, 보도와 도로사이의 단차 등의 보행경로의 지면에서의 높낮이 차이를 식별한 정보를 사용자에게 제공함으로써, 증감한 노인인구의 효율적인 케어가 가능한 환경을 구축하기 위한 기술의 필요가 있었다.

공개특허 10-2009-0120014 (제스처 입력 장치 및 이를 이용한 제스처 인식 방법 및 장치)

본 발명은 스마트 글래스를 통해 노인들의 주변환경을 촬영한 영상정보 및 스마트보청기로부터 수신된 소리정보에 기초하여 도출된 장애물, 지면의 단차와 같은 위험에 대한 알림정보를 제공하고, 목적지로의 길안내를 수행할 수 있는 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇 기반의 청각보조 시스템 및 방법을 제공하는 것을 목적으로 한다.

상기와 같은 과제를 해결하기 위하여, 본 발명에서는, 사용자단말기와 통신을 수행할 수 있고, 사용자가 착용하는 스마트글래스; 및 스마트보청기; 사용자단말기 및 보호자단말기가 접속할 수 있는 서비스서버를 포함하는 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템으로서, 상기 스마트보청기는, 상기 사용자단말기와 통신을 수행하는 통신모듈; 사용자의 심박을 측정하는 심박측정모듈; 외부의 소리정보가 유입되는 마이크부; 상기 외부의 소리정보가 출력되는 제1모드 및 상기 사용자단말기로부터 수신된 정보가 음성형태로 출력되는 제2모드의 동작을 제어하는 제어부;를 포함하고, 상기 스마트글래스는, 상기 스마트글래스 전면에 배치되어 사용자 시점에서의 영상정보를 수집하는 촬영모듈; 적외선을 조사하여 반환되는 신호를 센싱하여 지면과의 거리정보를 도출하는 적외선센서부; 사용자의 움직임신호를 측정하는 움직임센서부; 상기 사용자단말기와 통신을 수행하는 통신모듈; 및 영상 혹은 정보를 디스플레이하는 글래스디스플레이부;를 포함하고, 상기 사용자단말기는 상기 스마트보청기로부터 수신한 상기 음성정보 및 상기 스마트글래스로부터 수신한 상기 영상정보, 상기 거리정보 및 상기 움직임신호를 상기 서비스서버로 송신하고, 상기 서비스서버는, 상기 스마트보청기에 의하여 수집된 소리정보에 기초하여 학습된 인공신경망에 의하여 기설정된 시간구간별 사운드특징정보를 도출하고, 상기 사운드특징정보에 기초하여 사용자의 주변환경에 대한 예측정보를 도출하는 주변환경예측부; 상기 영상정보의 이미지프레임에서 객체를 검출하고, 검출된 객체에 대한 장애물정보를 생성하는 장애물정보생성부; 상기 적외선센서부가 도출한 각각의 상기 거리정보에 기초하여 거리들의 평균값을 산출하고, 상기 평균값이 기설정된 기준을 충족하는지 여부에 따른 단차정보를 도출하는 단차정보생성부; 시간에 따른 X, Y, 및 Z축 방향의 변위량을 포함하는 상기 움직임신호 및 상기 사용자의 심박 중 1 이상에 기초하여 사용자의 낙상상태정보를 포함하는 동작상태정보를 도출하는 상태정보생성부; 상기 장애물정보, 상기 단차정보, 상기 주변환경에 대한 예측정보 및 상기 동작상태정보에 기초하여 상기 스마트보청기, 상기 스마트글래스, 상기 사용자단말기, 혹은 상기 보호자단말기에 제공될 위험알림정보를 생성하는 위험알림정보제공부; 및 사용자단말기로부터 목적지에 대한 입력을 수신하고, 해당 목적지로의 경로정보를 포함하는 길안내정보를 생성하는 길안내정보제공부;를 포함하는, 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템을 제공한다.

본 발명의 일 실시예에서는, 상기 주변환경예측부는, 상기 소리정보에 기초하여 노이즈를 제거하여 전처리소리정보를 도출하는 단계; 상기 전처리소리정보에 기초하여 소리의 세기 및 소리의 인터벌 중 1 이상을 포함하는 사운드특징정보를 도출하는 단계; 및 상기 사운드특징정보에 기초하여 학습된 인공신경망에 의하여 사용자의 주변환경에 존재하는 장애물에 대한 정보를 포함하는 상기 예측정보를 도출하는 단계;를 수행할 수 있다.

본 발명의 일 실시예에서는, 상기 장애물정보생성부는, 상기 영상정보에 기초하여 학습된 인공신경망에 의하여 영상에 포함된 1 이상의 객체를 검출하고, 검출된 객체를 인식하는 객체검출단계; 인식된 객체가 기설정된 장애물기준에 해당하는지 여부를 판별하는 단계; 및 장애물로 판별된 객체에 대한 음성출력정보 및 장애물로 판별된 객체에 대한 디스플레이정보를 포함하는 상기 장애물정보를 생성하는 단계;를 수행할 수 있다.

본 발명의 일 실시예에서는, 상기 영상정보는 복수의 이미지프레임을 포함하고, 상기 객체검출단계에서는, 상기 복수의 이미지프레임 중 기설정된 시간구간에서 기설정된 기준에 부합하는 블러이미지가 기설정된 개수 이상 수집된 경우에, 해당 블러이미지에 포함된 객체가 기설정된 속도 이상으로 움직이는 것으로 판별하고, 상기 장애물정보생성부는 해당 블러이미지에 포함된 객체의 움직임알림정보를 포함하는 장애물정보를 생성할 수 있다.

본 발명의 일 실시예에서는, 상기 적외선센서부는, 3 이상의 적외선센서모듈을 포함하여 각각의 적외선센서모듈이 일정 간격으로 배치되고, 3 이상의 적외선센서모듈은 적외선센서모듈별로 해당 적외선센서모듈 및 해당 적외선센서모듈에서 적외선을 조사하는 지면의 특정 위치간의 거리를 각각 산출할 수 있다.

본 발명의 일 실시예에서는, 상기 단차정보생성부는, 복수의 적외선센서모듈이 도출한 각각의 상기 거리정보에 기초하여 거리들의 평균값을 산출하는 단계; 상기 평균값이 기설정된 제1단차임계기준에 부합하는지 여부를 판별하는 단계; 및 상기 평균값이 기설정된 제1단차임계기준에 부합하지 않는 경우, 상기 단차정보를 도출하는 단계;를 수행할 수 있다.

본 발명의 일 실시예에서는, 상기 상태정보생성부는, 스마트글래스에서 측정된 시간의 따른 X축 방향의 변위량, Y축 방향의 변위량, 및 Z축 방향의 변위량에 기초하여 각각의 변위량이 기설정된 기준에 부합하는지 여부를 판별하는 제1낙상상태판별을 수행하는 단계; 및 상기 제1낙상상태판별을 수행하는 단계에서의 판별결과에 기초하여 사용자의 상기 낙상상태정보를 도출하는 단계;를 수행할 수 있다.

본 발명의 일 실시예에서는, 상기 상태정보생성부는, 상기 제1낙상상태판별을 수행하는 단계에서 낙상으로 판별된 경우에, 사용자단말기에서 측정된 X축 방향의 변위량, Y축 방향의 변위량, 및 Z축 방향의 변위량에 기초하여 각각의 변위량이 기설정된 기준에 부합하는지 여부를 판별하여 사용자의 제2낙상상태판별을 수행하는 단계;를 더 수행하고, 상기 낙상상태정보를 도출하는 단계에서, 상기 제1낙상상태판별을 수행하는 단계 및 상기 제2낙상상태판별을 수행하는 단계에서의 판별결과에 기초하여 사용자의 상기 낙상상태정보를 도출할 수 있다.

본 발명의 일 실시예에서는, 상기 위험알림정보는, 상기 영상정보에 기초하여 장애물로 판별된 객체에 대한 음성출력정보 및 장애물로 판별된 객체에 대한 디스플레이정보; 및 상기 영상정보에서 기설정된 속도 이상으로 움직이는 객체에 대한 움직임알림정보;를 포함하는 상기 장애물정보; 수의 적외선센서모듈이 도출한 거리들의 평균값이 기설정된 제1단차임계기준에 부합하는지 여부에 따른 단차위험에 대한 알림정보; 상기 사용자의 낙상상태에 대한 알림정보;를 포함하고, 상기 위험알림정보제공부는, 상기 장애물정보 및 단차위험에 대한 알림정보를 사용자단말기에 송신하고, 상기 사용자의 낙상상태를 포함하는 동작상태정보를 사용자단말기 및 보호자단말기 중 1 이상에 송신할 수 있다.

본 발명의 일 실시예에서는, 상기 길안내정보제공부는, 사용자단말기로부터 목적지에 대한 입력을 수신하는 단계; 사용자의 현위치정보 및 입력된 목적지에 기초하여 목적지까지의 경로정보를 도출하는 단계; 상기 경로정보에 기초하여 해당 경로에서 예측되는 장애물에 대한 음성출력정보 및 디스플레이정보를 포함하는 경로장애물정보를 도출하는 단계; 및 상기 경로정보 및 상기 경로장애물정보를 포함하는 길안내정보를 상기 스마트글래스에 직접적 혹은 간접적으로 제공하는 단계;를 수행할 수 있다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에서는, 사용자단말기와 통신을 수행할 수 있고, 사용자가 착용하는 스마트글래스; 스마트보청기; 및 사용자단말기 및 보호자단말기가 접속할 수 있는 서비스서버를 포함하는 시스템에서 수행되는 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조서비스를 제공하는 방법으로서, 상기 스마트보청기는, 상기 사용자단말기와 통신을 수행하는 통신모듈; 사용자의 심박을 측정하는 심박측정모듈; 외부의 소리정보가 유입되는 마이크부; 상기 외부의 소리정보가 출력되는 제1모드 및 상기 사용자단말기로부터 수신된 정보가 음성형태로 출력되는 제2모드의 동작을 제어하는 제어부;를 포함하고, 상기 스마트글래스는, 상기 스마트글래스 전면에 배치되어 사용자 시점에서의 영상정보를 수집하는 촬영모듈; 적외선을 조사하여 반환되는 신호를 센싱하여 지면과의 거리정보를 도출하는 적외선센서부; 사용자의 움직임신호를 측정하는 움직임센서부; 상기 사용자단말기와 통신을 수행하는 통신모듈; 영상 혹은 정보를 디스플레이하는 글래스디스플레이부; 및 소리를 출력하는 스피커부;를 포함하고, 상기 사용자단말기에 의하여 상기 스마트보청기로부터 수신한 상기 음성정보 및 상기 스마트글래스로부터 수신한 상기 음성정보, 상기 영상정보, 상기 거리정보 및 상기 움직임신호를 수신하여 상기 서비스서버로 송신하는 단계; 상기 서비스서버에 의하여, 상기 스마트보청기에 의하여 수집된 소리정보에 기초하여 학습된 인공신경망에 의하여 기설정된 시간구간별 사운드특징정보를 도출하고, 상기 사운드특징정보에 기초하여 사용자의 주변환경에 대한 예측정보를 도출하는 주변환경예측단계; 상기 영상정보의 이미지프레임에서 객체를 검출하고, 검출된 객체에 대한 장애물정보를 생성하는 장애물정보생성단계; 상기 적외선센서부가 도출한 각각의 상기 거리정보에 기초하여 거리들의 평균값을 산출하고, 상기 평균값이 기설정된 기준을 충족하는지 여부에 따른 단차정보를 도출하는 단차정보생성단계; 시간에 따른 X, Y, 및 Z축 방향의 변위량을 포함하는 상기 움직임신호 및 상기 사용자의 심박 중 1 이상에 기초하여 사용자의 낙상상태정보를 포함하는 동작상태정보를 도출하는 상태정보생성단계; 상기 장애물정보, 상기 단차정보, 상기 주변환경에 대한 예측정보 및 상기 동작상태정보에 기초하여 상기 스마트보청기, 상기 스마트글래스, 상기 사용자단말기, 혹은 상기 보호자단말기에 제공될 위험알림정보를 생성하는 위험알림정보제공단계; 및 사용자단말기로부터 목적지에 대한 입력을 수신하고, 해당 목적지로의 경로정보를 포함하는 길안내정보를 생성하는 길안내정보제공단계; 및 상기 사용자단말기에 의하여 상기 서비스서버로부터 상기 위험알림정보 및 길안내정보를 수신하여 상기 스마트글래스로 송신하는 단계;를 포함하는, 인공지능에 기반한 시니어 케어를 길안내를 제공하는 챗봇기반의 청각보조서비스를 제공하는 방법을 제공한다.

본 발명의 일 실시예에 따르면, 스마트글래스를 통해 수집한 영상정보를 분석하여 노인의 주변환경의 위험한 장애물을 감지하고, 장애물에 대한 정보를 스마트글래스에 제공하여 노인들의 낙상 및 안전사고를 예방할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 노인의 스마트글래스 착용여부 및 노인의 사용자단말기의 위치를 함께 인식하여 보다 정확하게 노인의 낙상상태를 판별하고, 노인이 낙상상태로 판별되는 경우 노인의 보호자에게 알림을 송신함으로써, 낙상사고에 대해 신속하게 대처할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면 스마트보청기로 유입된 소리정보에 기초하여 주변환경을 예측하고, 예측한 주변환경 정보를 스마트글래스 및 스마트보청기로 제공함으로써 보다 정확한 위험요소들에 대한 정보를 제공하여 노인의 낙상 및 안전사고를 예방할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 스마트글래스의 움직임신호에 기초하여 노인의 낙상상태에 대한 여부를 판별하고 및 스마트보청기에서 측정하는 심박을 통해 스마트보청기의 착용유무를 판별하여, 스마트보청기를 떨어트린 경우에 스마트보청기의 위치를 알려주는 알림음을 출력하여 스마트보청기의 분실을 방지할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 스마트글래스에 구비된 적외선센서부를 이용하여 적외선센서부에서 측정되는 지면과의 거리에 따라 단차를 판별하고 단차위험정보를 제공하여 안전사고를 예방할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 스마트글래스는 적외선센서부의 각도를 조절하는 각도조절부를 구비하여 각도조절부의 회전에 따라 적외선센서부를 회전시켜 지면에 투사되는 적외선의 위치를 조절하여 보다 넓은 범위의 지면의 단차를 판별할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 적외선센서부는 3 이상의 적외선센서모듈을 포함하여 각각의 적외선센서모듈이 각각 지면의 상이한 위치의 따른 거리들을 산출함으로써 복수의 거리에 따라 단차를 판별함으로 보다 정확하게 지면의 단차를 판별할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 스마트글래스로부터 수신된 영상정보의 이미지프레임의 기설정된 기준의 블러이미지에 기초하여 기설정된 속도 이상으로 접근하는 객체에 대한 정보를 판별하고 이를 사용자에게 제공함으로써, 움직이는 장애물에 대한 안전사고를 예방할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 입력된 목적지에 따른 경로정보를 제공하고, 목적지로의 경로에서 예측되는 장애물에 대한 정보를 함께 제공함으로써 노인들이 목적지까지 보다 안전하게 도착할 수 있도록 도움을 줄 수 있는 효과를 발휘할 수 있다.

도 1은 본 발명의 일 실시예에 따른 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇 기반의 청각보조 시스템의 전체적인 형태를 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 스마트글래스의 형태를 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 스마트글래스의 각도조절부의 회전에 따라 적외선센서부가 회전하는 구성을 개략적으로 도시한다.
도 4는 본 발명에 일 실시예에 따른 장애물정보생성부의 동작을 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 장애물정보생성부에 의하여 제공되는 스마트글래스의 화면을 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 스마트글래스를 통해 수집된 영상정보를 예시적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 적외선센서부에서 지면과의 거리를 측정하는 과정을 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 단차정보생성부의 수행 단계를 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 상태정보생성부의 수행 단계를 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 위험알림정보제공부의 동작을 개략적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 길안내정보제공부의 수행 단계를 개략적으로 도시한다.
도 12는 본 발명의 일 실시예에 따른 길안내정보제공부에 의하여 제공되는 스마트글래스의 화면을 개략적으로 도시한다.
도 13은 본 발명의 일 실시예에 따른 주변환경예측부의 수행 단계를 개략적으로 도시한다.
도 14는 본 발명의 일 실시예에 따른 스마트보청기를 개략적으로 도시한다.
도 15는 본 발명의 일 실시예에 따른 스마트보청기를 착용한 사용자의 모습을 개략적으로 도시한다.
도 16은 본 발명의 일 실시예에 따른 상태정보생성부 및 위험알림정보제공부의 수행 단계를 개략적으로 도시한다.
도 17은 본 발명의 일 실시예에 따른 넘어진 상태의 사용자의 모습을 설명하는 도면이다.
도 18은 본 발명의 일 실시예에 따른 컴퓨팅장치를 예시적으로 도시한다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

이하에서 언급되는 "사용자 단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말 등과 같은 모든 종류의 핸드헬드 (Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, "네트워크"는 근거리 통신망(Local Area Network;LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.

도 1은 본 발명의 일 실시예에 따른 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇 기반의 청각보조 시스템의 전체적인 형태를 개략적으로 도시한다.

본 발명의 일 실시예에서는 시니어 케어를 위한 길안내를 제공하는 챗봇 기반의 청각보조 시스템은 스마트글래스(2000), 사용자단말기(3000), 보호자단말기 및 서비스서버(1000)를 포함한다. 도 1의 사용자단말기(3000) 및 보호자단말기는 전술한 사용자 단말에 해당할 수 있고, 상기 서비스서버(1000)는 1 이상의 프로세서 및 1 이상의 메모리를 포함하는 컴퓨팅장치에 해당한다. 본 발명은 시니어 계층의 케어를 위해 고안된 길안내를 제공하는 챗봇 기반의 청각보조 시스템 및 방법에 관한 발명으로서, 상기 사용자는 시니어 계층이 주를 이룰 수 있다. 상기 사용자의 단말기는 이와 같은 시니어, 즉 노인들이 사용하는 단말기임이 바람직하다. 상기 사용자단말기(3000)는 스마트글래스(2000) 및 서비스서버(1000)와 통신하여 스마트글래스(2000)를 통해 수집된 영상정보, 거리정보, 및 움직임신호를 포함하는 글래스수집정보를 서비스서버(1000)로 송신하고, 사용자단말기(3000)는 이를 서비스서버(1000)로 송신할 수 있다. 상기 글래스수집정보는 서비스서버(1000)에서 기설정된 루틴 혹은 알고리즘 및 학습된 인공신경망 등을 이용한 인공지능 기술에 기반하여 분석되어 사물을 인식하고 인식된 사물이 사용자에게 위험한 장애물일 경우 해당 장애물에 대한 정보를 포함하는 위험알림정보를 생성하여 사용자단말기(3000)로 송신하여, 상기 위험알림정보가 스마트글래스(2000) 및 사용자단말기(3000) 중 1 이상에 출력될 수 있도록 한다. 또한, 상기 위험알림정보는 보호자단말기로 송신되어 보호자단말기에서 디스플레이될 수도 있다.

상기 스마트글래스(2000)는, 촬영모듈(2100); 적외선센서부(2200); 통신모듈(2300); 움직임센서부(2400); 글래스디스플레이부(2500); 및 버튼부(2700);를 포함한다. 상기 스마트글래스(2000)는 사용자가 안경을 착용하는 것과 같은 형태로 착용하여 구비된 버튼부(2700)를 통한 사용자의 입력에 따라 내장된 촬영모듈(2100)에 의하여 사용자의 시점에 따라 외부환경, 사물, 및 인물 등을 촬영할 수 있다. 촬영된 영상정보는 통신모듈(2300)에 의하여 사용자단말기(3000)에 송신될 수 있다.

상기 촬영모듈(2100)은 도 2에 도시된 바와 같이, 스마트글래스(2000) 전면에 배치되어 사용자 시점에서의 영상정보를 촬영한다. 사용자는 안경과 유사한 형태의 스마트글래스(2000)를 눈 앞에 착용하고, 구비된 버튼부(2700)를 통한 사용자의 입력에 따라 내장된 촬영모듈(2100)에 의하여 외부환경, 사물, 및 인물 등을 촬영할 수 있다. 영상정보는 스마트글래스(2000)를 착용한 사용자의 주시 방향에 따른 사용자의 시점에서 촬영되어 1 이상의 객체를 포함하는 사용자의 주변환경이 촬영될 수 있다. 이와 같이 촬영모듈(2100)에 의하여 촬영된 영상정보는 통신모듈(2300)에 의하여 사용자단말기(3000)에 송신될 수 있다.

상기 적외선센서부(2200)는, 적외선을 조사하여 반환되는 신호를 센싱하여 지면과의 거리정보를 도출한다. 스마트글래스(2000)의 일 측면에 형성된 적외선센서부(2200)는 바람직하게는, 3 이상의 적외선센서모듈을 포함하고, 3 이상의 적외선센서모듈 각각이 지면의 특정 위치에 적외선을 조사하고, 조사한 적외선이 반환되는 신호를 센싱하여 지면과의 거리정보를 도출할 수 있다.

상기 통신모듈(2300)은, 사용자단말기와 같은 외부와의 통신을 수행할 수 있다.

상기 움직임센서부(2400)는, 가속도센서 및 자이로센서를 포함할 수 있고, 상기 가속도센서는, X, Y, 및 Z축 방향의 가속도정보를 측정하고, 상기 자이로센서는 X, Y, 및 Z축 방향의 각속도정보를 측정할 수 있다. 이와 같이 측정된 가속도정보 및 각속도정보에 기초하여 서비스서버는 각각의 X, Y, 및 Z축의 변위량을 산출하고, 산출된 변위량에 기초하여 사용자의 낙상상태를 판별할 수 있다.

상기 글래스디스플레이부(2500)는 도 2 에 도시된 바와 같이 일반적인 안경의 렌즈의 위치와 상응한 스마트글래스(2000)의 위치에 배치되어 영상 또는 정보를 디스플레이 할 수 있다. 상기 스마트글래스(2000)의 사용자는 글래스디스플레이부(2500)를 통해 디스플레이되는 장애물정보 및 지면의 단차에 대한 정보에 대한 알림정보와 같은 위험정보 및 목적지입력에 따른 길안내정보를 제공받을 수 있고, 상기와 같은 정보가 디스플레이되지 않는 경우에는 글래스디스플레이부(2500)를 통해 외부환경을 바라볼 수 있다.

상기 버튼부(2700)는 사용자의 입력에 따라 스마트글래스(2000)의 동작을 제어한다. 상기 버튼부(2700)는 도 2에 도시된 바와 같이 1 이상의 버튼을 포함할 수 있고, 각각의 버튼은 해당 버튼의 기설정된 기능에 따라 스마트글래스(2000)의 동작을 제어할 수 있다. 본 발명의 일 실시예에 따르면, 상기 버튼부(2700)는 사용자의 입력에 따라 촬영모듈(2100)을 통해 촬영을 실행하는 촬영버튼, 사용자의 입력에 따라 글래스디스플레이부(2500)에 표시되는 화면의 동작을 제어하는 화면제어버튼 중 1 이상을 포함하고, 이에 한정하지 않고, 상황에 따라 사용자가 동작하고자 하는 버튼의 기능을 기설정할 수 있도록 한다.

도 2에서는 상기 스마트글래스(2000)의 형태 및 구성요소들이 도시되었으나 형태 혹은 구성요소들이 배치된 위치들은 도 2에 도시된 형태 및 위치에 한정하지 않고, 다양한 형태를 가질 수 있으며, 구성요소들이 상기 스마트글래스(2000)의 어느 위치든 배치될 수 있다.

상기 스마트보청기(4000)는, 마이크부(4100); 심박측정모듈(4200); 통신모듈(4300); 및 제어부(4400);를 포함한다. 상기 스마트보청기(4000)는 사용자가 이어폰을 착용하는 것과 같은 형태로 착용할 수 있다. 상기 마이크부(4100)를 통해 외부의 소리정보가 유입되고, 사용자 귓바퀴 뒤에 배치되는 보청기몸체부(4800)포함된 심박측정모듈(4200)을 통해 사용자의 심박을 측정할 수 있다. 이와 같은 심박은 사용자단말기(3000)를 통해 서비스서버로 송신되어 사용자의 상태정보를 도출하는데 기초가 될 수 있다. 또한, 스마트보청기(4000)는 사용자단말기(3000)로부터 수신되는 위험알림정보를 수신하여 제공할 수 있고, 소리제공부(4700)를 통해 외부에서 유입된 소리를 보정하여 사용자에게 제공하거나, 상기 위험알림정보를 음성형태로 제공할 수 있다. 상기 제어부(4400)는, 상기 외부의 소리정보가 출력되는 제1모드 및 상기 사용자단말기로부터 수신된 정보가 음성형태로 출력되는 제2모드의 동작을 제어할 수 있다.

상기 스마트글래스(2000)는, 촬영모듈(2100); 적외선센서부(2200); 통신모듈(2300); 움직임센서부(2400); 글래스디스플레이부(2500); 및 버튼부(2700);를 포함한다. 상기 스마트글래스(2000)는 사용자가 안경을 착용하는 것과 같은 형태로 착용하여 구비된 버튼부(2700)를 통한 사용자의 입력에 따라 내장된 촬영모듈(2100)에 의하여 사용자의 시점에 따라 외부환경, 사물, 및 인물 등을 촬영할 수 있다. 촬영된 영상정보는 통신모듈(2300)에 의하여 사용자단말기(3000)에 송신될 수 있다.

상기 사용자단말기(3000)는, 상기 스마트글래스(2000)로부터 영상정보, 거리정보, 및 움직임신호 및 상기 스마트보청기(4000)로부터 수신한 음성정보를 수신하여 서비스서버(1000)로 송신한다. 또한, 상기 사용자단말기(3000)는 서비스서버(1000)에서 영상정보, 거리정보, 음성정보 및 움직임신호에 기초하여 도출되는 위험알림정보 디스플레이할 수 있다. 사용자단말기(3000)에서의 목적지의 입력에 따른 사용자의 현위치에서 목적지로의 경로정보 및 경로장애물정보를 포함하는 길안내정보를 수신하여 사용자단말기(3000) 및 스마트글래스(2000) 중 1 이상을 통해 제공할 수 있다.

상기 서비스서버(1000)는, 장애물정보생성부(1100), 단차정보생성부(1200), 상태정보생성부(1300), 위험알림정보제공부(1400), 길안내정보제공부(1500), 주변환경예측부(1600); 및 DB(1800)를 포함한다.

상기 장애물정보생성부(1100)는, 상기 영상정보의 이미지프레임에서 객체를 검출하고, 검출된 객체에 대한 장애물정보를 생성한다. 바람직하게는, 상기 장애물정보생성부(1100)는, 제1학습된 인공신경망에 의하여 수신한 영상정보로부터 객체를 검출하고, 검출된 객체에 대한 인식을 수행할 수 있다. 바람직하게는, CNN(Convolutional Neural Network, 합성곱 신경망)과 같은 기계학습 알고리즘에 의하여 분석되어 영상정보에 포함된 객체를 식별할 수 있고, 이에 한정되지 않고 다양한 기계학습 알고리즘이 적용될 수도 있다.

상기 단차정보생성부(1200)는, 스마트글래스(2000)의 적외선센서부(2200)가 도출한 각각의 상기 거리정보에 기초하여 거리들의 평균값을 산출하고, 상기 평균값이 기설정된 기준을 충족하는지 여부에 따른 단차정보를 도출한다. 본 발명의 주된 사용자는 노인과 같은 시니어 계층으로서, 노인들은 시각, 청각, 및 균형감각 등의 저하와 신체의 근육의 감소, 골다공증으로 인한 뼈의 약화 등으로 인해 시니어 계층의 낙상사고가 빈번하게 발생하고 있다. 이와 같은 안전사고의 방지를 위하여 본 발명에서는 사용자가 위치한 환경의 문턱, 계단, 보도와 도로사이의 단차 등의 보행경로의 지면에서의 높낮이 차이를 식별하기 위하여 스마트글래스(2000)를 통해 지면과의 거리정보를 측정하고, 이에 기초하여 단차정보를 도출할 수 있다.

상기 상태정보생성부(1300)는, 시간에 따른 X, Y, 및 Z축 방향의 변위량을 포함하는 상기 움직임신호에 기초하여 사용자의 낙상상태정보를 포함하는 동작상태정보를 도출한다. 전술한 바와 같이 스마트글래스(2000)는 움직임센서부(2400)를 포함하고, 움직임센서부(2400)가 측정한 X, Y, 및 Z축의 가속도정보, 및 X, Y, 및 Z축의 각속도정보에 따른 X, Y, 및 Z축 방향의 변위량에 따라 사용자의 동작에 따른 스마트글래스(2000)의 움직임을 측정할 수 있다. 사용자가 넘어진 경우, 스마트글래스(2000)가 벗겨져 땅에 떨어질 수 있고, 이와 같은 변화를 인식하여 사용자의 낙상상태를 판별할 수 있다. 또한, 상태정보생성부(1300)는 사용자의 심박에 기초하여 사용자의 심박에 따른 상태정보를 생성할 수도 있다.

상기 위험알림정보제공부(1400)는, 상기 장애물정보, 상기 단차정보, 및 상기 동작상태정보에 기초하여 상기 스마트글래스(2000), 상기 사용자단말기(3000), 혹은 상기 보호자단말기에 제공될 위험알림정보를 생성할 수 있다. 장애물정보, 단차정보 및 동작상태정보는 기설정된 기준 혹은 사용자의 입력에 따라 스마트글래스(2000)를 통해 제공될 수도 있고, 사용자단말기(3000)를 통해 제공될 수도 있다. 또한 낙상과 같은 사용자의 상태는 사용자에게 도움이 필요하거나 긴박한 상황일 수 있기 때문에 보호자단말기로 송신되어 보다 신속한 조치를 취하는데 도움이 될 수 있도록 한다.

상기 길안내정보제공부(1500)는 사용자단말기(3000)로부터 목적지에 대한 입력을 수신하고, 해당 목적지로의 경로정보를 포함하는 길안내정보를 생성하는 길안내정보제공부(1500)를 포함한다. 사용자단말기(3000)로부터 목적지에 대한 입력이 수신되면 사용자단말기(3000)의 GPS모듈 등의 동작에 의한 사용자의 현위치를 파악하고, 사용자의 현위치로부터 목적지까지의 경로정보를 도출한다. 도출된 경로정보는 경로를 가는 동안의 방향, 소요시간, 도착까지 남은 시간 등이 음성출력정보로 제공될 수 있고, 스마트글래스(2000)에 디스플레이 되는 디스플레이정보도 제공될 수 있다. 바람직하게는, 본 발명의 일 실시예에서는, 스마트글래스(2000)는 마이크부(미도시)를 더 포함하여, 마이크부로부터 사용자의 목적지에 대한 음성입력을 수신하고, 음성입력된 해당 목적지까지의 경로정보 및 해당 경로에 존재하는 장애물에 대한 정보를 스마트글래스(2000)를 통해 제공할 수도 있다.

주변환경예측부(1600)는, 스마트보청기(4000)에 의하여 수집된 소리정보에 기초하여 학습된 인공신경망에 의하여 기설정된 시간구간별 사운드특징정보를 도출하고, 상기 사운드특징정보에 기초하여 사용자의 주변환경에 대한 예측정보를 도출한다. 바람직하게는, 상기 주변환경예측부는 학습된 제2인공신경망 모듈에 의하여 전처리소리정보로부터 각각의 시간구간에서의 소리의 세기, 소리의 속도, 소리의 강도, 및 소리의 인터벌 중 1 이상을 포함하는 사운드특징정보를 도출할 수 있다.

한편, 서비스서버(1000)의 DB(1800)에는, 사용자에 대한 이름, 나이, 사용기록 등을 포함하는 사용자정보, 상기 서비스서버(1000)에 의하여 도출된 장애물정보, 단차정보, 및 낙상상태정보를 포함하는 동작상태정보에 기초하여 도출된 위험알림정보, 지도정보를 포함하는 길안내정보, 학습된 인공신경망 모듈이 저장되어 있을 수 있다. 상기 인공신경망 모듈은 CNN, RNN, 및 LSTM 등의 다양한 인공지능 기술 및/또는 기계학습된 모듈이 적용될 수 있다.

도 2는 본 발명의 일 실시예에 따른 스마트글래스(2000)의 형태를 개략적으로 도시한다.

도 2에 도시된 바와 같이 스마트글래스(2000)는, 프레임부(2001); 상기 프레임부(2001)의 전면에 배치되어 사용자의 주시 방향에 따른 주변환경을 촬영하는 촬영모듈(2100); 상기 프레임부(2001)의 일 측면에 체결되어 사용자의 주시 방향에 따라 적외선을 조사하여 반환되는 신호를 센싱하여 지면과의 거리정보를 도출하는 적외선센서부(2200); 상기 적외선센서부(2200)의 일 측면에 체결되는 제1안경다리부(2030) 및 상기 프레임부(2001)의 타 측면에 체결되는 제2안경다리부(2020)를 포함하는 한 쌍의 안경다리부; 및 상기 제1안경다리부(2030) 및 상기 제2안경다리부(2020)에 체결되는 하우징부(2800)를 포함하고, 상기 하우징부(2800)의 내부 공간에는 상기 스마트글래스(2000)를 제어하는 제어부 및 배터리부가 전기적으로 연결되는 기판부가 배치되고, 상기 프레임부(2001)의 일 측면, 상기 적외선센서부(2200) 및 상기 제1안경다리부(2030) 각각에는 제1관통홀(2002), 제2관통홀(2240), 및 제3관통홀(2005)이 형성되어 있고, 상기 제1관통홀(2002), 상기 제2관통홀(2240) 및 상기 제3관통홀(2005)에 삽입되는 고정막대에 의하여 상기 프레임부(2001)의 일 측면에 상기 적외선 센서부 및 상기 제1안경다리부(2030)가 체결되는 것을 특징으로 할 수 있다.

구체적으로, 상기 스마트글래스(2000)는 안경과 유사한 형태로서, 사용자의 주시 방향에 따라 지면에 형성되어 있는 단차를 판별할 수 있다.

프레임부(2001)는 스마트글래스(2000)의 다양한 구성요소들이 배치되거나, 체결될 수 있도록 하는 구성요소로써, 한 쌍의 글래스디스플레이부(2500)가 체결될 수 있는 한쌍의 상기 글래스디스플레이부(2500)는 시스루(See-through)디스플레이를 활용한 HUD를 통해 사용자에게 정보를 디스플레이하여 제공할 수 도 있고, 정보가 디스플레이 되지 않는 경우에는, 그대로의 현실을 들여다볼 수 있다.

또한, 상기 프레임부(2001)의 내부에는 전기적으로 연결될 수 있도록 배선이 구비되어, 상기 프레임부(2001)에 배치되는 구성요소에 전원을 공급하고, 상기 구성요소와 타 구성요소와의 통신이 이루어질 수 있도록 한다.

상기 촬영모듈(2100)는 프레임부(2001)의 전면에 배치되어, 스마트글래스(2000)를 착용한 저시력자가 촬영 입력을 수행하는 경우에 사용자의 주시 방향에 따라 전방 이미지를 촬영할 수 있다. 촬영모듈(2100)에 의해 촬영된 전방 이미지는 전방에 위치한 1 이상의 객체를 판별하기 위하여 사용되거나, 사용자에게 길안내정보를 제공하는데 기초가 되는 정보로 사용할 수 있다.

한편, 상기 촬영모듈(2100)는 도 1에서 프레임부(2001)의 전면 중앙 상단에 배치되는 것으로 도시되었으나, 이에 한정되지 않고, 촬영모듈(2100)는 프레임부(2001)의 전면 어느 곳에 배치될 수 있으며, 또한 프레임부(2001)의 상면에서 촬영모듈(2100)의 촬영방향이 사용자의 주시 방향과 동일한 방향으로 배치될 수 있다.

스마트글래스(2000)의 각각의 구성요소들의 위치들은 도 2에 도시된 위치에 한정되지 않고 필요에 따라 각각의 다른 위치에 배치될 수 있다.

적외선센서부(2200)는, 사용자가 위치한 지면에 적외선을 조사하여 반환되는 신호를 센싱하여 지면과의 거리정보를 도출한다. 적외선센서부(2200)에 의하여 측정된 거리정보에 기초하여 서비스서버(1000)의 단차정보생성부(1200)는 사용자가 위치한 지면에 있는 단차를 판별할 수 있다. 이를 위해 적외선센서부(2200)는 도 2에 도시된 바와 같이 프레임부(2001)의 일 측면에 체결될 수 있다.

또한, 적외선센서부(2200)는 지면의 특정한 단일 위치에 적외선을 조사하여 특정한 단일 위치와의 거리를 측정할 수 있고,

바람직하게는, 상기 적외선센서부(2200)는, 3 이상의 적외선센서모듈을 포함하여 각각의 적외선센서모듈이 일정 간격으로 배치될 수 있다. 3 이상의 적외선센서모듈은 적외선센서모듈별로 해당 적외선센서모듈 및 해당 적외선센서모듈에서 적외선을 조사하는 지면의 특정 위치간의 거리를 각각 산출할 수 있다. 3 이상의 적외선센서모듈, 즉 제1적외선센서모듈(2210), 제2적외선센서모듈(2220), 및 제3적외선센서모듈(2230)은 사용자가 위치한 지면에 대하여 서로 다른 위치에 적외선을 조사함으로써, 적외선센서부(2200)는 3 이상의 지면의 위치와의 거리들을 측정할 수 있다. 이와 같이 지면의 서로 다른 위치와의 복수의 거리를 측정함으로써 보다 정확하게 지면의 단차를 판별할 수 있는 효과를 발휘할 수 있다.

한 쌍의 안경다리부는 스마트글래스(2000)를 사용자의 양쪽 귀에 걸쳐질 수 있도록 하며, 한 쌍의 안경다리부는 제1안경다리부(2030) 및 제2안경다리부(2020)를 포함한다. 제1안경다리부(2030)는 적외선 센서부의 일 측면에 체결되며 이 때, 적외선센서부(2200)의 타 측면은 프레임부(2001)의 일 측면과 체결될 수 있다. 한편, 제2안경다리부(2020)는 프레임부(2001)의 타 측면에 직접 체결되거나, 혹은 프레임부(2001)의 타 측면에 체결된 초음파센서부(2280)의 일 측면에 체결될 수 있다.

한편, 한 쌍의 안경다리부의 내부에는 전지적으로 연결될 수 있도록 배선이 구비되어 있어 한 쌍의 안경다리부에 배치되거나 체결되는 구성요소 및 프레임부(2001)에 배치되거나 체결되는 구성요소에 전원을 공급하고 각 구성요소 간의 통신이 이루어질 수 있도록 한다. 이를 위하여 한 쌍의 안경다리부의 외부면 끝단에는 하우징부(2800)에 배치되는 제어부 및 배터리부가 연결된 기판부와 전기적으로 연결될 수 있도록 하는 제1연결단자(2030)가 구비될 수 있다. 도 2에서 제1연결단자(2030)는 한 쌍의 안경다리부의 외부면 끝단에 구비되어 있는 것으로 도시되어 있으나, 본 발명의 다른 실시예에서는 제1연결단자(2030)는 한 쌍의 안경다리부의 내부면 끝단에 구비될 수도 있다.

또한, 제1안경다리부(2030) 및/또는 제2안경다리부(2020)에는 스피커부(2600)가 배치되고 스피커부(2600)는 지면에 단차가 존재하는 것으로 판별되는 경우에 도출되는 단차정보를 음성형태로 출력하여 스마트글래스(2000)를 착용한 사용자가 보행 방향의 지면에 단차가 존재하는 것을 인지할 수 있도록 한다.

하우징부(2800)는 스마트글래스(2000)를 제어하는 제어부 및 스마트글래스(2000)에 포함되는 구성요소에 전원을 공급하는 배터리부와 전기적으로 연결되는 기판부가 하우징부(2800)의 내부 공간에 배치됨으로써, 제어부, 배터리부, 및 기판부를 보호할 수 있다.

스마트글래스(2000)의 제어부는 스마트글래스(2000)를 제어하기 위한 명령을 수행하기 위하여 1 이상의 프로세서 및 1 이상의 메모리를 포함할 수 있고, 촬영모듈(2100) 및 적외선센서부(2200)에 생성된 정보에 기초하여 지면의 단차를 판별할 수 있다.

한편, 하우징부(2800)의 후면 즉, 사용자가 스마트글래스(2000)를 착용함에 따라 사용자의 뒤통수와 접촉하는 부분은 패브릭이나 실리콘 소재와 같이 착용감을 향상시킬 수 있는 소재가 부착될 수 있다. 또한, 하우징부(2800)는 한 쌍의 제2연결단자(2810)가 구비되어 있어 제1안경다리부(2030) 및 제2안경다리부(2020)에 구비된 한 쌍의 제1연결단자(2030) 각각과 전기적으로 연결됨으로써 기판부와 타 구성요소가 전기적으로 연결될 수 있다.

또한, 하우징부(2800)의 구성은 제어부, 배터리부, 및 기판부를 보호하기 위한 것은 물론이고, 제어부, 배터리부, 및 기판부가 프레임부(2001) 또는 한 쌍의 안경다리부에 배치되는 경우에 스마트글래스(2000)의 무게중심이 앞으로 형성되어 사용자가 착용하는데 어려운 문제가 발생할 수 있으므로, 한 쌍의 안경다리부의 끝단에 하우징부(2800)가 연결되도록 하여 무게중심이 앞으로 형성되는 것을 방지할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에서는 상기 기판부에는 통신모듈(2300)이 전기적으로 연결될 수 있고, 통신모듈(2300)을 통해 사용자단말기(3000)와 통신을 수행할 수 있다.

한편, 제1안경다리부(2030)의 측면에는 적외선센서부(2200)가 소정의 각도로 회전하는 것을 조절하는 각도조절부(2930)가 배치될 수 있다. 각도조절부(2930)는 후술하는 고정막대의 일단에 체결됨으로써, 각도조절부(2930)를 사용자가 회전시키는 경우에 고정막대에 체결된 적외선센서부(2200)가 회전되어 지면과의 일정한 각도를 가진 상태로 적외선을 투사할 수 있도록 한다.

또한, 각도조절부(2930)는 사용자로 하여금 적외선센서부(2200)가 회전되는 정도를 인지할 수 있도록 하는 각도지시막대(2910) 및 적외선센서부(2200)에서 거리를 측정하도록 하는 제1스위치부(2920)를 포함하고, 이에 대해서는 도 3에서 더욱 상세하게 설명하도록 한다.

초음파센서부(2280)는 프레임부(2001)의 타 측면에 체결되어 사용자의 주시 방향에 따라 초음파를 조사하여 지면과의 거리를 파악할 수 있도록 한다. 초음파센서부(2280)를 통해 측정된 거리정보는 적외선센서부(2200)에서 측정한 거리정보와 함께 지면의 단차를 판별하는데 기초가 되는 정보로 사용될 수 있다.

한편, 본 발명의 다른 실시예에서는, 스마트글래스(2000)는 초음파센서부(2280)를 대체하여 레이저를 조사하여 거리를 측정하는 레이더센서부 등과 같이 적외선센싱 방식과는 다른 방식으로 거리를 측정할 수 있는 1 이상의 센서를 포함할 수 있다.

또한, 스마트글래스(2000)는 1 이상의 버튼부(2700)를 더 포함할 수도 있다. 상기 1 이상의 버튼부(2700)는 적외선선센서부에서 거리를 측정하도록 하는 명령을 입력할 수 있는 제1스위치부(2920)와 별도로 스마트글래서에서의 다양한 명령을 입력할 수 있다. 예를 들어, 사용자가 버튼부(2700)에 대하여 입력을 수행함에 따라 촬영모듈(2100)은 사용자 시점에서의 전방의 영상을 촬영할 수 있다.

한편, 1 이상의 버튼부(2700)는 도 2에 도시된 바와 같이 프레임부(2001)의 상면 좌측에 배치되는 것으로 한정되는 것이 아니라 사용자가 입력을 수행하기 용이한 다양한 위치에 배치될 수도 있다.

이와 같은 구성으로 인하여, 본 발명의 일 실시예에서는 스마트글래스(2000)를 통해 사용자는 주시 방향의 지면에 단차가 있는지를 인지할 수 있으며, 스마트글래스(2000)는 적외선센서부(2200)에서 측정한 거리정보에 따라 지면의 단차를 판별하고, 적외선센서부(2200)에서 보다 효과적으로 거리를 측정하기 위하여 각도조절부(2930)를 구비하여 적외선센서부(2200)의 각도를 조절하여 지면에 상이한 각도로 적외선을 조사하여 보다 효과적으로 거리정보를 생성할 수 있다.

이하에서는, 각도조절부(2930)의 동작에 대해 보다 자세하게 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따른 스마트글래스(2000)의 각도조절부(2930)의 회전에 따라 적외선센서부(2200)가 회전하는 구성을 개략적으로 도시한다.

도 3에 도시된 바와 같이 스마트글래스(2000)의 고정막대의 일 단에는 각도조절부(2930)가 체결되어 각도조절부(2930)의 회전 방향에 상응하여 적외선센서부(2200)가 회전하고 각도조절부(2930)에는 각도지시막대(2910)가 배치되어 각도조절부(2930)의 회전에 따라 각도지시막대(2910)는 각도조절부(2930)의 회전각도를 지시할 수 있다.

구체적으로, 도 3의 (a)에 도시된 바와 같이, 프레임부(2001)의 일 측면, 적외선센서부(2200) 및 제1안경다리부(2030)가 순서대로 체결되기 위하여 스마트글래스(2000)는 고정막대를 더 포함하고, 상기 고정막대는 프레임부(2001)의 일 측면, 적외선센서부(2200) 및 제1안경다리부(2030) 각각에 형성되어 있는 제1관통홀(2002), 제2관통홀(2240), 및 제3관통홀(2005)에 삽입됨으로써 프레임부(2001)의 일 측면, 적외선센서부(2200) 및 제1안경다리부(2030)가 상호 체결될 수 있다.

프레임부(2001)의 일 측면, 적외선센서부(2200) 및 제1안경다리부(2030)가 고정막대에 의해 상호 체결됨에 따라 프레임부(2001)의 일 측면에 구비된 제1접속단자(2003, 2004)및 적외선센서부(2200)의 일 측면에 구비된 제2접속단자가 전기적으로 접촉되고 적외선센서부(2200)의 타 측면에 구비된 제2접속단자(2251,2252) 및 제1안경다리부(2030)의 내측면에 구비된 제3접속단자가 전기적으로 접촉될 수 있다.

한편, 프레임부(2001)의 일 측면, 적외선센서부(2200), 및 제1안경다리부(2030) 각각은 제1관통홀(2002), 제2관통홀(2240), 및 제3관통홀(2005)이 형성되어 있고, 고정막대는 제1관통홀(2002), 제2관통홀(2240), 및 제3관통홀(2005)에 삽입되어 프레임부(2001)의 일 측면, 적외선센서부(2200), 및 제1안경다리부(2030)가 순서대로 체결될 수 있도록 한다. 또한, 고정막대의 일 단에는 각도조절부(2930)가 배치되며 각도조절부(2930)는 적외선센서부(2200)의 회전 각도를 조절하는 것과 동시에 고정막대가 수평방향으로 움직이는 것을 방지하기 위한 일종의 스토퍼의 역할을 동시에 수행할 수 있다.

또한, 도 3에 도시되진 않았으나 고정막대의 타 단에는 제1관통홀(2002)의 직경보다 큰 스토퍼가 배치되어 각도조절부(2930)와 마찬가지로 고정막대가 수평방향으로 움직이는 것을 방지할 수 있다.

한편, 고정막대는 프레임부(2001)의 일 측면, 적외선센서부(2200) 및 제1안경다리부(2030)를 체결하는 것외에돋 도 3의 (B) 및 (C)에 도시된 바와 같이 적외선센서부(2200)가 기설정된 각도로 회전될 수 있도록 한다.

구체적으로, 도 3의 (B)에 도시된 바와 같이 적외선센서부(2200)에 구비된 제2관통홀(2240)의 내면은 소정의 잇수를 갖는 기어의 형태로 형성되고, 상기 제2관통홀(2240)이 삽입되는 고정막대의 특정 위치의 외주면에는 상기 제2관통홀(2240)의 내면에 형성된 기어와 맞물릴 수 있도록 체결홈(2061)이 형성될 수 있다. 따라서 고정막대의 특정 위치의 외주면과 제2관통홀(2240)의 내면은 상호 맞물려 체결될 수 있고, 따라서 고정막대의 일 단에 체결되는 각도조절부(2930)의 회전에 따라 고정막대가 회전하고, 따라서 제2관통홀(2240)이 형성되어 있는 적외선센서부(2200) 또한 회전할 수 있도록 한다.

한편, 도 2의 (C)는 각도조절부(2930)가 회전함에 따라 일정 각도로 상기 적외선센서부(2200)가 회전하는 상태를 도시한 도면에 해당한다.

상술한 바와 같이, 상기 고정막대는 상기 적외선센서부(2200)의 제2관통홀(2240)과 체결되고, 상기 고정막대의 일 단에 체결된 각도조절부(2930)를 상기 저시력자가 회전시킴에 따라 상기 적외선센서부(2200)가 회전할 수 있다. 이와 같이, 저시력자가 상기 각도조절부(2930)를 조절하여 상기 적외선센서부(2200)의 회전각도를 조절할 수 있도록 하여, 상기 적외선센서부(2200)가 지면에 적외선을 투사하기에 용이하도록 할 수 있다.

예를 들어, 사용자가 자신의 발 근처에 있는 지면의 단차를 인지하고자 하는 경우에 상기 적외선센서부(2200)의 회전각도를 크게(지면과 수직에 가깝도록) 조절할 수 있고, 자신의 위치에서 비교적 먼 지면의 단차를 인지하고자 하는 경우에 상기 적외선센서부(2200)의 회전각도를 줄이도록(지면과 수평에 가깝도록) 조절할 수 있다.

한편, 상기 각도조절부(2930)는 사용자가 적외선센서부(2200)의 회전각도의 정도를 가늠할 수 있도록 하기 위하여 각도지시막대(2910)가 배치될 수 있다. 상기 각도지시막대(2910)는 상기 적외선센서부(2200)의 정면(적외선을 투사하는 면)과 평행한 방향을 상기 각도조절부(2930)에 배치될 수 있으며, 따라서 각도조절부(2930)를 회전시킴에 따라 각도지시막대(2910)는 기울어지게 되고, 기울어진 각도지시막대(2910)를 사용자가 촉감 등을 통해 감지함으로써, 상기 적외선센서부(2200)의 기울어진 정도를 가늠할 수 있도록 한다.

상기 도 2의 (C)에서 각도지시막대(2910)는 한 쌍으로 구비되고, 한 쌍의 각도지시막대(2910) 각각은 각도조절부(2930)의 원점에 대칭되는 위치에 배치되어 있으나, 본 발명의 다른 실시예에서 각도지시막대(2910)는 1 개만 배치될 수도 있다.

또한, 상기 각도지시막대(2910)는 적외선센서의 회전각도, 즉 기울어진 정도를 가늠할 수 있도록 하는 것뿐만 아니라, 사용자가 각도조절부(2930)를 회전시키기에 용이하도록 하는 일종의 손잡이의 역할을 동시에 수행할 수 있다.

따라서, 각도조절부(2930)를 통해 사용자가 적외선센서부(2200)의 각도를 조절하기 위하여 각도지시막대(2910)를 손잡이로 사용하여 소정의 각도로 적외선센서부(2200)를 회전시키고, 각도조절부(2930)에 구비된 제1스위치부(2920)에 대하여 입력을 수행함에 따라 상기 적외선센서부(2200)에서는 지면에 대한 거리를 측정할 수 있게 된다. 즉, 사용자는 각도조절부(2930)에 구비된 요소들을 통해 적외선센서부(2200)의 각도를 조절하고 거리를 측정하는 과정들을 용이하게 수행할 수 있는 효과를 발휘할 수 있다.

도 4는 본 발명에 일 실시예에 따른 장애물정보생성부(1100)의 동작을 개략적으로 도시하고, 도 5는 본 발명의 일 실시예에 따른 장애물정보생성부(1100)에 의하여 제공되는 스마트글래스(2000)의 화면을 개략적으로 도시한다.

본 발명의 일 실시예에 따른 서비스서버(1000)의 장애물정보생성부(1100)는, 영상정보의 이미지프레임에서 객체를 검출하고, 검출된 객체에 대한 장애물정보를 생성한다. 본 발명의 시니어케어를 위한 도 4에 도시된 바와 같은 S100 내지 S170단계를 수행하여 장애물정보를 생성할 수 있다.

구체적으로, S100단계에서는 스마트글래스(2000)에 의하여 촬영된 영상정보가 사용자단말기(3000)로 송신된다.

S110단계에서는, 사용자단말기(3000)는 스마트글래스(2000)로부터 영상정보를 수신하고, 해당 영상정보에 포함된 객체에 대한 식별을 요청하기 위해 서비스서버(1000)로 영상정보 및 객체식별요청을 송신한다.

S120단계(객체검출단계)에서는, 서비스서버(1000)의 장애물정보생성부(1100)는 영상정보에 기초하여 1 이상의 객체를 검출하고, 검출된 객체를 인식한다. 바람직하게는, 상기 장애물정보생성부(1100)는 딥러닝 기반의 학습된 인공신경망을 포함하여 학습된 인공신경망에 기초하여 영상정보로부터 객체를 검출하고, 검출한 객체를 인식할 수 있다. 상기 영상정보는 영상 자체 혹은 복수의 이미지 프레임으로 구성된 영상임이 바람직하다. 또한, 본 발명의 일 실시예에서는 상기 학습된 인공신경망은 CNN(Convolutional Neural Network, 합성곱 신경망)과 같은 기계학습 알고리즘에 의하여 영상정보를 분석하고 영상정보에 포함된 객체를 인식할 수 있다.

S130단계에서는, 인식된 객체가 기설정된 장애물기준에 해당하는지 여부를 판별한다. 본 발명의 일 실시예에서는, 통상적으로 일상생활에서 남녀노소 가릴 것 없이 사람에게 위험하다고 판단되는 것들, 예를 들어, 빠른속도로 다가오는 자동차, 오토바이, 및 자전거 등과 같은 것들을 장애물의 기준으로 설정할 뿐만 아니라, 본 발명의 주된 사용자인 시니어 계층에게 특히 위험한 낙상사고가 다수 발생하는 계단, 및 겨울철의 폭설이 내린 거리 등과 같은 것들 또한 장애물의 기준으로 설정하여 상기 영상정보로부터 검출된 객체가 상기와 같은 장애물의 기준에 해당하는지 여부를 판별한다.

S140단계에서는, 장애물로 판별된 객체에 대한 음성출력정보 및 장애물로 판별된 객체에 대한 디스플레이정보를 포함하는 장애물정보를 생성한다. S130단계에서 빠른 속도로 다가오는 물체 및 계단등과 같은 객체가 인식된 경우, 장애물정보생성부(1100)는 해당 객체에 대해 표시하고, 해당 객체에 대한 설명 혹은 주의사항과 같은 정보를 포함하는 디스플레이정보를 생성하고, 해당 객체에 대한 음성형태의 음성출력정보를 생성한다. 도 5는 장애물정보생성부(1100)에 의하여 제공되는 스마트글래스(2000)에서의 화면을 개략적으로 도시한다. 구체적으로, 도 5의 (a)는 스마트글래스(2000)를 착용한 사용자의 모습을 설명하는 도면이다. 도 5의 (a)에 도시된 바와 같이 사용자는 스마트글래스(2000)를 착용하고, 스마트글래스(2000)를 착용한 사용자는 버튼부(2700)의 버튼에 대한 입력을 통해 사용자의 시점에서의 영상의 촬영을 시작하도록 스마트글래스(2000)를 동작시킬 수 있다. 영상정보에 대한 수집이 시작되면, 사용자의 주변환경의 일정속도 이상으로 사용자의 방향으로 달려오는 자전거, 특정위치의 계단 등과 같은 시니어 사용자에게 위험하다고 판단되는 장애물을 인식하고, 이에 대한 정보를 제공할 수 있다. 도 5의 (b)는 스마트글래스(2000)의 화면을 예시적으로 도시한다. 도 5의 (b)에 도시된 바와 같이 스마트글래스(2000)의 화면에서는 사용자에게 위험할 수 있는 계단의 존재여부에 대한 정보, 달려오는 자전거에 대해 인식할 수 있는 정보 등이 디스플레이될 수 있고, 음성의 형태로 이와 같은 위험요소에 대해 제공할 수도 있다.

S150단계에서는, 장애물정보생성부(1100)는, 생성한 상기 장애물정보를 사용자단말기(3000)로 송신한다.

S160단계에서는, 사용자단말기(3000)는 수신한 장애물정보를 사용자단말기(3000)의 스피커를 통해 출력하거나 사용자단말기(3000) 화면에 디스플레이할 수 있다. 또한, 상기 장애물정보를 스마트글래스(2000)로 송신한다.

S170단계에서는, 스마트글래스(2000)는 사용자단말기(3000)로부터 장애물정보를 수신하고, 수신한 장애물정보의 디스플레이정보를 글래스디스플레이부(2500)를 통해 디스플레이하고, 장애물정보의 음성출력정보를 스마트글래스(2000)의 스피커부(2600)를 통해 출력할 수 있다. 바람직하게는, 디스플레이정보 및 음성출력정보는 사용자단말기(3000) 및 스마트글래스(2000)에서 모두 출력될 수 있는 다양한 형태의 데이터를 포함할 수 있다.

이와 같은 방식으로, 본 발명에서는 스마트글래스(2000)를 통해 수집한 영상정보를 분석하여 노인의 주변환경의 위험한 장애물을 감지하고, 장애물에 대한 정보를 스마트글래스(2000)에 제공하여 노인들의 낙상 및 안전사고를 예방할 수 있는 효과를 발휘할 수 있다.

도 6은 본 발명의 일 실시예에 따른 스마트글래스(2000)를 통해 수집된 영상정보를 예시적으로 도시한다.

전술한 바와 같이 상기 장애물정보생성부(1100)는, 영상정보에 포함된 1 이상의 객체를 검출하고 인식하는 객체검출단계(S120)단계를 수행한다. 상기 영상정보는 영상 자체 혹은 도 6에 도시된 바와 같이 복수의 이미지 프레임을 포함하는 영상일 수 있다. 본 발명에서는 상기 영상정보에서 사용자를 향해 일정 속도 이상으로 다가오는 물체를 인식하기 위하여, 빠르게 움직이는 물체를 촬영하는 경우에 생기는 번점 특정 한 시점의 사진을 촬영한 것처럼 선명한 형태의

바람직하게는, 상기 객체검출단계에서는, 상기 복수의 이미지프레임 중 기설정된 시간구간에서 기설정된 기준에 부합하는 블러이미지가 기설정된 개수 이상 수집된 경우에, 해당 블러이미지에 포함된 객체가 기설정된 속도 이상으로 움직이는 것으로 판별하고, 장애물정보생성부(1100)는 해당 블러이미지에 포함된 객체의 움직임알림정보를 포함하는 장애물정보를 생성한다.

또한, 스마트글래스(2000)에 의하여 촬영된 영상정보는 도 6에 도시된 바와 같은 복수의 이미지프레임을 포함할 수 있다.

한편, 빠른 속도로 움직이는 물체를 촬영하는 경우, 해당 물체는 선명한 형태의 이미지로 촬영되지 않고 도 6에 도시된 바와 같이 물체의 속도에 의하여 블러링된 이미지가 촬영될 수 있다. 이를 이용하여 본 발명의 일 실시예에 따른 장애물정보생성부(1100)는 복수의 이미지프레임 중 기설정된 기준에 부합하는 블러이미지를 검출하고, 블러이미지가 기설정된 개수 이상 수집된 경우에 해당 블러이미지에 포함된 객체가 기설정된 속도 이상으로 움직이는 것으로 판별하고 해당 객체의 움직임알림정보를 포함하는 장애물정보를 도출할 수 있다.

혹은, 본 발명의 일 실시예에서는, 기설정된 시간구간에서 기설정된 개수의 이미지를 추출하여 샘플링하고, 추출된 샘플링 이미지프레임 중 기설정된 기준의 블러이미지가 기설정된 개수 이상 수집되었는지 여부를 판별하고, 기설정된 개수 이상 수집된 경우에 해당 블러이미지에 포함된 객체가 기설정된 속도 이상으로 움직이는 것으로 판별하고 해당 객체의 움직임알림정보를 포함하는 장애물정보를 도출할 수 있다.

이와 같은 방식으로 본 발명의 장애물정보생성부(1100)는 움직이는 물체에 대한 인식을 수행하고, 해당 물체에 대한 알림정보를 사용자에게 제공할 수 있는 효과를 발휘할 수 있다.

도 7은 본 발명의 일 실시예에 따른 적외선센서부(2200)에서 지면과의 거리를 측정하는 과정을 개략적으로 도시한다.

도 7에 도시된 바와 같이 스마트글래스(2000)의 적외선센서부(2200)의 전면에는 3 이상의 적외선센서모듈이 일정 간격으로 배치되어 있고, 적외선센서부(2200)는 상기 3 이상의 적외선센서모듈별로 해당 적외선센서모듈 및 해당 적외선센서모듈에서 적외선을 조사하는 지면의 특정 위치간의 거리를 각각 산출할 수 있다.

구체적으로, 도 7의 (a)에 도시된 바와 같이 적외선센서부(2200)의 전면에는 제1적외선센서모듈(2210), 제2적외선센서모듈(2220), 및 제3적외선센서모듈(2230)이 배치될 수 있다. 적외선센서모듈은 적외선을 조사하는 적외선조사부 및 적외선조사부에서 조사된 적외선이 다른 물체에 부딪혀 반환되어 되돌아오는 적외선을 수광하는 적외선수광부를 포함할 수 있다. 즉, 상기 적외선센서부(2200)는 조사하는 적외선의 광량 및 수광한 적외선의 광량을 비교하여 적외선이 투사된 지면의 특정 위치와의 거리를 산출할 수 있기 때문의 상기 제1적외선센서모듈(2210), 제2적외선센서모듈(2220), 및 제3적외선센서모듈(2230) 각각이 조사한 지면의 특정 위치들과의 거리들을 측정할 수 있다.

바람직하게는, 상기 적외선센서모듈은 사용자가 제1스위치부(2920)에 대한 입력을 수행함에 따라 기설정된 시간동안 기설정된 시간간격으로 적외선을 조사하여 반환되는 신호를 수신하고, 적외선센서부(2200)는 기설정된 시간동안에 사용자가 위치한 지면의 특정위치와 스마트글래스(2000)의 적외선센서모듈 사이의 거리를 산출할 수 있다.

한편, 각각의 적외선센서모듈은 적외선센서부(2200)의 전면에 일정 간격을 두고 배치된다. 이와 같은 구성에 의하여 스마트글래스(2000)를 착용한 ㅅ용자의 보행 방향과 지면이 평행한 경우에 각각의 적외선센서모듈에서 자외선이 투사된 지면의 복수의 특정 위치 간의 간격은 서로 동일하게 된다.

그러나, 도 7의 (b)에 도시된 바와 같이, 사용자의 보행 방향과 지면이 평행하지 않거나, 지면에 단차가 존재하는 경우에는 각각의 적외선센서모듈에서 자외선이 조사된 지면의 복수의 특정 위치(도 7의 (B)에서 a, b, 및 c)간의 간격은 동일하지 않게 되므로, 지면의 특정 위치들과의 거리들에 대한 정보에 기초하여 사용자가 위치한 환경의 문턱, 계단, 보도와 도로사이의 단차 등의 보행경로의 지면에서의 높낮이 차이를 용이하게 판별할 수 있다.

도 7의 (A)에서는 적외선센서부(2200)에 배치되는 적외선센서모듈의 개수가 3개로 도시되어 있으나 이에 한정하지 아니하고 본 발명의 다른 실시예에서는 적외선센서부(2200)는 3 이상의 적외선센서모듈을 포함할 수 있다. 이하에서는 설명의 편의를 위하여 제1적외선센서모듈(2210), 제2적외선센서모듈(2220), 및 제3적외선센서모듈(2230), 즉 3개의 적외선센서모듈을 포함하는 스마트글래스(2000)를 이용한 단차정보 생성의 실시예를 설명하도록 한다.

도 8은 본 발명의 일 실시예에 따른 단차정보생성부(1200)의 수행단계를 개략적으로 도시한다.

본 발명의 일 실시예에 따른 서비스서버(1000)의 단차정보생성부(1200)는 적외선센서부(2200)가 도출한 각각의 거리정보에 기초하여 거리들의 평균값을 산출하고, 상기 평균값이 기설정된 기준을 충족하는지 여부에 따른 단차정보를 도출한다. 구체적으로, 단차정보생성부(1200)는 도 8에 도시된 S200 내지 S220단계를 수행한다.

S200단계에서는, 단차정보생성부(1200)는, 복수의 적외선센서모듈에서 도출된 거리정보를 수신하고, 지면의 특정 위치간의 각각의 거리정보에 기초하여 거리들의 평균값을 산출한다. 예를 들어, 상기 도 7을 참조하여 설명하면, 각각의 적외선센서모듈과 지면과의 거리는 다음과 같다고 가정한다.

[적외선센서모듈과 지면과의 거리]

제1적외선센서모듈(2210)과 a 사이의 거리: 1

제2적외선센서모듈(2220)과 b 사이의 거리: 2

제3적외선센서모듈(2230)과 c 사이의 거리: 3

이 때, 단차정보생성부(1200)는 거리 1, 2, 및 3의 평균값을 2로 산출할 수 있다. 이와 같이 산출된 평균값은 시간의 추이에 따른 평균값의 데이터 혹은 그래프로 표현될 수 있다. S200단계에서 산출된 평균값은 시간의 추이에 따른 평균값의 데이터 혹은 그래프로 표현될 수 있다. 또한, S200단계에서 산출되는 평균값은 복수의 거리(거리 1, 거리 2, 및 거리 3)에 대한 산술 평균값에 해당할 수 있으나, 각 적외선센서모듈의 해상도를 고려하여 각각의 거리에 가중치를 부여하여 평균값을 산출하는 등의 다양한 방법으로 평균값이 산출될 수 있다.

S210단계에서는, 상기 S200단계에서 도출된 평균값이 기설정된 제1단차임계기준에 부합하는지 여부를 판별한다. 제1단차임계기준은 사용자가 보행하기에 용이한 수준의 평균값의 범위에 해당하며, 평균값이 제1단차임계기준을 벗어나는 경우에 사용자가 해당 구간을 보행하는데 위험이 발생할 수 있음을 판별할 수 있다.

S220단계에서는, 상기 평균값이 기설정된 제1단차임계기준에 부합하지 않는 경우, 단차위험정보를 포함하는 단차정보를 도출한다.

더욱 바람직하게는, 단차정보생성부(1200)는, 복수의 거리사이의 오차값을 판별하는 단계; 및 도출된 각각의 지면과의 거리 사이의 복수의 차이값들을 도출하여 복수의 차이값들의 오차값에 기초하여 상기 오차값이 제2단차임계기준에 부합하는지 여부를 판별하는 단계를 더 수행할 수 있다. 상기 단차정보생성부(1200)는, 상기 평균값이 기설정된 제1단차임계기준을 벗어나고, 상기 복수의 차이값들의 오차값이 제2단차임계범위를 벗어나는 경우에 단차위험정보를 도출하여 보다 정확하게 단차위험정보를 도출할 수 있다.

이와 같은 방식으로 본 발명의 단차정보생성부(1200)는, 스마트글래스(2000)의 적외선센서부(2200)로부터 측정된 지면과의 거리정보에 기초하여 사용자가 위치한 지면의 높낮이에 따른 단차위험정보를 도출하여 제공할 수 있음으로서, 노인들에게 빈번하게 발생하는 낙상에 대한 안전사고를 예방할 수 있는 효과를 발휘할 수 있다.

도 9는 본 발명의 일 실시예에 따른 상태정보생성부(1300)의 수행 단계를 개략적으로 도시한다.

본 발명의 일 실시예에 따른 상태정보생성부(1300)는 시간에 따른 X, Y, 및 Z축 방향의 변위량을 포함하는 움직임신호에 기초하여 사용자의 낙상상태정보를 포함하는 동작상태정보를 도출한다. 스마트글래스(2000)의 움직임센서부(2400)는 가속도센서 및 자이로센서를 포함할 수 있고, 상기 가속도센서는, X, Y, 및 Z축 방향의 가속도정보를 측정하고, 상기 자이로센서는 X, Y, 및 Z축 방향의 각속도정보를 측정할 수 있다. 이와 같이 측정된 가속도정보 및 각속도정보에 기초하여 각각의 X, Y, 및 Z축의 변위량을 산출하고, 산출된 변위량에 기초하여 사용자의 낙상상태를 판별할 수 있다. 또한, 상태정보생성부(1300)는 사용자의 심박에 기초하여 사용자의 심박에 따른 상태정보를 생성할 수도 있다.

구체적으로, 상기 상태정보생성부(1300)는, 도 9에 도시된 바와 같은 S300 내지 S330단계를 수행한다.

S300단계에서는, 상기 상태정보생성부(1300)는, 스마트글래스(2000)에서 측정된 시간에 따른 X축 방향의 변위량, Y축 방향의 변위량, 및 Z축 방향의 변위량에 기초하여 각각의 변위량이 기설정된 기준에 부합하는지 여부를 판별하는 제1낙상상태판별을 수행한다. 본 발명에서는 S300단계의 수행을 통해 사용자의 낙상상태를 판별할 수 있고, 스마트글래스(2000)에 구비된 움직임센서를 통하여 측정한 움직임 신호가 사용자가 낙상하는 경우 사용자가 착용했던 스마트글래스(2000)가 벗겨지게 되면 스마트글래스(2000)에서 측정되는 X, Y, 및 Z축 방향의 가속도정보 및 X, Y, 및 Z축 방향의 각속도정보에 변화가 생길 수 있다. 이와 같이 사용자가 넘어져 스마트글래스(2000)가 사용자의 착용부위에서 이탈되었다고 판단되는 기설정된 기준에 부합하는지 여부를 판별함으로써, 사용자의 낙상상태를 판별할 수 있다. 이후, 상태정보생성부(1300)는 각각의 변위량이 기설정된 기준에 부합하는 경우, S310단계를 수행한다.

S310단계에서는, 상기 제1낙상상태판별을 수행하는 단계(S300)에서 스마트글래스(2000)에서 측정된 변위량이 기설정된 기준에 부합하는 경우에, 사용자단말기(3000)에서 측정된 시간에 따른 X축 방향의 변위량, Y축 방향의 변위량, 및 Z축 방향의 변위량에 기초하여 각각의 변위량이 기설정된 기준에 부합하는지 여부를 판별하는 제2낙상상태판별을 수행할 수 있다. 본 발명의 스마트글래스(2000)는 안경과 같은 형태로 착용가능하기 때문에 실제 넘어졌을 때 안경이 신체에서 분리되어 낙하되기도 하지만 사용자의 임의로 스마트글래스(2000)를 벗어두거나, 단지 스마트글래스(2000)에만 충격이 가해져 사용자가 낙상상태가 아님에도 불구하고 낙상상태로 판별될 수 있다. 이와 같은 오류를 보완하기 위하여 상기 상태정보생성부(1300)는, 상기 제1낙상상태판별을 수행하는 단계(S300)에서 낙상으로 판별된 경우에, 사용자단말기(3000)에서 측정된 X축 방향의 변위량, Y축 방향의 변위량, 및 Z축 방향의 변위량에 기초하여 각각의 변위량이 기설정된 기준에 부합하는지 여부를 판별하여 사용자의 제2낙상상태판별을 수행한다. 사용자가 실제로 넘어지게 되면 스마트글래스(2000) 뿐만 아니라 사용자가 소지한 사용자단말기(3000)를 함께 떨어트릴 수 있고, 이와 같은 스마트글래스(2000)와 사용자단말기(3000)의 움직임에 따른 각각의 단말에서의 X, Y, 및 Z축의 변위량을 함께 판단함으로서, 보다 신뢰성 높은 사용자의 낙상상태를 판별할 수 있는 효과를 발휘할 수 있다.

S320단계에서는, 제1낙상상태판별을 수행하는 단계 및 제2낙상상태판별을 수행하는 단계 중 1 이상의 수행으로 도출된 1 이상의 판별결과에 기초하여 사용자의 낙상상태정보를 도출한다. 도 9에 도시된 바와 같이 제1낙상상태판별을 도출하는 단계(S300)에서 X, Y, 및 Z축의 변위량이 기설정된 기준을 충족하지 않는 경우, 즉 사용자가 넘어지지 않았다고 판별되는 경우에는, 사용자가 넘어지지 않았음을 나타내는 판별결과를 도출하고, S300단계에서, 상기 변위량이 기설정된 기준을 충족한 경우, 즉 사용자가 넘어졌다고 판별되는 경우에는, 제2낙상상태판별을 수행하여 사용자단말기(3000)에서 측정된 X, Y, 및 Z축의 변위량이 기설정된 기준을 충족하는지 여부를 판단하여 사용자단말기(3000)의 측정값에서도 사용자가 넘어졌다고 판단되는 경우, 사용자의 낙상상태를 판별할 수 있다.

S330단계에서는, 상기 S300단계에서는 스마트글래스(2000)에서 측정된 변위량들이 기설정된 기준을 충족하였지만, S310단계에서 사용자단말기(3000)에서 측정된 변위량들이 기설정된 기준을 충족하지 않은경우에는, 도 9의 (b)에 도시된 바와 같이, '넘어지셨나요?' '도움이 필요하십니까?' 등의 사용자에게 낙상상태가 맞는 지 확인을 요청하는 팝업창이 디스플레이될 수 있다. 이와 같은 방식으로 본 발명의 시스템에서 낙상상태의 판단에 발생할 수 있는 오류를 보완하고, 도움이 필요한 상황의 사용자에게 신속한 대처를 할 수 있는 환경을 제공하여 보다 효율적으로 시니어의 케어가 가능한 효과를 발휘할 수 있다.

도 10은 본 발명의 일 실시예에 따른 위험알림정보제공부(1400)의 동작을 개략적으로 도시한다.

본 발명의 일 실시예에 따른 위험알림정보제공부(1400)는, 상기 장애물정보, 상기 단차정보, 및 상기 동작상태정보에 기초하여 상기 사용자단말기(3000) 혹은 보호자단말기에 제공될 위험알림정보를 생성할 수 있다. 도 10에 도시된 바와 같이 상기 위험알림정보는 상기 영상정보에 기초하여 장애물로 판별된 객체에 대한 음성출력정보 및 장애물로 판별된 객체에 대한 디스플레이정보; 및 상기 영상정보에서 기설정된 속도 이상으로 움직이는 객체에 대한 움직임알림정보;를 포함하는 상기 장애물정보; 복수의 적외선센서모듈이 도출한 거리들의 평균값이 기설정된 제1단차임계기준에 부합하는지 여부에 따른 단차위험에 대한 알림정보; 상기 사용자의 낙상상태를 포함하는 동작상태정보에 대한 알림정보;를 포함한다. 바람직하게는, 동작상태정보는 사용자의 낙상상태뿐만아니라, 상기 움직임신호에 기초하여 사용자의 걷기, 달리기등과 같은 운동상태, 휴식상태에 대한 정보를 포함할 수 있다. 또한, 위험알림정보는 사용자의 심박에 기초하여 도출된 사용자의 심박에 따른 상태정보에 기초하여 사용자의 심박상태에 대한 알림정보를 포함할 수 있다.상기 위험알림정보제공부(1400)는 상기 장애물정보 및 단차위험에 대한 알림정보를 사용자단말기(3000)에 송신하고, 사용자의 낙상상태를 포함하는 동작상태정보를 사용자단말기(3000) 및 보호자단말기 중 1 이상에 송신한다. 이와 같이 본 발명의 시니어 케어를 위한 길안내 및 사물식별 시스템은 사용자의 영상정보로부터 생성된 사용자의 주변환경의 장애물정보, 사용자가 위치한 지면의 단차정보에 따른 알림정보, 사용자의 낙상상태정보를 포함하는 동작상태정보에 기초하여 위험알림정보를 생성하고 이를 스마트글래스(2000) 및 사용자단말기(3000)에 제공함으로써, 사용자에게 일어날 수 있는 안전사고의 위험을 방지할 수 있는 효과를 발휘할 수 있고, 노인의 낙상상태가 판별되는 경우 등과 같이 특정 조치가 필요한 상황에는 노인의 보호자에게 알림을 송신함으로써, 낙상사고에 대해 신속하게 대처할 수 있는 효과를 발휘할 수 있다.

도 11은 본 발명의 일 실시예에 따른 길안내정보제공부(1500)의 수행 단계를 개략적으로 도시하고, 도 12는 본 발명의 일 실시예에 따른 길안내정보제공부(1500)에 의하여 제공되는 스마트글래스(2000)의 화면을 개략적으로 도시한다.

본 발명의 일 실시예에 따른 길안내정보제공부(1500)는, 사용자단말기(3000)로부터 목적지에 대한 입력을 수신하고, 해당 목적지로의 경로정보를 포함하는 길안내정보를 생성한다. 구체적으로 길안내정보제공부(1500)는, 도 11에 도시된 바와 같은 S500 내지 S530단계를 수행하여 길안내정보를 제공할 수 있다.

S500단계에서는, 길안내정보제공부(1500)는 사용자단말기(3000)로부터 수신된 목적지에 대한 입력을 수신한다. 바람직하게는, 상기 목적지에 대한 입력은 사용자단말기(3000)로부터 텍스트형태, 이미지형태, 및 음성형태 등 다양한 형태로 입력될 수 있고, 본 발명의 일 실시예에서는, 스마트글래스(2000)는 마이크부(미도시)를 더 포함하여, 스마트글래스(2000)의 마이크부로부터 사용자의 목적지에 대한 음성입력을 수신할 수도 있다.

S510단계에서는 사용자의 현위치정보 및 입력된 목적지에 기초하여 목적지까지의 경로정보를 도출한다. 사용자단말기(3000)의 GPS모듈 등의 동작에 의하여 사용자의 현위치를 파악하고 사용자의 현위치로부터 목적지까지의 경로정보를 도출한다. 도출된 경로정보는 경로를 가는 동안의 방향, 소요시간, 도착까지 남은 시간 중 1 이상을 포함할 수 있다.

S520단계에서는, 도출된 경로정보에 기초하여 해당 경로에서 예측되는 장애물에 대한 음성출력정보 및 디스플레이정보를 포함하는 경로장애물정보를 도출한다. 해당 경로에 세워진 건축물에 대한 정보, 자전거 혹은 전동킥보드의 유저들의 이동이 많은 거리, 보도와 도로사이의 단차가 많은 구간과 같이 해당 경로에서의 장애물 및 위험정보를 도출하고, 이를 스마트글래스(2000) 혹은 사용자단말기(3000)에서 출력 및 디스플레이될 수 있는 음성출력정보 및 디스플레이정보를 포함하는 경로장애물정보를 도출할 수 있다.

S530단계에서는, S510단계에서 도출된 경로정보 및 S520단계에서 도출된 경로장애물정보를 포함하는 길안내정보를 스마트글래스(2000) 및 사용자단말기(3000) 중 1 이상에 제공한다. 도 12에 도시된 바와 같이 사용자의 보행 경로에 낙상위험이 있는 계단이 존재하는 경우, 해당 계단을 표시하고 계단의 위험을 알리는 정보가 스마트글래스(2000)에 표시될 수 있고, 스마트글래스(2000)의 스피커부(2600)를 통해 음성형태로 출력될 수도 있다. 또한, 스마트글래스(2000)에는 출발지 및 목적지를 표시하는 엘리먼트를 표시하는 지도이미지가 스마트글래스(2000)의 상단에 함께 디스플레이될 수도 있다.

이와 같은 방식으로, 본 발명의 일 실시예에서는 입력된 목적지에 따른 경로정보를 제공하고, 목적지로의 경로에서 예측되는 장애물에 대한 정보를 함께 제공함으로써 노인들이 목적지까지 보다 안전하게 도착할 수 있도록 도움을 줄 수 있는 효과를 발휘할 수 있다.

도 13은 본 발명의 일 실시예에 따른 주변환경예측부(1600)의 수행 단계를 개략적으로 도시한다.

본 발명의 일 실시예에서는, 서비스서버(1000)는 주변환경예측부(1600)를 포함하고, 주변환경예측부(1600)는, 스마트보청기(4000)에 의하여 수집된 소리정보에 기초하여 학습된 인공신경망에 의하여 기설정된 시간구간별 사운드특징정보를 도출하고, 상기 사운드특징정보에 기초하여 사용자의 주변환경에 대한 예측정보를 도출한다. 구체적으로, 상기 주변환경예측부(1600)는 도 13에 도시된 바와 같은 S600 내지 S620단계를 수행할 수 있다.

S600단계에서는, 상기 주변환경예측부(1600)는, 상기 소리정보에 기초하여 노이즈를 제거하여 전처리소리정보를 도출한다. 상기 소리정보는 사용자의 음성정보, 주변환경에서의 소음, 및 다른사람의 음성정보 등 다양한 소리가 수집될 수 있고, 상기 주변환경예측부(1600)는 이와 같은 소리정보의 노이즈를 제거하여 전처리를 수행함으로써 소리정보의 분석이 용이하도록 할 수 있다.

S610단계에서는, 상기 전처리소리정보에 기초하여 소리의 세기 및 소리의 인터벌 중 1 이상을 포함하는 사운드특징정보를 도출한다. 바람직하게는, 상기 주변환경예측부(1600)는 학습된 제2인공신경망 모듈에 의하여 전처리소리정보로부터 각각의 시간구간에서의 소리의 세기, 소리의 속도, 소리의 강도, 및 소리의 인터벌 중 1 이상을 포함하는 사운드특징정보를 도출할 수 있다.

S620단계에서는, 상기 사운드특징정보에 기초하여 학습된 인공신경망에 의하여 사용자의 주변환경에 존재하는 장애물에 대한 정보를 포함하는 상기 예측정보를 도출한다. S610단계에서 도출된 사운드특징정보에 기초하여 사운드특징정보의 패턴을 분석하면 주변환경에 다른 사람이 존재하는지, 특정 사물(예를 들어, 자동차, 오토바이 등)이 존재하는지를 예측할 수 있고, 주변환경예측부(1600)는 이와 같은 장애물에 대한 정보를 포함하는 예측정보를 도출한다. 바람직하게는 제2인공신경망 모듈은 사운드특징정보를 도출하는 인공신경망모듈, 특징정보에 기초하여 주변환경에 존재하는 장애물에 대한 정보를 포함하는 예측정보를 도출하는 인공신경망모듈을 포함한 형태로 구성될 수 있다.

이와 같은 방식으로 본 발명의 일 실시예에서는, 사용자의 스마트보청기(4000)를 통해 수집된 외부의 소리정보를 학습된 인공신경망에 의하여 분석함으로써, 주변환경에 위험요소를 예측하고 이를 제공하여 사용자의 안전사고를 예방할 수 있는 효과를 발휘할 수 있다.

도 14는 본 발명의 일 실시예에 따른 스마트보청기(4000)를 개략적으로 도시하고, 도 15는 본 발명의 일 실시예에 따른 스마트보청기(4000)를 착용한 사용자의 모습을 개략적으로 도시한다.

본 발명의 일 실시예에 따른 스마트보청기(4000)는 도 14에 도시된 바와 같이, 외부로부터 소리신호가 유입되는 마이크부(4100); 상기 외부의 소리신호 및 서비스서버(1000)로부터 도출된 장애물정보를 포함하는 위험알림정보, 및 길안내정보를 음성형태로 출력하여 사용자에게 제공하는 스피커부(4500);를 포함하고 사용자의 외이도에 삽입되는 소리제공부(4700); 사용자의 심박을 측정하는 심박측정모듈(4200); 외부의 장치와 통신을 수행하는 통신모듈; 및 스마트보청기(4000)의 제1모드 및 제2모드의 동작을 제어하는 제어부(4400);를 포함하는 보청기몸체부(4800);를 포함한다.

소리제공부(4700)의 외측에 배치된 마이크부(4100)에는 외부로부터 소리신호가 유입될 수 있고, 이와 같이 유입된 소리신호는 상기 제어부(4400)에 의하여 신호의 처리가 수행되고, 상기 스마트보청기(4000)의 동작을 제1모드로 동작되도록 제어하여 사용자에게 보정된 음질의 소리정보를 소리제공부(4700)의 내측에 배치된 스피커부(4500)를 통해 제공할 수 있다.

또한, 본 발명의 스마트보청기(4000)는 상기 보청기몸체부(4800)에 구비된 심박측정모듈을 통해 사용자의 심박을 측정하여 실시간으로 사용자단말기(3000)에 송신할 수 있고, 이는 서비스서버(1000)로 송신되어 심박에 따른 사용자의 상태를 분석하는데 기초가 된다.

이와 같은 본 발명의 일 실시예에 따른 스마트보청기(4000)는 도 15에 도시된 바와 같이 스마트보청기(4000)는 사용자의 외이도에 삽입되는 소리제공부(4700)를 사용자의 귀에 삽입함으로써, 제1모드 및 제2모드의 동작에 따른 음성형태의 소리정보를 제공받을 수 있고, 보청기몸체부(4800)는 사용자의 귓바퀴 뒤에 배치되는 형태로 착용하여 보청기몸체부(4800)에 구비된 심박측정모듈에 의하여 사용자의 심박을 측정하고 측정된 심박을 사용자단말기(3000)로 송신할 수 있다. 상기 소리제공부(4700)와 보청기몸체부(4800)는 두 구성요소를 전기적으로 연결할 수 있는 연결선에 의하여 연결되어 사용자가 스마트보청기(4000)를 편안하게 착용할 수 있도록 할 수 있다.

도 16은 본 발명의 일 실시예에 따른 상태정보생성부(1300) 및 위험알림정보제공부(1400)의 수행 단계를 개략적으로 도시한다. 도 17은 본 발명의 일 실시예에 따른 넘어진 상태의 사용자의 모습을 설명하는 도면이다.

본 발명의 상태정보생성부(1300) 및 위험알림정보제공부(1400)는, 도 16에 도시된 바와 같은 S700 내지 S720단계를 수행하여 사용자의 낙상상태에 따른 사용자로부터 스마트보청기(4000)의 이탈을 사용자가 인식하도록 할 수 있다.

구체적으로, S700단계에서는, 서비스서버(1000)의 상태정보생성부(1300)는, 상기 스마트보청기(4000)의 심박측정모듈로부터 측정된 사용자의 심박에 기초하여 사용자의 스마트보청기(4000) 착용여부를 판별한다. 본 발명의 일 실시예에 따른 스마트보청기(4000)는 심박측정모듈을 포함하여 스마트보청기(4000)를 착용한 사용자의 심박을 실시간으로 측정하고 측정한 심박정보를 사용자단말기(3000)에 송신할 수 있다. 사용자단말기(3000)를 통해 사용자의 심박정보는 상태정보생성부(1300)로 전달되고, 상태정보생성보는 이와 같이 수신되는 심박정보에 기초하여 사용자가 스마트보청기(4000)를 착용했는지 여부를 판별할 수 있다. 사용자가 스마트보청기(4000)를 착용한 것으로 판별되면 스마트보청기(4000)는 정상적으로 작동될 수 있다.

S710단계에서는, 서비스서버(1000)의 상태정보생성부(1300)는 S700단계의 수행에 의하여 사용자가 스마트보청기(4000)를 착용하지 않은 것으로 판별되는 경우에, 상태정보도출부가 수행하는 낙상상태정보를 도출하는 단계의 수행에 의하여 스마트글래스(2000) 및 사용자단말기(3000) 중 1 이상에서 측정된 움직임신호에 기초하여 사용자의 낙상상태여부를 판별한다. S710단계에서 사용자의 상태가 낙상상태가 아닌 것으로 판별되는 경우에는, 스마트보청기(4000)의 전원을 off하여 사용자의 귀에 착용된 상태에서 위치알림사운드가 출력되는 것을 방지한다.

S720단계에서는, 상기 위험알림정보제공부(1400)는, 상기 S700 및 S710단계의 수행으로 상기 낙상상태정보를 도출하는 단계에 의하여 사용자의 상태가 낙상으로 판별되고, 사용자가 상기 스마트보청기(4000)를 착용하지 않은 것으로 판별되는 경우에, 상기 스마트보청기(4000)에서 스마트보청기(4000)의 위치를 알릴 수 있는 위치알림사운드를 출력하도록 제어한다. 즉, 본 발명에서는, 사용자의 스마트보청기(4000)에서 심박이 측정되지 않고, 스마트글래스(2000)로부터 움직임신호도 수신되지 않는 경우, 사용자의 낙상상태를 판별함과 동시에, 스마트보청기(4000)가 사용자로부터 이탈한 것으로 판별하여 도 17에 도시된 바와 같이, 넘어진 사용자가 떨어진 스마트보청기(4000)의 위치를 인식할 수 있도록 위치알림사운드를 출력할 수 있다. 바람직하게는, 상기 스마트글래스(2000)에서도 상기 위치알림사운드를 출력할 수 있다.

이와 같은 방식으로, 본 발명의 일 실시예에서는 사용자의 낙상상태를 판별하고, 낙상상태에 따라 사용자의 스마트보청기(4000)가 사용자 신체로부터 이탈된 것을 예측하여, 눈이 침침한 노인들이 떨어진 스마트보청기(4000)의 위치를 보다 정확하고 신속하게 인식하여 스마트보청기(4000)의 분실을 예방할 수 있는 효과를 발휘할 수 있다.

도 18은 본 발명의 일 실시예에 따른 컴퓨팅장치를 예시적으로 도시한다.

도 18에 도시한 바와 같이, 컴퓨팅 장치(11000)는 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/Osubsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅 장치(11000)는 스마트글래스(2000)(2000), 사용자단말기(3000)(3000), 서비스서버(1000)(1000) 및 웨어러블단말기에 해당될 수 있다.

메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅 장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 학습된 임베딩모델에 포함하는 그밖에 다양한 데이터를 포함할 수 있다.

이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.

주변장치 인터페이스(11300)는 컴퓨팅 장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅 장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.

입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.

전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.

통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅 장치와 통신을 가능하게 할 수 있다.

또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅 장치와 통신을 가능하게 할 수도 있다.

이러한 도 18의 실시예는, 컴퓨팅 장치(11000)의 일례일 뿐이고, 컴퓨팅 장치(11000)은 도 18에 도시된 일부 컴포넌트가 생략되거나, 도 18에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅 장치는 도 18에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅 장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅 장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 애플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅 장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

1. 사용자단말기와 통신을 수행할 수 있고, 사용자가 착용하는 스마트글래스; 및 스마트보청기; 사용자단말기 및 보호자단말기가 접속할 수 있는 서비스서버를 포함하는 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템으로서,
   상기 스마트보청기는,
   상기 사용자단말기와 통신을 수행하는 통신모듈; 사용자의 심박을 측정하는 심박측정모듈; 외부의 소리정보가 유입되는 마이크부; 상기 외부의 소리정보가 출력되는 제1모드 및 상기 사용자단말기로부터 수신된 정보가 음성형태로 출력되는 제2모드의 동작을 제어하는 제어부;를 포함하고,
   상기 스마트글래스는,
   상기 스마트글래스의 전면에 배치되어 사용자 시점에서의 영상정보를 수집하는 촬영모듈; 적외선을 조사하여 반환되는 신호를 센싱하여 지면과의 거리정보를 도출하는 적외선센서부; 사용자의 움직임신호를 측정하는 움직임센서부; 상기 사용자단말기와 통신을 수행하는 통신모듈; 및 영상 혹은 정보를 디스플레이하는 글래스디스플레이부;를 포함하고,
   상기 사용자단말기는 상기 스마트보청기로부터 수신한 상기 소리정보 및 상기 스마트글래스로부터 수신한 상기 영상정보, 상기 거리정보 및 상기 움직임신호를 상기 서비스서버로 송신하고,
   상기 서비스서버는,
   상기 스마트보청기에 의하여 수집된 소리정보에 기초하여 학습된 인공신경망에 의하여 기설정된 시간구간별 사운드특징정보를 도출하고, 상기 사운드특징정보에 기초하여 사용자의 주변환경에 대한 예측정보를 도출하는 주변환경예측부;
   상기 영상정보의 이미지프레임에서 객체를 검출하고, 검출된 객체에 대한 장애물정보를 생성하는 장애물정보생성부;
   상기 적외선센서부가 도출한 각각의 상기 거리정보에 기초하여 거리들의 평균값을 산출하고, 상기 평균값이 기설정된 기준을 충족하는지 여부에 따른 단차정보를 도출하는 단차정보생성부;
   시간에 따른 X, Y, 및 Z축 방향의 변위량을 포함하는 상기 움직임신호 및 상기 사용자의 심박 중 1 이상에 기초하여 사용자의 낙상상태정보를 포함하는 동작상태정보를 도출하는 상태정보생성부;
   상기 장애물정보, 상기 단차정보, 상기 주변환경에 대한 예측정보 및 상기 동작상태정보에 기초하여 상기 스마트보청기, 상기 스마트글래스, 상기 사용자단말기, 혹은 상기 보호자단말기에 제공될 위험알림정보를 생성하는 위험알림정보제공부; 및
   사용자단말기로부터 목적지에 대한 입력을 수신하고, 해당 목적지로의 경로정보를 포함하는 길안내정보를 생성하는 길안내정보제공부;를 포함하는, 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템.
   
2. 청구항 1에 있어서,
   상기 주변환경예측부는,
   상기 소리정보에 기초하여 노이즈를 제거하여 전처리소리정보를 도출하는 단계;
   상기 전처리소리정보에 기초하여 소리의 세기 및 소리의 인터벌 중 1 이상을 포함하는 사운드특징정보를 도출하는 단계; 및
   상기 사운드특징정보에 기초하여 학습된 인공신경망에 의하여 사용자의 주변환경에 존재하는 장애물에 대한 정보를 포함하는 상기 예측정보를 도출하는 단계;를 수행하는, 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템.
   
3. 청구항 1에 있어서,
   상기 장애물정보생성부는,
   상기 영상정보에 기초하여 학습된 인공신경망에 의하여 영상에 포함된 1 이상의 객체를 검출하고, 검출된 객체를 인식하는 객체검출단계;
   인식된 객체가 기설정된 장애물기준에 해당하는지 여부를 판별하는 단계; 및
   장애물로 판별된 객체에 대한 음성출력정보 및 장애물로 판별된 객체에 대한 디스플레이정보를 포함하는 상기 장애물정보를 생성하는 단계;를 수행하는, 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템.
   
4. 청구항 1에 있어서,
   상기 적외선센서부는, 3 이상의 적외선센서모듈을 포함하여 각각의 적외선센서모듈이 일정 간격으로 배치되고, 3 이상의 적외선센서모듈은 적외선센서모듈별로 해당 적외선센서모듈 및 해당 적외선센서모듈에서 적외선을 조사하는 지면의 특정 위치간의 거리를 각각 산출하는, 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템
   
5. 청구항 4에 있어서,
   상기 단차정보생성부는,
   복수의 적외선센서모듈이 도출한 각각의 상기 거리정보에 기초하여 거리들의 평균값을 산출하는 단계;
   상기 평균값이 기설정된 제1단차임계기준에 부합하는지 여부를 판별하는 단계; 및
   상기 평균값이 기설정된 제1단차임계기준에 부합하지 않는 경우, 상기 단차정보를 도출하는 단계;를 수행하는, 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템
   
6. 청구항 1에 있어서,
   상기 상태정보생성부는,
   스마트글래스에서 측정된 시간의 따른 X축 방향의 변위량, Y축 방향의 변위량, 및 Z축 방향의 변위량에 기초하여 각각의 변위량이 기설정된 기준에 부합하는지 여부를 판별하는 제1낙상상태판별을 수행하는 단계; 및
   상기 제1낙상상태판별을 수행하는 단계에서의 판별결과에 기초하여 사용자의 상기 낙상상태정보를 도출하는 단계;를 수행하는, 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템
   
7. 청구항 6에 있어서,
   상기 상태정보생성부는,
   상기 제1낙상상태판별을 수행하는 단계에서 낙상으로 판별된 경우에, 사용자단말기에서 측정된 X축 방향의 변위량, Y축 방향의 변위량, 및 Z축 방향의 변위량에 기초하여 각각의 변위량이 기설정된 기준에 부합하는지 여부를 판별하여 사용자의 제2낙상상태판별을 수행하는 단계;를 더 수행하고,
   상기 낙상상태정보를 도출하는 단계에서, 상기 제1낙상상태판별을 수행하는 단계 및 상기 제2낙상상태판별을 수행하는 단계에서의 판별결과에 기초하여 사용자의 상기 낙상상태정보를 도출하는, 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템.
   
8. 청구항 6에 있어서,
   상기 상태정보생성부는,
   상기 스마트보청기의 심박측정모듈로부터 측정된 사용자의 심박에 기초하여 사용자의 스마트보청기 착용여부를 판별할 수 있고,
   상기 위험알림정보제공부는,
   상기 낙상상태정보를 도출하는 단계에 의하여 사용자의 상태가 낙상으로 판별되고, 사용자가 상기 스마트보청기를 착용하지 않은 것으로 판별되는 경우에,
   상기 스마트보청기에서 스마트보청기의 위치를 알릴 수 있는 위치알림사운드를 출력하도록 제어할 수 있는, 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템.
   
9. 청구항 1에 있어서,
   상기 길안내정보제공부는,
   사용자단말기로부터 목적지에 대한 입력을 수신하는 단계;
   사용자의 현위치정보 및 입력된 목적지에 기초하여 목적지까지의 경로정보를 도출하는 단계;
   상기 경로정보에 기초하여 해당 경로에서 예측되는 장애물에 대한 음성출력정보 및 디스플레이정보를 포함하는 경로장애물정보를 도출하는 단계; 및
   상기 경로정보 및 상기 경로장애물정보를 포함하는 길안내정보를 상기 스마트글래스에 직접적 혹은 간접적으로 제공하는 단계;를 수행하는, 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템
   
10. 사용자단말기와 통신을 수행할 수 있고, 사용자가 착용하는 스마트글래스; 스마트보청기; 및 사용자단말기 및 보호자단말기가 접속할 수 있는 서비스서버를 포함하는 시스템에서 수행되는 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조서비스를 제공하는 방법으로서,
    상기 스마트보청기는,
    상기 사용자단말기와 통신을 수행하는 통신모듈; 사용자의 심박을 측정하는 심박측정모듈; 외부의 소리정보가 유입되는 마이크부; 상기 외부의 소리정보가 출력되는 제1모드 및 상기 사용자단말기로부터 수신된 정보가 음성형태로 출력되는 제2모드의 동작을 제어하는 제어부;를 포함하고,
    상기 스마트글래스는,
    상기 스마트글래스의 전면에 배치되어 사용자 시점에서의 영상정보를 수집하는 촬영모듈; 적외선을 조사하여 반환되는 신호를 센싱하여 지면과의 거리정보를 도출하는 적외선센서부; 사용자의 움직임신호를 측정하는 움직임센서부; 상기 사용자단말기와 통신을 수행하는 통신모듈; 영상 혹은 정보를 디스플레이하는 글래스디스플레이부; 및 소리를 출력하는 스피커부;를 포함하고,
    상기 사용자단말기에 의하여 상기 스마트보청기로부터 수신한 상기 소리정보 및 상기 스마트글래스로부터 수신한 상기 영상정보, 상기 거리정보 및 상기 움직임신호를 상기 서비스서버로 송신하는 단계;
    상기 서비스서버에 의하여,
    상기 스마트보청기에 의하여 수집된 소리정보에 기초하여 학습된 인공신경망에 의하여 기설정된 시간구간별 사운드특징정보를 도출하고, 상기 사운드특징정보에 기초하여 사용자의 주변환경에 대한 예측정보를 도출하는 주변환경예측단계;
    상기 영상정보의 이미지프레임에서 객체를 검출하고, 검출된 객체에 대한 장애물정보를 생성하는 장애물정보생성단계;
    상기 적외선센서부가 도출한 각각의 상기 거리정보에 기초하여 거리들의 평균값을 산출하고, 상기 평균값이 기설정된 기준을 충족하는지 여부에 따른 단차정보를 도출하는 단차정보생성단계;
    시간에 따른 X, Y, 및 Z축 방향의 변위량을 포함하는 상기 움직임신호 및 상기 사용자의 심박 중 1 이상에 기초하여 사용자의 낙상상태정보를 포함하는 동작상태정보를 도출하는 상태정보생성단계;
    상기 장애물정보, 상기 단차정보, 상기 주변환경에 대한 예측정보 및 상기 동작상태정보에 기초하여 상기 스마트보청기, 상기 스마트글래스, 상기 사용자단말기, 혹은 상기 보호자단말기에 제공될 위험알림정보를 생성하는 위험알림정보제공단계; 및
    사용자단말기로부터 목적지에 대한 입력을 수신하고, 해당 목적지로의 경로정보를 포함하는 길안내정보를 생성하는 길안내정보제공단계; 및
    상기 사용자단말기에 의하여 상기 서비스서버로부터 상기 위험알림정보 및 길안내정보를 수신하여 상기 스마트글래스로 송신하는 단계;를 포함하는, 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조서비스를 제공하는 방법.
    

Images