KR102067350B1 - 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 방법 및 원격연계기반 보행보조 지원 시스템 - Google Patents

Abstract

본 발명은 보행보조를 필요로 하는 재활 환자나 노약자 등이 착용한 스마트글라스로부터 제공받은 보행정보를 원격지에서 분석하고 예측하여 사용자에 맞는 최적의 보행보조 정보를 제공하여 보행 능력을 향상시키고, 보행 장애를 극복할 수 있도록 하는 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 방법 및 원격연계기반 보행보조 지원 시스템에 관한 것이다. 본 발명에 따르면, 스마트글라스에서 보행속도, 보행거리, 및 머리높이 변화를 포함하는 사용자의 보행 상태를 검출하는 보행상태 검출 단계; 보행경로의 상태, 속성, 물체를 포함하는 보행환경을 검출하는 보행환경 검출 단계; 상기 보행상태 검출 단계에서 검출된 보행 상태, 및 상기 보행환경 검출 단계에서 검출된 보행환경에 대한 검출 정보를 원격지의 관리센터로 전송하는 검출정보 전송 단계; 상기 에서 전송받은 검출정보를 관리센터의 관리서버에 구축되어 있는 데이터베이스에 기반하여 검출정보를 분석하는 검출정보 분석 단계; 상기 분석된 분석정보를 스마트글라스로 피드백하는 분석정보 피드백 단계; 상기 분석정보 피드백 단계에서 전송된 보행 상태 및 보행 환경의 분석정보를 시각 패턴으로 생성하여 스마트글라스의 디스플레이부에 디스플레이하는 시각 패턴 디스플레이 단계;를 포함하는 것을 특징으로 하는 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 방법이 제공된다.

Description

스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 방법 및 원격연계기반 보행보조 지원 시스템{WALK ASSISTANCE SUPPORT METHOD AND WALK ASSISTANCE SUPPORT SYSTEM BASED ON REMOTE CONTROL SERVICE FOR ASSISTING WALKING OF SMART GLASSES}

본 발명은 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 방법 및 원격연계기반 보행보조 지원 시스템에 관한 것으로, 더욱 상세하게는 보행보조를 필요로 하는 재활 환자나 노약자 등이 착용한 스마트글라스로부터 제공받은 보행정보를 원격지의 관리센터에 전송 후 그 보행정보를 분석하고 예측하여 사용자의 스마트글라스 화면에 최적의 보행보조 정보를 제공하여 보행 능력을 향상시키고, 보행 장애를 극복할 수 있도록 하며, 나아가 맞춤 보행동작과 건강코칭 등 다양한 사용자맞춤 정보를 피드백할 수 있도록 하는 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 방법 및 원격연계기반 보행보조 지원 시스템에 관한 것이다.

최근에는 사용자가 직접 몸에 장착하여 이용할 수 있는 웨어러블 컴퓨팅 시스템(wearable computing system)에 대한 연구와 관심 그리고 상용화가 활발하게 진행되고 있다.

특히, 사용자가 안경과 같이 착용한 상태에서 스마트글라스를 통하여 각종 데이터를 제공할 수 있고, 휴대 전화 기능, 카메라 기능 등을 제공하는 일명 스마트글라스에 대한 관심이 매우 높다.

예를 들면, 구글에서 발표한 구글 글라스(google glass)는 투명 디스플레이에 정보를 표시하고, 사용자의 전방에 대한 정보는 글라스에 부착된 전방 촬영용 카메라를 통하여 획득한다. 그러나 전방 카메라만으로는 획득할 수 있는 정보에 한계가 있고, 그에 기초하여 사용자에게 제공할 수 있는 정보에는 한계가 있다.

보다 구체적으로, 전방 카메라에 의하여 획득된 영상만으로는 사용자가 바라보고 있는 객체를 알 수 없고, 사용자가 원하는 정확한 정보를 제공하기도 어렵다.

이에 따라 스마트글라스와 같이 안경 형태로 착용한 상태에서 사용자에게 최적으로 적합하고 효과적이며 체계적인 시각적 패턴을 제공하여 보행보조를 구현할 수 있도록 하고, 또한 보행보조를 위한 스마트글라스의 착용 시 사용자(착용자)마다 다른 특성에 따른 맞춤 서비스를 제공함으로써 최적의 보행보조를 구현할 수 있는 연구과 개발이 필요한 실정이다.

대한민국 공개특허공보 10-2015-0003591(2015.01.09. 공개) 대한민국 공개특허공보 10-2017-0013068(2017.02.06. 공개) 대한민국 등록특허공보 10-1790755(2017.10.27. 공고)

따라서, 상기한 종래의 문제점을 해결하기 위한 본 발명은, 보행보조를 필요로 하는 재활 환자나 노약자 등이 착용한 스마트글라스로부터 제공받은 보행정보를 원격지의 관리센터에 전송 후 그 보행정보를 분석하고 예측하여 사용자에 맞는 최적의 보행보조 정보를 제공하여 보행 능력을 향상시키고, 보행 장애를 극복할 수 있도록 하는 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 방법 및 원격연계기반 보행보조 지원 시스템을 제공하는데 그 목적이 있다.

또한, 본 발명은 사용자에 대한 맞춤 보행동작과 건강코칭 등 다양한 사용자맞춤 정보를 피드백할 수 있도록 하는 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 방법 및 원격연계기반 보행보조 지원 시스템을 제공하는데 다른 목적이 있다.

또한, 본 발명은 시각적 패턴을 음성화하거나 시각적으로 취득되는 정보를 음성으로 변환하여 시각장애인과 같은 사용자에게 제공함으로써 보행보조를 지원함으로써 안전사고를 방지할 수 있도록 하는 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 방법 및 원격연계기반 보행보조 지원 시스템을 제공하는데 다른 목적이 있다.

본 발명의 해결과제는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 본 발명의 목적들 및 다른 특징들을 달성하기 위한 본 발명의 일 관점에 따르면, 스마트글라스에서 실행되는 보행보조 지원방법을 원격지의 관리센터로부터 지원하기 위한 방법으로서, 스마트글라스에서 보행속도, 보행거리, 및 머리높이 변화를 포함하는 사용자의 보행 상태를 검출하는 보행상태 검출 단계; 보행경로의 상태, 속성, 물체를 포함하는 보행환경을 검출하는 보행환경 검출 단계; 상기 보행상태 검출 단계에서 검출된 보행 상태, 및 상기 보행환경 검출 단계에서 검출된 보행환경에 대한 검출 정보를 원격지의 관리센터로 전송하는 검출정보 전송 단계; 상기 에서 전송받은 검출정보를 관리센터의 관리서버에 구축되어 있는 데이터베이스에 기반하여 검출정보를 분석하는 검출정보 분석 단계; 상기 분석된 분석정보를 스마트글라스로 피드백하는 분석정보 피드백 단계; 상기 분석정보 피드백 단계에서 전송된 보행 상태 및 보행 환경의 분석정보를 시각 패턴으로 생성하여 스마트글라스의 디스플레이부에 디스플레이하는 시각 패턴 디스플레이 단계;를 포함하는 것을 특징으로 하는 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 방법이 제공된다.

본 발명의 일 관점에 있어서, 상기 보행상태 검출 단계는 사용자의 머리 움직임과 이동 거리 및 이동 속도를 검출하고, 상기 보행환경 검출 단계는 평지, 오르막, 내리막 및 계단에 대한 보행경로의 속성, 사람 및 장애물을 포함하는 물체, 눈길 및 빗길을 포함하는 보행경로의 상태를 검출하며, 상기 시각 패턴 디스플레이 단계는 사용자의 머리의 움직임에 따라 시각 패턴을 회전하여 보정할 수 있다.

본 발명의 일 관점에 있어서, 상기 검출정보 분석 단계는 관리서버에 구축되어 있는 데이터와 비교 판단하여 해당 검출 정보에 대한 결과 데이터를 추출하되, 딥러닝의 판단 모델을 통해 학습하여 결과 데이터를 판단 추출하도록 이루어질 수 있다.

본 발명의 일 관점에 있어서, 상기 검출정보 분석 단계는 상기 머리 움직임과 이동 거리 및 이동 속도와 연계하여 결과 데이터를 결정하고, 보행속도, 휴지 시간을 포함하는 코칭 정보를 함께 생성 피드백하여, 상기 코칭 정보를 스마트글라스의 디스플레이부에 표시되도록 이루어질 수 있다.

본 발명의 일 관점에 있어서, 상기 시각 패턴 디스플레이 단계는 상기 검출 정보에 기반하여 스마트글라스에 일차적으로 표시되도록 한 다음, 상기 결과 데이터를 표시하도록 이루어지고, 상기 시각 패턴 디스플레이 단계는 보행로 영역에 디스플레이되는 시각 패턴을 생성하되, 보행로의 진로에 따라 기설정된 이격 거리를 두고 배치되는 복수의 라인 형상 시각 패턴을 생성하도록 이루어지며, 스마트글라스 자체에 구성된 입력장치 또는 스마트글라스와 연결되는 입력장치를 통해 사용자가 직접 시각적 패턴을 선택하거나 디스플레이 실행 설정을 변경하는 입력 명령을 전달받아 시각 패턴이 표시되도록 제어하는 사용자입력 설정 단계를 더 포함할 수 있다.

본 발명의 일 관점에 있어서, 상기 사용자 입력 설정 단계는 시각적 패턴의 모양, 색상, 길이, 간격, 개수를 포함하는 속성이 설정되도록 이루어지고, 상기 보행상태 검출 단계에서 검출된 보행 패턴을 분석하여 보행 동결을 검출하고 보행 동결 시 자동으로 시각적 패턴을 표시하는 보행동결 검출 단계;를 더 포함하며, 상기 보행동결 검출 단계는 스마트글라스의 구비된 센서모듈에서 획득한 사용자의 떨림 현상에 대한 검출값을 획득 및 분석하여, 상기 검출값이 기설정값 이상인 경우, 사용자의 보행동결 증상을 인식하고, 디스플레이부에 보행동결 극복을 위한 시각 패턴을 자동 생성하도록 이루어질 수 있다.

본 발명의 일 관점에 있어서, 상기 시각 패턴 디스플레이 단계는 상기 보행동결 검출 단계에서 사용자의 보행동결 증상이 발생하였음을 감지한 경우에만 보행동결 극복을 위한 시각 패턴을 생성 및 표시하도록 이루어지고, 상기 보행동결 검출 단계에서 검출된 정보는 상기 검출 정보와 함께 관리서버로 제공되어 보행동결이 발생한 정보에 대하여 딥러닝을 통해 학습하고, 보행동결이 발생할 수 있을 수 있는 상황을 예측하여 코칭 정보로서 제공하도록 이루어지며, 상기 보행환경 검출 단계에서 검출된 보행환경을 음성으로 제공하는 보행환경 음성제공 단계를 더 포함할 수 있다.

본 발명의 다른 관점에 따르면, 사용자의 머리 움직임과 이동 거리 및 이동 속도를 포함하는 보행상태를 검출하는 보행상태 검출부와, 평지, 오르막, 내리막 및 계단에 대한 보행경로의 속성과, 사람 및 장애물의 물체를 포함하는 보행환경을 검출하는 보행환경 검출부와, 보행경로의 상태 데이터 및 속성 데이터가 저장되어 있는 보행환경 데이터 저장부와, 상기 보행상태 검출부에서 검출된 보행 상태, 및 상기 보행환경 검출부에서 검출된 보행환경의 검출 정보를 하기 원격지의 관리센터 플랫폼의 관리서버로 전송하기 위한 통신모듈, 및 상기 보행환경의 검출 정보를 시각 패턴으로 생성하여 스마트글라스의 디스플레이부에 디스플레이하는 시각 패턴 디스플레이부를 포함하는 스마트글라스; 및 상기 스마트글라스의 검출 정보를 전송받아 구축되어 있는 데이터베이스에 기반하여 검출정보를 분석하고, 분석된 분석정보를 상기 스마트글라스로 피드백하는 관리센터의 관리서버;를 포함하는 것을 특징으로 하는 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 시스템이 제공된다.

본 발명의 다른 관점에 있어서, 상기 보행상태 검출부는 사용자의 머리 움직임과 이동 거리 및 이동 속도를 검출하도록 구성되고, 상기 보행환경 검출부는 평지, 오르막, 내리막 및 계단에 대한 보행경로의 속성, 사람 및 장애물을 포함하는 물체, 눈길 및 빗길을 포함하는 보행경로의 상태를 검출하도록 구성되고, 상기 시각 패턴 디스플레이부는 사용자의 머리의 움직임에 따라 시각 패턴을 회전하여 보정하도록 구성되고, 상기 관리서버는 전송된 검출정보와 상기 데이터베이스의 데이터와 비교 판단하여 해당 검출 정보에 대한 결과 데이터를 추출하되, 딥러닝의 판단 모델을 통해 학습하여 결과 데이터를 판단 추출하도록 이루어질 수 있다.

본 발명의 다른 관점에 있어서, 상기 검출정보 분석부는 상기 머리 움직임과 이동 거리 및 이동 속도와 연계하여 결과 데이터를 결정하고, 보행속도, 휴지 시간을 포함하는 코칭 정보를 함께 생성 피드백하여, 상기 코칭 정보를 스마트글라스의 디스플레이부에 표시되도록 이루어지고, 상기 시각 패턴 디스플레이부는 상기 검출 정보에 기반하여 스마트글라스에 일차적으로 표시되도록 한 다음, 상기 결과 데이터를 표시하고, 보행로 영역에 디스플레이되는 시각 패턴을 생성하되, 보행로의 진로에 따라 기설정된 이격 거리를 두고 배치되는 복수의 라인 형상 시각 패턴을 생성하도록 이루어지며, 스마트글라스 자체에 구성되거나 또는 스마트글라스와 연결되게 구성되어 사용자가 직접 시각적 패턴을 선택하거나 디스플레이 실행 설정을 변경하는 입력 명령을 전달받아 시각 패턴이 표시되도록 제어하는 사용자설정 입력장치를 더 포함할 수 있다.

본 발명의 다른 관점에 있어서, 상기 사용자설정 입력장치는 시각적 패턴의 모양, 색상, 길이, 간격, 개수를 포함하는 속성이 설정되도록 하는 것을 포함하고, 상기 스마트글라스는 보행상태 검출부에서 검출된 보행 패턴을 분석하여 보행 동결을 검출하고 보행 동결 시 자동으로 시각적 패턴을 표시하는 보행동결 검출부; 및 상기 보행환경 검출부에서 검출된 보행환경을 음성으로 제공하는 보행환경 음성제공부;를 더 포함하며, 상기 보행동결 검출부는 스마트글라스의 구비된 센서모듈에서 획득한 사용자의 떨림 현상에 대한 검출값을 획득 및 분석하여, 상기 검출값이 기설정값 이상인 경우, 사용자의 보행동결 증상을 인식하고, 디스플레이부에 보행동결 극복을 위한 시각 패턴을 자동 생성하도록 이루어지고, 상기 시각 패턴 디스플레이부는 상기 보행동결 검출 단계에서 사용자의 보행동결 증상이 발생하였음을 감지한 경우에만 보행동결 극복을 위한 시각 패턴을 생성 및 표시하도록 이루어지며, 상기 스마트글라스는 상기 보행동결 검출부에서 검출된 정보가 상기 검출 정보와 함께 관리서버로 제공되도록 이루어지고, 상기 관리서버는 보행동결이 발생한 정보에 대하여 딥러닝을 통해 학습하고, 보행동결이 발생할 수 있을 수 있는 상황을 예측하여 코칭 정보로서 제공하도록 이루어질 수 있다.

본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 방법 및 원격연계기반 보행보조 지원 시스템에 의하면 다음과 같은 효과를 제공한다.

첫째, 본 발명은 보행보조를 필요로 하는 재활 환자나 노약자 등이 착용한 스마트글라스로부터 보행정보를 원격지 분석 플랫폼에서 제공받아 이를 분석하고 나아가 예측하여, 사용자에 맞는 체계적인 시각적 패턴과 같은 최적의 보행보조 정보를 제공하여 보행 능력을 향상시켜 지속적이고 효과적인 보행 연습이 되도록 지원할 수 있는 효과가 있다.

둘째, 본 발명은 개선방향의 보행보조 정보를 지속적으로 분석하고 예측하여 제공함으로써 보행 장애를 극복할 수 있도록 하여 최종적으로는 스마트글라스의 착용 없이도 원활한 보행을 행할 수 있는 효과가 있다.

셋째, 본 발명은 전문가 그룹으로부터 사용자에 대한 맞춤 보행동작과 건강코칭 등 다양한 사용자맞춤 정보를 지원할 수 있도록 하여 더욱 스마트한 환경에서 보행보조를 할 수 있도록 하는 효과가 있다.

넷째, 본 발명은 스마트글라스에서 안내하는 시각적 패턴을 음성화하거나 시각적으로 취득되는 정보를 음성으로 변환하여 시각장애인과 같은 사용자에게 제공함으로써 보행보조를 지원함으로써 안전사고를 방지할 수 있도록 하는 효과가 있다.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.

도 1은 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 방법을 개략적으로 나타내는 플로차트이다.
도 2는 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 과정의 보행상태 검출 단계에서 보행 시 시선의 각도에 따른 보행상태 검출 정보를 나타내는 도면이다.
도 3은 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 과정의 보행상태 검출 단계에서 사용자 머리의 움직임으로부터 보행상태 검출 정보를 나타내는 예시도이다.
도 4는 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 과정의 보행상태 검출 단계에서 보행상태 정보 분석 과정을 나타내는 도면이다.
도 5는 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 과정의 보행상태 검출 단계에서 이동 거리 정보 획득 과정을 나타내는 도면이다.
도 6은 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 과정의 보행환경 검출 단계에서 보행경로의 속성을 검출하는 과정을 나타내는 플로차트이다.
도 7은 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 과정의 보행상태 검출 단계에서 장애물 검출 결과를 나타내는 예시도이다.
도 8 내지 도 12는 각각 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 과정의 시각패턴 디스플레이 단계에서 표시되는 시각패턴의 예시들을 나타내는 도면들이다.
도 13은 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 과정의 보행동결 검출 단계에서 보행동결 증상 발생 판단 기준을 나타내는 예시도이다.
도 14는 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 시스템의 구성을 블록화하여 나타내는 도면이다.
도 15는 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 시스템에 포함되는 보행환경 검출부의 구성을 블록화하여 나타내는 도면이다.

본 발명의 추가적인 목적들, 특징들 및 장점들은 다음의 상세한 설명 및 첨부도면으로부터 보다 명료하게 이해될 수 있다.

본 발명의 상세한 설명에 앞서, 본 발명은 다양한 변경을 도모할 수 있고, 여러 가지 실시 예를 가질 수 있는바, 아래에서 설명되고 도면에 도시된 예시들은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도는 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 명세서에 기재된 "...부", "...유닛", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

이하, 본 발명의 바람직한 실시 예에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 방법 및 원격연계기반 보행보조 지원 시스템을 첨부 도면을 참조하여 상세히 설명한다.

먼저, 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 방법에 대하여 도 1을 참조하여 상세히 설명한다. 도 1은 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 방법을 개략적으로 나타내는 플로차트이다.

본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 방법은, 스마트글라스에서 실행되는 보행보조를 원격지의 관리센터로부터 지원하기 위한 방법으로서, 도 1에 나타낸 바와 같이, 스마트글라스에서 보행속도, 보행거리, 및 높이 등을 포함하는 사용자의 보행 상태를 검출하는 보행상태 검출 단계(S110); 보행경로의 상태, 속성, 물체 등의 보행환경을 검출하는 보행환경 검출 단계(S120); 상기 보행상태 검출 단계(S110)에서 검출된 보행 상태, 및 상기 보행환경 검출 단계(S120)에서 검출된 보행환경에 대한 검출 정보를 원거리 통신을 통해 원격지의 관리센터로 전송하는 검출정보 전송 단계(S200); 상기 검출정보 전송 단계(S200)에서 전송받은 검출정보를 관리센터의 데이터베이스(DB) 서버에 미리구축되어 있는 데이터베이스에 기반하여 검출정보를 분석하는 검출정보 분석 단계(S300); 상기 검출정보 분석 단계(S300)에서 분석된 분석정보를 원거리 통신을 통해 사용자의 스마트글라스로 피드백하는 분석정보 피드백 단계(S400); 상기 분석정보 피드백 단계(S400)에서 전송된 보행 상태 및 보행 환경의 분석정보를 시각 패턴으로 생성하여 스마트글라스의 디스플레이부에 디스플레이하는 시각 패턴 디스플레이 단계(S500);를 포함한다.

상기 보행상태 검출 단계(S110)에서 보행속도와 보행거리는 스마트글라스에 구비되는 속도센서(accelerometer), 자이로센서(gyro), 지자기(digital compass)를 포함하는 9축센서를 이용하여 스마트글라스가 기울어진 각도를 추정하여 기울어진 만큼 가속도센서 값을 회전하여 머리의 움직임(상/하)에 관계없이 속도와 거리에 대한 값을 도출하게 된다.

구체적으로, 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 과정의 보행상태 검출 단계에서 보행속도와 보행거리에 대한 정보를 도출하는 과정에 대하여 도 2 내지 도 5를 참조하여 설명한다. 도 2는 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 과정의 보행상태 검출 단계에서 보행 시 시선의 각도에 따른 보행상태 검출 정보를 나타내는 도면이고, 도 3은 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 과정의 보행상태 검출 단계에서 사용자 머리의 움직임으로부터 보행상태 검출 정보를 나타내는 예시도이고, 도 4는 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 과정의 보행상태 검출 단계에서 보행상태 정보 분석 과정을 나타내는 도면이며, 도 5는 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 과정의 보행상태 검출 단계에서 이동 거리 정보 획득 과정을 나타내는 도면이다.

본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 과정의 보행상태 검출 단계에서 보행속도와 보행거리에 대한 정보를 도출하는 과정에 대하여 설명한다.

사용자가 고개를 똑바로 들고 걸어가는 경우와, 사용자가 바닥을 보면서 걸어가는 경우는 시선의 방향(z축, 사용자의 진행방향과 같음)이 상이하다.

즉, 가속도센서가 획득한 가속도 값은 사용자의 머리 움직임(시선 방향)에 따라 각 축(x축, z축)의 중력 성분이 달라지므로, 출력값에 대한 보정이 필요하다. 따라서, 도 3에 나타낸 바와 같이 자이로센서가 획득한 값을 누적하여 사용자의 머리가 움직인 각도를 획득하고, 이를 이용하여 도 4에 나타낸 바와 같이 실시간으로 사용자의 머리가 움직인 각도만큼 가속도 값을 회전시켜, 절대 좌표계에서 각 축(x축, z축)의 보정된 가속도 값을 획득할 수 있다.

그리고 도 5에 도시된 바와 같이, 절대 좌표계에서 획득한 가속도 값으로부터, 사용자의 진행 방향(z축)에 대한 가속도 값을 적분 연산하여, 사용자가 이동한 거리와 속도를 산출한다. 이때, 필터(예: butterworth)를 적용하여 정지상태에서 미세한 떨림으로 인한 이동거리 산출의 오차를 줄일 수 있다. 이러한 보정을 통해 시각 패턴 디스플레이 단계에서 시각 패턴을 회전하여 보정할 수 있게 된다.

또한, 높이는 급격한 변화 후 속도 변화가 없음에 대한 검출을 통해 사용자가 서 있는 상태에서 넘어진 이후 넘어져 있는 상태를 유지하고 있음을 검출하게 된다.

다음으로, 상기 보행환경 검출 단계(S120)는 평지, 오르막, 내리막 또는 계단 등에 대한 보행경로의 속성을 검출하고, 사람이나 장애물 등 물체를 검출하게 된다. 도 6은 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 과정의 보행환경 검출 단계에서 보행경로의 속성을 검출하는 과정을 나타내는 플로차트이고, 도 7은 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 과정의 보행상태 검출 단계에서 장애물 검출 결과를 나타내는 예시도이다.

상기 보행환경 검출 단계(S120)는, 스마트글라스에 구비된 카메라로부터 획득한 영상을 입력받고, 이러한 입력 영상 내에서 바닥 영역을 분리하여 검출한다. 이때, 보행환경 검출 단계(S120)에서는 바닥(floor) 인식 알고리즘을 이용하여 라인 추출(line extraction), 영상 분할(image segmentation), 바닥 영역 감지(floor boundary detection)를 통하여 바닥 영역을 분리하여 검출하고, 검출된 정보에 근거하여 스마트글라스에 구성된 속성 데이터 저장부의 속성 데이터로부터 보행경로의 속성(평지, 오르막, 내리막 또는 계단 등)에 대한 정보를 취득하게 된다.

다시 말해서, 상기 보행환경 검출 단계(S120)는 스마트글라스에 구비된 카메라로부터 획득한 영상을 입력받는 영상 취득 단계(S121)와, 상기 영상 취득 단계(S121)에서 취득된 입력 영상 내에서 바닥 영역을 분리 추출하는 바닥영역 분리추출 단계(S122)와, 상기 바닥영역 분리추출 단계(S122)에서 분리추출된 바닥 영역 의 기울기 및/또는 라인을 추출하는 바닥영역 특성추출 단계(S123)와, 상기 바닥영역 특성 추출 단계(S123)에서 추출된 특성 데이터와 속성 데이터 저장부의 속성 데이터와 비교 판단하는 데이터 비교판단 단계(S124), 및 상기 비교판단 단계(S124)에서 비교 판단한 결과, 상기 속성 데이터 저장부의 속성 데이터 중에 상기 추출된 특성 데이터와 상응하거나 매칭되는 속성 데이터를 해당 속성 데이터로 결정하여 추출하는 속성데이터 추출 단계(S125)를 포함할 수 있다.

상기 바닥영역 분리 추출 단계(S122)는 입력 영상 내에서 바닥 영역을 분리하여 검출한다. 여기에서, 상기 바닥영역 분리 추출 단계(S122)는 바닥(floor) 인식 알고리즘을 이용하여 라인 추출(line extraction), 영상 분할(image segmentation), 바닥 영역 감지(floor boundary detection)를 통하여 바닥 영역을 분리하여 검출한다.

상기 바닥영역 분리 추출 단계(S122)에 있어 영상 분할 과정에 있어서, 화면의 각 픽셀(pixel)들을 라인(line)을 기준으로 라벨링(labeling)하거나, 세그멘테이션 알고리즘(segmentation algorithm)을 사용하여 파티션(partition)을 생성하여 평면으로 그룹화한다. 그리고 바닥 영역 감지 과정에 있어서는, 파티션으로 분류된 평면에서 바닥 영역을 분리하여 검출한다.

상기 바닥영역 특성추출 단계(S123)는 기울기 및/또는 라인 추출 과정에 있어서, 에지 디텍션(egde detection) 알고리즘(예: canny 알고리즘)을 이용하여 에지(egde) 정보를 검출하거나, 및/또는 영역에 나타나는 모든 라인(line)을 검출하거나, 및/또는 라인(line)의 투시선이 만나는 소실점(vanishing point)를 찾아 라인의 오리엔테이션(orientation)을 판별하여 라인 및 그 라인의 기울기를 추출하게 된다.

계속해서, 상기 데이터 비교판단 단계(S124)에 있어서 속성 데이터 저장부의 속성 데이터는 평지에 대한 데이터, 언덕길에 대한 데이터, 내리막길에 대한 데이터, 평지와 언덕길 및 내리막길 각각에서의 계단에 대한 정보 등이 미리 저장 구축되어 있다.

그리고 상기 속성데이터 추출 단계(S125)에서는 추출된 특성 데이터와 속성 데이터 중에 상응하거나 매칭되는 속성 데이터를 해당 속성 데이터(평지, 오르막길, 언덕길, 오르막길에서의 계단, 내리막길에서의 계단 등)가 추출되게 된다. 여기에서 추출되는 데이터는 임시 추출된 속성 데이터로부터 후술하는 검출정보 분석 단계(S300)에서 해당 속성 데이터 또는 다른 데이터와 연계되어 최종 확정되게 된다.

또한, 상기 보행환경 검출 단계(S120)는 실제 영상을 입력받고, 그로부터 바닥 영역을 검출하며, 바닥 인식 알고리즘을 이용하여 획득한 라벨링 정보를 통하여, 물체 면의 수직 벡터를 구하고, 분리된 바닥 영역에서 바닥 면과 상이한 라벨링 정보를 찾아 장애물을 검출하게 되는데, 도 7에 나타낸 바와 같이 벽(wall)과 바닥(floor)의 라벨링(labeling) 정보를 이용하여 바닥 영역에 위치하는 장애물을 검출하게 된다.

또한, 상기 보행환경 검출 단계(S120)는 눈길이나 빗길인지 보행경로의 상태를 검출하는 상태 데이터 검출 단계를 더 포함할 수 있는데, 취득된 영상에 대한 데이터와 스마트글라스의 상태 데이터 저장부에 미리 저장되어 구축되어 있는 상태 데이터(빗길에 대한 데이터, 눈길에 대한 데이터 등)와 비교하여 해당 상태 데이터를 추출하게 된다.

상기한 각 검출 정보(검출 데이터)들은 스마트글래스에 구성된 원거리 통신모듈을 통해 원격지의 관리센터로 실시간 전송된다(검출정보 전송 단계(S400). 이때, 전송되는 정보는 해당 스마트글라스에 부여된 고유정보(일련번호)와 함께 전송되어 관리센터에서의 분석 후 피드백하는 과정에서 해당 스마트글라스로 전송되도록 한다.

다음으로, 상기 검출정보 분석 단계(S300)는 관리센터의 관리서버에 미리 마련되어 구축되어 있는 속성 데이터베이스와 상태 데이터베이스의 속성 데이터와 상태 데이터와 비교 판단하여 해당 검출 정보에 대한 최종적인 속성 데이터와 상태 데이터를 판단하여 결과 데이터를 판단하게 된다.

여기에서, 상기 검출정보 분석 단계(S300)는 딥러닝의 판단 모델을 통해 학습하여 결과 데이터를 판단하게 되는데, 이에 더하여 보행자의 보행상태 검출정보와 연계시켜 최종 결과 데이터를 결정하도록 이루어질 수 있다.

상기 관리센터의 관리서버에 구축되는 데이터베이스는 사용자로부터 수집된 정보뿐만 아니라, 관리자가 판단 결과에 대하여 검증한 검증된 데이터도 업데이트되어 구축되도록 함으로써 딥러닝의 판단 모델의 정확성을 향상시킬 수 있게 된다.

또한, 상기 검출정보 분석 단계(S300)는 결과 데이터를 제공함에 있어 다른 사용자들의 결과 데이터에 기반하여 보행속도, 휴지(쉬는 시간) 등 예측 정보(코칭 정보)를 함께 생성하여 피드백 할 수 있다.

상기 검출정보 분석 단계(S300)는 분석되어 결정된 결과 데이터(코칭정보 포함할 수 있음)는 원거리 통신모듈을 통해 사용자의 스마트글라스로 전송되어 스마트글라스의 디스플레이부에 표시되게 된다.

도 8 내지 도 12는 각각 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 과정의 시각패턴 디스플레이 단계에서 표시되는 시각패턴의 예시들을 나타내는 도면들이다.

상기 시각 패턴 디스플레이 단계(S500)는, 예시 도면들에 나타낸 바와 같이, 보행상태 검출 단계(S110)에서 검출된 보행 상태, 및 상기 보행환경 검출 단계(S120)에서 검출된 보행환경을 스마트글라스 자체에서 시각 패턴으로 생성하여 스마트글라스의 디스플레이부에 1차적으로 디스플레이한 상태에서 상기 분석정보 피드백 단계(S400)에서 전송된 결과 데이터로 보정되거나 그대로 유지될 수 있다. 다만, 분석정보 피드백 단계(S400)에서 코칭 정보가 포함되는 경우, 소정 시간(설정된 시간) 코칭 정보(예를 들면, 걸음 속도를 조금 줄이세요, 1분정도 쉬었다 가세요 등)를 표시하게 된다.

여기에서, 스마트글라스의 디스플레이부에 디스플레이되는 시각 패턴은 후술하는 사용자 입력 설정에 따라 사용자가 설정할 수 있으며, 보행 상태는 생략할 수도 있다. 도면에서 보행 상태에 대한 시각 패턴은 생략한 예시를 나타내고 있다.

구체적으로, 상기 시각 패턴 디스플레이 단계(S500)는, 상기한 분석정보 피드백 단계(S400)에서 전송된 정보를 보행로 영역에 디스플레이되는 시각 패턴을 생성하되, 보행로의 진로에 따라 기설정된 이격 거리를 두고 배치되는 복수의 라인 형상 시각 패턴을 생성할 수 있다.

또한, 상기 시각 패턴 디스플레이 단계(S500)는 보행 진로의 원근감에 따라 사용자의 위치로부터 멀어질수록 모양이 변형되는 복수의 라인 형상 시각 패턴을 생성한다. 이때, 복수의 라인 형상 시각 패턴은 사용자의 위치로부터 멀어질수록 굵기 및 길이 중 적어도 어느 하나가 변형되며, 예를 들어 사용자의 위치로부터 멀어질수록 라인 형상 시각 패턴의 굵기가 가늘어지고, 길이가 짧아지도록 시각 패턴을 생성할 수 있다.

즉, 상기 시각 패턴 디스플레이 단계(S500)는 사용자에게 바닥에 시각 패턴이 새겨진 것과 같은 증강 현실 디스플레이를 제공하여 보행 기능을 보조하기 위한 시각 패턴을 생성한다.

한편, 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 방법은, 스마트글라스 자체에 구성된 입력장치 또는 스마트글라스와 연결되는 입력장치를 통해 디스플레이되는 시각패턴을 사용자가 직접 선택하거나 기타 디스플레이 실행 설정을 변경하도록 입력하는 사용자 입력 설정 단계(S600); 및/또는 상기 보행상태 검출 단계(S110)에서 검출된 보행 패턴을 분석하여 보행 동결을 검출하고 보행 동결 시 자동으로 시각적 패턴을 표시하는 보행동결 검출 단계(S700);를 더 포함할 수 있다.

상기 사용자 입력 설정 단계(S600)는 예를 들면 시각적 패턴의 모양, 색상, 길이, 간격, 개수 등 시각적 패턴에 관련된 속성을 사용자 스스로 설정할 수 있게 된다.

이러한 사용자 입력 설정 단계(S600)의 실행 명령을 통해, 사용자 스스로 개인에 맞는 최적의 시각적 패턴을 제공하여 보행보조를 향상시키고 보행동결을 극복할 수 있도록 하는 효과를 제공할 수 있게 된다.

여기에서, 사용자 입력 설정 단계(S600) 대신에 검출정보 분석단계(S300)에서 분석된 결과에 기초하여 결과 데이터에 최적의 모양, 색상, 길이, 간격, 개수 등이 함께 제공되어 자동 설정되어 디스플레이되도록 할 수 있다.

다음으로, 상기 보행동결 검출 단계(S700)는 스마트글라스에 구비된 카메라를 통해 획득된 정보를 통하여 보행동결이 올 수 있는 상황을 미리 검출하여 보행 동결 시 보행동결을 극복할 수 있는 시각적 패턴을 디스플레이부에 자동으로 표시하도록 이루어진다. 도 13은 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 과정의 보행동결 검출 단계에서 보행동결 증상 발생 판단 기준을 나타내는 예시도이다

구체적으로, 상기 보행동결 검출 단계(S700)는, 스마트글라스의 구비된 센서모듈(가속도센서, 지자기센서, 자이로센서 등)에서 획득한 사용자의 떨림 현상에 대한 검출값을 분석하여, 검출값이 기설정값 이상인 경우, 사용자의 보행동결 증상을 인식하고, 보행동결 극복을 위한 시각 패턴 생성을 활성화시키는 명령 신호를 송신하여 디스플레이부에 관련 시각 패턴을 생성하게 된다.

즉, 상기 보행동결 검출 단계(S700)는 스마트글라스에 탑재된 센서모듈(예를 들면, 가속도센서)이 획득한 가속도 값을 분석하여, 가속도 값이 기설정값 이상인 경우, 사용자의 보행동결 증상이 발생하였음을 검출한다.

그런 다음, 상기 보행동결 검출 단계(S700)에서 보행동결 증상이 발생하였음을 검출하게 되면, 사용자가 설정하거나 미리 설정되어 있는 시각적 패턴을 디스플레이부에 디스플레이하도록 명령하게 된다.

여기에서, 상기 시각 패턴 디스플레이 단계(S500)는, 상기 보행동결 검출 단계(S700)에서 사용자의 보행동결 증상이 발생하였음을 감지한 경우에만 시각 패턴을 생성 및 표시하도록 함으로써, 스마트글라스의 저전력화를 도모할 수 있게 된다.

또한, 상기 보행동결 검출 단계(S700)에서 검출된 정보는 검출정보 전송 단계(S200)에서 전송되는 정보와 함께 제공되고, 관리센터의 관리서버의 학습 모델에서는 보행동결이 발생한 과정도 학습하게 되어 각 사용자의 검출정보에 기반하여 보행동결이 발생할 수 있을 수 있는 상황을 예측하여 코칭 정보로서 제공할 수 있게 된다.

한편, 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 방법은, 상기 보행경로의 속성, 물체, 상태 등의 보행환경을 검출하는 보행환경 검출 단계(S120)에서 검출된 보행환경을 음성으로 제공하는 보행환경 음성제공 단계(S800)를 더 포함할 수 있다.

상기 보행환경 음성제공 단계(S500)는 검출 데이터에 기반하여 해당 데이터를 음성으로 변환할 수 있는 공지의 음성변환기술을 통해 시각 패턴으로 나타내는 각 정보들을 음성으로 안내하도록 이루어질 수 있다. 이때, 일 예로 소정의 순서 알고리즘을 통해 보행상황을 안내하면서 장애물이 전방 어느 쪽에 있음을 안내하도록 이루어질 수 있다.

다음으로, 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 시스템에 대하여 도 14 및 도 15를 참조하여 상세히 설명한다. 도 14는 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 시스템의 구성을 블록화하여 나타내는 도면이며, 도 15는 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 시스템에 포함되는 보행환경 검출부의 구성을 블록화하여 나타내는 도면이다.

본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 시스템은, 도 14 및 도 15를 에 나타낸 바와 같이, 보행속도, 보행거리, 및 높이(머리 높이) 등을 포함하는 사용자의 보행 상태를 검출하는 보행상태 검출부(110)와, 보행경로의 상태, 속성, 물체 등의 보행환경을 검출하는 보행환경 검출부(120)와, 보행경로의 상태 및 속성 데이터가 저장되어 있는 보행환경 데이터 저장부(130)와, 상기 보행상태 검출부(110)에서 검출된 보행 상태, 및 상기 보행환경 검출부(120)에서 검출된 보행환경의 검출 정보를 하기 원격지의 관리센터 플랫폼의 관리서버(200)로 전송하기 위한 통신모듈(140), 및 상기 보행환경의 검출 정보를 시각 패턴으로 생성하여 스마트글라스의 디스플레이부에 디스플레이하는 시각 패턴 디스플레이부(150)를 포함하는 스마트글라스(100); 및 상기 스마트글라스(100)의 검출 정보를 통신모듈(210)를 통해 전송받아 미리구축되어 있는 데이터베이스(220)에 기반하여 검출정보를 분석하고, 분석된 분석정보를 상기 스마트글라스(100)로 피드백하는 관리센터의 관리서버(200);를 포함한다.

상기 보행상태 검출부(110)는 스마트글라스에 구비되는 센서모듈(가속도센서, 자이로센서, 지자기센서(magnetic field sensor) 등)을 이용하여 스마트글라스가 기울어진 각도를 추정하여 기울어진 만큼 가속도센서 값을 회전하여 머리의 움직임(상/하)에 관계없이 속도와 거리(보행속도와 보행거리)에 대한 값을 도출하도록 이루어진다.

구체적으로, 상기 보행상태 검출부(110)에서 보행상태에 대해 검출이 행해지는 과정에 대하여 앞서 설명한 도면들을 참조하여 설명한다.

사용자가 고개를 똑바로 들고 걸어가는 경우와, 사용자가 바닥을 보면서 걸어가는 경우는 시선의 방향(z축, 사용자의 진행방향과 같음)이 상이하다. 즉, 센서모듈의 가속도센서가 획득한 가속도 값은 사용자의 머리 움직임(시선 방향)에 따라 각 축(x축, z축)의 중력 성분이 달라지므로, 출력값에 대한 보정이 필요하다. 따라서, 도 3에 나타낸 바와 같이 자이로센서가 획득한 값을 누적하여 사용자의 머리가 움직인 각도를 획득하고, 이를 이용하여 도 4에 나타낸 바와 같이 실시간으로 사용자의 머리가 움직인 각도만큼 가속도 값을 회전시켜, 절대 좌표계에서 각 축(x축, z축)의 보정된 가속도 값을 획득할 수 있다. 그리고 도 5에 도시된 바와 같이, 절대 좌표계에서 획득한 가속도 값으로부터, 사용자의 진행 방향(z축)에 대한 가속도 값을 적분 연산하여, 사용자가 이동한 거리와 속도를 산출한다. 이때, 필터(예: butterworth)를 적용하여 정지상태에서 미세한 떨림으로 인한 이동거리 산출의 오차를 줄일 수 있다. 또한, 높이는 급격한 변화 후 속도 변화가 없음에 대한 검출을 통해 사용자가 넘어져 있는 상태를 유지하고 있음을 검출하게 된다.

다음으로, 상기 보행환경 검출부(120)는 평지, 오르막, 내리막 또는 계단 등에 대한 보행경로의 속성을 검출하고, 사람이나 장애물 등 물체를 검출하게 된다. 이에 더하여, 보행환경 검출부(120)는 눈길이나 빗길인지 보행경로의 상태를 검출하도록 이루어질 수 있다.

즉, 상기 보행환경 검출부(120)는, 스마트글라스에 구비된 카메라로부터 획득한 영상을 입력받고, 이러한 입력 영상 내에서 바닥 영역을 분리하여 검출하도록 이루어진다. 이때, 상기 보행환경 검출부(120)에서는 바닥(floor) 인식 알고리즘을 이용하여 라인 추출(line extraction), 영상 분할(image segmentation), 바닥 영역 감지(floor boundary detection)를 통하여 바닥 영역을 분리하여 검출하고, 검출된 정보에 근거하여 보행환경 데이터 저장부(130)로부터 보행경로의 속성(평지, 오르막, 내리막 또는 계단 등)에 대한 정보를 취득하도록 이루어진다.

구체적으로, 상기 보행환경 검출부(120)는, 스마트글라스에 구비되어 영상을 취득하는 영상 취득부(예를 들면, 카메라(121))와, 상기 영상 취득부(121)에서 취득된 입력 영상 내에서 바닥 영역을 분리 추출하는 바닥영역 분리추출부(122)와, 상기 바닥영역 분리추출부(122)에서 분리추출된 바닥 영역의 기울기 및/또는 라인을 추출하는 바닥영역 특성추출부(123)와, 상기 바닥영역 특성추출부(123)에서 추출된 특성 데이터와 보행환경 데이터 저장부(130)의 데이터들을 비교 판단하는 데이터 비교판단부(124), 및 상기 데이터 비교판단부(124)에서 비교 판단한 결과, 상기 보행환경 데이터 저장부(130)의 데이터 중에 상기 추출된 특성 데이터와 상응하거나 매칭되는 데이터를 해당 속성 데이터(보행환경 데이터)로 결정하여 추출하는 속성데이터 추출부(125)를 포함할 수 있다.

상기 바닥영역 분리추출부(122)는 입력 영상 내에서 바닥 영역을 분리하여 검출한다. 여기에서, 상기 바닥영역 분리추출부(122)는 바닥(floor) 인식 알고리즘을 이용하여 라인 추출(line extraction), 영상 분할(image segmentation), 바닥 영역 감지(floor boundary detection)를 통하여 바닥 영역을 분리하여 검출한다.

상기 바닥영역 분리추출부(122)에 있어 영상 분할 과정에 있어서, 화면의 각 픽셀(pixel)들을 라인(line)을 기준으로 라벨링(labeling)하거나, 세그멘테이션 알고리즘(segmentation algorithm)을 사용하여 파티션(partition)을 생성하여 평면으로 그룹화한다. 그리고 바닥 영역 감지 과정에 있어서는, 파티션으로 분류된 평면에서 바닥 영역을 분리하여 검출한다.

상기 바닥영역 특성추출부(123)는 기울기 및/또는 라인 추출 과정에 있어서, 에지 디텍션(egde detection) 알고리즘(예: canny 알고리즘)을 이용하여 에지(egde) 정보를 검출하거나, 및/또는 영역에 나타나는 모든 라인(line)을 검출하거나, 및/또는 라인(line)의 투시선이 만나는 소실점(vanishing point)를 찾아 라인의 오리엔테이션(orientation)을 판별하여 라인 및 그 라인의 기울기를 추출하게 된다.

계속해서, 상기 데이터 비교판단부(124)에 있어서 속성 베이스데이터는 평지에 대한 데이터, 언덕길에 대한 데이터, 내리막길에 대한 데이터, 평지와 언덕길 및 내리막길 각각에서의 계단에 대한 데이터 등이 데이터베이스화되어 미리 저장 구축되어 있다.

그리고 상기 속성데이터 추출부(125)에서는 추출된 특성 데이터와 속성 베이스데이터 중에 상응하거나 매칭되는 속성 데이터를 해당 속성 데이터(평지, 오르막길, 언덕길, 오르막길에서의 계단, 내리막길에서의 계단 등)가 추출된다.

계속해서, 상기 보행환경 검출부(120)는 실제 영상을 입력받고, 그로부터 바닥 영역을 검출하며, 바닥 인식 알고리즘을 이용하여 획득한 라벨링 정보를 통하여, 물체 면의 수직 벡터를 구하고, 분리된 바닥 영역에서 바닥 면과 상이한 라벨링 정보를 찾아 장애물을 검출하게 되는데, 도 7에 나타낸 바와 같이 벽(wall)과 바닥(floor)의 라벨링(labeling) 정보를 이용하여 바닥 영역에 위치하는 장애물을 검출하게 된다.

또한, 상기 보행상태 검출부(120)는 눈길이나 빗길인지 보행경로의 상태를 검출하는 상태데이터 검출부(126)를 더 포함할 수 있는데, 취득된 영상에 대한 데이터와 보행환경 데이터 저장부(130)의 상태 데이터(빗길에 대한 데이터, 눈길에 대한 데이터 등)와 비교 판단하여 해당 상태 데이터를 추출하여 시각 패턴으로 표시하거나 음성 변환하여 음성으로 전달할 수 있게 된다.

여기에서, 빗길이나 눈길은 일반 사용자의 경우, 직관적으로 알 수 있기 때문에, 상기한 상태데이터 검출부(126)는 사용자가 시각 장애인인 경우에 적용되는 것이, 전체 장치의 콤팩트화와 작동 부하의 감소 등에 있어서 적합하다.

본 발명에서, 상기 보행환경 검출부(120)는 영상취득부(121)를 제외한 구성부들은 스마트글라스에 구성되지 않고, 관리센터의 관리서버(200)에 구성되어 상기 영상취득부(121)에서 전송된 영상에 기반하여 관리센터의 관리서버(200)에서 실행될 수 있다. 다만, 스마트글라스에서 1차적인 정보가 표시될 수 있도록 스마트글라스에는 상대적으로 라이트한 구성으로 이루어질 수 있다.

다음으로, 상기 시각 패턴 디스플레이부(130)는, 상기 보행상태 검출부(110)에서 검출된 보행 상태, 및/또는 상기 보행환경 검출부(120)에서 검출된 보행환경을 시각 패턴으로 생성하여 스마트글라스의 디스플레이부(150)에 디스플레이하도록 이루어지며(기본 표시), 최종적으로는 관리센터의 관리서버(200)로부터 전송되는 최종 결과 데이터에 기반한 시각 패턴을 표시하게 된다.

여기에서, 상기 시각 패턴 디스플레이부(150)에 의해 디스플레이되는 시각 패턴은 후술하는 사용자 입력 설정에 따라 사용자가 설정할 수 있으며, 보행 상태는 생략할 수도 있다.

구체적으로, 상기 시각 패턴 디스플레이부(150)는, 보행로 영역에 디스플레이되는 시각 패턴을 생성하도록 이루어지되, 보행로의 진로에 따라 기설정된 이격 거리를 두고 배치되는 복수의 라인 형상 시각 패턴을 생성하도록 이루어진다.

또한, 상기 시각 패턴 디스플레이부(150)는 보행 진로의 원근감에 따라 사용자의 위치로부터 멀어질수록 모양이 변형되는 복수의 라인 형상 시각 패턴을 생성하도록 이루어지고, 이때 복수의 라인 형상 시각 패턴은 사용자의 위치로부터 멀어질수록 굵기 및 길이 중 적어도 어느 하나가 변형되며, 예를 들어 사용자의 위치로부터 멀어질수록 라인 형상 시각 패턴의 굵기가 가늘어지고, 길이가 짧아지도록 시각 패턴을 생성하도록 이루어진다.

즉, 상기 시각 패턴 디스플레이부(150)는 사용자에게 바닥에 시각 패턴이 새겨진 것과 같은 증강 현실 디스플레이를 제공하여 보행 기능을 보조하기 위한 시각 패턴을 생성하도록 이루어진다.

다음으로, 상기 관리센터의 관리서버(200)는 그 관리서버(200)에 미리 마련되어 구축되어 있는 속성 데이터베이스와 상태 데이터베이스의 속성 데이터와 상태 데이터의 데이터베이스(220)와 전송된 검출 정보를 비교 판단하여 해당 검출 정보에 대한 최종적인 속성 데이터와 상태 데이터를 판단하여 결과 데이터를 판단하게 된다.

여기에서, 상기 관리서버(200)는 딥러닝의 판단 모델을 통해 학습하여 결과 데이터를 판단하게 되는데, 이에 더하여 추출 보행자의 보행상태 검출정보와 연계시켜 최종 결과 데이터를 결정하도록 이루어질 수 있다.

상기 관리센터의 관리서버(200)에 구축되는 데이터베이스(220)는 사용자로부터 수집된 정보뿐만 아니라, 관리자가 판단 결과에 대하여 검증한 검증된 데이터도 업데이트되어 구축되도록 함으로써 딥러닝의 판단 모델의 정확성을 향상시킬 수 있게 된다.

또한, 상기 관리센터의 관리서버(200)는 결과 데이터를 제공함에 있어 다른 사용자들의 결과 데이터에 기반하여 보행속도, 휴지(쉬는 시간) 등 예측 정보(코칭 정보)를 함께 생성하여 피드백 할 수 잇으며, 결정된 결과 데이터(코칭정보 포함할 수 있음)는 원거리 통신모듈(210)을 통해 사용자의 스마트글라스(100)로 전송되어 스마트글라스의 시각패턴 디스플레이부(150)에 표시되게 된다.

한편, 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 시스템은, 스마트글라스(200)에 구성되거나 또는 스마트글라스(200)와 연결되게 구성되어 사용자가 직접 시각적 패턴을 선택하거나 기타 디스플레이 실행 설정을 변경하도록 입력할 수 있도록 이루어지는 사용자설정 입력장치(300); 및/또는 상기 보행상태 검출부(110)에서 검출된 보행 패턴을 분석하여 보행 동결을 검출하고 보행 동결 시 자동으로 시각적 패턴을 표시하는 보행동결 검출부(160);를 더 포함할 수 있다.

상기 사용자설정 입력장치(300)는 예를 들면 시각적 패턴의 모양, 색상, 길이, 간격, 개수 등 시각적 패턴에 관련된 속성을 입력받아 설정할 수 있도록 이루어진다.

이러한 사용자설정 입력장치(300)는 사용자가 선택한 설정을 사용자 스스로 개인에 맞는 최적의 시각적 패턴을 제공하여 보행보조를 향상시키고 보행동결을 극복할 수 있도록 하는 효과를 제공할 수 있게 된다.

여기에서, 본 발명은 상기 사용자설정 입력장치(300)는 생략되고, 관리서버(200)에서 분석된 결과에 기초하여 결과 데이터에 최적의 모양, 색상, 길이, 간격, 개수 등이 함께 제공되어 자동 설정되어 시각패턴 디스플레이부(150)에 디스플레이되도록 구성될 수 있다.

다음으로, 상기 보행동결 검출부(160)는 스마트글라스에 구비된 카메라를 통해 보행동결이 올 수 있는 상황을 미리 검출하여 보행 동결 시 보행동결을 극복할 수 있는 시각적 패턴을 디스플레이부에 자동으로 표시하도록 이루어진다.

구체적으로, 상기 보행동결 검출부(160)는, 스마트글라스의 구비된 센서모듈(가속도센서, 지자기센서, 자이로센서 등)에서 획득한 사용자의 떨림 현상에 대한 검출값을 분석하고, 검출값이 기설정값 이상인 경우, 사용자의 보행동결 증상을 인식하고, 보행동결 극복을 위한 시각 패턴 생성을 활성화시키는 명령 신호를 송신하여 디스플레이부에 관련 시각 패턴을 생성하도록 이루어진다.

즉, 상기 보행동결 검출부(160)는 스마트글라스에 탑재된 센서모듈(예를 들면, 가속도센서)이 획득한 가속도 값을 분석하여, 가속도 값이 기설정값 이상인 경우, 사용자의 보행동결 증상이 발생하였음을 검출하게 된다.

그런 다음, 상기 보행동결 검출부(160)에서 보행동결 증상이 발생하였음을 검출하게 되면, 사용자가 설정하거나 미리 설정되어 있는 시각적 패턴을 디스플레이부에 디스플레이하도록 명령하도록 이루어진다.

여기에서, 상기 시각 패턴 디스플레이부(150)는, 상기 보행동결 검출부(160)에서 사용자의 보행동결 증상이 발생하였음을 감지한 경우에만 시각 패턴을 생성 및 표시하게 이루어짐으로써 스마트글라스의 저전력화를 도모할 수 있게 된다.

또한, 상기 보행동결 검출부(160)에서 검출된 정보는 관리서버(200)로 전송되어 관리서버에서는 학습 모델을 통해 보행동결이 발생한 과정을 학습하도록 이루어지고, 각 사용자의 검출정보에 기반하여 보행동결이 발생할 수 있을 수 있는 상황을 예측하여 코칭 정보로서 제공할 수 있도록 이루어질 수 있다.

한편, 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 시스템은, 상기 보행경로의 상태, 속성, 물체 등의 보행환경을 검출하는 보행환경 검출부(120)에서 검출된 보행환경을 음성으로 제공하는 보행환경 음성제공부(170)를 더 포함할 수 있다.

상기 보행환경 음성제공부(170)는 검출된 데이터에 기반하여 해당 데이터를 음성으로 변환할 수 있는 공지의 음성변환기술을 통해 시각 패턴으로 나타내는 각 정보들을 음성으로 안내하도록 이루어질 수 있다. 이때, 일 예로 소정의 순서 알고리즘을 통해 예를 들면 보행상황을 안내하면서 장애물이 전방 어느 쪽에 있음을 안내하도록 이루어질 수 있다.

이상에서 설명한 바와 같은 본 발명에 따른 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 방법 및 원격연계기반 보행보조 지원 시스템에 의하면, 보행보조를 필요로 하는 재활 환자나 노약자 등이 착용한 스마트글라스로부터 보행정보를 원격지 분석 플랫폼에서 제공받아 이를 분석하고 나아가 예측하여, 사용자에 맞는 체계적인 시각적 패턴과 같은 최적의 보행보조 정보를 제공하여 보행 능력을 향상시켜 지속적이고 효과적인 보행 연습이 되도록 지원할 수 있는 이점이 있다.

또한, 본 발명은 개선방향의 보행보조 정보를 지속적으로 분석하고 예측하여 제공함으로써 보행 장애를 극복할 수 있도록 하여 최종적으로는 스마트글라스의 착용 없이도 원활한 보행을 행할 수 있도록 하고, 전문가 그룹으로부터 사용자에 대한 맞춤 보행동작과 건강코칭 등 다양한 사용자맞춤 정보를 지원할 수 있도록 하여 더욱 스마트한 환경에서 보행보조를 할 수 있으며, 스마트글라스에서 안내하는 시각적 패턴을 음성화하거나 시각적으로 취득되는 정보를 음성으로 변환하여 시각장애인과 같은 사용자에게 제공함으로써 보행보조를 지원함으로써 안전사고를 방지할 수 있도록 하는 이점이 있다.

본 명세서에서 설명되는 실시 예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시 예는 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 스마트글라스
110: 보행상태 검출부
120: 보행환경 검출부
121: 영상취득부(카메라)
122: 바닥영역 분리 추출부
123: 바닥영역 특성 추출부
124: 데이터 비교 판단부
125: 속성데이터 추출부
126: 상태데이터 추출부
130: 보행환경 데이터저장부
140, 210: 통신모듈
150: 시각패턴 디스플레이부
160: 보행동결 검출부
170: 보행환경 음성제공부
200: 관리서버
220: 데이터베이스
S110: 보행상태 검출 단계
S120: 보행환경 검출 단계
S121: 영상취득 단계
S122: 바닥영역 분리 추출 단계
S123: 바닥영역 특성 추출 단계
S124: 데이터 비교 판단 단계
S125: 속성데이터 추출 단계
S200: 검출정보 정보
S300: 검출정보 분석(예측)
S400: 분석정보 피드백(코칭정보 포함)
S500: 시각패턴 디스플레이
S600: 사용자 입력 설정 단계
S700: 보행동결 검출 단계
S800: 음성 제공 단계

Claims (11)

1. 스마트글라스에서 실행되는 보행보조를 원격지의 관리센터로부터 지원하기 위한 방법으로서,
   스마트글라스에서 보행속도, 보행거리, 및 머리높이 변화를 포함하는 사용자의 보행 상태를 검출하는 보행상태 검출 단계;
   보행경로의 상태, 속성, 물체를 포함하는 보행환경을 검출하는 보행환경 검출 단계;
   상기 보행상태 검출 단계에서 검출된 보행 상태, 및 상기 보행환경 검출 단계에서 검출된 보행환경에 대한 검출 정보를 원격지의 관리센터로 전송하는 검출정보 전송 단계;
   상기 검출정보 전송 단계에서 전송받은 검출정보를 관리센터의 관리서버에 구축되어 있는 데이터베이스에 기반하여 검출정보를 분석하는 검출정보 분석 단계;
   상기 분석된 분석정보를 스마트글라스로 피드백하는 분석정보 피드백 단계;
   상기 분석정보 피드백 단계에서 전송된 보행 상태 및 보행 환경의 분석정보를 시각 패턴으로 생성하여 스마트글라스의 디스플레이부에 디스플레이하는 시각 패턴 디스플레이 단계;를 포함하고,
   상기 보행상태 검출 단계는 사용자의 머리 움직임과 이동 거리 및 이동 속도를 검출하고,
   상기 보행환경 검출 단계는, 상기 스마트글라스에 구비된 카메라로부터 획득한 영상을 입력받는 영상 취득 단계와, 상기 영상 취득 단계에서 취득된 입력 영상 내에서 바닥 영역을 분리 추출하는 바닥영역 분리추출 단계와, 상기 바닥영역 분리추출 단계에서 분리추출된 바닥 영역 의 기울기 및 라인을 추출하는 바닥영역 특성추출 단계와, 상기 바닥영역 특성 추출 단계에서 추출된 특성 데이터와 미리 설정되어 저장되어 있는 속성 베이스데이터들을 비교 판단하는 데이터 비교판단 단계, 및 상기 비교판단 단계에서 비교 판단한 결과, 상기 속성 베이스데이터 중에 상기 추출된 특성 데이터와 상응하거나 매칭되는 데이터를 해당 속성 데이터로 결정하여 추출하는 속성데이터 추출 단계를 포함하여, 평지, 오르막, 내리막 및 계단에 대한 보행경로의 속성, 사람 및 장애물을 포함하는 물체, 눈길 및 빗길을 포함하는 보행경로의 상태를 검출하고,
   상기 시각 패턴 디스플레이 단계는, 사용자의 머리의 움직임에 따라 시각 패턴을 회전하여 보정하고,
   상기 검출정보 분석 단계는, 관리서버에 구축되어 있는 데이터와 비교 판단하여 해당 검출 정보에 대한 결과 데이터를 추출하되, 딥러닝의 판단 모델을 통해 학습하여 결과 데이터를 판단 추출하고,
   상기 검출정보 분석 단계는, 상기 머리 움직임과 이동 거리 및 이동 속도와 연계하여 결과 데이터를 결정하고, 보행속도, 휴지 시간을 포함하는 코칭 정보를 함께 생성 피드백하여, 상기 코칭 정보를 스마트글라스의 디스플레이부에 표시되도록 이루어지고,
   상기 시각 패턴 디스플레이 단계는 상기 검출 정보에 기반하여 스마트글라스에 일차적으로 표시되도록 한 다음, 상기 결과 데이터를 표시하도록 이루어지고,
   상기 시각 패턴 디스플레이 단계는 보행로 영역에 디스플레이되는 시각 패턴을 생성하되, 보행로의 진로에 따라 기설정된 이격 거리를 두고 배치되는 복수의 라인 형상 시각 패턴을 생성하도록 이루어지고,
   스마트글라스 자체에 구성된 입력장치 또는 스마트글라스와 연결되는 입력장치를 통해 사용자가 직접 시각적 패턴을 선택하거나 디스플레이 실행 설정을 변경하는 입력 명령을 전달받아 시각 패턴이 표시되도록 제어하는 사용자입력 설정 단계를 더 포함하고,
   상기 사용자 입력 설정 단계는 시각적 패턴의 모양, 색상, 길이, 간격, 개수를 포함하는 속성이 설정되도록 이루어지고,
   상기 보행상태 검출 단계에서 검출된 보행 패턴을 분석하여 보행 동결을 검출하고 보행 동결 시 자동으로 시각적 패턴을 표시하는 보행동결 검출 단계;를 더 포함하고,
   상기 보행동결 검출 단계는 스마트글라스의 구비된 센서모듈에서 획득한 사용자의 떨림 현상에 대한 검출값을 획득 및 분석하여, 상기 검출값이 기설정값 이상인 경우, 사용자의 보행동결 증상을 인식하고, 디스플레이부에 보행동결 극복을 위한 시각 패턴을 자동 생성하도록 이루어지고,
   상기 시각 패턴 디스플레이 단계는 상기 보행동결 검출 단계에서 사용자의 보행동결 증상이 발생하였음을 감지한 경우에만 보행동결 극복을 위한 시각 패턴을 생성 및 표시하도록 이루어지고,
   상기 보행동결 검출 단계에서 검출된 정보는 상기 검출 정보와 함께 관리서버로 제공되어 보행동결이 발생한 정보에 대하여 딥러닝을 통해 학습하고, 보행동결이 발생할 수 있을 수 있는 상황을 예측하여 코칭 정보로서 제공하도록 이루어지며,
   상기 보행환경 검출 단계에서 검출된 보행환경을 음성으로 제공하는 보행환경 음성제공 단계를 더 포함하는 것을 특징으로 하는
   스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 방법.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 사용자의 머리 움직임과 이동 거리 및 이동 속도를 포함하는 보행상태를 검출하는 보행상태 검출부와, 평지, 오르막, 내리막 및 계단에 대한 보행경로의 속성과, 사람 및 장애물의 물체를 포함하는 보행환경을 검출하는 보행환경 검출부와, 보행경로의 상태 데이터 및 속성 데이터가 저장되어 있는 보행환경 데이터 저장부와, 상기 보행상태 검출부에서 검출된 보행 상태, 및 상기 보행환경 검출부에서 검출된 보행환경의 검출 정보를 하기 원격지의 관리센터 플랫폼의 관리서버로 전송하기 위한 통신모듈, 및 상기 보행환경의 검출 정보를 시각 패턴으로 생성하여 스마트글라스의 디스플레이부에 디스플레이하는 시각 패턴 디스플레이부를 포함하는 스마트글라스;
   상기 스마트글라스 자체에 구성되거나 또는 상기 스마트글라스와 연결되게 구성되어 사용자가 직접 시각적 패턴을 선택하거나 디스플레이 실행 설정을 변경하는 입력 명령을 전달받아 시각 패턴이 표시되도록 제어하는 사용자설정 입력장치; 및
   상기 스마트글라스의 검출 정보를 전송받아 구축되어 있는 데이터베이스에 기반하여 검출정보를 분석하고, 분석된 분석정보를 상기 스마트글라스로 피드백하는 관리센터의 관리서버;를 포함하고,
   상기 보행상태 검출부는 사용자의 머리 움직임과 이동 거리 및 이동 속도를 검출하도록 구성되고,
   상기 보행환경 검출부는, 상기 스마트글라스에 구비되어 영상을 취득하는 영상 취득부와, 상기 영상 취득부에서 취득된 입력 영상 내에서 바닥 영역을 분리 추출하는 바닥영역 분리추출부와, 상기 바닥영역 분리추출부에서 분리추출된 바닥 영역의 기울기 및 라인을 추출하는 바닥영역 특성추출부와, 상기 바닥영역 특성추출부에서 추출된 특성 데이터와 보행환경 데이터 저장부의 데이터들을 비교 판단하는 데이터 비교판단부, 및 상기 데이터 비교판단부에서 비교 판단한 결과, 상기 보행환경 데이터 저장부의 데이터 중에 상기 추출된 특성 데이터와 상응하거나 매칭되는 데이터를 해당 속성 데이터로 결정하여 추출하는 속성데이터 추출부를 포함하여, 평지, 오르막, 내리막 및 계단에 대한 보행경로의 속성, 사람 및 장애물을 포함하는 물체, 눈길 및 빗길을 포함하는 보행경로의 상태를 검출하도록 구성되고,
   상기 시각 패턴 디스플레이부는 사용자의 머리의 움직임에 따라 시각 패턴을 회전하여 보정하도록 구성되고,
   상기 관리서버는 전송된 검출정보와 상기 데이터베이스의 데이터와 비교 판단하여 해당 검출 정보에 대한 결과 데이터를 추출하되, 딥러닝의 판단 모델을 통해 학습하여 결과 데이터를 판단 추출하도록 이루어지고,
   상기 검출정보 분석부는 상기 머리 움직임과 이동 거리 및 이동 속도와 연계하여 결과 데이터를 결정하고, 보행속도, 휴지 시간을 포함하는 코칭 정보를 함께 생성 피드백하여, 상기 코칭 정보를 스마트글라스의 디스플레이부에 표시되도록 이루어지고,
   상기 시각 패턴 디스플레이부는 상기 검출 정보에 기반하여 스마트글라스에 일차적으로 표시되도록 한 다음, 상기 결과 데이터를 표시하고, 보행로 영역에 디스플레이되는 시각 패턴을 생성하되, 보행로의 진로에 따라 기설정된 이격 거리를 두고 배치되는 복수의 라인 형상 시각 패턴을 생성하도록 이루어지고,
   상기 사용자설정 입력장치는 시각적 패턴의 모양, 색상, 길이, 간격, 개수를 포함하는 속성이 설정되도록 하는 것을 포함하고,
   상기 스마트글라스는 보행상태 검출부에서 검출된 보행 패턴을 분석하여 보행 동결을 검출하고 보행 동결 시 자동으로 시각적 패턴을 표시하는 보행동결 검출부; 및 상기 보행환경 검출부에서 검출된 보행환경을 음성으로 제공하는 보행환경 음성제공부;를 더 포함하며,
   상기 보행동결 검출부는 스마트글라스의 구비된 센서모듈에서 획득한 사용자의 떨림 현상에 대한 검출값을 획득 및 분석하여, 상기 검출값이 기설정값 이상인 경우, 사용자의 보행동결 증상을 인식하고, 디스플레이부에 보행동결 극복을 위한 시각 패턴을 자동 생성하도록 이루어지고,
   상기 시각 패턴 디스플레이부는 상기 보행동결 검출 단계에서 사용자의 보행동결 증상이 발생하였음을 감지한 경우에만 보행동결 극복을 위한 시각 패턴을 생성 및 표시하도록 이루어지며,
   상기 스마트글라스는 상기 보행동결 검출부에서 검출된 정보가 상기 검출 정보와 함께 관리서버로 제공되도록 이루어지고, 상기 관리서버는 보행동결이 발생한 정보에 대하여 딥러닝을 통해 학습하고, 보행동결이 발생할 수 있을 수 있는 상황을 예측하여 코칭 정보로서 제공하도록 이루어지는 것을 특징으로 하는
   스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 시스템.
9. 삭제
10. 삭제
11. 삭제

Images