KR20220075128A

KR20220075128A - 시각 기능 훈련 컨텐츠를 제공하는 방법 및 시스템

Info

Publication number: KR20220075128A
Application number: KR1020200163072A
Authority: KR
Inventors: 조진수; 김갑열; 정인철
Original assignee: 가천대학교 산학협력단
Priority date: 2020-11-27
Filing date: 2020-11-27
Publication date: 2022-06-07
Also published as: KR102502913B1

Abstract

본 발명은 시각 기능 훈련 컨텐츠를 제공하는 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 시각장애인이 착용한 시각보조장치에서 주시 방향에 대한 이미지 촬영 및 객체와의 거리를 산출하고, 서비스서버에서 촬영된 이미지에 기초하여 객체를 식별하고, 식별된 객체 및 산출된 거리에 따라 시각보조장치에서 시각장애인에게 객체와의 거리를 판단하도록 훈련하는 컨텐츠를 제공하는, 시각 기능 훈련 컨텐츠를 제공하는 방법 및 시스템에 관한 것이다.

Description

시각 기능 훈련 컨텐츠를 제공하는 방법 및 시스템 {Method and System for Providing Visual Function Training Content}

좌안과 우안의 시력의 편차가 큰 시각장애인, 양안의 시력이 낮은 저시력자와 같은 시각장애인의 경우, 정안인과 비교하여 일상 생활을 영위하는데 많은 어려움을 겪고 있다. 특히 상기와 같은 시각장애 유형을 가지고 있는 시각장애인의 경우에는 양안이 객체를 바라봄으로써 형성되는 입체감이나 거리감이 정안인에 비해 떨어질 수 밖에 없으므로, 야외 환경과 같이 수많은 사물들이 존재하는 상황에서는 보행 등의 활동을 정상적으로 수행하기 어려울 수 밖에 없다.

한편, 이와 같이 양안의 시력 편차를 줄이거나, 양안의 시력을 향상시키기 위하여 시각장애인을 위한 종래의 다양한 훈련 방법들이 개발되었다. 예를 들면, 종래의 훈련 방법으로는 스마트 글래스를 이용하여 좌안과 우안 각각에 서로 다른 영상을 제공하는 방법, 마찬가지로 스마트 글래스를 이용하여 좌안과 우안 각각에 동일한 영상에 대하여 서로 다르게 마스킹 처리된 영상을 제공하는 방법, 또는 좌안과 우안 각각을 카메라로 촬영하여 좌안과 우안의 초점을 확인하여 사시를 개선하는 방법 등이 있다.

그러나, 상술한 종래의 방법들은 훈련 방법들이 비교적 복잡하여 시각장애인이 훈련을 소화하기 어려운 문제점이 있다. 또한 스마트 글래스 자체에서 컨텐츠를 제공하거나 스마트 글래스에서 좌안과 우안 각각에 영상을 디스플레이해야 하므로, 스마트 글래스에 디스플레이장치나, 연산처리장치 등의 다양한 요소들이 포함되어야 하므로, 스마트 글래스의 단가가 높아질 수 밖에 없고, 더군다나 스마트 글래스의 무게가 상승하게 되어 착용감이 떨어질 수 밖에 없는 문제가 존재한다.

따라서, 시각장애인에게 시각 기능 훈련 컨텐츠를 제공함에 있어서, 시각장애인이 훈련을 소화하기 용이하며, 스마트 글래스 자체에서 많은 연산을 수행하거나, 많은 요소들이 필요하지 않도록 하면서도 효율적으로 시각장애인이 시각 기능 훈련 컨텐츠를 이용할 수 있도록 하는 새로운 개념의 기술 개발이 필요하다.

본 발명은 시각 기능 훈련 컨텐츠를 제공하는 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 시각장애인이 착용한 시각보조장치에서 주시 방향에 대한 이미지 촬영 및 객체와의 거리를 산출하고, 서비스서버에서 촬영된 이미지에 기초하여 객체를 식별하고, 식별된 객체 및 산출된 거리에 따라 시각보조장치에서 시각장애인에게 객체와의 거리를 판단하도록 훈련하는 컨텐츠를 제공하는, 시각 기능 훈련 컨텐츠를 제공하는 방법 및 시스템을 제공하는 것을 목적으로 한다.

상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에서는, 시각장애인이 착용하는 시각보조장치, 상기 시각보조장치와 통신을 수행하는 사용자단말에 설치된 제1어플리케이션, 및 상기 제1어플리케이션과 통신을 수행하는 서비스서버를 포함하는 시각훈련시스템에서 수행하는 시각 기능 훈련 컨텐츠를 제공하는 방법으로서, 상기 시각보조장치는, 프레임부; 상기 프레임부의 전면에 배치되어 상기 시각장애인의 주시 방향에 따라 전방의 이미지를 촬영하는 촬영부; 및 상기 프레임부의 일 측면에 체결되어 상기 시각장애인의 주시 방향에 따라 적외선을 투사하여 주시 방향에 존재하는 객체와의 거리정보를 산출하는 적외선센서부;를 포함하고, 상기 시각보조장치에 의하여, 상기 시각보조장치를 착용한 시각장애인의 선택입력에 따라 상기 촬영부는 상기 시각장애인의 주시 방향에 대한 1 이상의 이미지를 촬영하고, 상기 적외선센서부는 상기 시각장애인의 주시 방향에 존재하는 객체와의 거리정보를 산출하는 객체촬영단계; 상기 제1어플리케이션에 의하여, 상기 시각보조장치로부터 상기 1 이상의 이미지 및 상기 거리정보를 수신하고, 수신한 상기 1 이상의 이미지 및 상기 거리정보를 포함하는 객체식별요청정보를 상기 서비스서버에 송신하는 객체식별쿼리단계; 상기 서비스서버에 의하여, 상기 제1어플리케이션으로부터 수신한 1 이상의 이미지에 기초하여 상기 1 이상의 이미지에 포함된 객체를 식별하여 객체식별정보를 도출하고, 상기 객체식별정보를 상기 제1어플리케이션으로 송신하는 객체식별정보제공단계; 및 상기 시각보조장치에 의하여, 상기 제1어플리케이션으로부터 객체식별정보를 수신하고, 상기 객체식별정보에 기초하여 도출된 시각 기능 훈련 컨텐츠를 상기 시각장애인에게 제공하는 컨텐츠제공단계;를 포함하는, 시각 기능 훈련 컨텐츠를 제공하는 방법을 제공한다.

본 발명의 일 실시예에서는, 상기 객체식별정보제공단계는, 상기 1 이상의 이미지의 전체 영역에서 기설정된 크기 이상의 영역을 차지하는 객체를 식별하고, 상기 식별된 객체에 대한 객체식별정보를 도출할 수 있다.

본 발명의 일 실시예에서는, 상기 1 이상의 이미지의 전체 영역에서 기설정된 크기 이상의 영역을 차지하는 객체가 존재하지 않는 것으로 식별한 경우에, 상기 제1어플리케이션으로 상기 객체촬영단계를 다시 수행하도록 요청하는 재촬영요청정보를 송신할 수 있다.

본 발명의 일 실시예에서는, 상기 컨텐츠제공단계는, 상기 객체식별단계에서 식별된 객체와의 거리를 상기 시각장애인에게 질문하는 객체거리질문단계; 상기 질문에 따른 상기 시각장애인의 답변을 수신하는 답변수신단계; 및 상기 답변수신단계를 통해 수신한 시각장애인의 답변 및 상기 객체촬영단계에서 산출된 거리정보에 기초하여 상기 답변의 정답 여부를 제공하는 정답확인단계;를 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 답변수신단계는, 상기 시각장애인으로부터 음성 형태의 답변을 수신하고, 상기 답변에 대하여 Speech to Text(STT) 방식을 사용하여 텍스트 형태로 변환하고, 상기 정답확인단계는, 텍스트 형태로 변환된 답변 및 상기 객체촬영단계에서 산출된 거리정보를 비교하여, 상기 답변의 정답 여부를 판별할 수 있다.

상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에서는, 시각 기능 훈련 컨텐츠를 제공하는 방법을 수행하는 시각훈련시스템으로서, 상기 시각훈련시스템은, 시각장애인이 착용하는 시각보조장치; 상기 시각보조장치와 통신을 수행하는 사용자단말에 설치된 제1어플리케이션; 및 상기 제1어플리케이션과 통신을 수행하는 서비스서버;를 포함하고, 상기 시각보조장치는, 프레임부; 상기 프레임부의 전면에 배치되어 상기 시각장애인의 주시 방향에 따라 전방의 이미지를 촬영하는 촬영부; 및 상기 프레임부의 일 측면에 체결되어 상기 시각장애인의 주시 방향에 따라 적외선을 투사하여 주시 방향에 존재하는 객체와의 거리정보를 산출하는 적외선센서부;를 포함하고, 상기 시각보조장치에 의하여, 상기 시각보조장치를 착용한 시각장애인의 선택입력에 따라 상기 촬영부는 상기 시각장애인의 주시 방향에 대한 1 이상의 이미지를 촬영하고, 상기 적외선센서부는 상기 시각장애인의 주시 방향에 존재하는 객체와의 거리정보를 산출하는 객체촬영단계; 상기 제1어플리케이션에 의하여, 상기 시각보조장치로부터 상기 1 이상의 이미지 및 상기 거리정보를 수신하고, 수신한 상기 1 이상의 이미지 및 상기 거리정보를 상기 서비스서버에 송신하는 촬영정보제공단계; 상기 서비스서버에 의하여, 상기 제1어플리케이션으로부터 수신한 1 이상의 이미지에 기초하여 상기 1 이상의 이미지에 포함된 객체를 식별하여 객체식별정보를 도출하고, 상기 객체식별정보를 상기 제1어플리케이션으로 송신하는 객체식별정보제공단계; 및 상기 시각보조장치에 의하여, 상기 제1어플리케이션으로부터 객체식별정보를 수신하고, 상기 객체식별정보에 기초하여 도출된 시각 기능 훈련 컨텐츠를 상기 시각장애인에게 제공하는 컨텐츠제공단계;를 수행하는, 시각훈련시스템을 제공한다.

본 발명의 일 실시예에 따르면, 시각보조장치는 적외선센서부를 포함하여, 적외선센서부에서 측정하는 지면과의 거리에 따라 단차를 판별할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 시각보조장치는 적외선센서부를 체결하는 고정막대의 일 단에는 각도조절부가 체결되어 있어, 상기 각도조절부가 회전함에 따라 적외선센서부가 회전하므로, 지면에 투사되는 적외선의 위치를 조절할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 적외선센서부는 3 이상의 적외선감지모듈을 포함하여, 3 이상의 적외선감지모듈별로 지면의 특정 위치에 따른 거리들을 측정하고, 복수의 거리에 따라 단차를 감지하므로 더욱 효과적으로 지면에 존재하는 단차를 판별할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 시각보조장치는 적외선센서부에서 측정한 복수의 거리들의 평균값과 복수의 거리 사이의 차이값들을 도출하고, 이를 고려하여 단차를 판별하므로, 단차 판별에 대한 정확도가 향상될 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 서비스서버는 시각보조장치에서 촬영한 복수의 이미지에 기초하여 저시력자의 주시 방향에 존재하는 1 이상의 객체를 식별하여 객체정보를 제공하므로, 저시력자가 주변에 존재하는 1 이상의 객체를 용이하게 인지할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 서비스서버는 저시력자의 요청에 따라 복수의 타 사용자의 사용자단말에 저시력자가 요청한 상황도움콜정보를 제공하여, 상기 상황도움콜정보를 수락한 타 사용자가 입력한 저시력자의 요청에 대한 상황도움정보를 상기 저시력자에게 제공하므로, 저시력자와 봉사자에 해당하는 타 사용자를 매칭하여 타 사용자로 하여금 저시력자에게 원격으로 도움을 제공할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 서비스서버는 저시력자의 요청에 따라 저시력자로부터 소정의 거리에 위치한 1 이상의 타 사용자의 사용자단말에 현장방문콜정보를 제공하여, 상기 현장방문콜정보를 수락한 타 사용자가 해당 저시력자의 위치에 방문하여 도움을 제공할 수 있도록 매칭하므로, 방문 도움이 필요한 저시력자에게 효과적으로 도움을 제공할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 저시력자의 사용자단말에 설치된 제1어플리케이션은 객체정보 및 상황도움정보를 Text-to-Speech(TTS) 방식으로 변환하여 음성형태로 제공하므로 효과적으로 저시력자에게 정보를 제공할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 서비스서버는 도움을 제공한 타 사용자의 사용자단말에 상기 저시력자의 평가정보에 따라 리워드를 책정하여 제공하므로, 저시력자에게 도움을 제공하고자 하는 타 사용자에 대한 풀(Pool)을 용이하게 확보할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 시각장애인에게 시각 기능 훈련 컨텐츠를 제공하기 위하여 시각보조장치에서 전방의 이미지를 촬영하고, 객체의 거리를 산출하는 것으로 시각 기능 훈련 컨텐츠를 제공할 수 있으므로, 시각보조장치의 단가 및 무게를 줄일 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 시각 기능 훈련 컨텐츠는 시각장애인이 객체와의 거리를 예측하여 답변하는 것으로 시각장애인의 거리감, 깊이감 등을 간단한 방법으로 훈련할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 시각 기능 훈련 컨텐츠는 시각장애인이 거리를 음성 형태로 답변하고, 음성 형태의 답변을 Speech to Text(STT) 방식으로 변환하여 정답 여부를 판별하므로, 시각장애인이 별도의 입력 없이 편리하게 답변을 수행하고, 정답 여부를 인지할 수 있는 효과를 발휘할 수 있다.

도 1은 본 발명의 일 실시예에 따른 시각보조장치를 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 적외선센서부와 고정막대가 체결되어 각도조절부의 회전에 따라 적외선센서부가 회전하는 구성을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 적외선센서부에서 지면과의 거리를 측정하는 과정을 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 적외선센서부에서 측정된 복수의 거리에 따라 단차위험정보를 도출하는 과정을 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 복수의 거리의 평균값 및 오차값에 기초하여 단차를 판별하는 과정을 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 저시력자의 주변상황을 보조하기 위한 방법을 수행하는 상황보조시스템에 포함되는 구성요소들을 개략적으로 도시한다.
도 7는 본 발명의 일 실시예에 따른 저시력자의 요청에 따라 저시력자의 주시 방향에 존재하는 1 이상의 객체를 식별하여 저시력자에게 제공하는 단계들을 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 1 이상의 객체가 식별된 이미지를 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 저시력자의 요청에 따라 상황도움콜정보를 수락하여 타 사용자가 상기 저시력자에게 원격으로 도움을 제공하는 단계들을 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 저시력자의 사용자단말에서 상황도움정보가 출력되는 화면을 개략적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 제1어플리케이션에서 객체정보 및 상황도움정보를 음성형태로 변환하는 과정을 개략적으로 도시한다.
도 12는 본 발명의 일 실시예에 따른 저시력자의 요청에 따라 현장방문콜정보를 수락하여 타 사용자가 상기 저시력자에게 방문하여 도움을 제공하는 단계들을 개략적으로 도시한다.
도 13은 본 발명의 일 실시예에 따른 도움을 제공받은 저시력자가 제1어플리케이션을 통해 도움에 대한 평가를 수행하는 과정을 개략적으로 도시한다.
도 14는 본 발명의 일 실시예에 따른 시각 기능 훈련 컨텐츠를 제공하기 위한 방법을 수행하는 시각훈련시스템의 구성요소들을 개략적으로 도시한다.
도 15는 본 발명의 일 실시예에 따른 시각 기능 훈련 컨텐츠를 제공하기 위한 단계들을 개략적으로 도시한다.
도 16은 본 발명의 일 실시예에 따른 시각보조장치를 통해 시각장애인의 주시 방향에 따른 1 이상의 이미지 촬영 및 거리를 산출하는 상황을 개략적으로 도시한다.
도 17은 본 발명의 일 실시예에 따른 시각보조장치를 통해 촬영된 이미지를 개략적으로 도시한다.
도 18은 본 발명의 일 실시예에 따른 컨텐츠제공단계의 세부 단계들을 개략적으로 도시한다.
도 19는 본 발명의 일 실시예에 따른 답변수신단계에서 수신한 답변을 텍스트 형태의 답변으로 변환하는 과정을 개략적으로 도시한다.
도 20은 본 발명의 일 실시예에 따른 시각 기능 훈련 컨텐츠를 개략적으로 도시한다.

이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.

또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.

본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

1. 시각보조장치의 기계적인 구성

이하에서는, 시각보조장치를 사용하여 시각장애인에게 주변환경 보조 또는 시각 기능 훈련 컨텐츠를 제공하는 방법을 설명하기 이전에 시각보조장치의 기계적인 구성에 대하여 우선적으로 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 시각보조장치(1000)를 개략적으로 도시한다.

도 1에 도시된 바와 같이, 저시력자의 주변환경에서의 단차를 감지하는 시각보조장치(1000)로서, 프레임부(1100); 상기 프레임부(1100)의 전면에 배치되어 상기 저시력자의 주시 방향에 따라 전방의 이미지를 촬영하는 촬영부(1200); 상기 프레임부(1100)의 일 측면에 체결되어 상기 저시력자의 주시 방향에 따라 적외선을 투사하여 지면의 특정 위치와의 거리를 산출하는 적외선센서부(1300); 상기 적외선센서부(1300)의 일 측면에 체결되는 제1안경다리부(1410) 및 상기 프레임부(1100)의 타 측면에 체결되는 제2안경다리부(1420)를 포함하는 한 쌍의 안경다리부; 및 상기 제1안경다리부(1410) 및 상기 제2안경다리부(1420)에 체결되는 하우징부(1500);를 포함하고, 상기 하우징부(1500)의 내부 공간에는 상기 시각보조장치(1000)를 제어하는 제어부 및 배터리부가 전기적으로 연결되는 기판부가 배치되고, 상기 프레임부(1100)의 일 측면, 상기 적외선센서부(1300), 및 상기 제1안경다리부(1410) 각각에는 제1관통홀(1110), 제2관통홀(1340), 및 제3관통홀(1413)이 형성되어 있고, 상기 제1관통홀(1110), 상기 제2관통홀(1340), 및 상기 제3관통홀(1413)에 삽입되는 고정막대(1700)에 의하여 상기 프레임부(1100)의 일 측면에 상기 적외선센서부(1300) 및 상기 제1안경다리부(1410)가 체결되는 것을 특징으로 할 수 있다.

구체적으로, 상기 시각보조장치(1000)는 안경과 유사한 형태로써, 사용자(저시력자를 포함하는 시각장애인)의 눈 앞에 착용되어, 사용자의 주시 방향에 따른 전방의 객체를 식별하고, 특히 주시 방향에 따라 지면에 형성되어 있는 단차를 판별할 수 있다.

프레임부(1100)는 시각보조장치(1000)의 다양한 구성요소들이 배치되거나, 체결될 수 있도록 하는 구성요소로써, 한 쌍의 렌즈가 체결될 수 있는 한 쌍의 렌즈삽입영역이 형성될 수 있다. 한편, 한 쌍의 렌즈삽입영역은 도 1에서 모서리가 둥근 직사각형 형태로 도시되어 있으나, 이에 한정되지 않고, 렌즈의 다양한 형상에 따라 다양한 형태를 가질 수 있다.

또한 상기 프레임부(1100)의 내부에는 전기적으로 연결될 수 있도록 배선이 구비되어 있어, 상기 프레임부(1100)에 배치되는 구성요소에 전원을 공급하고, 상기 구성요소와 타 구성요소와의 통신이 이루어질 수 있도록 한다.

촬영부(1200)는 프레임부(1100)의 전면에 배치되어, 시각보조장치(1000)를 착용한 저시력자가 촬영 입력을 수행하는 경우에 상기 저시력자의 주시 방향에 따라 전방 이미지를 촬영할 수 있다. 상기 촬영부(1200)에 의해 촬영된 전방 이미지는 전방에 위치한 1 이상의 객체를 판별하기 위하여 사용되거나, 상기 저시력자의 위치 및 주시 방향의 상황을 타 사용자에게 제공하는데 사용되어, 타 사용자로 하여금 상기 저시력자에게 도움을 줄 수도 있다.

한편, 상기 촬영부(1200)는 도 1에서 상기 프레임부(1100)의 전면 중앙 상단에 배치되는 것으로 도시되었으나, 이에 한정되지 않고, 상기 촬영부(1200)는 프레임부(1100)의 전면 어느 곳에 배치될 수 있으며, 또한 상기 촬영부(1200)는 상기 프레임부(1100)의 상면에서 상기 촬영부(1200)의 촬영방향이 상기 저시력자의 주시 방향과 동일한 방향으로 배치될 수도 있다.

적외선센서부(1300)는 주시 방향의 지면에 있는 단차 및 전방의 객체와의 거리를 판별하기 위하여 지면과의 거리를 측정하기 위한 구성요소로써, 상기 적외선센서부(1300)는 지면에 적외선을 투사하고, 상기 적외선이 반사되어 되돌아오는 양에 따라 지면과의 거리를 측정할 수 있다. 이를 위해 상기 적외선센서부(1300)는 상기 프레임부(1100)의 일 측면에 체결될 수 있다.

또한, 상기 적외선센서부(1300)는 도 1에 도시된 바와 같이, 지면에 수평한 방향으로 고정되어 있는 것이 아니고, 상기 적외선센서부(1300)의 각도는 시각보조장치(1000)를 착용한 저시력자에 의해 조절될 수 있다.

상기 적외선센서부(1300)는 지면의 특정한 단일 위치에 적외선을 투사하여 상기 특정한 단일 위치와의 거리를 측정할 수 있으나, 바람직하게는 상기 적외선센서부(1300)는 3 이상의 적외선감지모듈, 즉, 제1적외선감지모듈(1310), 제2적외선감지모듈(1320), 및 제3적외선감지모듈(1330)을 포함하고, 각각의 적외선감지모듈(1310 내지 1330)은 지면에 대하여 서로 다른 위치에 적외선을 투사함으로써, 상기 적외선센서부(1300)는 3 이상의 지면의 위치와의 거리들을 측정할 수 있다. 이와 같이, 복수의 거리를 측정함으로써 더욱 정확하게 지면의 단차를 판별할 수 있는 효과를 발휘할 수 있다.

한 쌍의 안경다리부는 시각보조장치(1000)가 이를 착용하는 저시력자의 양쪽 귀에 걸쳐질 수 있도록 하며, 상기 한 쌍의 안경다리부는 제1안경다리부(1410) 및 제2안경다리부(1420)를 포함한다. 상기 제1안경다리부(1410)는 상기 적외선센서부(1300)의 일 측면에 체결되며, 이때 상기 적외선센서부(1300)의 타 측면은 상기 프레임부(1100)의 일 측면과 체결될 수 있다. 한편, 상기 제2안경다리부(1420)는 상기 프레임부(1100)의 타 측면에 직접 체결되거나, 혹은 상기 프레임부(1100)의 타 측면에 체결된 초음파센서부(1800)의 일 측면에 체결될 수 있다.

한편, 한 쌍의 안경다리부의 내부에는 전기적으로 연결될 수 있도록 배선이 구비되어 있어, 상기 한 쌍의 안경다리부에 배치되거나 체결되는 구성요소 및 상기 프레임부(1100)에 배치되거나 체결되는 구성요소에 전원을 공급하고, 각 구성요소 간의 통신이 이루어질 수 있도록 한다. 이를 위하여 상기 한 쌍의 안경다리부의 외부면 끝단에는 상기 하우징부(1500)에 배치되는 제어부 및 배터리부와 전기적으로 연결되는 기판부와 전기적으로 연결될 수 있도록 하는 제1연결단자(1411)가 구비될 수 있다. 도 1에서 상기 제1연결단자(1411)는 상기 한 쌍의 안경다리부의 외부면 끝단에 구비되어 있는 것으로 도시되어 있으나, 본 발명의 다른 실시예에서 상기 제1연결단자(1411)는 상기 한 쌍의 안경다리부의 내부면 끝단에 구비될 수도 있다.

또한, 상기 제1안경다리부(1410) 및/또는 상기 제2안경다리부(1420)에는 스피커부(1412)가 배치되고, 상기 스피커부(1412)는 지면에 단차가 존재하는 것으로 판별되는 경우에 도출되는 단차위험정보를 음성형태로 출력하여, 시각보조장치(1000)를 착용한 저시력자가 보행 방향에 단차가 존재하는 것을 인지할 수 있도록 한다.

하우징부(1500)는 상기 시각보조장치(1000)를 제어하는 제어부 및 상기 시각보조장치(1000)에 포함되는 구성요소에 전원을 공급하는 배터리부와 전기적으로 연결되는 기판부가 상기 하우징부(1500)의 내부 공간에 배치됨으로써, 상기 제어부, 상기 배터리부, 및 상기 기판부를 보호할 수 있다.

상기 제어부는 상기 시각보조장치(1000)를 제어하기 위한 명령을 수행하기 위하여 1 이상의 프로세서 및 1 이상의 메모리를 포함할 수 있고, 상기 촬영부(1200) 및 상기 적외선센서부(1300)에서 생성된 정보에 기초하여 지면의 단차를 판별할 수 있다.

한편, 상기 하우징부(1500)의 후면, 즉 저시력자가 상기 시각보조장치(1000)를 착용함에 따라 저시력자의 뒤통수와 접촉하는 부분은 패브릭이나 실리콘 소재와 같이 착용감을 향상시킬 수 있는 소재가 부착될 수 있다. 또한 상기 하우징부(1500)는 한 쌍의 제2연결단자(1510)가 구비되어 있어, 상술한 상기 제1안경다리부(1410) 및 상기 제2안경다리부(1420)에 구비된 한 쌍의 제1연결단자(1411) 각각과 전기적으로 연결됨으로써 상기 기판부와 타 구성요소가 전기적으로 연결될 수 있도록 한다.

또한, 상기 하우징부(1500)의 구성은 제어부, 배터리부, 및 기판부를 보호하기 위한 것은 물론이고, 상기 제어부, 배터리부, 및 기판부가 상기 프레임부(1110) 또는 상기 한 쌍의 안경다리부에 배치되는 경우에 상기 시각보조장치(1000)의 무게중심이 앞으로 형성되어 저시력자가 착용하는데 어려운 문제가 발생할 수 있으므로, 상기 한 쌍의 안경다리부의 끝단에 하우징부(1500)가 연결되도록 하여 무게중심이 앞으로 형성되는 것을 방지할 수 있는 효과를 발휘할 수 있다.

본 발명의 다른 실시예에서 상기 기판부에는 통신부가 추가적으로 전기적으로 연결될 수 있고, 상기 통신부는 저시력자의 사용자단말과 통신을 수행할 수도 있다.

한편, 상기 제1안경다리부(1410)의 측면에는 적외선센서부(1300)가 소정의 각도로 회전하도록 조절할 수 있는 각도조절부(1600)가 배치될 수 있다. 상기 각도조절부(1600)는 후술하는 고정막대(1700)의 일단에 체결됨으로써, 상기 각도조절부(1600)를 저시력자가 회전시키는 경우에 고정막대(1700)에 체결되어 있는 적외선센서부(1300)가 회전되어 지면과 소정의 각도로 적외선을 투사할 수 있도록 한다.

또한, 상기 각도조절부(1600)는 저시력자로 하여금 적외선센서부(1300)가 회전되는 정도를 인지할 수 있도록 하는 각도지시막대(1610) 및 상기 적외선센서부(1300)에서 거리를 측정하도록 하는 제1스위치부(1620)를 포함하며, 이에 대해서는 도 2에서 더욱 상세하게 설명하도록 한다.

초음파센서부(1800)는 상기 프레임부(1100)의 타 측면에 체결되어 상기 저시력자의 주시 방향에 따라 초음파를 투사하여 지면과의 거리를 파악할 수 있도록 한다. 상기 초음파센서부(1800)를 통해 측정된 거리정보는 상기 적외선센서부(1300)에서 측정한 거리정보와 함께 지면의 단차를 판별하기 위한 정보로 사용될 수 있다.

한편, 본 발명의 다른 실시예에서 상기 시각보조장치(1000)는 상기 초음파센서부(1800)를 대체하여 레이저를 투사하여 거리를 측정하는 라이다센서부 등과 같이 적외선센서 방식과는 다른 방식으로 거리를 측정할 수 있는 1 이상의 센서를 사용할 수도 있다.

또한, 본 발명의 또 다른 실시예에서 상기 시각보조장치(1000)는 상기 초음파센서부(1800)를 포함하지 않을 수도 있다. 이와 같은 경우 상기 제2안경다리부(1420)는 직접적으로 상기 프레임부(1100)의 타 측면에 체결될 수 있으며, 이 때 상기 제2안경다리부(1420)는 기존의 초음파센서부(1800)의 너비에 상응하는 끼움부재를 포함하여 'ㄱ'자 형상으로 구성될 수도 있다.

또한, 상기 시각보조장치(1000)는 1 이상의 제2스위치부(1900)를 더 포함할 수 있다. 상기 1 이상의 제2스위치부(1900)는 상기 적외선센서부(1300)에서 거리를 측정하도록 하는 명령을 입력할 수 있는 제1스위치부(1620)와 별도로 상기 시각보조장치(1000)에서의 다양한 명령을 입력할 수 있다. 예를 들어, 저시력자가 상기 제2스위치부(1900)에 대하여 입력을 수행함에 따라 상기 촬영부(1200)는 주시 방향에 대한 전방 이미지를 촬영할 수 있다.

한편, 상기 1 이상의 제2스위치부(1900)는 도 1에 도시된 바와 같이, 상기 프레임부(1100)의 상면 좌측에 배치되는 것으로 한정되는 것이 아니라, 저시력자가 입력을 수행하기 용이한 다양한 위치에 배치될 수도 있다.

이와 같이, 상술한 시각보조장치(1000)를 통해 저시력자는 주시 방향의 지면에 단차가 있는지를 인지할 수 있으며, 시각보조장치(1000)는 적외선센서부(1300)에서 측정한 거리에 따라 지면의 단차를 판별할 수 있으며, 적외선센서부(1300)에서 거리를 효과적으로 측정하기 위하여 적외선센서부(1300)의 각도가 조절되는 구성에 대해서는 도 2에서 자세하게 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른 적외선센서부(1300)와 고정막대(1700)가 체결되어 각도조절부(1600)의 회전에 따라 적외선센서부(1300)가 회전하는 구성을 개략적으로 도시한다.

도 2에 도시된 바와 같이, 상기 고정막대(1700)의 일 단에는 각도조절부(1600)가 체결되어, 상기 각도조절부(1600)의 회전 방향에 상응하여 상기 적외선센서부(1300)가 회전하고, 상기 각도조절부(1600)에는 각도지시막대(1610)가 배치되어, 상기 각도조절부(1600)의 회전에 따라 상기 각도지시막대(1610)는 상기 각도조절부(1600)의 회전각도를 지시할 수 있다.

구체적으로, 도 2의 (A)에 도시된 바와 같이, 상기 프레임부(1100)의 일 측면, 상기 적외선센서부(1300), 및 상기 제1안경다리부(1410)가 순서대로 체결되기 위하여 상기 시각보조장치(1000)는 고정막대(1700)를 더 포함하고, 상기 고정막대(1700)는 상기 프레임부(1100)의 일 측면, 상기 적외선센서부(1300), 및 상기 제1안경다리부(1410) 각각에 형성되어 있는 제1관통홀(1110), 제2관통홀(1340), 및 제3관통홀(1413)에 삽입됨으로써, 상기 프레임부(1100)의 일 측면, 상기 적외선센서부(1300), 및 상기 제1안경다리부(1410)가 상호 체결될 수 있다.

상기 프레임부(1100)의 일 측면, 상기 적외선센서부(1300), 및 상기 제1안경다리부(1410)가 상기 고정막대(1700)에 의해 상호 체결됨에 따라, 상기 프레임부(1100)의 일 측면에 구비된 제1접속단자(1121, 1122) 및 상기 적외선센서부(1300)의 일 측면에 구비된 제2접속단자(1351, 1352)가 전기적으로 접촉되고, 상기 적외선센서부(1300)의 타 측면에 구비된 제2접속단자(1351, 1352) 및 상기 제1안경다리부(1410)의 내측면에 구비된 제3접속단자가 전기적으로 접촉될 수 있다.

한편, 상기 프레임부(1100)의 일 측면, 상기 적외선센서부(1300), 및 상기 제1안경다리부(1410) 각각은 제1관통홀(1110), 제2관통홀(1340), 및 제3관통홀(1413)이 형성되어 있고, 상기 고정막대(1700)는 상기 제1관통홀(1110), 상기 제2관통홀(1340) 및 상기 제3관통홀(1413)에 삽입되어 상기 프레임부(1100)의 일 측면, 상기 적외선센서부(1300), 및 상기 제1안경다리부(1410)가 순서대로 체결될 수 있도록 한다. 또한, 상기 고정막대(1700)의 일 단에는 각도조절부(1600)가 배치되며, 상기 각도조절부(1600)는 상기 적외선센서부(1300)의 회전 각도를 조절하는 것과 동시에 상기 고정막대(1700)가 수평방향으로 움직이는 것을 방지하기 위한 일종의 스토퍼의 역할을 동시에 수행할 수 있다.

또한, 도 2에서는 도시하지 않았으나, 상기 고정막대(1700)의 타 단에는 상기 제1관통홀(1110)의 직경보다 큰 스토퍼가 배치되어, 상기 각도조절부(1600)와 마찬가지로 상기 고정막대(1700)가 수평방향으로 움직이는 것을 방지할 수 있다.

한편, 상기 고정막대(1700)는 상기 프레임부(1100)의 일 측면, 상기 적외선센서부(1300), 및 상기 제1안경다리부(1410)를 체결하는 것 외에도, 도 2의 (B) 및 (C)에 도시된 바와 같이 상기 적외선센서부(1300)가 소정의 각도로 회전될 수 있도록 한다.

구체적으로 도 2의 (B)에 도시된 바와 같이, 상기 적외선센서부(1300)에 구비된 제2관통홀(1340)의 내면은 소정의 잇수를 갖는 기어의 형태로 형성되고, 상기 제2관통홀(1340)이 삽입되는 고정막대(1700)의 특정 위치의 외주면에는 상기 제2관통홀(1340)의 내면에 형성된 기어와 맞물릴 수 있도록 체결홈(1710)이 형성될 수 있다. 따라서 상기 고정막대(1700)의 특정 위치의 외주면과 상기 제2관통홀(1340)의 내면은 상호 맞물려 체결될 수 있고, 따라서 고정막대(1700)의 일 단에 체결되는 각도조절부(1600)의 회전에 따라 고정막대(1700)가 회전하고, 따라서 제2관통홀(1340)이 형성되어 있는 적외선센서부(1300) 또한 회전할 수 있도록 한다.

한편, 도 2의 (C)는 각도조절부(1600)가 회전함에 따라 소정의 각도로 상기 적외선센서부(1300)가 회전하는 상태를 도시한 도면에 해당한다.

상술한 바와 같이, 상기 고정막대(1700)는 상기 적외선센서부(1300)의 제2관통홀(1340)과 체결되고, 상기 고정막대(1700)의 일 단에 체결된 각도조절부(1600)를 상기 저시력자가 회전시킴에 따라 상기 적외선센서부(1300)가 회전할 수 있다. 이와 같이, 저시력자가 상기 각도조절부(1600)를 조절하여 상기 적외선센서부(1300)의 회전각도를 조절할 수 있도록 하여, 상기 적외선센서부(1300)가 지면에 적외선을 투사하기에 용이하도록 할 수 있다.

예를 들어, 저시력자가 자신의 발 근처에 있는 지면의 단차를 인지하고자 하는 경우에 상기 적외선센서부(1300)의 회전각도를 크게(지면과 수직에 가깝도록) 조절할 수 있고, 자신의 위치에서 비교적 먼 지면의 단차를 인지하고자 하는 경우에 상기 적외선센서부(1300)의 회전각도를 줄이도록(지면과 수평에 가깝도록) 조절할 수 있다.

한편, 상기 각도조절부(1600)는 저시력자가 적외선센서부(1300)의 회전각도의 정도를 가늠할 수 있도록 하기 위하여 각도지시막대(1610)가 배치될 수 있다. 상기 각도지시막대(1610)는 상기 적외선센서부(1300)의 정면(적외선을 투사하는 면)과 평행한 방향을 상기 각도조절부(1600)에 배치될 수 있으며, 따라서 각도조절부(1600)를 회전시킴에 따라 각도지시막대(1610)는 기울어지게 되고, 기울어진 각도지시막대(1610)를 저시력자가 촉감 등을 통해 감지함으로써, 상기 적외선센서부(1300)의 기울어진 정도를 가늠할 수 있도록 한다.

상기 도 2의 (C)에서 상기 각도지시막대(1610)는 한 쌍으로 구비되고, 한 쌍의 각도지시막대(1610) 각각은 상기 각도조절부(1600)의 원점에 대칭되는 위치에 배치되어 있으나, 본 발명의 다른 실시예에서 상기 각도지시막대(1610)는 1 개만 배치될 수도 있다.

또한, 상기 각도지시막대(1610)는 적외선센서의 회전각도, 즉 기울어진 정도를 가늠할 수 있도록 하는 것뿐만 아니라, 저시력자가 상기 각도조절부(1600)를 회전시키기에 용이하도록 하는 일종의 손잡이의 역할을 동시에 수행할 수 있다.

따라서, 상기 각도조절부(1600)를 통해 저시력자가 적외선센서부(1300)의 각도를 조절하기 위하여 각도지시막대(1610)를 손잡이로 사용하여 소정의 각도로 상기 적외선센서부(1300)를 회전시키고, 상기 각도조절부(1600)에 구비된 제1스위치부(1620)에 대하여 입력을 수행함에 따라 상기 적외선센서부(1300)에서는 지면에 대한 거리를 측정할 수 있게 된다. 즉, 저시력자는 상기 각도조절부(1600)에 구비된 요소들을 통해 적외선센서부(1300)의 각도를 조절하고 거리를 측정하는 과정들을 용이하게 수행할 수 있는 효과를 발휘할 수 있다.

2. 시각보조장치를 통해 저시력자의 주변환경에서의 단차를 감지하는 방법.

이하에서는 상술한 시각보조장치(1000)의 기계적인 구성을 통해 저시력자의 주변환경에서의 단차를 감지하는 방법에 대하여 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따른 적외선센서부(1300)에서 지면과의 거리를 측정하는 과정을 개략적으로 도시한다.

도 3에 도시된 바와 같이, 상기 적외선센서부(1300)의 전면에는 3 이상의 적외선감지모듈이 소정의 간격으로 배치되어 있고, 상기 적외선센서부(1300)는 상기 3 이상의 적외선감지모듈별로 해당 적외선감지모듈 및 해당 적외선감지모듈에서 적외선을 투사하는 지면의 특정 위치간의 거리를 각각 산출할 수 있다.

구체적으로, 도 3의 (A)에 도시된 바와 같이, 상기 적외선센서부(1300)의 전면에는 제1적외선감지모듈(1310), 제2적외선감지모듈(1320) 및 제3적외선감지모듈(1330)이 배치될 수 있다. 상기 적외선감지모듈은 적외선을 투사하는 적외선투사부 및 적외선투사부에서 투사된 적외선이 반사되어 되돌아오는 적외선을 수광하는 적외선수광부를 포함할 수 있다. 즉, 상기 적외선센서부(1300)는 투사하는 적외선의 광량 및 수광한 적외선의 광량을 비교하여 적외선이 투사된 지면의 특정 위치와의 거리를 산출할 수 있고, 따라서 상기 적외선센서부(1300)는 상기 제1적외선감지모듈(1310), 상기 제2적외선감지모듈(1320), 및 상기 제3적외선감지모듈(1330) 각각에 대한 거리들을 측정할 수 있다.

바람직하게는 상기 적외선감지모듈은 저시력자가 상기 제1스위치부(1620)에 대하여 입력을 수행함에 따라 소정의 시간동안 주기적으로 적외선을 투사하여 수광하고, 상기 적외선센서부(1300)는 소정의 시간동안 주기적으로 지면의 특정 위치와 상기 적외선감지모듈 사이의 거리를 산출할 수 있다.

한편, 각각의 적외선감지모듈은 상기 적외선센서부(1300)의 전면에 소정의 간격을 두고 배치될 수 있다. 이와 같은 구성을 통해 상기 시각보조장치(1000)를 착용한 저시력자의 보행 방향과 지면이 평행한 경우에 각각의 적외선감지모듈에서 자외선이 투사된 지면의 복수의 특정 위치 간의 간격은 서로 동일하게 된다.

그러나, 도 3의 (B)에 도시된 바와 같이, 상기 저시력자의 보행 방향과 지면이 평행하지 않거나, 지면에 단차가 형성되어 있는 경우에는 각각의 적외선감지모듈에서 자외선이 투사된 지면의 복수의 특정 위치(도 3의 (B)에서 a, b, c) 간의 간격은 동일하지 않게 되므로, 단차와 같이 지면의 변화정도를 시각보조장치(1000)에서 용이하게 판별할 수 있게 된다.

도 3의 (A)에서는 적외선센서부(1300)에 배치되는 적외선감지모듈의 개수가 3개로 도시되어 있으나 이에 한정되지 아니하고, 본 발명의 다른 실시예에서는 상기 적외선센서부(1300)는 3 이상의 적외선감지모듈을 포함할 수 있다. 다만, 이하에서는 설명을 용이하게 하기 위하여, 적외선센서부(1300)에 배치되는 적외선감지모듈은 제1적외선감지모듈(1310), 제2적외선감지모듈(1320), 및 제3적외선감지모듈(1330), 즉 3 개의 적외선감지모듈이 배치되어 있는 것으로 가정하고, 상기 제1적외선감지모듈(1310)의 자외선이 지면에 투사되는 특정 위치를 a, 상기 제2적외선감지모듈(1320)의 자외선이 지면에 투사되는 특정 위치를 b, 상기 제3적외선감지모듈(1330)의 자외선이 지면에 투사되는 특정 위치를 c로 하고, 상기 위치 a에서 상기 제1적외선감지모듈(1310)까지의 거리를 '거리 1', 상기 위치 b에서 상기 제2적외선감지모듈(1320)까지의 거리를 '거리 2', 상기 위치 c에서 상기 제3적외선감지모듈(1330)까지의 거리를 '거리 3'으로 가정한다.

도 4는 본 발명의 일 실시예에 따른 적외선센서부(1300)에서 측정된 복수의 거리에 따라 단차위험정보를 도출하는 과정을 개략적으로 도시한다.

도 4에 도시된 바와 같이, 상기 적외선센서부(1300)의 전면에는, 3 이상의 적외선감지모듈이 소정의 간격으로 배치되어 있고, 상기 적외선센서부(1300)는 상기 3 이상의 적외선감지모듈별로 해당 적외선감지모듈 및 해당 적외선감지모듈에서 적외선을 투사하는 지면의 특정 위치간의 거리를 각각 산출하고, 상기 제어부는, 상기 적외선센서부(1300)에서 산출된 각각의 적외선감지모듈에 대한 거리들의 평균값을 산출하고, 상기 평균값이 기설정된 제1단차임계범위를 벗어나는 경우에 단차위험정보를 도출할 수 있다.

구체적으로, 상기 적외선센서부(1300)는 상기 제1적외선감지모듈(1310), 상기 제2적외선감지모듈(1320) 및 상기 제3적외선감지모듈(1330)을 통해 각각 거리 1, 거리 2, 거리 3을 산출(S10) 한다.

한편, 상기 제어부는 상기 적외선센서부(1300)에서 소정의 주기에 따라 산출된 복수의 거리(거리 1, 거리 2, 및 거리 3)의 평균값을 산출(S11)한다. 이와 같이 산출된 평균값은 시간의 추이에 따른 평균값의 데이터 혹은 그래프로 표현될 수 있다.

상기 단계 S11에서 산출되는 평균값은 복수의 거리(거리 1, 거리 2, 및 거리 3)에 대한 산술 평균값에 해당할 수 있으나, 각 적외선감지모듈의 해상도를 고려하여 각각의 거리에 가중치를 부여하여 평균값을 산출하는 등의 다양한 방법으로 평균값이 산출될 수 있다.

이어서, 상기 제어부는 시간별 평균값이 소정의 제1단차임계범위를 벗어나는지 판별(S12)한다. 상기 제1단차임계범위는 저시력자가 보행하기에 용이한 수준의 평균값의 범위에 해당하며, 따라서 평균값이 상기 제1단차임계범위를 벗어나는 경우에 저시력자가 해당 구간을 보행하는데 위험이 발생할 수 있음을 의미할 수 있다.

따라서, 상기 제어부는 평균값이 상기 제1단차임계범위를 벗어나는 경우에 단차위험정보를 도출하고, 상기 시각보조장치(1000)는 상술한 스피커부(1412)와 같이 다양한 출력요소를 통해 단차위험정보에 따른 신호를 출력함으로써 저시력자에게 단차가 존재함을 알릴 수 있도록 한다.

한편, 본 발명의 다른 실시예에서는 복수의 거리에 평균값은 물론 각각의 거리사이의 차이값들의 오차값까지 고려하여 단차위험정보를 도출할 수 있다.

즉, 상기 제어부는, 상기 적외선센서부(1300)에서 산출된 각각의 적외선감지모듈에 대한 거리들의 평균값 및 각각의 거리 사이의 복수의 차이값들을 산출하고, 상기 평균값이 기설정된 제1단차임계범위를 벗어나고, 복수의 차이값들의 오차값이 제2단차임계범위를 벗어나는 경우에 단차위험정보를 도출할 수 있다.

구체적으로, 상기 제어부는 주기적으로 산출된 복수의 거리(거리 1, 거리 2, 및 거리 3) 사이의 차이값을 산출(S13)한다. 더 구체적으로, 상기 제어부는 산출된 거리 1 및 거리 2 사이의 차이값(Δ₁₂) 및 산출된 거리 2 및 거리 3 사이의 차이값(Δ₂₃)을 시간에 따라 산출한다.

이어서, 상기 제어부는 복수의 차이값 사이의 오차값(|Δ₁₂-Δ₂₃|)을 산출하고, 상기 오차값이 소정의 제2단차임계범위를 벗어나는지 판별(S14)한다. 상기 제2단차임계범위는 저시력자가 보행하기에 용이한 수준의 오차값의 범위에 해당하며, 따라서 오차값이 상기 제2단차임계범위를 벗어나는 경우에 저시력자가 해당 구간을 보행하는데 위험이 발생할 수 있음을 의미할 수 있다.

한편, 상기 제어부는 단계 S12에서 특정 시점에서의 평균값이 상기 제1단차임계범위를 벗어나고, 상기 단계 S14에서 상기 특정 시점에서의 오차값이 상기 제2단차임계범위를 벗어나는 경우(S15)에 상기 단차위험정보를 도출(S16)할 수 있다.

이와 같이 상기 평균값 및 상기 오차값을 모두 고려하여 단차위험정보를 도출함으로써 더욱더 정확하게 저시력자가 보행하는데 있어 위험할 수 있는 지면의 단차를 판별할 수 있는 효과를 발휘할 수 있다.

한편, 상기 제어부는 특정 시점에서 평균값이 제1단차임계범위를 벗어났으나, 오차값이 제2단차임계범위를 벗어나지 않은 경우 및 특정 시점에서 오차값이 제2단차임계범위를 벗어났으나, 평균값이 제1단차임계범위를 벗어나지 않은 경우에는 상기 단차위험정보를 도출하지 않으나, 본 발명의 다른 실시예에서는 해당 경우에 상기 제어부는 예비단차위험정보를 도출하고, 상기 시각보조장치(1000)는 이를 저시력자가 인지할 수 있도록 출력하므로, 단차가 어느정도 존재할 수 있음을 저시력자에게 제공할 수 있다.

또한, 상기 단차위험정보는 보행 방향에 단차가 있음을 알려주는 것뿐만 아니라, 평균값이 제1단차임계범위를 초과하고, 오차값이 제2단차임계범위를 초과하는 특정 시점과 저시력자의 보행 속도를 고려하여 상기 저시력자와 단차 사이의 거리에 대한 정보를 더 포함할 수 있다. 따라서 저시력자는 상기 단차위험정보를 통해 몇 미터 거리에 단차가 존재하는 구체적인 정보를 제공받을 수 있는 효과를 발휘할 수 있다.

도 5는 본 발명의 일 실시예에 따른 복수의 거리의 평균값 및 오차값에 기초하여 단차를 판별하는 과정을 개략적으로 도시한다.

도 5의 (A)는 도 4에서 설명한 시간에 따른 복수의 거리(거리 1, 거리 2, 및 거리 3)의 평균값을 도시한 그래프에 해당하고, 도 5의 (B)는 도 4에서 설명한 복수의 거리의 차이값들에 대한 오차값(|Δ₁₂-Δ₂₃|)을 시간에 따라 도시한 그래프에 해당한다.

도 5의 (A)에 도시된 바와 같이, 실제 저시력자가 보행하는 지면은 보도블럭의 요철이나, 사소한 장애물 등에 의해 평균값은 일정하지 않고 지속적으로 변화하게 된다. 한편, 이러한 평균값이 제1단차임계범위를 벗어나는 경우에는 저시력자의 보행 방향에 있어서 단차가 존재함을 의미한다.

더 구체적으로, 도 5의 (A)에 도시된 그래프에서 제1단차임계범위를 초과하는 구간은 거리 1, 거리 2, 및 거리 3 중 1 이상의 거리가 타 구간에서의 평균값 보다 큼을 의미하므로, 하방의 계단이나, 맨홀 구멍과 같이 높이가 낮아지는 단차가 존재함을 의미한다.

반면에 제1단차임계범위 미만의 구간은 거리 1, 거리 2, 및 거리 3 중 1 이상의 거리가 타 구간에서의 평균값 보다 작음을 의미하므로, 상방의 계단이나, 문턱과 같이 높이가 높아지는 단차가 존재함을 의미한다.

한편, 도 5의 (B)에 도시된 바와 같이, 실제 저시력자가 보행하는 지면에 대하여 오차값 또한 일정하지 않고, 지속적으로 변화하게 된다. 한편, 이러한 오차값이 제2단차임계범위를 벗어나는 경우에는 저시력자의 보행 방향에 있어서 보행에 위험이 될 정도의 급격한 단차가 존재함을 의미한다.

더 구체적으로, 도 5의 (B)에 도시된 그래프에서 오차값이 제2단차임계범위를 벗어나는 구간은, 도 4의 (B)에 도시된 도면을 참고하면 급격하게 높이가 높아지거나, 낮아지는 단차가 존재함을 의미한다.

상술한 바와 같이 오차값은 절대값을 취하므로, 오차값은 0 이상의 양수 값을 갖고, 오차값이 0인 경우에는 이상적으로 지면이 평탄함을 의미하며, 오차값이 커질수록 지면의 급격한 변화를 의미한다.

따라서, 상술한 바와 같이, 제어부에서 평균값에 따라 높이가 높아지는 단차인지, 높이가 낮아지는 단차인지를 판별하고, 판별된 단차가 보행에 위험을 줄 수 있는 정도의 단차인지를 오차값을 통해 판별하므로, 실제적으로 저시력자의 보행에 위험이 될 수 있는 단차에 대한 정보만을 제공할 수 있는 효과를 발휘할 수 있다.

본 발명의 다른 실시예에서는 제어부에서 단차위험정보를 도출하는 과정은 상기 시각보조장치(1000)와 통신을 수행하는 저시력자의 사용자단말에서 수행될 수 있고, 이와 같은 경우에 상기 기판부에는 상기 저시력자의 사용자단말과 통신을 수행할 수 있는 통신부가 더 포함될 수 있고, 상기 저시력자의 사용자단말에는 상기 시각보조장치(1000)와 통신을 수행할 수 있는 별도의 어플리케이션이 설치될 수 있다.

3. 시각보조장치를 포함하는 상황보조시스템에서 수행되는 저시력자의 주변상황을 보조하기 위한 방법

이하에서는 상술한 시각보조장치(1000)를 포함하는 상황보조시스템에서 수행되는 저시력자의 주변상황을 보조하기 위한 방법에 대하여 상세하게 설명하도록 한다.

도 6은 본 발명의 일 실시예에 따른 저시력자의 주변상황을 보조하기 위한 방법을 수행하는 상황보조시스템에 포함되는 구성요소들을 개략적으로 도시한다.

도 6에 도시된 바와 같이 상황보조시스템은, 상술한 시각보조장치(1000), 저시력자의 사용자단말(2000)에 설치되는 제1어플리케이션(2100), 서비스서버(3000), 및 타 사용자의 사용자단말(4000)에 설치되는 제2어플리케이션(4100)을 포함한다.

상기 시각보조장치(1000)는 '1. 시각보조장치(1000)의 기계적인 구성'에서 상술한 바와 같이, 저시력자는 상기 시각보조장치(1000)를 착용하여, 상기 시각보조장치(1000)에 포함된 촬영부(1200)를 통해 상기 저시력자의 주시 방향에 따른 복수의 이미지를 촬영하고, 상기 복수의 이미지를 상기 저시력자의 사용자단말(2000)의 제1어플리케이션(2100)으로 송신함으로써, 서비스서버(3000)에서 수행하는 객체 식별 또는 타 사용자와의 매칭을 통한 저시력자의 주변상황을 보조하기 위한 방법이 수행될 수 있다.

상기 제1어플리케이션(2100)은, 상기 시각보조장치(1000)를 착용한 저시력자의 사용자단말(2000)에 설치되어 상기 시각보조장치(1000) 및 상기 서비스서버(3000)와 통신을 수행할 수 있고, 바람직하게는 상기 시각보조장치(1000) 및 상기 저시력자의 사용자단말(2000)의 제1어플리케이션(2100)은 블루투스, 지그비(zigbee) 등과 같은 근거리 무선통신 방식으로 연결되고, 상기 저시력자의 사용자단말(2000)의 제1어플리케이션(2100) 및 상기 서비스서버(3000)는 LTE, 5G 등과 같은 원거리 통신 방식으로 연결될 수 있다.

상기 제1어플리케이션(2100)은 상기 시각보조장치(1000)로부터 수신한 복수의 이미지에 대하여 상기 저시력자로부터 객체 식별, 타 사용자를 통한 도움 등과 같이 도움 요청의 유형에 대한 입력을 수신하기 위한 인터페이스를 제공하고, 서비스서버(3000)로부터 객체정보, 또는 타 사용자에 의해 입력된 상황도움정보를 수신하여 상기 저시력자가 인지하기 편리한 형태로 상기 객체정보, 또는 상기 상황도움정보를 변환하여 출력한다.

또한, 상기 제1어플리케이션(2100)은 저시력자가 타 사용자를 통해 도움을 받은 경우에, 상기 타 사용자의 도움에 대한 평가를 입력할 수 있는 평가입력인터페이스를 디스플레이할 수도 있다.

한편, 본 발명에서 상황보조시스템은 복수의 저시력자 각각에 대하여 주변상황을 보조하기 위한 방법을 제공할 수 있고, 따라서 상기 복수의 저시력자 각각의 사용자단말에는 제1어플리케이션(2100)이 설치되고, 복수의 제1어플리케이션(2100)이 상기 서비스서버(3000)와 통신을 수행할 수 있다.

상기 서비스서버(3000)는 상기 제1어플리케이션(2100)과 통신을 수행하고, 상기 시각보조장치(1000)에서 촬영한 복수의 이미지에 대한 저시력자의 도움 요청을 수신한다. 또한 상기 서비스서버(3000)는 수신한 도움 요청에 따라, 상기 서비스서버(3000) 자체에서 수신한 복수의 이미지에 기초하여 저시력자의 주시 방향에 있는 1 이상의 객체를 식별하여, 식별된 1 이상의 객체에 대한 객체정보를 도출하여 상기 제1어플리케이션(2100)에 제공할 수 있다.

한편, 상기 서비스서버(3000)는 수신한 도움 요청에 따라, 복수의 타 사용자의 사용자단말(4000)에 해당 도움 요청에 대한 콜정보를 제공하여 상기 콜정보를 수락한 타 사용자와 상기 저시력자를 매칭하기 위한 단계들을 수행할 수도 있다.

상기 제2어플리케이션(4100)은, 타 사용자의 사용자단말(4000)에 설치되어 상기 서비스서버(3000)와 통신을 수행할 수 있다. 본 발명에서 상기 타 사용자는 저시력자의 도움 요청에 따라 도움을 제공하고자 하는 주체를 의미하며, 상기 서비스서버(3000)는 복수의 타 사용자의 사용자단말(4000) 각각에 설치된 복수의 제2어플리케이션(4100)과 통신을 수행할 수 있다.

한편, 상기 제2어플리케이션(4100)은 저시력자의 도움 요청의 유형에 따라 서비스서버(3000)를 통해 상황도움콜정보 또는 현장방문콜정보를 제공받을 수 있다. 상기 상황도움콜정보는 상기 저시력자에게 원격으로 도움을 제공하기 위한 콜정보로써 타 사용자는 상기 상황도움콜정보에 대하여 수락하는 경우, 저시력자의 도움 요청에 대한 상황도움정보를 상기 제2어플리케이션(4100)에 입력하는 것으로 저시력자에게 도움을 제공할 수 있다.

반면, 현장방문콜정보는 상기 저시력자에게 방문하여 직접 도움을 제공하기 위한 콜정보로써 타 사용자는 상기 현장방문콜정보에 대하여 수락하는 경우, 상기 제2어플리케이션(4100)은 저시력자의 위치를 포함하는 정보를 출력하여 타 사용자가 상기 저시력자에게 방문하여 도움을 제공할 수 있도록 한다.

이와 같이, 상기 상황보조시스템은 제1어플리케이션(2100)을 통해 저시력자가 입력한 도움 요청의 유형에 따라 저시력자의 주변상황을 보조하기 위한 다양한 방법을 제공할 수 있으며, 도움 요청의 유형에 따른 다양한 방법에 대해서는 이하에서 상세하게 설명하도록 한다.

도 7는 본 발명의 일 실시예에 따른 저시력자의 요청에 따라 저시력자의 주시 방향에 존재하는 1 이상의 객체를 식별하여 저시력자에게 제공하는 단계들을 개략적으로 도시한다.

도 7에 도시된 바와 같이, 저시력자가 착용하는 시각보조장치(1000), 상기 저시력자의 사용자단말(2000)에 설치된 제1어플리케이션(2100) 및 상기 제1어플리케이션(2100)과 통신을 수행하는 서비스서버(3000)를 포함하는 상황보조시스템에서 수행되는 저시력자의 주변상황을 보조하기 위한 방법으로서, 상기 시각보조장치(1000)에 의하여, 상기 저시력자의 입력에 따라 상기 시각보조장치(1000)의 전면에 배치된 촬영부(1200)를 통해 상기 저시력자의 주시 방향에 대한 복수의 이미지를 촬영하고, 상기 복수의 이미지를 상기 제1어플리케이션(2100)에 송신하는 이미지촬영단계(S21 및 S22); 상기 제1어플리케이션(2100)에 의하여, 상기 이미지촬영단계(S21 및 S22)를 통해 수신한 복수의 이미지에 대하여 상기 서비스서버(3000)에 상기 주시 방향에 존재하는 1 이상의 객체의 식별을 요청하는 객체식별요청단계(S24); 상기 서비스서버(3000)에 의하여, 기계학습된 학습모델을 사용하여 상기 객체식별요청단계(S24)를 통해 수신한 복수의 이미지에서 1 이상의 객체를 식별하고, 식별된 1 이상의 객체에 대한 객체정보를 상기 제1어플리케이션(2100)에 제공하는 객체정보제공단계(S25 및 S26); 및 상기 제1어플리케이션(2100)에 의하여, 상기 객체정보제공단계(S25 및 S26)를 통해 수신한 객체정보를 출력하는 객체정보출력단계(S27);를 포함할 수 있다.

구체적으로, 시각보조장치(1000)를 착용한 저시력자는 주변상황에 대한 인지 등과 같이 도움이 필요한 경우에 시각보조장치(1000)의 제2스위치부에 포함된 특정 스위치, 혹은 상기 촬영부(1200)를 동작하도록 하는 별도의 스위치에 대하여 입력을 수행하고, 상기 시각보조장치(1000)는 상기 입력을 수신(S20)할 수 있다.

이에 따라, 상기 시각보조장치(1000)는 상기 촬영부(1200)를 통해 상기 저시력자의 주시 방향에 대한 복수의 이미지를 촬영하고, 촬영한 복수의 이미지를 상기 제1어플리케이션(2100)으로 송신하는 이미지촬영단계(S21 및 S22)를 수행한다.

상기 이미지촬영단계(S21 및 S22)에서는 상기 저시력자의 주시 방향에 대한 단일 이미지를 촬영하여 이를 상기 제1어플리케이션(2100)으로 송신할 수도 있으나, 바람직하게는 상기 서비스서버(3000)에서 주시 방향에 대한 1 이상의 객체의 식별을 용이하게 하고, 도움을 제공하는 타 사용자가 저시력자의 주변상황을 용이하게 인식하기 위하여 복수의 이미지를 촬영하여 상기 제1어플리케이션(2100)으로 송신한다.

한편, 상기 시각보조장치(1000)로부터 복수의 이미지를 수신한 상기 제1어플리케이션(2100)은 저시력자로 하여금 도움 요청에 대한 유형을 입력받기 위한 별도의 인터페이스를 디스플레이하고, 상기 저시력자가 상기 인터페이스를 통해 객체의 식별에 대한 요청을 입력하는 것으로 상기 제1어플리케이션(2100)은 상기 객체 식별요청 입력을 수신(S23)하여, 상기 서비스서버(3000)에 저시력자의 주시 방향에 따른 복수의 이미지에 대한 객체의 식별을 요청하는 객체식별요청단계(S24)를 수행한다.

한편, 상기 서비스서버(3000)는 객체식별요청단계(S24)를 통해 수신한 복수의 이미지에 기초하여 저시력자의 주시 방향의 전방에 위치한 1 이상의 객체를 식별하고, 식별된 1 이상의 객체에 대한 객체정보를 도출하여 상기 제1어플리케이션(2100)으로 송신하는 객체정보제공단계(S25 및 S26)를 수행한다.

상기 객체정보제공단계(S25 및 S26)는, 상기 시각보조장치(1000)의 촬영부(1200)에서 촬영한 저시력자의 주시 방향의 전방에 대한 단일의 이미지를 수신하여 상기 단일의 이미지에 포함된 1 이상의 객체를 식별할 수 있으나, 바람직하게는 상기 객체정보제공단계(S25 및 S26)는 상기 저시력자의 주시 방향의 전방에 위치한 1 이상의 객체를 용이하게 식별하기 위하여, 상기 촬영부(1200)에서 촬영한 복수의 이미지를 사용할 수 있다. 이를 통해, 저시력자의 주시 방향의 전방에 이동 중인 객체가 존재하는 경우, 특정 이미지에는 상기 이동 중인 객체가 명확하게 촬영되지 않을 수 있으므로, 복수의 이미지를 통해 단일 이미지에서는 명확하게 촬영되지 않은 객체까지 식별할 수 있게 된다.

또한, 상기 객체정보제공단계(S25 및 S26)는 상기 서비스서버(3000) 혹은 타 서버에 저장되어 있는 기계학습된 학습모델에 복수의 이미지를 입력하여 출력된 식별된 1 이상의 객체에 기초하여 객체정보를 도출할 수 있다. 한편, 기계학습된 학습모델은 이미지에서 객체들을 식별하기 위하여 합성곱 신경망(Convolutional neural network, CNN) 등 다양한 기계학습 알고리즘을 사용할 수 있다.

한편, 상기 객체정보제공단계(S25 및 S26)를 통해 객체정보를 수신한 상기 제1어플리케이션(2100)은, 상기 저시력자에게 제공하기 위하여 상기 객체정보를 출력하는 객체정보출력단계(S27)를 수행한다. 상기 객체정보출력단계(S27)는 저시력자에게 용이하게 객체정보를 제공하기 위하여 다양한 방법으로 출력될 수 있다. 예를 들어, 상기 객체정보출력단계(S27)는 상기 객체정보를 디스플레이에 시각적 요소로 표시함과 동시에, 상기 객체정보를 음성형태로 변환하여 출력할 수 있다.

이와 같이 상황보조시스템은 저시력자에 입력에 의해 요청된 저시력자의 주시 방향의 전방에 위치한 1 이상의 객체의 식별 요청에 따라 서비스서버(3000)는 시각보조장치(1000)에서 촬영한 복수의 이미지를 사용하여 1 이상의 객체를 식별하여 저시력자에게 제공함으로써, 저시력자가 주시 방향에 위치한 1 이상의 객체에 대한 정보들을 인지할 수 있도록 한다.

도 8은 본 발명의 일 실시예에 따른 1 이상의 객체가 식별된 이미지를 개략적으로 도시한다.

도 8에 도시된 도면은 상기 제1어플리케이션(2100)에서 상기 서비스서버(3000)로부터 수신한 객체정보가 저시력자의 사용자단말(2000)에 디스플레이되는 인터페이스의 일 실시예에 해당한다.

서비스서버(3000)에서 수행하는 객체정보제공단계(S25 및 S26)는 도 8을 예로 들면, 복수의 이미지에 기초하여 나무군집(O1), 주행중인 차량(O2), 및 강아지(O3)의 1 이상의 객체를 식별하고, 식별된 1 이상의 객체에 대한 객체정보를 도출하여 상기 제1어플리케이션(2100)으로 송신한다.

상기 제1어플리케이션(2100)은 객체정보출력단계(S27)를 통해 수신한 객체정보를 다양한 방법으로 출력할 수 있다. 도 8에 도시된 바와 같이, 촬영된 복수의 이미지를 종합하여 특정 이미지를 생성하고, 이를 디스플레이할 수 있다. 디스플레이된 상기 특정 이미지에는 식별된 1 이상의 객체(O1, O2 및 O3)가 하이라이트되어 표시될 수 있다. 식별된 1 이상의 객체(O1, O2 및 O3)는 테두리가 표시되는 것으로 하이라이트 되거나, 저시력자가 용이하게 인지할 수 있도록 식별된 1 이상의 객체(O1, O2 및 O3)의 영역이 주변 영역과 대비될 수 있는 색상으로 변환되는 것으로 하이라이트 될 수 있다.

본 발명의 다른 실시예에서 상기 특정 이미지는 복수의 이미지 가운데 식별된 1 이상의 객체가 명확하게 촬영되어 있는 이미지에 해당할 수도 있다.

한편, 도 8에 도시된 바와 같이, 객체정보가 저시력자의 사용자단말(2000)에 디스플레이되는 인터페이스에는 상기 객체정보를 음성형태로 출력하도록 하는 제1음성출력엘리먼트(E1)를 포함할 수 있다. 상기 제1음성출력엘리먼트(E1)는 저시력자의 입력에 따라 제1어플리케이션(2100)에서 상기 객체정보를 Text to Speech(TTS)를 기반으로 하여 음성형태로 변환하고, 이를 상기 저시력자의 사용자단말(2000)의 스피커를 통해 음성형태로 출력하도록 한다.

따라서 저시력자는 시각적으로 인지하기 어려운 상황에서도 상기 제1음성출력엘리먼트(E1)에 대한 선택입력에 따라 상기 객체정보를 음성형태로 제공받음으로써, 식별된 1 이상의 객체들을 용이하게 인지할 수 있는 효과를 발휘할 수 있다.

본 발명의 다른 실시예에서 상기 제1어플리케이션(2100)은 객체정보출력단계(S27)를 수행하는 경우, 자동적으로 객체정보를 음성형태로 변환하여 출력하고, 해당 인터페이스에 포함된 상기 제1음성출력엘리먼트(E1)를 통해 추가적으로 객체정보를 음성형태로 제공할 수 있다.

도 9는 본 발명의 일 실시예에 따른 저시력자의 요청에 따라 상황도움콜정보를 수락하여 타 사용자가 상기 저시력자에게 원격으로 도움을 제공하는 단계들을 개략적으로 도시한다.

도 9에 도시된 바와 같이, 상기 상황보조시스템은 상기 서비스서버(3000)와 통신을 수행하는 복수의 타 사용자의 사용자단말(4000)에 설치된 제2어플리케이션(4100)을 더 포함하고, 상기 제1어플리케이션(2100)에 의하여, 상기 저시력자의 입력에 기초하여 상기 이미지촬영단계(S31 및 S32)를 통해 수신한 복수의 이미지 및 상기 저시력자가 상기 저시력자의 사용자단말(2000)을 통해 입력한 상황정보를 포함하는 상황원격요청정보를 상기 서비스서버(3000)로 송신하는 제1상황요청단계(S34); 상기 서비스서버(3000)에 의하여, 상기 제1상황요청단계(S34)를 통해 수신한 상황원격요청정보에 기초하여 상황도움콜정보를 도출하고, 상기 상황도움콜정보를 상기 복수의 타 사용자단말 각각에 설치된 제2어플리케이션(4100)에 송신하는 상황도움콜정보제공단계(S35 및 S36); 상기 상황도움콜정보에 대하여 수락입력을 수행한 타 사용자의 사용자단말(4000)에 설치된 제2어플리케이션(4100)으로부터 상기 타 사용자가 입력한 상황도움정보를 수신하는 상황도움정보수신단계(S39); 상기 상황도움정보수신단계(S39)를 통해 수신한 상기 상황도움정보를 상기 제1어플리케이션(2100)에 송신하는 상황도움정보송신단계(S40); 및 상기 제1어플리케이션(2100)에 의하여, 상기 상황도움정보제공단계를 통해 제공받은 상황도움정보를 출력하는 상황도움정보출력단계(S41);를 포함할 수 있다.

구체적으로, 도 9에서는 시각보조장치(1000)를 사용하는 저시력자에게 도움을 주고자 하는 복수의 타 사용자의 사용자단말(4000)에 설치된 제2어플리케이션(4100)을 통해 상기 저시력자의 도움 요청에 대하여 원격으로 답변 등을 제공하기 위한 방법을 도시한다.

도 9에 도시된 시각보조장치(1000)에서 저시력자로부터 촬영부(1200)에 대한 촬영입력을 수신(S30)하는 단계 및 이미지촬영단계(S31 및 S32)는 도 7에 도시된 단계 S20, 단계 S21, 및 단계 S22와 실질적으로 동일하므로, 이에 대한 설명은 생략하도록 한다.

상기 이미지촬영단계(S31 및 S32)를 통해 복수의 이미지를 수신한 상기 제1어플리케이션(2100)은 저시력자로 하여금 도움 요청에 대한 유형을 입력받기 위한 별도의 인터페이스를 디스플레이하고, 상기 저시력자가 상기 인터페이스 상에서 타 사용자를 통해 원격 도움에 대한 요청에 해당하는 상황정보를 입력하는 것으로 상기 제1어플리케이션(2100)은 상기 상황정보 입력을 수신(S33)하여, 상기 서비스서버(3000)에서 타 사용자와 상기 저시력자를 원격으로 매칭하도록 하는 제1상황요청단계(S34)를 수행한다.

더 구체적으로 저시력자가 상기 인터페이스 상에서 입력하는 상황정보는 저시력자가 원격으로 타 사용자로부터 도움을 요청하기 위한 도움 요청의 유형 정보 및 어떤 도움을 받고 싶은지에 대한 도움 내용 정보를 포함할 수 있다. 상기 도움 내용 정보는 저시력자가 상기 저시력자의 사용자단말(2000)을 통해 텍스트 형태로 입력하거나 혹은 저시력자의 음성을 녹음하는 형태로 입력할 수 있다.

한편, 상기 제1어플리케이션(2100)에서 수행하는 제1상황요청단계(S34)는 저시력자로부터 입력받은 상황정보 및 상기 이미지촬영단계(S31 및 S32)를 통해 수신한 복수의 이미지를 포함하는 상황원격요청정보를 상기 서비스서버(3000)로 송신한다.

상기 상황원격요청정보를 수신한 상기 서비스서버(3000)는 상기 상황원격요청정보에 기초하여 상기 상황원격요청정보를 송신한 제1어플리케이션(2100)에 상응하는 저시력자와 복수의 타 사용자 가운데 특정 타 사용자를 매칭하기 위하여 상황도움콜정보를 도출하고, 상기 상황도움콜정보를 상기 서비스서버(3000)와 통신을 수행하는 복수의 타 사용자의 사용자단말(4000) 각각에 설치된 제2어플리케이션(4100)으로 송신하는 상황도움콜정보제공단계(S35 및 S36)를 수행한다.

상기 상황도움콜정보제공단계(S35 및 S36)에서는 타 사용자가 저시력자에게 원격으로 도움을 제공하는 유형에 해당하므로, 저시력자와 타 사용자 사이의 거리에 관계 없이, 상기 상황보조시스템에 포함된 복수의 제2어플리케이션(4100) 모두에 상기 상황도움콜정보를 송신할 수 있다.

본 발명의 다른 실시예에서 상기 상황도움콜정보제공단계(S35 및 S36)는 상기 상황보조시스템에 포함된 복수의 제2어플리케이션(4100) 모두에 상기 상황도움콜정보를 송신할 수 있으나, 바람직하게는 현재 도움 요청에 대한 답변 등의 활동을 수행하고 있지 않은 복수의 타 사용자의 사용자단말(4000)에 설치된 제2어플리케이션(4100)에 선택적으로 상기 상황도움콜정보를 제공할 수도 있다.

한편, 복수의 제2어플리케이션(4100)은 수신한 상황도움콜정보를 상기 제2어플리케이션(4100)이 설치된 타 사용자의 사용자단말(4000)에 디스플레이하고, 특정 타 사용자는 디스플레이된 상황도움콜정보에 대하여 도움 요청에 대한 수락을 입력함으로써, 해당 제2어플리케이션(4100)은 수락입력을 수신(S37)할 수 있다.

이어서, 수락입력을 수신(S37)한 제2어플리케이션(4100)은 상황도움콜정보에 포함된 해당 저시력자가 입력한 도움 내용 정보에 대한 답변을 입력받을 수 있는 인터페이스를 디스플레이하고, 해당 타 사용자는 상기 인터페이스 상에서 상기 도움 내용 정보에 대한 상황도움정보를 입력함으로써, 상기 제2어플리케이션(4100)은 상기 상황도움정보에 대한 입력을 수신(S38)하고, 상기 상황도움정보를 상기 서비스서버(3000)에 송신한다.

이에 따라 상기 서비스서버(3000)는 상황도움정보수신단계(S39)를 통해 해당 제2어플리케이션(4100)에서 송신한 상황도움정보를 수신하고, 상황도움정보송신단계(S40)를 통해 상기 상황도움정보를 도움을 요청한 해당 제1어플리케이션(2100)에 송신한다. 이와 같이 서비스서버(3000)는 원격으로 도움을 받고자 하는 저시력자와 해당 도움에 대하여 원격으로 답변을 하고자 하는 타 사용자를 매칭시키고, 매칭된 타 사용자가 입력한 도움 요청에 대한 답변에 해당하는 상황도움정보를 수신하고, 이를 해당 저시력자에게 제공함으로써, 저시력자의 도움 요청에 대한 서비스를 제공한다.

한편, 서비스서버(3000)로부터 상황도움정보를 수신한 상기 제1어플리케이션(2100)은 상기 상황도움정보를 다양한 방법으로 출력하는 상황도움정보출력단계(S41)를 수행한다. 구체적으로 상기 상황도움정보출력단계(S41)는 저시력자가 촬영한 복수의 이미지 및 타 사용자가 입력한 상황도움정보를 텍스트 형태를 포함하는 시각적요소로 출력하거나, 상기 상황도움정보를 음성형태로 변환하여 출력할 수도 있다.

이와 같이 상황보조시스템은 저시력자에 입력에 의해 요청된 타 사용자를 통한 원격 도움 요청에 따라 서비스서버(3000)는 해당 저시력자와 도움을 제공하고자 하는 타 사용자를 매칭하고, 매칭된 타 사용자가 입력한 상황도움정보를 상기 저시력자에게 제공함으로써, 저시력자가 필요로 하는 도움 요청에 대한 답변들을 제공받을 수 있도록 한다.

도 10은 본 발명의 일 실시예에 따른 저시력자의 사용자단말(2000)에서 상황도움정보가 출력되는 화면을 개략적으로 도시한다.

도 10에 도시된 바와 같이 상황도움정보출력단계(S41)는 상황도움정보를 포함하는 상황도움인터페이스를 해당 저시력자의 사용자단말(2000)에 디스플레이함으로써, 상기 상황도움정보를 출력할 수 있다.

상기 상황도움인터페이스는 상기 저시력자가 촬영한 복수의 이미지를 표시하는 제1레이어(L1) 및 상황도움정보가 표시되는 제2레이어(L2)를 포함한다. 상기 제1레이어(L1)는 시각보조장치(1000)에서 촬영한 복수의 이미지를 모두 표시하거나, 혹은 상기 복수의 이미지에 대한 대표 이미지만 표시될 수도 있다. 상기 제2레이어에는 타 사용자가 입력한 상황도움정보를 텍스트 형태로 표시한다. 타 사용자가 음성형태로 상황도움정보를 녹음한 경우에, 상기 제1어플리케이션(2100)은 Speech to Text(STT) 방식과 같이 음성인식을 수행하여 음성형태의 상황도움정보를 텍스트 형태로 변환하여 표시할 수도 있다.

한편, 상기 제2레이어(L2)는 제2음성출력엘리먼트(E2)를 포함하고, 상기 제2음성출력엘리먼트(E2)에 대하여 저시력자가 선택 입력을 수행하는 경우에, 상기 제1어플리케이션(2100)은 상황도움정보를 음성형태로 출력할 수 있다. 만약 상기 상황도움정보를 해당 타 사용자가 텍스트 형태로 입력한 경우에 상기 제1어플리케이션(2100)은 TTS 방식을 통해 음성 형태로 변환하여 출력할 수도 있다.

이와 같이 상황보조시스템은 저시력자가 특정 위치에서부터 다른 위치까지 길을 찾고자 하는 경우 등과 같이, 저시력자가 전방에 있는 1 이상의 객체를 인지하더라도 실질적으로 저시력자의 행동에 도움을 줄 수 없는 경우에도, 타 사용자와 저시력자를 매칭시켜 저시력자의 도움 요청에 대한 답변을 제공할 수 있으므로, 저시력자에게 필요한 도움 요청에 대하여 실질적인 답변이나 정보들을 제공할 수 있는 효과를 발휘할 수 있다.

도 11은 본 발명의 일 실시예에 따른 제1어플리케이션(2100)에서 객체정보 및 상황도움정보를 음성형태로 변환하는 과정을 개략적으로 도시한다.

도 11에 도시된 바와 같이, 상기 상황도움정보출력단계(S41)는, 상기 상황도움정보가 텍스트형태인 경우에 상기 상황도움정보를 Text-to-Speech(TTS) 방식을 사용하여 음성형태로 변환하여 출력할 수 있다.

구체적으로, 제1어플리케이션(2100)은 서비스서버(3000)로부터 수신하는 도움 요청의 유형에 따른 정보들, 즉, 객체정보 및 상황도움정보를 음성형태로 변환하여 해당 저시력자의 사용자단말(2000)의 스피커를 통해 출력할 수 있다.

예를 들어, 상기 제1어플리케이션(2100)에서 서비스서버(3000)로부터 도 8에서 식별된 3 개의 객체(O1, O2, 및 O3)에 대한 객체정보를 수신한 경우, 상기 제1어플리케이션(2100)은 상기 객체정보를 음성형태의 객체정보로 변환하여, 각각의 객체를 '나무군집'(O1), '주행중인 차량'(O2), 및 '강아지'(O3)에 해당하는 음성으로 출력하도록 한다.

마찬가지로 상기 제1어플리케이션(2100)에서 서비스서버(3000)로부터 도 10의 제2레이어(L2)에 표시된 텍스트형태의 상황도움정보를 수신한 경우, 상기 제1어플리케이션(2100)은 상기 상황도움정보를 음성형태로 변환하여, 해당 상황도움정보를 '양재역 3번출구 방향으로 두 블록 직진하시면 오른편 건물에 oo카페가 있습니다.'에 해당하는 음성으로 출력하도록 한다.

이와 같이, 상기 제1어플리케이션(2100)은 객체정보 및 텍스트형태의 상황도움정보를 음성형태로 변환하기 위하여 Text-to-Speech(TTS) 기반의 방식을 사용하며, TTS 방식에 대해서는 종래에 구체화된 다양한 기술들을 사용할 수 있다.

따라서 저시력자는 텍스트형태와 같이 시각적 요소로만 제공받는 경우에 인지하기 어려운 정보들을 음성형태로 제공받음으로써, 정보들을 용이하게 인지할 수 있도록 하는 효과를 발휘할 수 있다.

도 12는 본 발명의 일 실시예에 따른 저시력자의 요청에 따라 현장방문콜정보를 수락하여 타 사용자가 상기 저시력자에게 방문하여 도움을 제공하는 단계들을 개략적으로 도시한다.

도 12에 도시된 바와 같이 상기 상황보조시스템은 상기 서비스서버(3000)와 통신을 수행하는 복수의 타 사용자의 사용자단말(4000)에 설치된 제2어플리케이션(4100)을 더 포함하고, 상기 제1어플리케이션(2100)에 의하여, 상기 저시력자의 입력에 기초하여 상기 이미지촬영단계(S51 및 S52)를 통해 수신한 복수의 이미지 및 상기 저시력자가 상기 저시력자의 사용자단말(2000)을 통해 입력한 상황정보를 포함하는 상황현장요청정보를 상기 서비스서버(3000)로 송신하는 제2상황요청단계(S54); 상기 서비스서버(3000)에 의하여, 상기 제2상황요청단계(S54)를 통해 수신한 상황현장요청정보에 기초하여 현장방문콜정보를 도출하고, 상기 현장방문콜정보를 상기 저시력자의 사용자단말(2000)의 위치로부터 소정의 거리 내에 위치한 1 이상의 타 사용자의 사용자단말(4000) 각각에 설치된 제2어플리케이션(4100)에 제공하는 현장방문콜정보제공단계(S55 및 S56); 및 상기 현장방문콜정보에 대하여 수락입력을 수행한 타 사용자의 사용자단말(4000)에 설치된 제2어플리케이션(4100)으로부터 수락정보를 수신하고, 상기 수락정보를 상기 제1어플리케이션(2100)에 송신하는 현장방문매칭단계(S58 및 S59);를 포함할 수 있다.

구체적으로, 도 12에서는 시각보조장치(1000)를 사용하는 저시력자에게 도움을 주고자 하는 복수의 타 사용자의 사용자단말(4000)에 설치된 제2어플리케이션(4100)을 통해 상기 저시력자의 도움 요청에 대하여 현장 방문하여 도움을 주기 위한 방법을 도시한다.

도 12에 도시된 시각보조장치(1000)에서 저시력자로부터 촬영부(1200)에 대한 촬영입력을 수신(S50)하는 단계 및 이미지촬영단계(S51, 및 S52)는 도 7에 도시된 단계 S20, 단계 S21, 및 단계 S22와 실질적으로 동일하므로, 이에 대한 설명은 생략하도록 한다.

상기 이미지촬영단계(S51, 및 S52)를 통해 복수의 이미지를 수신한 상기 제1어플리케이션(2100)은 저시력자로 하여금 도움 요청에 대한 유형을 입력받기 위한 별도의 인터페이스를 디스플레이하고, 상기 저시력자가 상기 인터페이스 상에서 타 사용자가 상기 저시력자가 위치한 현장에 방문하여 도움을 받기 위한 요청에 해당하는 상황정보를 입력하는 것으로 상기 제1어플리케이션(2100)은 상기 상황정보 입력을 수신(S53)하여, 상기 서비스서버(3000)에서 타 사용자와 상기 저시력자를 현장에서 매칭하도록 하는 제2상황요청단계(S54)를 수행한다.

더 구체적으로 저시력자가 상기 인터페이스 상에서 입력하는 상황정보는 타 사용자가 현장에 방문하여 도움을 제공 받기 위한 도움 요청의 유형 정보 및 어떤 도움을 받고 싶은지에 대한 도움 내용 정보를 포함할 수 있다. 상기 도움 내용 정보는 저시력자가 상기 저시력자의 사용자단말(2000)을 통해 텍스트 형태로 입력하거나 혹은 저시력자의 음성을 녹음하는 형태로 입력할 수 있다.

한편, 상기 제1어플리케이션(2100)에서 수행하는 제2상황요청단계(S54)는 저시력자로부터 입력받은 상황정보 및 상기 이미지촬영단계(S51 및 S52)를 통해 수신한 복수의 이미지를 포함하는 상황현장요청정보를 상기 서비스서버(3000)로 송신한다.

상기 상황현장요청정보를 수신한 상기 서비스서버(3000)는 상기 상황현장요청정보에 기초하여 상기 상황현장요청정보를 송신한 제1어플리케이션(2100)에 상응하는 저시력자와 복수의 타 사용자 가운데 특정 타 사용자를 현장에서 매칭하기 위하여 현장방문콜정보를 도출하고, 상기 현장방문콜정보를 상기 서비스서버(3000)와 통신을 수행하는 복수의 타 사용자단말 각각에 설치된 제2어플리케이션(4100)으로 송신하는 현장방문콜정보제공단계(S55 및 S56)를 수행한다.

바람직하게는, 상기 현장방문콜정보제공단계(S55 및 S56)는 저시력자와 타 사용자간의 현장 매칭의 성사 확률을 높이기 위하여, 저시력자의 현재 위치로부터 소정 거리 내에 존재하는 타 사용자의 사용자단말(4000)로 현장방문콜정보를 선택적으로 송신한다. 이를 위해 상기 제2상황요청단계(S54)에서 송신하는 상황현장요청정보에는 해당 저시력자의 사용자단말(2000)에 포함되는 GPS부에서 획득하는 위치정보가 더 포함될 수 있다.

한편, 본 발명의 다른 실시예에서는 상기 저시력자가 타 사용자의 현장 방문을 통해 도움을 받고자 하는 도움 요청의 유형을 입력함으로써, 서비스서버(3000)는 상기 저시력자로부터 소정의 거리 내에 위치한 1 이상의 타 사용자의 사용자단말(4000)의 제2어플리케이션(4100) 각각에 현장방문콜정보를 송신하고, 소정의 시간 동안 상기 현장방문콜정보를 수신한 각각의 제2어플리케이션(4100)으로부터 수락정보를 수신하지 못하는 경우에, 앞서 설명한 상황도움콜정보제공단계(S35 및 S36)를 수행함으로써 현장 방문에 대한 매칭이 이루어지지 않는 경우에, 원격 매칭이 이어서 수행될 수도 있다.

한편, 상기 현장방문콜정보를 수신한 복수의 제2어플리케이션(4100) 각각은 수신한 현장방문콜정보를 상기 제2어플리케이션(4100)이 설치된 타 사용자의 사용자단말(4000)에 디스플레이하고, 현장방문콜정보에 대해 수락하고자 하는 특정 타 사용자는 디스플레이된 현장방문콜정보에 대하여 도움 요청에 대한 수락을 입력함으로써, 해당 제2어플리케이션(4100)은 수락입력을 수신(S57)할 수 있다. 현장방문콜정보가 디스플레이되는 화면에는 현장방문콜정보에 포함된 해당 저시력자의 위치가 개략적으로 표시되어, 타 사용자가 현장방문콜정보에 대한 수락 여부를 용이하게 판단할 수 있도록 하며, 수락하는 경우에 해당 저시력자에 구체적인 위치 혹은 연락처가 추가적으로 표시될 수도 있다.

이어서, 수락입력을 수신(S57)한 제2어플리케이션(4100)은 수락정보를 상기 서비스서버(3000)로 송신한다. 이때 상기 수락정보에는 추후 연락을 위하여 수락한 타 사용자의 전화번호, 이름 등의 식별정보가 포함될 수 있다.

상기 서비스서버(3000)는 현장방문매칭단계(S58 및 S59)를 수행하여 해당 제2어플리케이션(4100)에서 송신한 수락정보를 수신하고, 상기 수락정보를 상기 상황현장요청정보를 송신한 제1어플리케이션(2100)에 송신한다. 이와 같이 서비스서버(3000)는 현장 방문을 통해 도움을 받고자 하는 저시력자와 현장 방문하여 도움을 주고자 하는 타 사용자를 매칭함으로써, 저시력자의 도움 요청에 대한 서비스를 제공한다.

한편, 서비스서버(3000)로부터 수락정보를 수신한 상기 제1어플리케이션(2100)은 상기 수락정보를 출력(S60)함으로써, 저시력자가 도움 요청을 수락한 타 사용자의 연락처, 이름 등을 인지하여 타 사용자가 저시력자의 위치로 방문하는 것을 용이하게 할 수 있고, 더 구체적으로는 도착예정시간정보를 추가적으로 출력함으로써, 현장방문에 따른 도움을 받는 과정이 더욱 용이하게 이루어지도록 할 수 있다.

도 13은 본 발명의 일 실시예에 따른 도움을 제공받은 저시력자가 제1어플리케이션(2100)을 통해 도움에 대한 평가를 수행하는 과정을 개략적으로 도시한다.

도 13의 (A)에 도시된 바와 같이, 상기 제1어플리케이션(2100)에 의하여, 상기 상황도움정보출력단계(S41)를 통해 상황도움정보가 출력된 후에 평가입력인터페이스를 디스플레이하는 단계(S70); 상기 평가입력인터페이스를 통해 상기 저시력자로부터 상기 상황도움정보에 대한 평가정보를 입력받고, 상기 평가정보를 서비스서버(3000)에 송신하는 평가정보제공단계(S71); 및 상기 서비스서버(3000)에 의하여, 상기 평가정보제공단계(S71)를 통해 수신한 평가정보에 기초하여 리워드 금액을 결정하고, 상기 평가정보 및 상기 결정된 리워드 금액을 상기 상황도움정보를 송신한 제2어플리케이션(4100)으로 송신하는 리워드제공단계(S72);를 포함할 수 있다.

구체적으로, 저시력자는 상기 제1어플리케이션(2100)을 통해 타 사용자를 통해 원격으로 제공받은 도움에 대하여 평가를 입력하고, 서비스서버(3000)는 저시력자가 입력한 평가에 따라 소정의 리워드를 책정하여 원격을 도움을 제공한 타 사용자에게 제공할 수 있으며, 원격으로 제공받은 도움 뿐만 아니라 타 사용자가 현장에 방문하여 도움을 제공받은 경우에 대해서도 동일하게 평가를 입력하여 소정의 리워드를 제공할 수 있다.

이를 위하여 저시력자의 상기 제1어플리케이션(2100)은 상황도움정보가 출력된 후, 혹은 현장방문에 따라 도움을 제공받은 후에 저시력자의 입력에 따라 상기 저시력자의 사용자단말(2000)에 평가입력인터페이스를 디스플레이(S70) 한다. 상기 평가입력인터페이스에 대해서는 도 13의 (B)에서 상세하게 설명하도록 한다.

이어서, 상기 제1어플리케이션(2100)은 상기 평가입력인터페이스 상에서 저시력자가 입력하는 평가정보를 수신하고, 상기 평가정보를 서비스서버(3000)에 송신하는 평가정보제공단계(S71)를 수행한다. 상기 평가정보에는 도움에 대한 평가내역뿐만 아니라, 평가정보를 입력한 저시력자에 대한 정보 및 평가를 받는 타 사용자에 대한 정보를 더 포함할 수 있다.

마지막으로, 평가정보를 수신한 서비스서버(3000)는 상기 평가정보에 기초하여 리워드 금액을 산출하고, 상기 평가정보 및 상기 산출된 리워드 금액을 도움을 제공한 타 사용자의 사용자단말(4000)에 설치된 제2어플리케이션(4100)으로 송신하는 리워드제공단계(S72)를 수행한다.

바람직하게는 저시력자는 소정의 금액을 상기 상황보조시스템에 소정의 포인트로 충전할 수 있고, 상기 서비스서버(3000)는 해당 저시력자가 충전한 소정의 포인트에서 산출된 리워드 금액만큼을 차감하고, 차감한 리워드 금액을 도움을 제공한 타 사용자에게 제공하는 것으로, 저시력자는 서비스에 대한 비용을 지불함으로써 도움 받는 것에 대한 위화감을 줄일 수 있고, 상기 상황보조시스템은 더욱더 풍부한 타 사용자 풀(pool)을 확보할 수 있는 효과를 발휘할 수 있다.

한편, 도 13의 (B)는 원격으로 도움을 받거나, 현장에 방문하여 도움을 받는 경우에 제1어플리케이션(2100)을 통해 디스플레이되는 평가입력인터페이스들을 도시한다.

도 13의 (B)의 좌측에 도시된 평가입력인터페이스는 도 10에서 도시한 바와 같이, 복수의 이미지를 표시하는 제1레이어(L3) 및 상황도움정보를 표시하는 제2레이어(L4)를 포함하고, 마찬가지로 상기 제2레이어(L4)에는 상황도움정보를 음성 형태로 출력하는 제3음성출력엘리먼트(E3)를 포함한다.

한편, 상기 평가입력인터페이스는 제1평가레이어(L5)를 더 포함한다. 상기 제1평가레이어(L5)에는 상기 제2레이어(L4)에 표시되는 상황도움정보에 대한 평가를 입력하기 위한 요소들이 표시되고, 저시력자는 상기 제1평가레이어(L5) 상에서 상기 상황도움정보에 대한 평가를 입력할 수 있다. 한편, 상기 제1평가레이어(L5)에 포함되는 제4음성출력엘리먼트(E4)에 대한 저시력자의 선택입력에 따라 상기 제1평가레이어(L5)에 표시되는 텍스트 정보가 음성 형태로 출력될 수 있다. 또한 저시력자가 텍스트 등의 시각적 요소로 평가를 하기 어려운 경우에 상기 제1음성입력엘리먼트(E5)를 입력함으로써 음성형태로 평가를 녹음할 수도 있다.

또한 도 13의 (B)의 우측에 도시된 평가입력인터페이스(L6)는 해당 저시력자가 위치한 현장에 방문하여 도움을 제공한 타 사용자에 대한 평가를 입력하기 위한 요소들을 표시한다. 상기 평가입력인터페이스(L6)에 포함되는 제5음성출력엘리먼트(E6)에 대한 저시력자의 선택입력에 따라 상기 평가입력인터페이스(L6)에 표시되는 텍스트 정보가 음성 형태로 출력될 수 있다. 또한 저시력자가 텍스트 등의 시각적 요소로 평가를 하기 어려운 경우에 상기 제2음성입력엘리먼트(E7)를 입력함으로써 음성형태로 현장 방문에 대한 평가를 녹음할 수도 있다.

4. 시각 기능 훈련 컨텐츠를 제공하는 방법 및 시스템

상술한 바와 같이, 시각보조장치(1000)의 기계적인 특성을 통해 주변 환경의 단차를 감지하고, 저시력자와 같은 시각장애인에게 주변상황을 보조하는 방법에 대해 설명하였다. 이하에서는 시각보조장치(1000)를 포함하는 시각훈련시스템을 통해 시각장애인에게 시각 기능 훈련 컨텐츠를 제공하는 방법 및 시스템에 대해 설명하도록 한다.

한편, 이하에 기재하는 시각장애인은 상술한 저시력자를 포함한 다양한 유형의 시각장애를 가지고 있는 사람으로 정의될 수 있다.

도 14는 본 발명의 일 실시예에 따른 시각 기능 훈련 컨텐츠를 제공하기 위한 방법을 수행하는 시각훈련시스템의 구성요소들을 개략적으로 도시한다.

도 14에 도시된 바와 같이, 시각훈련시스템은 시각보조장치(1000), 사용자단말(2000)에 설치된 제1어플리케이션(2100), 및 서비스서버(3000)를 포함한다.

상기 시각보조장치(1000)는 상술한 바와 같이 시각장애인이 착용할 수 있으며, 시각장애인이 시각 기능 훈련 컨텐츠를 제공받고자 하는 경우에는, 상기 시각보조장치(1000)의 제2스위치부(1900)에 대한 선택입력을 수행함으로써, 시각보조장치(1000)의 촬영부(1200)에서 시각장애인의 주시 방향에 대한 1 이상의 이미지를 촬영하고, 적외선센서부(1300)에서 주시 방향의 객체와의 거리정보를 산출함으로써, 상기 시각 기능 훈련 컨텐츠를 제공하기 위한 정보들을 생성할 수 있다.

상기 제1어플리케이션(2100)은 사용자단말(2000)에 설치될 수 있으며, 상기 사용자단말(2000)은 상기 시각보조장치(1000)를 착용하는 시각장애인이 사용하는 사용자단말(2000)로써, 도 6에서 상술한 저시력자의 사용자단말(2000)에 해당할 수 있다.

또한, 상기 제1어플리케이션(2100)은 상기 시각보조장치(1000) 및 상기 서비스서버(3000)와의 통신을 중개하는 역할을 수행할 수 있다. 예를 들어, 상기 시각보조장치(1000)에서 촬영한 1 이상의 이미지 및 산출한 거리정보를 수신하고, 상기 1 이상의 이미지 및 상기 거리정보를 상기 서비스서버(3000)에 송신할 수 있다. 이를 위하여 상기 제1어플리케이션(2100)은 상기 시각보조장치(1000)와 블루투스, 지그비(zigbee) 등과 같은 근거리 무선 통신 방식을 사용하여 연결될 수 있고, 상기 서비스서버(3000)와 LTE, 5G 등과 같은 원거리 무선 통신 방식을 사용하여 연결될 수 있다.

상기 서비스서버(3000)는 상기 제1어플리케이션(2100)으로부터 수신한 1 이상의 이미지에 기초하여 해당 이미지에 포함된 객체를 식별한다. 더 구체적으로, 상기 서비스서버(3000)는 시각 기능 훈련 컨텐츠를 목적으로 하는 경우에 상기 1 이상의 이미지에서 시각장애인이 주시하고 있는 것으로 판단되는 단일 객체를 식별한다. 이와 같이, 상기 서비스서버(3000)에서 식별한 객체는 상기 시각장애인이 시각 기능 훈련 컨텐츠를 통해 자신과의 거리를 가늠하는 것으로 거리감에 대한 훈련을 수행하기 위한 대상이 된다.

이하에서는, 상기 시각훈련시스템을 통해 시각 기능 훈련 컨텐츠를 제공하기 위한 방법에 대하여 상세하게 설명하도록 한다.

도 15는 본 발명의 일 실시예에 따른 시각 기능 훈련 컨텐츠를 제공하기 위한 단계들을 개략적으로 도시한다.

도 15에 도시된 바와 같이, 시각장애인이 착용하는 시각보조장치(1000), 상기 시각보조장치(1000)와 통신을 수행하는 사용자단말(2000)에 설치된 제1어플리케이션(2100), 및 상기 제1어플리케이션(2100)과 통신을 수행하는 서비스서버(3000)를 포함하는 시각훈련시스템에서 수행하는 시각 기능 훈련 컨텐츠를 제공하는 방법으로서, 상기 시각보조장치(1000)는, 프레임부(1100); 상기 프레임부(1100)의 전면에 배치되어 상기 시각장애인의 주시 방향에 따라 전방의 이미지를 촬영하는 촬영부(1200); 및 상기 프레임부(1100)의 일 측면에 체결되어 상기 시각장애인의 주시 방향에 따라 적외선을 투사하여 주시 방향에 존재하는 객체와의 거리정보를 산출하는 적외선센서부(1300);를 포함하고, 상기 시각보조장치(1000)에 의하여, 상기 시각보조장치(1000)를 착용한 시각장애인의 선택입력에 따라 상기 촬영부(1200)는 상기 시각장애인의 주시 방향에 대한 1 이상의 이미지를 촬영하고, 상기 적외선센서부(1300)는 상기 시각장애인의 주시 방향에 존재하는 객체와의 거리정보를 산출하는 객체촬영단계(S110); 상기 제1어플리케이션(2100)에 의하여, 상기 시각보조장치(1000)로부터 상기 1 이상의 이미지 및 상기 거리정보를 수신하고, 수신한 상기 1 이상의 이미지 및 상기 거리정보를 포함하는 객체식별요청정보를 상기 서비스서버(3000)에 송신하는 객체식별쿼리단계(S120 ~ S140); 상기 서비스서버(3000)에 의하여, 상기 제1어플리케이션(2100)으로부터 수신한 1 이상의 이미지에 기초하여 상기 1 이상의 이미지에 포함된 객체를 식별하여 객체식별정보를 도출하고, 상기 객체식별정보를 상기 제1어플리케이션(2100)으로 송신하는 객체식별정보제공단계(S150, S160); 및 상기 시각보조장치(1000)에 의하여, 상기 제1어플리케이션(2100)으로부터 객체식별정보를 수신하고, 상기 객체식별정보에 기초하여 도출된 시각 기능 훈련 컨텐츠를 상기 시각장애인에게 제공하는 컨텐츠제공단계(S170, S180);를 포함할 수 있다.

구체적으로, 상기 시각보조장치(1000)를 착용한 시각장애인은 시각 기능 훈련 컨텐츠를 제공받고자 하는 경우에 상기 시각보조장치(1000)에 구비된 제2스위치부(1900)의 특정 스위치에 대하여 선택 입력을 수행하고, 상기 시각보조장치(1000)는 상기 선택 입력을 수신(S100)한다.

상기 선택 입력을 수신(S100)한 시각보조장치(1000)는 상기 시각장애인의 주시 방향 즉, 전방에 대한 1 이상의 이미지를 촬영부(1200)를 통해 촬영하고, 주시 방향에 존재하는 객체와의 거리정보를 적외선센서부(1300)를 통해 산출한다. 본 발명의 다른 실시예에서는 상기 거리정보는 상기 적외선센서부(1300)뿐만 아니라 초음파센서부(1800)와 같이 거리를 측정하는 또 다른 방식의 센서를 통해 복합적으로 산출될 수도 있다.

상기 촬영부(1200)는 주시 방향에 대하여 단일의 이미지를 촬영할 수 있으나, 후술하는 서비스서버(3000)에서 이미지에 포함된 객체의 식별을 용이하게 하기 위하여, 소정의 간격으로 촬영한 복수의 이미지를 촬영할 수도 있다.

한편, 상기 제1어플리케이션(2100)은, 상기 시각보조장치(1000)로부터 촬영한 상기 1 이상의 이미지 및 산출된 상기 거리정보를 수신(S120)하고, 상기 1 이상의 이미지 및 상기 거리정보에 기초하여 상기 객체식별요청정보를 도출(S130)한다. 상기 객체식별요청정보는 상기 1 이상의 이미지 및 상기 거리정보를 포함하고, 상기 서비스서버(3000)로 하여금 시각 기능 훈련 컨텐츠를 위한 객체 식별을 요청하는 쿼리정보를 더 포함할 수 있다. 마지막으로 상기 제1어플리케이션(2100)은 도출된 상기 객체식별요청정보를 상기 서비스서버(3000)로 송신(S140)한다.

상기 서비스서버(3000)는 상기 제1어플리케이션(2100)으로부터 객체식별요청정보를 수신하고, 상기 1 이상의 이미지에서 시각 기능 훈련 컨텐츠를 위한 객체를 식별한다. 구체적으로, 상기 서비스서버(3000)는 수신한 객체식별요청정보에 포함된 1 이상의 이미지에서 상기 시각장애인이 주시하고 있는 객체를 식별하여 객체식별정보를 도출(S150)하고, 도출된 상기 객체식별정보를 상기 제1어플리케이션(2100)으로 송신(S160)한다. 이를 위하여 상기 서비스서버(3000)는 기저장된 기계학습된 학습모델을 사용하여 이미지에서 객체를 식별할 수 있고, 상기 기계학습된 학습모델은 합성곱 신경망(Convolutional neural network, CNN)과 같이 이미지에서 객체를 식별할 수 있는 다양한 알고리즘을 사용할 수 있다. 한편, 1 이상의 이미지에서 객체를 식별하는 구체적인 방법에 대해서는 도 17에서 설명하도록 한다.

상기 시각보조장치(1000)는 상기 제1어플리케이션(2100)으로부터 객체식별정보를 수신(S170)하고, 상기 수신한 객체식별정보에 기초하여 식별된 객체와 시각장애인 사이의 거리를 훈련하는 시각 기능 훈련 컨텐츠를 출력(S180)한다.

이와 같이, 시각보조장치(1000)에서는 이미지 촬영 및 거리 산출을 수행하고, 서비스서버(3000)에서 촬영된 이미지에 대한 객체 식별과 같은 연산을 수행하고, 다시 시각보조장치(1000)에서 서비스서버(3000)에서 식별한 객체를 기반으로 시각 기능 훈련 컨텐츠를 출력하므로, 시각보조장치(1000)에서 많은 연산이 필요하지 않으므로, 시각보조장치(1000)의 단가를 낮출 수 있는 것과 동시에 시각보조장치(1000)의 무게를 줄일 수 있으므로 착용감을 향상시킬 수 있는 효과를 발휘할 수 있다.

도 16은 본 발명의 일 실시예에 따른 시각보조장치(1000)를 통해 시각장애인의 주시 방향에 따른 1 이상의 이미지 촬영 및 거리를 산출하는 상황을 개략적으로 도시한다.

도 16에 도시된 바와 같이, 시각장애인이 착용하고 있는 시각보조장치(1000)를 통해 시각 기능 훈련을 받고자 하는 경우에 상기 시각보조장치(1000)에 구비된 제2스위치부(1900) 가운데 시각 기능 훈련 컨텐츠를 실행하도록 하는 특정 스위치를 선택하고, 상기 시각보조장치(1000)는 선택 입력에 따라 시각장애인의 주시 방향을 촬영한다.

도 16에 도시된 바와 같이, 시각장애인의 주시 방향에, 나무 및 차량이 있는 경우에 상기 시각보조장치(1000)의 촬영부(1200)에 의해 촬영되는 1 이상의 이미지에는 나무 및 차량이 포함될 수 있다. 상기 촬영부(1200)는 주시 방향에 대한 단일의 이미지를 촬영할 수도 있으나, 객체가 뚜렷하게 촬영되지 않아 객체를 식별하지 못하거나, 시각장애인이 주시하고 있는 특정 객체를 정확하게 식별하기 위하여 1 이상의 이미지 혹은 복수의 이미지 프레임으로 구성된 영상을 촬영함이 바람직하다.

한편, 상기 시각보조장치(1000)의 적외선센서부(1300)는 상기 시각보조장치(1000)의 프레임부(1100)에 배치되어 시각장애인의 주시 방향에 있는 객체와의 거리정보를 산출한다. 도 16을 예로 들면, 상기 시각장애인이 차량을 바라보고 있는 경우에 상기 적외선센서부(1300)는 상기 차량과 상기 시각장애인 사이의 거리정보를 산출하게 된다. 즉, 촬영부(1200)는 시각장애인의 주시 방향에 있는 1 이상의 객체가 촬영될 수 있고, 상기 적외선센서부(1300)는 시각장애인이 주시하고 있는 특정 객체와 상기 시각장애인 사이의 거리정보를 산출할 수 있다. 이를 위해 상기 적외선센서부(1300)는 각도조절부(1600)를 통해 시각장애인의 주시 방향과 상응하는 각도로 사전에 조절되어야 하는 것이 바람직하다.

도 17은 본 발명의 일 실시예에 따른 시각보조장치(1000)를 통해 촬영된 이미지를 개략적으로 도시한다.

도 17에 도시된 바와 같이, 상기 객체식별정보제공단계(S150, S160)는, 상기 1 이상의 이미지의 전체 영역에서 기설정된 크기 이상의 영역을 차지하는 객체를 식별하고, 상기 식별된 객체에 대한 객체식별정보를 도출할 수 있다.

구체적으로, 상기 서비스서버(3000)는 상기 제1어플리케이션(2100)을 통해 객체식별요청정보를 수신하고, 상기 객체식별정보제공단계(S150, S160)를 수행하여 상기 객체식별요청정보에 포함된 1 이상의 이미지에서 시각장애인이 주시하고 있는 특정 객체를 식별하여 객체식별정보를 도출할 수 있다.

상기 1 이상의 이미지에서 시각장애인이 주시하고 있는 특정 객체를 식별하기 위하여, 상기 1 이상의 이미지의 전체 영역에서 기설정된 크기 이상의 영역을 차지하는 객체가 있는지 판별하고, 기설정된 크기 이상에 해당하는 영역의 객체가 존재하는 것으로 판별되는 경우에, 해당 객체를 시각장애인이 주시하고 있는 특정 객체로 식별할 수 있다.

예를 들어, 도 17에 도시된 이미지에는 나무 객체와 차량 객체(O4)가 도시되어 있고, 차량 객체(O4)의 영역의 크기가 해당 이미지 전체 영역과 비교하여 50% 이상을 차지하므로, 해당 차량 객체(O4)를 시각장애인이 주시하고 있는 특정 객체로 식별하게 된다. 한편, 상기 기설정된 크기는 50%로 고정되는 것이 아니라, 시각장애인이 시각보조장치(1000) 혹은 제1어플리케이션(2100)을 통해 다양한 크기로 설정될 수도 있다.

본 발명의 다른 실시예에서는, 상기 객체식별정보제공단계(S150, S160)는, 1 이상의 이미지의 전체 영역에서 기설정된 크기 이상의 영역을 차지하고, 상기 이미지의 중앙에 배치된 경우 모두를 만족하는 경우에 해당 객체를 시각장애인이 주시하고 있는 객체로 식별할 수 있다.

이와 같이, 상기 객체식별정보제공단계(S150, S160)에서 1 이상의 이미지에 대하여 객체를 식별하는 방법은, 이미지에 포함된 복수의 객체에서 시각장애인이 주시하고 있는 것으로 판단되는 객체를 식별하기 위한 것이고, 이는 상술한 '3. 시각보조장치(1000)를 포함하는 상황보조시스템에서 수행되는 저시력자의 주변상황을 보조하기 위한 방법'에서 1 이상의 이미지에 포함된 모든 객체들을 식별하는 것과는 상이하다.

한편, 상기 객체식별정보제공단계(S150, S160)는, 상기 1 이상의 이미지의 전체 영역에서 기설정된 크기 이상의 영역을 차지하는 객체가 존재하지 않는 것으로 식별한 경우에, 상기 제1어플리케이션(2100)으로 상기 객체촬영단계(S110)를 다시 수행하도록 요청하는 재촬영요청정보를 송신할 수 있다.

구체적으로, 상기 객체식별정보제공단계(S150, S160)에서 상기 1 이상의 이미지의 전체 영역에서 시각장애인이 주시하고 있는 특정 객체가 없는 것으로 판별하는 경우에 상기 제1어플리케이션(2100)으로 재촬영요청정보를 송신하고, 상기 제1어플리케이션(2100)은 상기 재촬영요청정보에 기초하여 상기 사용자단말(2000)에 재촬영요청을 표시하는 인터페이스를 출력하거나, 혹은 상기 제1어플리케이션(2100)은 상기 시각보조장치(1000)에 상기 재촬영요청정보를 송신하고, 상기 시각보조장치(1000)는 스피커 등을 통해 시각장애인에게 재촬영을 요청하도록 하는 정보들을 출력할 수 있다.

도 18은 본 발명의 일 실시예에 따른 컨텐츠제공단계(S170, S180)의 세부 단계들을 개략적으로 도시한다.

도 18에 도시된 바와 같이, 상기 컨텐츠제공단계(S170, S180)는, 상기 객체식별단계에서 식별된 객체와의 거리를 상기 시각장애인에게 질문하는 객체거리질문단계(S200); 상기 질문에 따른 상기 시각장애인의 답변을 수신하는 답변수신단계(S210); 및 상기 답변수신단계(S210)를 통해 수신한 시각장애인의 답변 및 상기 객체촬영단계(S110)에서 산출된 거리정보에 기초하여 상기 답변의 정답 여부를 제공하는 정답확인단계(S220);를 포함할 수 있다.

구체적으로, 상기 컨텐츠제공단계(S170, S180)는 서비스서버(3000)에서 식별하여 도출된 객체식별정보에 기초하여 시각장애인이 수행하는 시각 기능 훈련 컨텐츠를 제공한다. 이를 위하여 상기 컨텐츠제공단계(S170, S180)는 객체거리질문단계(S200), 답변수신단계(S210), 및 정답확인단계(S220)를 포함한다.

상기 객체거리질문단계(S200)는, 시각보조장치(1000)의 스피커부(1412)를 통해 식별된 객체와의 거리를 음성 형태로 질문한다. 식별된 객체의 명칭은 상기 객체식별정보에 기초하여 도출될 수 있다.

상기 답변수신단계(S210)는 상기 객체거리질문단계(S200)를 통해 질문을 들은 시각장애인으로부터 해당 질문에 대한 답변을 수신한다. 예를 들어, 객체와의 거리에 대하여 시각장애인이 10m로 판단하는 경우에, 10m에 대한 입력을 수신할 수 있다. 입력 방법은 제1어플리케이션(2100)을 통해 텍스트형태로 입력하거나, 또는 다양한 방법으로 입력될 수 있으나, 바람직하게는 시각보조장치(1000)에 구비된 마이크부를 통해 음성 형태로 입력될 수 있다.

상기 정답확인단계(S220)는, 시각장애인이 입력한 답변과 상기 적외선센서부(1300)에서 산출한 거리정보를 비교하여 정답 여부를 판별하고, 이를 시각장애인에게 제공한다. 상기 정답확인단계(S220)는 판별된 정답 여부를 다양한 방법으로 시각장애인에게 제공할 수 있으나, 바람직하게는 상기 시각보조장치(1000)의 스피커부(1412)를 통해 음성 형태로 정답 여부를 제공할 수 있다.

한편, 상기 컨텐츠제공단계(S170, S180)는 상기 정답확인단계(S220)에서 시각장애인이 입력한 답변과 산출된 거리정보가 소정의 범위 내로 일치하지 않는 경우에, 즉 정답이 아닌 것으로 판별된 경우에 다시 시각장애인에게 답변을 요청하는 단계를 더 포함할 수 있다.

본 발명의 다른 실시예에서는, 상기 컨텐츠제공단계(S170, S180)는 상기 정답확인단계(S220)에서 시각장애인이 입력한 답변과 산출된 거리정보가 소정의 범위 내로 일치하지 않는 경우에, 즉 정답이 아닌 것으로 판별된 경우에 새로운 객체로 시각 기능 훈련 컨텐츠를 진행하도록 요청하는 내용을 시각보조장치(1000)의 스피커부(1412)를 통해 출력하고, 상기 시각장애인은 주시하고 있는 새로운 객체에 대하여 시각 기능 훈련 컨텐츠를 수행하기 위한 입력을 수행함으로써, 상기 객체촬영단계(S110)가 수행될 수 있다.

한편, 상기 제1어플리케이션(2100) 혹은 상기 서비스서버(3000)는 상기 시각보조장치(1000)로부터 시각장애인이 복수의 시각 기능 훈련 컨텐츠를 통해 입력한 복수의 답변을 수신하여 해당 시각장애인의 정답률을 산출하여 저장할 수 있다. 이와 같이 저장된 정답률은 해당 시각장애인의 요청에 따라 제공되므로, 시각장애인이 자신의 훈련 성과를 확인할 수 있는 효과를 발휘할 수 있다.

도 19는 본 발명의 일 실시예에 따른 답변수신단계(S210)에서 수신한 답변을 텍스트 형태의 답변으로 변환하는 과정을 개략적으로 도시한다.

도 19에 도시된 바와 같이, 상기 답변수신단계(S210)는, 상기 시각장애인으로부터 음성 형태의 답변을 수신하고, 상기 답변에 대하여 Speech to Text(STT) 방식을 사용하여 텍스트 형태로 변환하고, 상기 정답확인단계(S220)는, 텍스트 형태로 변환된 답변 및 상기 객체촬영단계(S110)에서 산출된 거리정보를 비교하여, 상기 답변의 정답 여부를 판별할 수 있다.

구체적으로, 상기 답변수신단계(S210)는 시각보조장치(1000)에 구비된 마이크부를 통해 질문에 대한 시각장애인의 음성 형태의 답변을 수신하고, 상기 음성 형태의 답변을 텍스트 형태의 답변으로 변환한다. 이를 위해 상기 답변수신단계(S210)는 Speech to Text(STT) 방식을 사용하여 음성 형태의 답변을 텍스트 형태의 답변으로 변환하며, STT 방식에 대해서는 종래의 다양한 방법들을 사용할 수 있다.

이와 같이 상기 답변수신단계(S210)에서 변환된 텍스트 형태의 답변에 기초하여 상기 정답확인단계(S220)에서 텍스트 형태의 답변 및 산출된 거리정보에 기초하여 시각장애인의 답변에 대한 정답 여부를 판별할 수 있게 된다.

이와 같은 구성을 통해 시각장애인은 질문에 대한 답변을 편리하게 음성 형태로 입력하는 것 만으로도 정답 여부를 제공받을 수 있는 효과를 발휘할 수 있다.

도 20은 본 발명의 일 실시예에 따른 시각 기능 훈련 컨텐츠를 개략적으로 도시한다.

도 20에 도시된 바와 같이, 시각 기능 훈련 컨텐츠가 상기 시각장애인에게 제공될 수 있다.

우선 객체거리질문단계(S200)를 통해 시각장애인에게 주시하고 있는 객체와의 거리가 어느정도 되는 지에 대한 질문을 제공한다. 예를 들어, 도 20에서와 같이, “”객체” 와의 거리가 어느정도 되는 것 같습니까?”라는 질문을 제공할 수 있으며, “객체”는 시각장애인이 주시하고 있는 특정 개체로써, 차량, 나무, 등 다양한 객체의 명칭이 상기 질문의 “객체”란에 들어갈 수 있다. 상기 객체의 명칭은 상기 서비스서버(3000)에서 수행하는 객체식별정보제공단계(S150, S160)를 통해 도출된 객체식별정보에 포함될 수 있다.

이와 같은 질문에 대하여 상기 시각장애인은 상기 시각보조장치(1000)에 구비된 마이크부를 통해 도 20에 도시된 “5m 입니다.”와 같이, 시각장애인과 주시하고 있는 특정 객체와의 예상 거리에 대한 답변을 음성 형태로 입력하고, 상기 답변수신단계(S210)는 음성 형태의 답변을 수신한다. 또한, 상기 답변수신단계(S210)는 음성 형태의 답변을 STT 방식을 통해 텍스트 형태의 답변으로 변환한다.

한편, 정답확인단계(S220)는 시각장애인의 답변, 즉 텍스트 형태의 답변과 적외선센서부(1300)에서 산출한 거리정보를 비교하여 답변의 정답 여부를 판별하고, 판별 결과를 출력한다. 예를 들어, 도 20에서와 같이 “현재 “객체”와의 거리는 3m 입니다. 다른 객체로 다시 연습해보세요.”와 같은 판별 결과가 출력될 수 있고, 시각장애인은 자신의 답변이 오답임을 인지하고, 정답인 3m라는 정보를 통해 시각의 깊이감 이나 거리감을 훈련할 수 있게 된다.

한편, 시각장애인은 출력된 판별 결과에 따라 다른 객체 즉, 이전 객체와 다른 거리에 놓여진 다른 객체를 대상으로 시각 기능 훈련 컨텐츠를 수행하기 위하여, 다른 객체를 대상으로 객체촬영단계(S110)를 수행하도록 하는 선택 입력을 함으로써, 다른 객체를 대상으로 시각 기능 훈련을 수행할 수 있다. 이와 같이, 복수의 객체를 대상으로 시각 기능 훈련 컨텐츠를 소화함으로써 시각의 깊이감이나 거리감을 향상시킬 수 있게 된다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

시각장애인이 착용하는 시각보조장치, 상기 시각보조장치와 통신을 수행하는 사용자단말에 설치된 제1어플리케이션, 및 상기 제1어플리케이션과 통신을 수행하는 서비스서버를 포함하는 시각훈련시스템에서 수행하는 시각 기능 훈련 컨텐츠를 제공하는 방법으로서,
상기 시각보조장치는,
프레임부;
상기 프레임부의 전면에 배치되어 상기 시각장애인의 주시 방향에 따라 전방의 이미지를 촬영하는 촬영부; 및
상기 프레임부의 일 측면에 체결되어 상기 시각장애인의 주시 방향에 따라 적외선을 투사하여 주시 방향에 존재하는 객체와의 거리정보를 산출하는 적외선센서부;를 포함하고,
상기 시각보조장치에 의하여,
상기 시각보조장치를 착용한 시각장애인의 선택입력에 따라 상기 촬영부는 상기 시각장애인의 주시 방향에 대한 1 이상의 이미지를 촬영하고, 상기 적외선센서부는 상기 시각장애인의 주시 방향에 존재하는 객체와의 거리정보를 산출하는 객체촬영단계;
상기 제1어플리케이션에 의하여,
상기 시각보조장치로부터 상기 1 이상의 이미지 및 상기 거리정보를 수신하고, 수신한 상기 1 이상의 이미지 및 상기 거리정보를 포함하는 객체식별요청정보를 상기 서비스서버에 송신하는 객체식별쿼리단계;
상기 서비스서버에 의하여,
상기 제1어플리케이션으로부터 수신한 1 이상의 이미지에 기초하여 상기 1 이상의 이미지에 포함된 객체를 식별하여 객체식별정보를 도출하고, 상기 객체식별정보를 상기 제1어플리케이션으로 송신하는 객체식별정보제공단계; 및
상기 시각보조장치에 의하여,
상기 제1어플리케이션으로부터 객체식별정보를 수신하고, 상기 객체식별정보에 기초하여 도출된 시각 기능 훈련 컨텐츠를 상기 시각장애인에게 제공하는 컨텐츠제공단계;를 포함하는, 시각 기능 훈련 컨텐츠를 제공하는 방법.
청구항 1에 있어서,
상기 객체식별정보제공단계는,
상기 1 이상의 이미지의 전체 영역에서 기설정된 크기 이상의 영역을 차지하는 객체를 식별하고, 상기 식별된 객체에 대한 객체식별정보를 도출하는, 시각 기능 훈련 컨텐츠를 제공하는 방법.
청구항 1에 있어서,
상기 객체식별정보제공단계는,
상기 1 이상의 이미지의 전체 영역에서 기설정된 크기 이상의 영역을 차지하는 객체가 존재하지 않는 것으로 식별한 경우에, 상기 제1어플리케이션으로 상기 객체촬영단계를 다시 수행하도록 요청하는 재촬영요청정보를 송신하는, 시각 기능 훈련 컨텐츠를 제공하는 방법.
청구항 1에 있어서,
상기 컨텐츠제공단계는,
상기 객체식별단계에서 식별된 객체와의 거리를 상기 시각장애인에게 질문하는 객체거리질문단계;
상기 질문에 따른 상기 시각장애인의 답변을 수신하는 답변수신단계; 및
상기 답변수신단계를 통해 수신한 시각장애인의 답변 및 상기 객체촬영단계에서 산출된 거리정보에 기초하여 상기 답변의 정답 여부를 제공하는 정답확인단계;를 포함하는, 시각 기능 훈련 컨텐츠를 제공하는 방법.
청구항 4에 있어서,
상기 답변수신단계는,
상기 시각장애인으로부터 음성 형태의 답변을 수신하고, 상기 답변에 대하여 Speech to Text(STT) 방식을 사용하여 텍스트 형태로 변환하고,
상기 정답확인단계는,
텍스트 형태로 변환된 답변 및 상기 객체촬영단계에서 산출된 거리정보를 비교하여, 상기 답변의 정답 여부를 판별하는, 시각 기능 훈련 컨텐츠를 제공하는 방법.
시각 기능 훈련 컨텐츠를 제공하는 방법을 수행하는 시각훈련시스템으로서,
상기 시각훈련시스템은,
시각장애인이 착용하는 시각보조장치;
상기 시각보조장치와 통신을 수행하는 사용자단말에 설치된 제1어플리케이션; 및
상기 제1어플리케이션과 통신을 수행하는 서비스서버;를 포함하고,
상기 시각보조장치는,
프레임부;
상기 프레임부의 전면에 배치되어 상기 시각장애인의 주시 방향에 따라 전방의 이미지를 촬영하는 촬영부; 및
상기 프레임부의 일 측면에 체결되어 상기 시각장애인의 주시 방향에 따라 적외선을 투사하여 주시 방향에 존재하는 객체와의 거리정보를 산출하는 적외선센서부;를 포함하고,
상기 시각보조장치에 의하여,
상기 시각보조장치를 착용한 시각장애인의 선택입력에 따라 상기 촬영부는 상기 시각장애인의 주시 방향에 대한 1 이상의 이미지를 촬영하고, 상기 적외선센서부는 상기 시각장애인의 주시 방향에 존재하는 객체와의 거리정보를 산출하는 객체촬영단계;
상기 제1어플리케이션에 의하여,
상기 시각보조장치로부터 상기 1 이상의 이미지 및 상기 거리정보를 수신하고, 수신한 상기 1 이상의 이미지 및 상기 거리정보를 상기 서비스서버에 송신하는 촬영정보제공단계;
상기 서비스서버에 의하여,
상기 제1어플리케이션으로부터 수신한 1 이상의 이미지에 기초하여 상기 1 이상의 이미지에 포함된 객체를 식별하여 객체식별정보를 도출하고, 상기 객체식별정보를 상기 제1어플리케이션으로 송신하는 객체식별정보제공단계; 및
상기 시각보조장치에 의하여,
상기 제1어플리케이션으로부터 객체식별정보를 수신하고, 상기 객체식별정보에 기초하여 도출된 시각 기능 훈련 컨텐츠를 상기 시각장애인에게 제공하는 컨텐츠제공단계;를 수행하는, 시각훈련시스템.