KR102325061B1 - 시각장애인 인지보조 시스템 및 방법 - Google Patents

Abstract

본 발명은 시각장애인 인지보조 시스템 및 방법에 관한 것으로서, 보다 상세하게는 스마트 글래스를 통해 시각장애인이 인지하고자 정보 대상을 촬영하여 촬영한 이미지를 인공지능 기술에 기반하여 인식하고 분석하여, 분석한 정보를 시각장애인이 촉각적으로 인식할 수 있는 점자패드를 통해 제공할 수 있고, 촬영된 이미지가 도서 텍스트가 포함된 도서정보인 경우에는, 해당 도서 내용을 점자로 점역하여 제공할 수 있는 시각장애인 인지보조 시스템 및 방법에 관한 것이다.

Description

시각장애인 인지보조 시스템 및 방법{Cognitive Assistance System and Method for Visually Impaired}

본 발명은 시각장애인 인지보조 시스템 및 방법에 관한 것으로서, 보다 상세하게는 스마트 글래스를 통해 시각장애인이 인지하고자 정보 대상을 촬영하여 촬영한 이미지를 인공지능 기술에 기반하여 인식하고 분석하여, 분석한 정보를 시각장애인이 촉각적으로 인식할 수 있는 점자패드를 통해 제공할 수 있고, 촬영된 이미지가 도서 텍스트가 포함된 도서정보인 경우에는, 해당 도서 내용을 점자로 점역하여 제공할 수 있는 시각장애인 인지보조 시스템 및 방법에 관한 것이다.

최근 시각장애인 및 교통약자의 자유로운 보행을 보장하기 위한 많은 기술들의 연구로 인해 웨어러블 시장의 확대 사물인터넷 및 네트워크 자원의 풍부화로 가속화되고 있다. 자유로운 보행을 위한 장치로는 영상카메라, 초음파센서 및 가속도센서 등을 이용하는 스마트 지팡이와 스마트 안경 관련 기술이 있고, 대표적인 기술로는 물체를 식별하여 장애물을 검출하고 보행 가능 영역을 추출하는 기술, 랜드마크 심볼 정보를 인식하여 주위 환경 정보를 제공하는 기술, 시각장애인들이 보다 안전하고 편리한 보행이 가능하도록 사물지능통신(M2M: Machine-to-Machine) 기반의 지능형 보행보조 시스템 등의 기술이 연구 및 개발되고 있는 추세이다. 다만, 이러한 기술들은 대부분 시각장애인이 활용하기 어려운 스마트 기기를 필요로 하고, 제공되는 정보들은 대부분 음성을 출력하는 방법을 통해 사용자에게 제공되는 실정이다. 교통약자의 보행에 필요한 상세정보를 보다 시각장애인의 입장에서 직관적으로 제공하는 안내보행에 대한 요구가 증가되고 있다. 이러한 기술이 발달하고 있지만 시각장애인은 여전히 시각장애인에게 불친절한 환경에서 혼자 나가는 것을 꺼려하고 있고, 누군가의 도움 없이는 기본적인 생활이 쉽지 않은 것이 현 실정이다.

또한, 시각장애인들은 도서관 등에 방문하여 서적이나 페이퍼를 열람하고자 하는 경우가 있고, 시각장애인 전용 도서관과 같은 곳에서는 점자책을 비치하여 편의를 증대시키고자 한다. 그러나, 이러한 점자책은 한정된 도서에 한하여 일부만 점자책으로 제작하여 배포하는 경우가 많고, 개인적으로 특정 서적에 대하여 점자책을 주문 제작하는 방법도 있지만 많은 비용이 드는 문제로 인해 시각장애인이 다양한 도서를 접하기에는 어려움이 있다.

이러한 문제점을 해결하기 위하여, 시각장애인들의 주변환경에 대한 정보를 촬영하여 전송할 수 있고, 이를 분석한 정보를 제공하고, 일반적인 스마트기기(스마트폰, 스마트 패드)등을 시각장애인이 이해하기 쉬운 점자로 이해하고, 점자책 뿐만 아니라 일반도서들도 점자패드를 통해 시각장애인들이 이해하기 쉬운 점자로 점역하여 제공함으로써, 시각장애인이 다양한 영상정보를 습득, 인지, 및 활용할 수 있게 하여 그들의 일상생활, 교육환경, 안전, 및 삶의 질을 차별화된 응용 기술로써 시각장애인들의 일상생활을 개선시킬 수 있는 서비스를 제공하는 것이 필요하나 이러한 종래의 기술은 전무하다.

본 발명은 스마트 글래스를 통해 시각장애인이 인지하고자 정보 대상을 촬영하여 촬영한 이미지를 인공지능 기술에 기반하여 인식하고 분석하여, 분석한 정보를 시각장애인이 촉각적으로 인식할 수 있는 점자패드를 통해 제공할 수 있고, 촬영된 이미지가 도서 텍스트가 포함된 도서정보인 경우에는, 해당 도서 내용을 점자로 점역하여 제공할 수 있는 시각장애인 인지보조 시스템 및 방법을 제공하는 것을 목적으로 한다.

상기와 같은 과제를 해결하기 위하여, 본 발명에서는, 시각장애인 인지보조 시스템으로서, 촬영모듈 및 통신모듈을 포함하고, 상기 촬영모듈에 의하여 촬영된 이미지를 사용자단말기에 송신하는 스마트글래스; 사용자단말기로부터 수신한 데이터에 기초하여 점자 출력을 수행하여 사용자에게 촉각 정보를 제공할 수 있는 점자패드; 및 사용자단말기와 데이터 송수신을 수행하는 서버;를 포함하고, 상기 서버는, 상기 이미지에서 객체를 검출하고, 이에 따라 상기 점자패드에서 출력이 될 점자출력정보 혹은 상기 사용자단말기, 점자패드, 혹은 스마트글래스 중 어느 하나에서 출력이 될 음성출력정보를 생성하는 사물검출부; 및 상기 사물검출부에서 상기 이미지에서 도서이미지를 검출하는 경우에, 상기 점자패드에서 점자출력될 해당 도서의 도서텍스트정보 및 도서이미지정보를 추출하는 북리더부;를 포함하는, 시각장애인 인지보조 시스템을 제공한다.

본 발명의 일 실시예에서는, 상기 사물검출부는, 상기 이미지에서 검출한 객체의 수를 판별하는 단계; 및 검출한 상기 객체의 수가 2 이상인 경우에, 학습된 인공신경망을 통해 검출한 상기 객체를 인식하고, 인식한 상기 객체에 대한 상기 음성출력정보를 생성하는 단계;를 수행할 수 있다.

본 발명의 일 실시예에서는, 상기 사물검출부는, 상기 이미지에서 검출한 객체의 수를 판별하는 단계; 및 검출한 상기 객체의 수가 2 이상인 경우에, 학습된 인공신경망을 통해 검출한 상기 객체를 인식하고, 인식한 2 이상의 객체에 대한 좌표정보 및 인식한 2 이상의 객체에 대해 기설정된 기준에 따라 매핑된 아이콘정보를 포함하는 점자출력정보를 생성하는 단계;를 수행할 수 있다.

본 발명의 일 실시예에서는, 상기 사물검출부는, 상기 이미지에서 검출한 객체의 수를 판별하는 단계; 검출한 상기 객체가 하나인 경우, 학습된 인공신경망을 통해 해당 객체를 인식하는 단계; 인식한 객체에 대한 객체정보 및 인식한 객체로부터 추출한 특징점에 기초하여 객체의 형태가 표시되는 점자출력정보를 생성하는 딘계;를 수행할 수 있다.

본 발명의 일 실시예에서는, 상기 사물검출부는, 상기 이미지에서 검출한 객체의 수를 판별하는 단계; 검출한 상기 객체가 하나인 경우, 학습된 인공신경망을 통해 해당 객체를 인식하는 단계; 상기 이미지에 인식한 객체의 형태가 모두 포함되지 않은 경우, 인식한 객체에 대한 음성출력정보 및 상기 스마트글래스의 위치조절에 대한 가이드음성출력정보를 생성하는 단계;를 수행할 수 있다.

본 발명의 일 실시예에서는, 상기 사물검출부는, 상기 이미지에서 검출한 객체의 수를 판별하는 단계; 검출한 상기 객체가 하나인 경우, 학습된 인공신경망을 통해 해당 객체를 인식하는 단계; 및 상기 인공신경망을 통해 해당 객체가 인식되지 않는 경우, 상기 스마트글래스의 위치조절에 대한 가이드음성출력정보를 생성하는 단계;를 수행할 수 있다.

본 발명의 일 실시예에서는, 상기 북리더부는, 상기 이미지에서 검출된 상기 도서이미지의 기울기 및 색상 중 1 이상을 기설정된 기준에 따라 변경하여 전처리하는 이미지전처리단계; 상기 이미지전처리단계에서 전처리된 이미지에 기초하여 1 이상의 텍스트영역 및 1 이상의 이미지영역을 도출하는 텍스트이미지영역도출단계; 도출된 상기 1 이상의 텍스트영역의 출력순서를 결정하고, 상기 출력순서에 따라 상기 1 이상의 텍스트영역에 포함된 텍스트를 인식하여 상기 점자패드에서 점자출력될 상기 도서텍스트정보를 도출하는 텍스트인식단계;를 수행할 수 있다.

본 발명의 일 실시예에서는, 상기 북리더부에 의하여 제공되는 상기 점자패드에서의 화면은, 상기 이미지에서 검출된 도서이미지로부터 1 이상의 텍스트영역 및 1 이상의 이미지영역이 추출되어, 추출된 1 이상의 텍스트영역에 포함된 텍스트가 순차적으로 정렬되어 디스플레이되고, 사용자의 입력에 따라 상기 북리더부에 의하여 검출된 1 이상의 도서 이미지정보에 대한 리스트를 제공할 수 있다.

본 발명의 일 실시예에서는, 상기 북리더부는, 도출된 상기 1 이상의 이미지영역에서 추출한 도서이미지정보를 인식하는 이미지인식단계;를 더 수행하고, 상기 북리더부에 의하여 제공되는 상기 점자패드에서의 화면은, 사용자의 입력에 따라 상기 1 이상의 도서이미지정보에 대한 리스트를 상기 이미지인식단계에서 인식한 이미지정보를 포함하여 제공할 수 있다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에서는, 시각장애인 인지보조 시스템에서 구현되는 시각장애인 인지보조 서비스 제공방법으로서, 상기 시각장애인 인지보조 시스템은, 촬영모듈 및 통신모듈을 포함하고, 상기 촬영모듈에 의하여 촬영된 이미지를 사용자단말기에 송신하는 스마트글래스; 사용자단말기로부터 수신한 데이터에 기초하여 점자 출력을 수행하여 사용자에게 촉각 정보를 제공할 수 있는 점자패드; 및 사용자단말기와 데이터 송수신을 수행하는 서버;를 포함하고, 상기 서버는, 상기 이미지에서 객체를 검출하고, 이에 따라 상기 점자패드에서 출력이 될 점자출력정보 혹은 상기 사용자단말기, 점자패드, 혹은 스마트글래스 중 어느 하나에서 출력이 될 음성출력정보를 생성하는 사물검출단계; 및 상기 사물검출단계에서 상기 이미지에서 도서이미지를 검출하는 경우에, 상기 점자패드에서 점자출력될 해당 도서의 도서텍스트정보 및 도서이미지정보를 추출하는 북리더단계;를 포함하는, 시각장애인 인지보조 서비스 제공방법을 제공한다.

본 발명의 일 실시예에 따르면, 스마트글래스를 통해 획득한 이미지를 분석하여 주변환경에 대한 정보를 시각장애인이 보다 정확하게 이해할 수 있는 점자정보로 제공함으로써, 직접 주변을 볼 수 없는 시각장애인들의 일상생활에서의 불편함을 개선할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 스마트글래스를 통해 획득한 이미지를 분석하여 주변환경에 대한 정보를 시각장애인이 보다 직관적으로 이해할 수 있는 매핑된 아이콘을 포함하는 점자출력정보로 제공함으로써, 직접 주변을 볼 수 없는 시각장애인들이 해당 점자정보를 통해 주변환경을 보다 수월하게 인식할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 스마트글래스를 통해 획득한 이미지를 분석하여 주변환경에 대한 정보 혹은 사물에 대한 정보를 음성정보로 제공함으로써, 직접 주변을 볼 수 없는 시각장애인들의 일생생활에서의 불편함을 개선할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 스마트글래스를 통해 획득한 도서이미지정보에서 해당 도서의 텍스트정보 및 그래픽정보를 추출하여 텍스트정보는 점역된 점자로 제공하고, 해당 그래픽정보는 리스트를 제공하여 사용자가 직접 모양을 점자정보로 만져볼 수 있도록 제공함으로써, 시각장애인의 인지보조를 효율적으로 할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 해당 도서이미지정보를 별다르게 설정하지 않더라도 텍스트의 순서에 따라 순차적으로 정렬하여 점역하여 제공함으로써, 사용자는 일반도서 혹은 페이터 등의 정보를 점역된 점자를 통해 직관적으로 내용을 이해할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 주변 환경에 있는 사물에 대한 정보를 언어적인 의미의 점자로 점역하여 제공할 뿐만 아니라 사물의 형태에 따른 점자정보를 디스플레이 함으로써, 사용자는 자신이 인지하지 못하는 사물의 형태에 대해서 보다 직관적으로 확인할 수 있는 효과를 발휘할 수 있다.

도 1은 본 발명의 일 실시예에 따른 시각장애인 인지보조 시스템의 전체적인 형태를 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 사물검출부의 동작을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 사물검출부가 점자출력정보를 생성하는 과정에서의 매핑된 아이콘정보를 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 사물검출부에 의하여 매핑된 아이콘정보에 따라 생성된 점자출력정보를 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 사물검출부에 의하여 매핑된 아이콘정보에 따라 생성된 점자출력정보를 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 사물검출부에 의하여 제공되는 사용자단말기 및 점자패드에서의 화면을 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 스마트글래스를 통해 사용자가 촬영한 이미지를 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 북리더부의 수행 단계를 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 북리더부에 의하여 제공되는 사용자단말기 및 점자패드에서의 화면을 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 북리더부의 동작에 따른 도서이미지정보의 형태를 개략적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 북리더부에 의하여 제공되는 사용자단말기 및 점자패드에서의 화면을 개략적으로 도시한다.
도 12는 본 발명의 일 실시예에 따른 북리더부에 의하여 제공되는 사용자단말기 및 점자패드에서의 화면을 개략적으로 도시한다.
도 13은 본 발명의 일 실시예에 따른 컴퓨팅장치를 예시적으로 도시한다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

이하에서 언급되는 "사용자 단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말 등과 같은 모든 종류의 핸드헬드 (Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, "네트워크"는 근거리 통신망(Local Area Network;LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.

도 1은 본 발명의 일 실시예에 따른 시각장애인 인지보조 시스템의 전체적인 형태를 개략적으로 도시한다.

본 발명의 시각장애인 인지보조 시스템은, 스마트글래스(2000), 사용자단말기(3000), 서버(1000) 및 점자패드(4000)를 포함한다. 도 1의 사용자단말기(3000) 혹은 스마트글래스(2000)는 전술한 사용자 단말에 해당할 수 있고, 서버(1000)는 1 이상의 프로세서 및 1 이상의 메모리를 포함하는 컴퓨팅 장치에 해당한다.

상기 사용자단말기(3000)는, 스마트글래스(2000), 서버(1000) 및 점자패드(4000)와 통신하여, 스마트글래스(2000)에서 촬영된 이미지를 서버(1000)로 송신하고, 이미지를 수신한 서버(1000)에서 인공지능 기술에 기반하여 분석된 이미지에 대한 정보를 수신하여, 스마트글래스(2000) 혹은 점자패드(4000)로 송신하여 음성출력정보 및 점자출력정보가 출력될 수 있도록 한다.

상기 스마트글래스(2000)는, 촬영모듈, 스피커(2200)(2200), 통신모듈(2300) 및 버튼부(2400)를 포함한다. 상기 스마트글래스(2000)는 사용자가 안경을 착용하는 것과 같은 형태로 착용하여 구비된 버튼부(2400)를 통한 사용자의 입력에 따라 내장된 촬영모듈(2100)에 의하여 사용자의 시점에 따라 외부환경, 사물, 인물 등을 촬영할 수 있다. 또한 이와 같이 촬영된 이미지는 통신모듈(2300)에 의하여 사용자단말기(3000)에 송신된다. 스마트글래스(2000)는 통신모듈(2300)을 포함하여 사용자단말기(3000)와 통신할 수 있다. 상기 스피커(2200)는 사용자단말기(3000)로부터 수신한 음성출력정보를 출력할 수 있다. 또한, 버튼부(2400)는, 사용자의 입력에 따라 촬영모듈을 통해 촬영을 실행하여 외부환경을 촬영할 수 있도록 한다.

한편, 상기 서버(1000)는, 상기 스마트글래스(2000)로부터 수신한 이미지에서 객체를 검출하는 사물검출부(1100) 및 사물검출부(1100)에서 도서이미지를 검출하는 경우에 해당 도서의 도서텍스트정보 및 도서이미지정보를 추출하는 북리더부(1200)를 포함한다.

상기 사물검출부(1100)는, 상기 스마트글래스(2000)로부터 수신한 이미지에서 객체를 검출하는 객체검출부(1110); 및 이미지로부터 추출한 객체에 따라 점자패드(4000)에서 출력이 될 점자출력정보 혹은 상기 사용자단말기(3000), 점자패드(4000), 혹은 스마트글래스(2000) 중 어느 하나에서 출력이 될 음성출력정보를 생성하는 객체정보생성부(1120)를 포함한다. 바람직하게는, 상기 점자출력정보는, 검출된 객체에 대한 정보가 점역된 점자출력정보일 수도 있고, 검출된 객체의 형태가 표현된 점자출력정보일 수도 있다.

상기 북리더부(1200)는, 도서이미지를 전처리하는 이미지전처리부(1210), 전처리된 이미지로부터 텍스트영역 및 이미지영역을 도출하는 텍스트이미지영역도출부(1220), 도출된 텍스트영역에 포함된 텍스트를 인식하여 점자패드(4000)에서 출력된 도서텍스트정보를 도출하는 텍스트인식부(1230) 및 도서이미지정보를 인식하는 이미지인식부(1240);를 포함한다.

상기 이미지전처리부(1210)는, 상기 이미지에서 검출한 객체에서 추출된 도서이미지의 기울기 및 색상 중 1 이상을 기설정된 기준에 따라 변경하여 전처리 한다. 본 발명의 주된 사용자는 시각 장애를 가지고 있거나, 원시, 근시, 난시, 고령층의 노안 등과 같은 이유로 시력이 현저하게 떨어지는 사람들이 될 수 있고, 이와 같은 사용자들의 입력에 따라 촬영된 이미지는 파악하고자 하는 객체의 모습이 이미지에 모두 담겨있지 않거나 혹은 기울어진 형태로 촬영될 수 있다. 따라서, 사용자의 입력에 따라 촬영된 도서이미지에서 정확한 도서텍스트정보를 추출하기 위해서, 이미지전처리부(1210)는, 촬영된 이미지가 기울어져 있는 경우, 도서이미지의 기울기를 기설정된 기준에 따라 변경할 수 있다. 또한, 본 발명에서는 인공지능 기술에 기반하여 이미지를 분석하고, 이미지영역 및 텍스트영역을 보다 확실하게 구분하기 위해 이미지를 흑백으로 이진화함으로써, 이미지영역 및 텍스트영역을 구분할 수 있다.

상기 텍스트이미지영역도출부(1220)는, 상기 이미지전처리부(1210)에서 전처리된 이미지에 기초하여 해당 도서이미지에서 1 이상의 텍스트영역 및 1 이상의 이미지영역을 도출한다. 상기 텍스트이미지영역도출부(1220)는, 전처리된 이미지로부터 텍스트영역과 이미지영역을 도출하고, 도출된 텍스트영역 및 이미지영역은 점자패드(4000)에서 출력 가능한 신호로 변환되어 출력될 수 있다.

상기 텍스트인식부(1230)는, 텍스트이미지영역도출부(1220)로부터 도출된 1 이상의 텍스트영역의 출력순서를 결정하고, 상기 출력순서에 따라 상기 1 이상의 텍스트영역에 포함된 텍스트를 인식하여 상기 점자패드(4000)에서 점자출력될 상기 도서텍스트정보를 도출한다.

상기 이미지인식부(1240)는, 텍스트이미지영역도출부(1220)로부터 도출된 1 이상의 이미지영역을 학습된 인공신경망을 통해 인식하여 상기 점자패드(4000)에서 점자출력될 상기 도서이미지정보를 도출한다.

한편, 점자패드(4000)는, 사용자단말기(3000)로부터 수신한 데이터에 기초하여 점자 출력을 수행하고 사용자에게 촉각 정보를 제공할 수 있다. 촉각그래픽을 제공할 수 있는 임의의 인터페이스장치, 사용자와 상호작용을 할 수 잇는 촉각인터페이스 장치 및 촉각 그래픽을 출력할 수 있는 컴퓨팅 장치를 모두 포함할 수 있다.

이하에서는, 상기 서버(1000)에 구체적인 동작에 대해서 보다 자세하게 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른, 사물검출부(1100)의 동작을 개략적으로 도시한다.

본 발명의 사물검출부(1100)는 전술한 바와 같이, 객체검출부(1110) 및 객체정보생성부(1120)를 포함한다. 객체검출부(1110)는, 스마트글래스(2000)로부터 수신한 이미지로부터 객체를 검출한다. 도 2의 (a)는 스마트글래스(2000)로부터 수신한 이미지의 일 예를 도시한다. 사용자는 외부 환경에서 스마트글래스(2000)를 착용한 상태로 보행 중에 자신의 주변 환경에 대한 정보를 얻기 위해 스마트글래스(2000)를 버튼부(2400)를 통해 촬영에 대한 입력을 할 수 있고, 이와 같이 촬영된 이미지는 통신모듈(2300)에 의하여 사용자단말기(3000)로 송신되어 상기 서버(1000)로 송신될 수 있다. 상기 서버(1000)의 사물검출부(1100)의 객체검출부(1110)는, 이와 같이 스마트글래스(2000)로부터 송신된 이미지를 수신하여 학습된 인공신경망을 통해 이미지에서 객체를 검출하고, 검출한 객체를 인식할 수 있다. 객체검출부(1110)의 동작으로 도 2의 (b)에 도시된 바와 같이 수신한 이미지에서 사용자가 보행하던 거리의 상점, 화장실, 차도의 자동차, 길가의 나무, 길을 걷는 여러명의 사람 등을 포함하는 이미지 상의 객체가 검출될 수 있다. 이와 같은 방식으로, 사물검출부(1100)의 객체검출부(1110)는 이미지로부터 객체를 검출한다. 이후, 사물검출부(1100)의 객체정보생성부(1120)는, 점자패드(4000)에서 출력이 될 점자출력정보 혹은 사용자단말기(3000), 점자패드(4000) 혹은 스마트글래스(2000) 중 어느 하나에서 출력이 될 음성출력정보를 생성한다. 본 발명의 사물검출부(1100) 및 북리더부(1200)는 학습된 인공신경망 모델을 포함하여 각각의 동작에 따라 객체를 검출하고, 해당 객체의 수에 따라 해당 객체에 대한 정보를 분석하여 사용자에게 제공할 수 있다.

구체적으로, 본 발명의 사물검출부(1100)는, 객체정보생성부(1120)를 포함하고, 상기 사물검출부(1100)의 상기 객체정보생성부(1120)는, 객체검출부(1110)가 상기 이미지에서 검출한 객체의 수를 판별하는 단계(S110); 및 검출한 상기 객체의 수가 2 이상인 경우에, 학습된 인공신경망을 통해 검출한 상기 객체를 인식하고, 인식한 상기 객체에 대한 상기 음성출력정보를 생성하는 단계(S120);를 수행하고, 또한, 검출한 상기 객체의 수가 2 이상인 경우에 학습된 인공신경망을 통해 검출한 상기 객체를 인식하고, 인식한 2 이상의 객체에 대한 좌표정보 및 2 이상의 객체에 대해 기설정된 기준에 따라 매핑된 아이콘 정보를 포함하는 점자출력정보를 생성하는 단계(S130);를 수행한다.

구체적으로 S110단계에서는, 상기 사물검출부(1100)의 객체검출부(1110)가 상기 이미지에서 검출한 객체의 수를 판별한다.

S120단계에서는, 이미지에서 다수개의 객체가 검출된 경우에는 사물검출부(1100)는, 해당 객체에 대한 음성출력정보를 생성하여 사용자단말기(3000), 점자패드(4000) 혹은 스마트글래스(2000) 중 어느 하나에서 출력한다. 예를 들어, 도 2에 도시된 바와 같은 이미지를 수신한 사물검출부(1100)는, “도로에는 버스가 주행하고 있고, 도로의 건너편의 거리에는 3명의 사람과 2그루의 나무가 있으며 상점과 화장실이 세워져 있습니다.”와 같이 이미지에서 검출한 객체에 대한 음성출력정보가 생성되어 상기 스마트단말기, 점자패드(4000) 혹은 스마트글래스(2000) 중 어느 하나에 송신되어 출력될 수 있다.

S130단계에서는, 상기 사물검출부(1100)가 생성하는 상기 2 이상의 객체에 대한 좌표정보 및 2 이상의 객체에 대해 기설정된 기준에 따라 매핑된 아이콘 정보를 포함하는 점자출력정보를 생성한다. 이에 대해서는 후술하는 도 3 내지 도 5의 설명에서 더욱 자세하게 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따른 사물검출부(1100)가 점자출력정보를 생성하는 과정에서의 매핑된 아이콘정보를 개략적으로 도시하고, 도 4 및 도 5는 본 발명의 일 실시예에 따른 사물검출부(1100)에 의하여 매핑된 아이콘정보에 따라 생성된 점자출력정보를 개략적으로 도시한다.

상기 사물검출부(1100)는, 전술한 설명에서와 같이 이미지로부터 2 이상의 객체가 검출되는 경우에, 학습된 인공신경망을 통해 검출한 객체를 인식하고, 인식한 2 이상의 객체에 대한 좌표정보 및 인식한 2 이상의 객체에 대해 기설정된 기준에 따라 매핑된 아이콘정보를 포함하는 점자출력정보를 생성하는 단계(S130)를 수행한다. 도 3은 이와 같은 매핑된 아이콘정보를 개략적으로 도시한다. 도 3에 도시된 바와 같이 사물검출부(1100)의 객체정보생성부(1120)는, 기설정된 기준에 따라 매핑된 아이콘정보를 통해 이미지에서 검출된 객체를 매핑된 아이콘형태로 점자출력정보에 나타낼 수 있다. 도 3에는 일부의 매핑된 아이콘이 도시되고 있지만, 본 발명의 사물검출부(1100)가 출력하는 점자출력정보에 포함된 매핑된 아이콘정보는 도 3에 도시된 수보다 많고 다양한 형태의 아이콘이 매핑되어 저장되어 있을 수 있다. 이와 같이 사물검출부(1100)는, 기설정된 기준에 따라 매핑된 아이콘 및 객체에 대한 좌표정보에 기초하여 점자출력정보를 생성한다. 도 4 및 도 5는 이러한 상기 좌표정보 및 매핑된 아이콘 정보에 따라 생성된 점자출력정보를 도시한다. 도 4의 (a)는 스마트글래스(2000)로부터 수신한 이미지를 도 4의 (b)는 도 4의 (a)의 이미지에 따라 2 이상의 객체의 좌표정보 및 매핑된 아이콘정보를 포함하는 점자출력정보가 출력된 점자패드(4000)에서의 화면을 도시한다. 도 4의 (b)에 도시된 바와 같이, 도 4의 (a)의 이미지에서 도시되는 상점, 화장실, 차도의 버스, 길가의 나무, 길을 걷는 다수의 사람 등은 도 3의 객체와 매핑된 아이콘을 나타내는 테이블에서 각각의 객체에 매핑된 아이콘에 따라 각각의 객체의 좌표정보에 기초하여 점자패드(4000)에서의 좌표정보로 변환되고, 점자패드(4000)에서의 좌표에 상기 객체의 매핑된 아이콘이 점자로 출력된다. 또한, 상기 사물검출부(1100)는, 상기 2 이상의 객체에 대한 좌표정보에 기초하여 사용자와 상기 2 이상의 객체와의 예상거리를 도출하고, 도출된 상기 객체와의 예상거리에 기초하여 상기 매핑된 아이콘의 크기를 기설정된 기준에 따라 변경하여 상기 점자출력정보를 생성한다. 도 4의 (a)에 도시된 바에 따르면 사용자의 시점에서 나무의 앞에 있는 사람이 사용자의 시점에서 다른 사람들보다 가까이 있는 것이 도시된다. 이에 따라, 도 4의 (b)에 도시된 바와 같이 사물검출부(1100)에 의하여 제공된 점자패드(4000)에서 화면은, 뒤에 도시된 2명의 사람을 나타내는 아이콘과 비교할 때 앞에 도시된 사람을 나타내는 아이콘의 크기가 더 크게 디스플레이 된다.

바람직하게는, 상기 사물검출부(1100)는, 상기 이미지에서의 객체의 좌표정보에 기초하여 기설정된 기준에 따라 매핑된 아이콘이 디스플레이될 점자패드(4000)에서의 아이콘좌표정보를 도출하고, 도출된 상기 아이콘좌표정보에 매핑된 아이콘정보가 디스플레이되는 점자출력정보를 생성한다.

바람직하게는, 상기 사물검출부(1100)는, 상기 2 이상의 객체에 대한 좌표정보에 기초하여 사용자의 예상좌표를 도출하고, 사용자의 예상좌표에 따라 사용자와 상기 2 이상의 객체와의 예상거리를 도출하고, 도출된 상기 객체와의 예상거리에 기초하여 상기 매핑된 아이콘의 크기를 기설정된 기준에 따라 변경하여 상기 점자출력정보를 생성한다.

또한 도 5도 마찬가지로 매핑된 아이콘정보가 포함된 점자출력정보가 출력된 점자패드(4000)에서의 화면을 도시한다. 도 5의 (a)는 공원의 한 풍경을 담은 이미지를 도시하고 있고, 이러한 이미지를 수신한 사물검출부(1100)는 이미지에서 나무, 동물, 사람, 및 벤치와 같은 객체를 검출하여 해당 객체에 매핑된 아이콘을 포함하는 점자출력정보를 생성하여 도 5의 (b)와 같이 점자패드(4000)의 화면에 생성한 점자출력정보가 출력될 수 있다.

이와 같은 방식으로, 사물검출부(1100)는, 매핑된 아이콘을 포함하는 점자출력정보를 생성하여 제공함으로써, 직접 주변을 볼 수 없는 시각장애인들이 해당 점자정보를 통해 주변환경을 보다 수월하게 인식할 수 있는 효과를 발휘할 수 있다.

도 6은 본 발명의 일 실시예에 따른 사물검출부(1100)에 의하여 제공되는 사용자단말기(3000) 및 점자패드(4000)에서의 화면을 개략적으로 도시한다.

본 발명의 사물검출부(1100)는, 상기 이미지에서 검출한 객체의 수를 판별하는 단계(S110); 검출한 상기 객체가 하나인 경우, 학습된 인공신경망을 통해 해당 객체를 인식하는 단계(S140); 및 인식한 객체에 대한 객체정보 및 인식한 객체로부터 추출한 특징점에 기초하여 객체의 형태가 표시되는 점자출력정보를 생성하는 단계;를 수행한다.

구체적으로, 상기 S110단계에서는, 상기 사물검출부(1100)의 객체정보생성부(1120)는, 상기 이미지에서 검출한 객체의 수를 판별한다.

S140단계에서는, 검출한 상기 객체가 하나인 경우, 학습된 인공신경망을 통해 해당 객체를 인식한다. 상기 사물검출부(1100) 혹은 사물검출부(1100)의 객체정보생성부(1120)는, 학습된 인공신경망 모델을 포함할 수 있고, 인공신경망을 통해 검출한 하나의 객체에 대한 식별정보 및 식별정보에 따른 음성출력정보를 포함하는 객체정보를 도출할 수 있다.

S150단계에서는, 인식한 객체에 대한 객체정보 및 인식한 객체로부터 추출한 특징점에 기초하여 객체의 형태가 표시되는 점자출력정보를 생성한다.

도 6의 (a)는 사용자단말기(3000)에서 표시되는 상기 사물검출부(1100)에 의하여 제공되는 사물검출부(1100)에 의하여 이미지에서 검출한 객체를 나타내는 화면을 도시하고 도 6의 (b)는 사물검출부(1100)에 의하여 제공되는 점자패드(4000)에서의 화면을 도시한다. 도 6의 (a)와 같이 검출된 객체가 하나인 경우, 사물검출부(1100)는 도 6의 (b)에 도시된 바와 같은 인식한 객체에 대한 객체정보 및 인식한 객체로부터 추출한 특징점에 기초하여 객체의 형태가 표시되는 점자출력정보를 생성한다. 이와 같이, 인식한 객체의 특징점에 기초하여 객체의 형태를 점자출력정보로 생성함으로써, 사용자는 해당 사물에 대한 형태를 보다 직관적으로 점자를 통해 형태를 확인하고, 학습할 수 있는 효과를 발휘할 수 있다.

도 7은 본 발명의 일 실시예에 따른, 스마트글래스(2000)를 통해 사용자가 촬영한 이미지를 개략적으로 도시한다.

전술한 바와 같이 본 발명의 시각장애인 인지보조 시스템은, 주로 점자나 음성 위주의 제한된 정보만을 인지 및 활용하고 있는 시각장애인들에게 교육 및 일상생활 전반에 걸쳐 필수적인 정보인 영상정보를 효율적으로 전달하여 쉽게 인지 및 활용할 수 있도록 하는 목적을 가진다. 이와 같이 본 발명의 시각장애인 인지보조 시스템은 주된 사용자가 시각장애인이기 때문에 시각장애인들이 어떠한 주변환경 혹은 사물을 인지하기 위하여 이미지를 촬영하는 경우에, 촬영된 이미지의 일 예를 도 7의 (a) 및 (b)에 도시된다. 예를 들어, 컵의 형태를 인지하지 못한 사용자는 해당 컵에 대한 정보를 얻기 위해 스마트글래스(2000)를 이용하여 컵을 촬영할 수 있다. 이 때, 도 7의 (a)와 같은 이미지가 촬영된 경우, 본 발명의 사물검출부(1100)는, 상기 이미지에서 검출한 객체의 수를 판별하는 단계(S110); 검출한 상기 객체가 하나인 경우, 학습된 인공신경망을 통해 해당 객체를 인식하는 단계(S160); 상기 이미지에 인식한 객체의 형태가 모두 포함되지 않은 경우, 인식한 객체에 대한 음성출력정보 및 상기 스마트글래스(2000)의 위치조절에 대한 가이드음성출력정보를 생성하는 단계(S170);를 수행한다.

S110단계에서는, 상기 이미지에서 검출한 객체의 수를 판별한다.

S160단계에서는, 검출한 상기 객체가 하나인 경우에, 학습된 인공신경망을 통해 해당 객체를 인식한다. 학습된 인공신경망은 제공되는 이미지가 완전하지 않더라도 해당 객체를 인식할 수 있다. 도 7의 (a)에 도시된 바와 같이 검출된 객체의 형태가 반만 촬영된 이미지이더라도 해당 객체가 컵인 것을 인식할 수 있다.

S170단계에서는, S160단계의 수행을 통해 해당 객체를 인식한 사물검출부(1100)는, 도 7의 (a)에 도시된 바와 같이 상기 이미지에 인식한 객체의 형태가 모두 포함되지 않은 경우, 인식한 객체에 대한 음성출력정보 및 상기 스마트글래스(2000)의 위치조절에 대한 가이드음성출력정보를 생성한다. 사물검출부(1100)의 객체정보생성부(1120)는, 상기 도 6의 설명에서 전술한 바와 같이 인식한 객체에 대한 객체정보 및 인식한 객체로부터 추출한 특징점에 기초하여 객체의 형태가 표시되는 점자출력정보를 생성하여 사용자에게 제공할 수 있고, 이를 위해서는 검출된 객체의 완전한 이미지를 필요로 할 수 있다. 이에 따라 사물검출부(1100)는, 수신한 이미지에 기초하여 완전한 이미지가 촬영될 수 있는 스마트글래스(2000)의 위치를 판별하여 스마트글래스(2000)의 위치조절에 대한 가이드음성출력정보를 생성할 수 있다. 도 7의 (a)와 같은 이미지의 경우에는, 예를 들어,"아래쪽으로 이동하여 다시 한번 촬영해주세요"와 같이 해당 객체에 대한 음성출력정보 및 가이드음성출력정보를 생성하여 사용자단말기(3000)로 송신하고, 사용자단말기(3000), 점자패드(4000) 혹은 스마트글래스(2000)에서 출력될 수 있도록 한다.

한편, 도 7의 (b)와 같은 이미지가 촬영되어 이미지로부터 검출한 객체에 대한 인식을 하지 못한 경우, 사물검출부(1100)는, 상기 사물검출부(1100)는, 상기 이미지에서 검출한 객체의 수를 판별하는 단계(S110); 검출한 상기 객체가 하나인 경우, 학습된 인공신경망을 통해 해당 객체를 인식하는 단계(S180); 및 상기 인공신경망을 통해 해당 객체가 인식되지 않는 경우, 상기 스마트글래스(2000)의 위치조절에 대한 가이드음성출력정보를 생성하는 단계(S190);를 수행할 수 있다.

S110단계에서는, 상기 이미지에서 검출한 객체의 수를 판별한다.

S180단계에서는, 검출한 상기 객체가 하나인 경우, 학습된 인공신경망을 통해 해당 객체를 인식한다. 도 7의 (b)의 경우에는, 이미지에서 객체가 검출은 되었으나 학습된 인공신경망에 따라 해당 객체를 인식하기에는 부적절할 수 있다. 이와 같이, 해당 객체가 인식되지 않는 경우에는 사물검출부(1100)는 S190단계를 수행할 수 있다.

S190단계에서는, 상기 인공신경망을 통해 해당 객체가 인식되지 않는 경우, 상기 스마트글래스(2000)의 위치조절에 대한 가이드음성출력정보를 생성한다. 도 7의 (b)와 같이 이미지로부터 추출한 객체가 불분명하여 해당 객체가 인식되지 않는 경우에는, 해당 객체를 인식하고, 인식한 객체의 형태가 표시되는 점자출력정보를 생성하여 사용자에게 제공하기 위해서 사물검출부(1100)는, 수신한 이미지에 기초하여 완전한 이미지가 촬영될 수 있는 스마트글래스(2000)의 위치를 판별하여 스마트글래스(2000)의 위치조절에 대한 가이드음성출력정보를 생성할 수 있다. 도 7의 (b)와 같은 이미지의 경우에는, 예를 들어, “오른쪽 및 아래쪽으로 이동하여 다시 한번 촬영해주세요” 와 같이 해당 객체의 완전한 이미지를 촬영하기 위해 해당 객체에 대한 가이드음성출력정보를 생성하여 사용자단말기(3000)로 송신하고, 사용자단말기(3000), 점자패드(4000) 혹은 스마트글래스(2000)에서 출력될 수 있도록 한다.

이와 같은 방식으로, 사물검출부(1100)는, 이미지로부터 검출한 객체를 인식하고, 인식한 객체에 대한 음성출력정보 및 객체의 형태가 표시되는 점자출력정보를 생성하여 사용자에게 제공하고, 수신한 이미지로부터 검출한 객체자체를 인식하기 어렵거나 객체의 형태를 표시하기 어려운 경우에는, 사용자에게 가이드음성출력정보를 제공하여 학습된 인공신경망을 통해 인식할 수 있는 이미지를 다시 수신하여 보다 정확한 객체의 정보를 사용자에게 제공할 수 있는 효과를 발휘할 수 있다.

도 8은 본 발명의 일 실시예에 따른, 북리더부(1200)의 수행 단계를 개략적으로 도시한다.

본 발명의 시각장애인 인지보조 시스템은, 사용자가 스마트글래스(2000)를 통해 촬영한 이미지로부터 객체를 검출하여 사용자의 시점에 따라 사용자 주변의 외부환경, 사물, 인물에 대한 정보를 제공할 뿐 아니라, 사용자가 읽고자 하는 책의 내용을 촬영한 도서이미지를 검출하는 경우에는 해당 도서이미지에서 해당 도서의 도서텍스트정보 및 도서이미지정보를 추출하여 제공할 수 있다. 이때, 이미지로부터 검출된 객체가 예를 들어, 펼쳐져 있지 않은 책과 같은 경우에는, 해당 도서내용에 해당하는 텍스트정보를 인식할 수 없기 때문에 책 자체가 하나의 객체로서 검출되어 해당 객체가 책이라는 정보를 포함하는 객체정보를 사용자에게 제공할 수도 있다. 후술할 북리더부(1200)에 의하여 분석되는 도서이미지는, 해당 도서의 내용을 파악할 수 있는 텍스트 내용을 포함하여 촬영된 도서의 이미지를 의미함이 바람직하다.

도 8에 도시된 바와 같이, 상기 북리더부(1200)는, 상기 이미지에서 검출된 상기 도서이미지의 기울기 및 색상 중 1 이상을 기설정된 기준에 따라 변경하여 전처리하는 이미지전처리단계(S210); 상기 이미지전처리단계(S210)에서 전처리된 이미지에 기초하여 1 이상의 텍스트영역 및 1 이상의 이미지영역을 도출하는 텍스트이미지영역도출단계(S220); 및 도출된 상기 1 이상의 텍스트영역의 출력순서를 결정하고, 상기 출력순서에 따라 상기 1 이상의 텍스트영역에 포함된 텍스트를 인식하여 상기 점자패드(4000)에서 점자출력될 상기 도서텍스트정보를 도출하는 텍스트인식단계(S230);를 수행한다.

구체적으로 S210단계에서는, 상기 북리더부(1200)의 이미지전처리부(1210)는, 이미지에서 검출된 도서이미지의 기울기 및 색상 중 1 이상을 기설정된 기준에 따라 변경하여 전처리한다. 주 사용자인 시각장애인의 입력에 따라 촬영된 도서이미지는 기울어진 형태로 촬영될 수 있다. 따라서, 사용자의 입력에 따라 촬영된 도서이미지에서 정확한 도서텍스트정보를 추출하기 위해서, 상기 이미지전처리부(1210)는, 촬영된 이미지가 기울어져 있는 경우 도서이미지의 기울기를 기설정된 기준에 따라 변경할 수 있다. 또한 해당 도서텍스트정보를 추출하기 위해 이미지를 흑백으로 이진화함으로써, 해당 도서의 도서텍스트 정보를 추출할 수 있도록 이미지전처리를 수행할 수 있다.

S220단계에서는, 상기 북리더부(1200)의 텍스트이미지영역도출부(1220)는, 상기 이미지전처리단계(S210)에서 전처리된 이미지에 기초하여 1 이상의 텍스트영역 및 1 이상의 이미지영역을 도출한다. 전처리된 이미지로부터 텍스트영역 및 이미지영역을 도출하고, 도출된 텍스트영역 및 이미지영역은 점자패드(4000)에서 출력 가능한 신호로 변환되어 사용자가 인식하기 용이한 점자로써 출력된다.

S230단계에서는, 상기 북리더부(1200)의 텍스트인식부(1230)는, 상기 텍스트이미지영역도출부(1220)로부터 도출된 1 이상의 텍스트영역의 출력순서를 결정하고, 상기 출력순서에 따라 상기 1 이상의 텍스트영역에 포함된 텍스트를 인식하여 상기 점자패드(4000)에서 점자출력될 상기 도서텍스트정보를 도출한다. 상기 텍스트인식부(1230)는, 해당 도서이미지로부터 하나의 텍스트영역이 도출되는 경우에는, 해당 텍스트영역에 포함된 텍스트를 인식하여 도서텍스트정보를 도출하지만, 도출된 텍스트영역이 1 이상인 경우에는, 기설정된 기준에 따라 해당 도서내용에 따른 출력순서를 결정하여 출력순서에 따라 1 이상의 텍스트영역에 포함된 텍스트를 인식하여 해당 도서의 내용이 순차적으로 점역되어 제공될 수 있도록 한다.

이와 같은 방식으로 북리더부(1200)는, 사물검출부(1100)에서 도서이미지를 검출하는 경우에 점자패드(4000)에서 점자출력될 해당 도서의 도서텍스트정보 및 도서이미지정보를 추출하여 제공함으로써, 사용자는 한정적인 점자도서뿐만 아니라 일반도서를 이해하기 쉬운 점자로 읽을 수 있는 효과를 발휘할 수 있다.

도 9는 본 발명의 일 실시예에 다른, 북리더부(1200)에 의하여 제공되는 사용자단말기(3000) 및 점자패드(4000)에서의 화면을 개략적으로 도시한다.

구체적으로 도 9의 (a)는 스마트글래스(2000)로부터 수신된 도서이미지의 일 예를 도시한다. 도 9의 (a)에 도시된 바와 같이 도서이미지는 해당 도서의 이미지영역(L1) 및 텍스트영역(L2)으로 구분될 수 있다. 북리더부(1200)의 텍스트이미지영역도출부(1220)는, 도 9의 (a)와 같은 도서이미지에서 모자의 모습처럼 표현된 보아구렁이의 그림이 담긴 부분을 이미지영역(L1)으로 이를 설명하는 텍스트가 포함된 문단을 텍스트영역(L2)로 도출한다. 이렇게 도출된 텍스트영역(L2)은 도 9의 (b)에 도시된 바와 같이, 사용자단말기(3000)의 화면에서 해당 텍스트영역(L2)에 포함된 텍스트가 디스플레이 된다. 도 9의 (c)는 텍스트인식부(1230)에 의하여 상기 텍스트영역(L2)으로부터 도출된 도서텍스트정보가 디스플레이된 점자패드(4000)의 화면을 도시한다. 도 9의 (c)에 도시된 바와 같이 텍스트인식부(1230)에 의하여 도출된 도서텍스트정보는 점자패드(4000)에서 점자출력되어 디스플레이 된다.

이와 같이, 도서이미지에 포함된 해당 도서의 텍스트를 시각장애인이 이해하기 쉬운 점자로 점역하여 제공함으로써, 사용자는 점자도서에 국한되지 않고, 다양한 종류의 책을 읽을 수 있는 효과를 발휘할 수 있다.

도 10은 본 발명의 일 실시예에 따른 북리더부(1200)의 동작에 따른 도서이미지정보의 형태를 개략적으로 도시한다.

구체적으로, 도 10의 (a) 및 (b)는 스마트글래스(2000)로부터 수신된 도서이미지의 일 예를 도시한다. 도 9의 (a)는 텍스트영역(L2)이 하나였지만 도 10의 (a) 및 (b)에 도시된 도서이미지는 복수개의 문단을 포함하여 복수의 텍스트영역(L2)이 구분될 수 있다. 도 10의 (a)와 같은 도서이미지는 경우에 따라, 이미지전처리부(1210)에 의하여 전처리될 수도 있고, 이후, 텍스트이미지영역도출부(1220)에 의하여 도 10의 (b)에 도시된 바와 같이 1 이상의 텍스트영역(L2) 및 1 이상의 이미지영역(L1)이 도출된다. 이와 같이 1 이상의 텍스트영역(L2)이 도출되는 경우에는, 텍스트인식부(1230)는, 1 이상의 텍스트영역의 출력순서를 결정한다. 도 10의 (b)에는 바람직하게는, 상기 출력순서는 예를 들어, 왼쪽부터 오른쪽의 순서로, 같은 세로의 라인에 1 이상의 텍스트영역이 존재하는 경우, 위에서 아래의 순서로 등과 같은 기설정된 기준에 따라 텍스트영역의 출력순서가 결정될 수 있다.

도 10의 (c)는 상기 텍스트인식부(1230)에 의하여 결정된 출력순서에 따라 1 이상의 텍스트영역(L1)에 포함된 텍스트를 인식하여 인식한 텍스트정보가 사용자단말기(3000)에 디스플레이된 화면을 도시하고, 도 10의 (d)는 텍스트인식부(1230)가 생성한 도서텍스트정보가 점자패드(4000)에 디스플레이된 화면을 도시한다. 텍스트인식부(1230)는 도 10의 (b)에 도시된 바와 같이 각각의 텍스트영역(L2)의 출력순서를 결정하고 결정된 출력순서에 따라 도서텍스트정보를 생성하여 사용자단말기(3000)로 송신할 수 있고, 사용자단말기(3000)에는 도 10의 (c)에 도시된 바와 같이 송신된 도서텍스트정보가 출력순서에 따라 디스플레이된다. 사용자단말기(3000)는 수신한 도서텍스트정보를 점자패드(4000)로 송신하고, 도 10의 (d)에 도시된 바와 같이 점자패드(4000)에 도서텍스트정보가 출력순서에 따라 디스플레이 될 수 있다. 바람직하게는, 상기 북리더부(1200)에 의하여 제공되는 상기 점자패드(4000)에서의 화면은 상기 이미지에서 검출된 도서이미지로부터 1 이상의 텍스트 영역 및 1 이상의 이미지영역이 추출되어, 추출된 1 이상의 텍스트영역에 포함된 텍스트는 순차적으로 정렬되어 디스플레이된다.

이와 같은 방식으로, 북리더부(1200)는, 수신한 도서이미지의 텍스트영역을 도출하여 출력순서에 따라 점자출력될 도서텍스트정보를 도출하여 제공함으로써, 사용자는 점자도서가 아닌 보다 많은 종류의 도서를 직접 읽고 접하여 다양한 정보를 얻을 수 있는 효과를 발휘할 수 있다.

도 11은 본 발명의 일 실시예에 따른, 북리더부(1200)에 의하여 제공되는 사용자단말기(3000) 및 점자패드(4000)에서의 화면을 개략적으로 도시한다.

구체적으로, 도 11의 (a) 및 (c)는 상기 북리더부(1200)에 의하여 제공되는 사용자단말기(3000)에서의 화면을 도시하고, 도 11의 (b) 및 (d)는 상기 북리더부(1200)에 의하여 제공되는 점자패드(4000)에서의 화면을 개략적으로 도시한다. 상기 북리더부(1200)에 의하여 제공되는 상기 점자패드(4000)에서의 화면은 사용자의 입력에 따라 상기 북리더부(1200)에 의하여 검출된 1 이상의 도서이미지정보에 대한 리스트를 제공한다. 북리더부(1200)의 텍스트이미지영역도출부(1220)에 의하여 텍스트영역(L2) 및 이미지영역(L1)이 검출되고, 상기 이미지영역은, 사용자의 입력(예를 들어, 점자패드(4000)의 단축키를 통해)에 따라 상기 북리더부(1200)에 의하여 검출된 1 이상의 도서이미지정보에 대한 리스트를 제공할 수 있다. 상기 도 10의 (a)에 도시된 바 따르면 도서이미지에서 검출된 이미지영역(L1)에서 검출된 도서이미지정보는 하나이고, 도 11은 이와 같은 도서이미지정보에 대한 리스트가 제공된 화면을 도시한다. 도 11의 (a)는 북리더부(1200)에 의하여 제공된 사용자단말기(3000)에서의 화면으로 “이미지01”로 정의된 도서이미지정보에 대한 리스트가 제공되었고, 도 11의 (b)는 북리더부(1200)에 의하여 제공된 점자패드(4000)에서의 화면으로 이미지01의 리스트가 점자로 점역되어 디스플레이 되었음이 도시된다.

한편, 본 발명의 상기 북리더부(1200)는, 도출된 상기 1 이상의 이미지영역에서 추출한 도서이미지정보를 인식하는 이미지인식단계;를 더 수행하고, 상기 북리더부(1200)에 의하여 제공되는 상기 점자패드(4000)에서의 화면은, 사용자의 입력에 따라 상기 1 이상의 도서이미지정보에 대한 리스트를 상기 이미지인식단계에서 인식한 이미지정보를 포함하여 제공한다. 상기 북리더부(1200)는, 이미지인식부(1240)를 더 포함하고, 상기 이미지인식부(1240)는, 도출된 상기 1 이상의 이미지영역에서 추출한 도서이미지정보를 학습된 인공신경망을 통해 인식하는 이미지인식단계를 수행한다. 이에 따라, 상기 북리더부(1200)에 의하여 제공되는 점자패드(4000)에서의 화면은 도 11의 (c)에 도시된 바와 같이 “이미지01”이 아닌 해당 도서이미지정보가 인식된 “소화기”로 도서이미지정보에 대한 리스트가 제공되었음이 도시된다. 도 11의 (d) 또한 소화기에 해당하는 점자가 점역되어 디스플레이 되었음이 도시된다. 이와 같이, 북리더부(1200)는, 도서이미지의 텍스트영역 및 이미지영역을 구분하여 도서텍스트내용 및 도서이미지정보를 점자를 통해 제공할 수 있고, 도서이미지정보는 사용자의 입력에 따라 리스트를 통해 제공하여 해당 이미지의 인식정보를 포함하여 제공함으로써, 사용자는 도서의 내용을 보다 정확하게 습득할 수 있는 효과를 발휘할 수 있다.

도 12는 본 발명의 일 실시예에 따른, 북리더부(1200)에 의하여 제공되는 사용자단말기(3000) 및 점자패드(4000)에서의 화면을 개략적으로 도시한다.

도 12의 (a)는 북리더부(1200)에 의하여 제공되는 사용자단말기(3000)에서의 화면을 도시하고, 도 12의 (b)는 북리더부(1200)에 의하여 제공되는 점자패드(4000)에서의 화면을 개략적으로 도시한다. 도 11에 도시된 바와 같은 화면을 제공받은 사용자가 도서이미지정보를 확인하고자 하는 사용자 입력(예를 들어, 점자패드(4000) 버튼 누름)을 하는 경우, 상기 북리더부(1200)는, 입력 수신한 도서이미지에 대한 정보를 사용자단말기(3000)에 송신하여 도 12의 (a)에 도시된 바와 같이 사용자단말기(3000)에서의 화면에서 제공될 수 있다. 또한, 상기 북리더부(1200)는, 도 12의 (b)에 도시된 바와 같이 선택 입력된 도서이미지에 대한 형태가 표시되는 점자출력정보를 생성하여 사용자단말기(3000)에 송신할 수 있다. 송신된 점자출력정보는 도 12의 (b)에 도시된 바와 같이 해당 도서이미지정보에 대한 형태가 표시된 점자가 점자패드(4000)의 화면에 디스플레이 된다. 바람직하게는, 상기 북리더부(1200)는, 사용자의 입력에 따라 검출한 상기 도서이미지정보로부터 추출한 특징점에 기초하여 상기 도서이미지정보의 형태가 표시되는 점자출력정보를 생성한다. 이와 같은 방식으로 상기 북리더부(1200)는, 이미지영역(L1)에서 도출한 도서이미지정보의 형태가 표시된 점자출력정보를 생성하여 제공함으로써, 사용자는 도서이미지정보의 형태가 표시된 점자를 통해 이미지의 구체적인 형태를 직관적으로 이해할 수 있는 효과를 발휘할 수 있다.

도 13는 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다.

도 13에 도시한 바와 같이, 컴퓨팅 장치(11000)는 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/Osubsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅 장치(11000)는 스마트글래스(2000), 사용자단말기(3000), 서버(1000) 및 점자패드(4000)에 해당될 수 있다.

메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅 장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 학습된 임베딩모델에 포함하는 그밖에 다양한 데이터를 포함할 수 있다.

이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.

주변장치 인터페이스(11300)는 컴퓨팅 장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅 장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.

입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.

전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.

통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅 장치와 통신을 가능하게 할 수 있다.

또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅 장치와 통신을 가능하게 할 수도 있다.

이러한 도 13의 실시예는, 컴퓨팅 장치(11000)의 일례일 뿐이고, 컴퓨팅 장치(11000)은 도 13에 도시된 일부 컴포넌트가 생략되거나, 도 13에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅 장치는 도 13에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅 장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅 장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 애플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅 장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

1. 삭제
2. 시각장애인 인지보조 시스템으로서,
   촬영모듈 및 통신모듈을 포함하고, 상기 촬영모듈에 의하여 촬영된 이미지를 사용자단말기에 송신하는 스마트글래스;
   사용자단말기로부터 수신한 데이터에 기초하여 점자 출력을 수행하여 사용자에게 촉각 정보를 제공할 수 있는 점자패드; 및
   사용자단말기와 데이터 송수신을 수행하는 서버;를 포함하고,
   상기 서버는,
   상기 이미지에서 객체를 검출하고, 이에 따라 상기 점자패드에서 출력이 될 점자출력정보 혹은 상기 사용자단말기, 점자패드, 혹은 스마트글래스 중 어느 하나에서 출력이 될 음성출력정보를 생성하는 사물검출부; 및
   상기 사물검출부에서 상기 이미지에서 도서이미지를 검출하는 경우에, 상기 점자패드에서 점자출력될 해당 도서의 도서텍스트정보 및 도서이미지정보를 추출하는 북리더부;를 포함하고,
   상기 사물검출부는,
   상기 이미지에서 검출한 객체의 수를 판별하는 단계; 및
   검출한 상기 객체의 수가 2 이상인 경우에, 학습된 인공신경망을 통해 검출한 상기 객체를 인식하고, 인식한 상기 객체에 대한 상기 음성출력정보를 생성하는 단계;를 수행하는, 시각장애인 인지보조 시스템.
   
3. 시각장애인 인지보조 시스템으로서,
   촬영모듈 및 통신모듈을 포함하고, 상기 촬영모듈에 의하여 촬영된 이미지를 사용자단말기에 송신하는 스마트글래스;
   사용자단말기로부터 수신한 데이터에 기초하여 점자 출력을 수행하여 사용자에게 촉각 정보를 제공할 수 있는 점자패드; 및
   사용자단말기와 데이터 송수신을 수행하는 서버;를 포함하고,
   상기 서버는,
   상기 이미지에서 객체를 검출하고, 이에 따라 상기 점자패드에서 출력이 될 점자출력정보 혹은 상기 사용자단말기, 점자패드, 혹은 스마트글래스 중 어느 하나에서 출력이 될 음성출력정보를 생성하는 사물검출부; 및
   상기 사물검출부에서 상기 이미지에서 도서이미지를 검출하는 경우에, 상기 점자패드에서 점자출력될 해당 도서의 도서텍스트정보 및 도서이미지정보를 추출하는 북리더부;를 포함하고,
   상기 사물검출부는,
   상기 이미지에서 검출한 객체의 수를 판별하는 단계; 및
   검출한 상기 객체의 수가 2 이상인 경우에, 학습된 인공신경망을 통해 검출한 상기 객체를 인식하고, 인식한 2 이상의 객체에 대한 좌표정보 및 인식한 2 이상의 객체에 대해 기설정된 기준에 따라 매핑된 아이콘정보를 포함하는 점자출력정보를 생성하는 단계;를 수행하는, 시각장애인 인지보조 시스템.
   
4. 시각장애인 인지보조 시스템으로서,
   촬영모듈 및 통신모듈을 포함하고, 상기 촬영모듈에 의하여 촬영된 이미지를 사용자단말기에 송신하는 스마트글래스;
   사용자단말기로부터 수신한 데이터에 기초하여 점자 출력을 수행하여 사용자에게 촉각 정보를 제공할 수 있는 점자패드; 및
   사용자단말기와 데이터 송수신을 수행하는 서버;를 포함하고,
   상기 서버는,
   상기 이미지에서 객체를 검출하고, 이에 따라 상기 점자패드에서 출력이 될 점자출력정보 혹은 상기 사용자단말기, 점자패드, 혹은 스마트글래스 중 어느 하나에서 출력이 될 음성출력정보를 생성하는 사물검출부; 및
   상기 사물검출부에서 상기 이미지에서 도서이미지를 검출하는 경우에, 상기 점자패드에서 점자출력될 해당 도서의 도서텍스트정보 및 도서이미지정보를 추출하는 북리더부;를 포함하고,
   상기 사물검출부는,
   상기 이미지에서 검출한 객체의 수를 판별하는 단계;
   검출한 상기 객체가 하나인 경우, 학습된 인공신경망을 통해 해당 객체를 인식하는 단계;
   인식한 객체에 대한 객체정보 및 인식한 객체로부터 추출한 특징점에 기초하여 객체의 형태가 표시되는 점자출력정보를 생성하는 딘계;를 수행하는, 시각장애인 인지보조 시스템.
   
5. 시각장애인 인지보조 시스템으로서,
   촬영모듈 및 통신모듈을 포함하고, 상기 촬영모듈에 의하여 촬영된 이미지를 사용자단말기에 송신하는 스마트글래스;
   사용자단말기로부터 수신한 데이터에 기초하여 점자 출력을 수행하여 사용자에게 촉각 정보를 제공할 수 있는 점자패드; 및
   사용자단말기와 데이터 송수신을 수행하는 서버;를 포함하고,
   상기 서버는,
   상기 이미지에서 객체를 검출하고, 이에 따라 상기 점자패드에서 출력이 될 점자출력정보 혹은 상기 사용자단말기, 점자패드, 혹은 스마트글래스 중 어느 하나에서 출력이 될 음성출력정보를 생성하는 사물검출부; 및
   상기 사물검출부에서 상기 이미지에서 도서이미지를 검출하는 경우에, 상기 점자패드에서 점자출력될 해당 도서의 도서텍스트정보 및 도서이미지정보를 추출하는 북리더부;를 포함하고,
   상기 사물검출부는,
   상기 이미지에서 검출한 객체의 수를 판별하는 단계;
   검출한 상기 객체가 하나인 경우, 학습된 인공신경망을 통해 해당 객체를 인식하는 단계;
   상기 이미지에 인식한 객체의 형태가 모두 포함되지 않은 경우, 인식한 객체에 대한 음성출력정보 및 상기 스마트글래스의 위치조절에 대한 가이드음성출력정보를 생성하는 단계;를 수행하는, 시각장애인 인지보조 시스템.
   
6. 시각장애인 인지보조 시스템으로서,
   촬영모듈 및 통신모듈을 포함하고, 상기 촬영모듈에 의하여 촬영된 이미지를 사용자단말기에 송신하는 스마트글래스;
   사용자단말기로부터 수신한 데이터에 기초하여 점자 출력을 수행하여 사용자에게 촉각 정보를 제공할 수 있는 점자패드; 및
   사용자단말기와 데이터 송수신을 수행하는 서버;를 포함하고,
   상기 서버는,
   상기 이미지에서 객체를 검출하고, 이에 따라 상기 점자패드에서 출력이 될 점자출력정보 혹은 상기 사용자단말기, 점자패드, 혹은 스마트글래스 중 어느 하나에서 출력이 될 음성출력정보를 생성하는 사물검출부; 및
   상기 사물검출부에서 상기 이미지에서 도서이미지를 검출하는 경우에, 상기 점자패드에서 점자출력될 해당 도서의 도서텍스트정보 및 도서이미지정보를 추출하는 북리더부;를 포함하고,
   상기 사물검출부는,
   상기 이미지에서 검출한 객체의 수를 판별하는 단계;
   검출한 상기 객체가 하나인 경우, 학습된 인공신경망을 통해 해당 객체를 인식하는 단계; 및
   상기 인공신경망을 통해 해당 객체가 인식되지 않는 경우, 상기 스마트글래스의 위치조절에 대한 가이드음성출력정보를 생성하는 단계;를 수행하는, 시각장애인 인지보조 시스템.
   
   
7. 시각장애인 인지보조 시스템으로서,
   촬영모듈 및 통신모듈을 포함하고, 상기 촬영모듈에 의하여 촬영된 이미지를 사용자단말기에 송신하는 스마트글래스;
   사용자단말기로부터 수신한 데이터에 기초하여 점자 출력을 수행하여 사용자에게 촉각 정보를 제공할 수 있는 점자패드; 및
   사용자단말기와 데이터 송수신을 수행하는 서버;를 포함하고,
   상기 서버는,
   상기 이미지에서 객체를 검출하고, 이에 따라 상기 점자패드에서 출력이 될 점자출력정보 혹은 상기 사용자단말기, 점자패드, 혹은 스마트글래스 중 어느 하나에서 출력이 될 음성출력정보를 생성하는 사물검출부; 및
   상기 사물검출부에서 상기 이미지에서 도서이미지를 검출하는 경우에, 상기 점자패드에서 점자출력될 해당 도서의 도서텍스트정보 및 도서이미지정보를 추출하는 북리더부;를 포함하고,
   상기 북리더부는,
   상기 이미지에서 검출된 상기 도서이미지의 기울기 및 색상 중 1 이상을 기설정된 기준에 따라 변경하여 전처리하는 이미지전처리단계;
   상기 이미지전처리단계에서 전처리된 이미지에 기초하여 1 이상의 텍스트영역 및 1 이상의 이미지영역을 도출하는 텍스트이미지영역도출단계;
   도출된 상기 1 이상의 텍스트영역의 출력순서를 결정하고, 상기 출력순서에 따라 상기 1 이상의 텍스트영역에 포함된 텍스트를 인식하여 상기 점자패드에서 점자출력될 상기 도서텍스트정보를 도출하는 텍스트인식단계;를 수행하는, 시각장애인 인지보조 시스템.
   
8. 시각장애인 인지보조 시스템으로서,
   촬영모듈 및 통신모듈을 포함하고, 상기 촬영모듈에 의하여 촬영된 이미지를 사용자단말기에 송신하는 스마트글래스;
   사용자단말기로부터 수신한 데이터에 기초하여 점자 출력을 수행하여 사용자에게 촉각 정보를 제공할 수 있는 점자패드; 및
   사용자단말기와 데이터 송수신을 수행하는 서버;를 포함하고,
   상기 서버는,
   상기 이미지에서 객체를 검출하고, 이에 따라 상기 점자패드에서 출력이 될 점자출력정보 혹은 상기 사용자단말기, 점자패드, 혹은 스마트글래스 중 어느 하나에서 출력이 될 음성출력정보를 생성하는 사물검출부; 및
   상기 사물검출부에서 상기 이미지에서 도서이미지를 검출하는 경우에, 상기 점자패드에서 점자출력될 해당 도서의 도서텍스트정보 및 도서이미지정보를 추출하는 북리더부;를 포함하고,
   상기 북리더부에 의하여 제공되는 점자패드에서의 화면은,
   상기 이미지에서 검출된 도서이미지로부터 1 이상의 텍스트영역 및 1 이상의 이미지영역이 추출되어, 추출된 1 이상의 텍스트영역에 포함된 텍스트가 순차적으로 정렬되어 디스플레이되고,
   사용자의 입력에 따라 상기 북리더부에 의하여 검출된 1 이상의 도서 이미지정보에 대한 리스트를 제공하는, 시각장애인 인지보조 시스템.
   
9. 청구항 7에 있어서,
   상기 북리더부는,
   도출된 상기 1 이상의 이미지영역에서 추출한 도서이미지정보를 인식하는 이미지인식단계;를 더 수행하고,
   상기 북리더부에 의하여 제공되는 점자패드에서의 화면은,
   사용자의 입력에 따라 상기 1 이상의 도서이미지정보에 대한 리스트를 상기 이미지인식단계에서 인식한 이미지정보를 포함하여 제공하는, 시각장애인 인지보조 시스템.
   
10. 시각장애인 인지보조 시스템에서 구현되는 시각장애인 인지보조 서비스 제공방법으로서,
    상기 시각장애인 인지보조 시스템은,
    촬영모듈 및 통신모듈을 포함하고, 상기 촬영모듈에 의하여 촬영된 이미지를 사용자단말기에 송신하는 스마트글래스;
    사용자단말기로부터 수신한 데이터에 기초하여 점자 출력을 수행하여 사용자에게 촉각 정보를 제공할 수 있는 점자패드; 및
    사용자단말기와 데이터 송수신을 수행하는 서버;를 포함하고,
    상기 서버는,
    상기 이미지에서 객체를 검출하고, 이에 따라 상기 점자패드에서 출력이 될 점자출력정보 혹은 상기 사용자단말기, 점자패드, 혹은 스마트글래스 중 어느 하나에서 출력이 될 음성출력정보를 생성하는 사물검출단계; 및
    상기 사물검출단계에서 상기 이미지에서 도서이미지를 검출하는 경우에, 상기 점자패드에서 점자출력될 해당 도서의 도서텍스트정보 및 도서이미지정보를 추출하는 북리더단계;를 포함하고,
    상기 사물검출단계는,
    상기 이미지에서 검출한 객체의 수를 판별하는 단계; 및
    검출한 상기 객체의 수가 2 이상인 경우에, 학습된 인공신경망을 통해 검출한 상기 객체를 인식하고, 인식한 상기 객체에 대한 상기 음성출력정보를 생성하는 단계;를 포함하는, 시각장애인 인지보조 서비스 제공방법.
    

Images