KR20200062002A - 시력 취약계층을 위한 쇼핑 보조 서비스 제공 방법 및 이를 위한 시력 보조장치 - Google Patents

Abstract

쇼핑 보조 서비스 제공 방법 및 그 장치가 개시된다. 일 실시 예에 따른 시력 보조장치는, 시력 취약계층인 사용자의 신체에 착용 되는 본체와, 본체에 장착되어 전면의 영상을 실시간으로 촬영하는 촬영부와, 촬영 영상으로부터 시각정보를 인식하고 인식된 시각정보를 청각정보로 변환하는 프로세서와, 청각정보를 출력하는 출력부를 포함하며, 프로세서는 인식된 시각정보가 상점 명이면 인식된 상점 명을 가진 상점의 대표 판매상품을 포함하는 상점정보를 획득하고 상점 명과 함께 해당 상점의 상점정보를 청각정보로 변환하여 출력부에 제공하는 상점 안내부를 포함한다.

Description

시력 취약계층을 위한 쇼핑 보조 서비스 제공 방법 및 이를 위한 시력 보조장치 {Shopping aids method and apparatus for the vulnerable group of sight}

본 발명은 시력 취약계층을 위한 시력 보조기술에 관한 것이다.

최근 시각 장애인이 아니더라도 스마트폰 사용 등으로 인해 노안, 원시, 근시, 난시 등이 빨리 온 30-40대가 늘어나고 있다. 거기에, 원시, 근시, 난시군, 고령층 및 시각 장애인을 포함하여 시력 취약계층이라 한다. 이러한 시력 취약계층은 일상생활에서 불편함을 많이 느낀다. 예를 들어, 보행 중에 장애물이나 다른 보행자와 부딪힐 위험들 때문에 외출을 꺼린다. 버스를 타고 싶어도 버스 번호를 읽기 어려워 버스 타기를 망설인다. 또는 책의 글씨를 읽기 어려워 책을 보지 못하는 경우가 있다. 따라서, 이러한 시각적인 불편함을 해결할 수 있는 기술이 요구된다.

시력 취약계층은 특히 매장에서 물품을 구매할 때도 불편을 느낄 수 있다. 예를 들어, 시력 취약계층이 매장 외부에 있을 때 매장이 무엇을 판매하는지 알 수 없어 진입하지 못하는 상황, 매장 내부에 진입 후 찾고자 하는 물품이 어디에 위치하는지 알 수 없어 해당 물품을 구매하지 못하는 상황 등 무수히 많은 어려움이 산재해 있다.

일 실시 예에 따라, 시력 취약계층이 매장의 정보를 쉽게 파악하고 매장 내 물품을 쉽게 구매하는 등 편안한 쇼핑을 지원하는 쇼핑 보조 서비스 제공 방법 및 이를 위한 시력 보조장치를 제안한다.

일 실시 예에 따른 시력 보조장치는, 시력 취약계층인 사용자의 신체에 착용 되는 본체와, 본체에 장착되어 전면의 영상을 실시간으로 촬영하는 촬영부와, 촬영 영상으로부터 시각정보를 인식하고 인식된 시각정보를 청각정보로 변환하는 프로세서와, 청각정보를 출력하는 출력부를 포함하며, 프로세서는 인식된 시각정보가 상점 명이면 인식된 상점 명을 가진 상점의 대표 판매상품을 포함하는 상점정보를 획득하고 상점 명과 함께 해당 상점의 상점정보를 청각정보로 변환하여 출력부에 제공하는 상점 안내부를 포함한다.

시력 보조장치는, 관리 서버와 통신하는 통신부를 더 포함하며, 상점 안내부는 인식된 상점 명과 함께 상점정보 요청 메시지를 생성하여 통신부에 제공하고, 상점정보 요청 메시지를 수신한 관리 서버가 그룹화된 상점 리스트를 확인하여 인식된 상점 명을 가진 상점을 검색하고 검색된 상점과 매칭되는 대표 판매상품을 포함한 상점정보를 읽어들이면, 통신부를 통해 관리 서버로부터 수신된 상점정보를 획득할 수 있다.

프로세서는, 상점 내부의 맵 데이터를 획득하고 획득된 맵 데이터를 이용하여 상점 내부 위치를 파악하며 실시간 촬영 영상으로부터 인식된 시각정보를 이용하여 사용자의 현재위치를 파악하고 사용자의 상점 내 관심상품이 배치된 목적지까지 사용자를 안내하는 안내정보를 생성하여 이를 청각정보를 변환 후 출력부에 제공하는 위치 안내부를 더 포함할 수 있다.

위치 안내부는, 상점 내부의 상점 실내지도 및 공간좌표 지도를 포함한 맵 데이터를 획득하는 맵 획득부와, 획득된 맵 데이터를 이용하여 상점 내부공간을 분할하고 분할된 상점 내부공간에서 사용자의 위치 및 상점 내부 위치를 계산하는 위치 계산부와, 위치 계산부를 통해 파악된 사용자의 위치 및 상점 내부 위치정보를 기초로 하여 관심상품이 배치된 목적지까지의 이동경로를 생성하는 이동경로 생성부와, 목적지까지의 이동경로로 사용자가 이동하도록 안내하는 안내정보를 생성하여 청각정보 형태로 출력부에 제공하는 안내정보 생성부를 포함할 수 있다.

시력 보조장치는, 사용자 음성신호를 포함한 사용자 명령을 입력받는 입력부를 더 포함하며, 프로세서는 입력받은 사용자 음성으로부터 청각정보를 인식하는 청각정보 인식부를 더 포함하며, 위치 계산부는 청각정보 인식부를 통해 인식된 청각정보가 상점 내 관심상품인 경우에 관심상품이 배치된 목적지까지의 위치를 포함한 상점 내부 위치를 계산할 수 있다.

위치 계산부는 인식된 시각정보가 상점 내 표식자이면 사용자가 해당 표식자 위치에 있는 것으로 판단하고, 안내정보 생성부는 인식된 표식자를 기준으로 목적지까지의 이동경로를 안내할 수 있다.

시력 보조장치는, 위치정보 신호를 수신하는 위치정보 수신부를 더 포함하며, 위치 안내부는 위치정보 수신부를 통해 수신된 위치정보를 보조수단으로 사용하여 사용자의 위치 및 상점 내부 위치를 파악할 수 있다.

출력부는, 청각정보를 출력하는 스피커와, 뼈를 통해 청각정보를 전달하는 골 전도 이어폰을 포함하며, 사용자에 의해 골 전도 이어폰이 장착되면 골 전도 이어폰을 통해 청각정보를 출력하고 골 전도 스피커가 장착 해제되면 스피커를 통해 청각정보를 출력할 수 있다.

다른 실시 예에 따른 쇼핑 보조 서비스 제공방법은, 시력 취약계층인 사용자의 신체에 착용된 시력 보조장치를 통해 상점 외부를 촬영하여 촬영 영상을 획득하는 단계와, 실시간으로 촬영된 영상으로부터 상점 명을 포함한 시각정보를 인식하는 단계와, 인식된 상점 명을 가진 상점의 대표 판매상품을 포함하는 상점정보를 획득하는 단계와, 인식된 상점 명과 함께 해당 상점의 상점정보를 청각정보로 변환하여 출력하는 단계를 포함한다.

쇼핑 보조 서비스 제공방법은, 실시간으로 촬영되는 영상으로부터 인식된 시각정보를 이용하여 사용자의 현재위치를 파악하는 단계와, 상점 내부의 상점 실내지도 및 공간좌표 지도를 포함한 맵 데이터를 획득하는 단계와, 사용자로부터 입력받은 음성신호로부터 상점 내 관심상품을 인식하는 단계와, 획득된 맵 데이터를 이용하여 상점 내부공간을 분할하고 분할된 상점 내부공간에서 상점 내부 위치를 파악하는 단계와, 파악된 사용자 위치 및 상점 내부 위치정보를 기초로 하여 인식된 관심상품이 배치된 목적지까지의 이동경로를 생성하는 단계와, 목적지까지의 이동경로로 사용자가 이동하도록 안내하는 안내정보를 생성하여 청각정보 형태로 출력하는 단계를 포함할 수 있다.

쇼핑 보조 서비스 제공방법은, 촬영 영상으로부터 상점 내부의 표식자를 인식하는 단계와, 인식된 시각정보가 상점 내 표식자이면 사용자가 해당 표식자 위치에 있는 것으로 판단하는 단계와, 인식된 표식자를 기준으로 목적지까지의 이동경로를 안내하는 안내정보를 생성하여 청각정보 형태로 출력하는 단계를 더 포함할 수 있다.

일 실시 예에 따르면, 시력 보조장치와 관리 서버를 확장시켜 시력 취약계층이 물품을 판매하는 카테고리 분류를 통해 상점을 쉽게 찾고 상점 내에서 원하는 상품을 쉽게 찾을 수 있도록 제공할 수 있는 시스템화된 맵 제공 기술을 적용하여 시력 취약계층이 매장의 정보를 쉽게 파악하고 매장 내 물품을 쉽게 구매하는 등 편안한 쇼핑을 가능하게 한다.

나아가, 시력 보조장치와 상점 내 정보를 이용하여 확장할 경우 상점이 넓은 슈퍼마켓과 같은 경우 일반 대상군에도 적용하여 필요한 물품을 빨리 찾을 수 있다.

도 1은 본 발명의 일 실시 예에 따른 시력 취약계층을 위한 지능형 시력 보조 시스템의 구성을 도시한 도면,
도 2는 본 발명의 일 실시 예에 따른 시력 보조장치의 구성을 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 도 2의 시력 보조장치의 프로세서의 구성을 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른 도 3의 위치 안내부의 세부 구성을 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 관리 서버의 구성을 도시한 도면,
도 6은 본 발명의 일 실시 예에 따른 시력 취약계층을 위한 지능형 시력 보조 서비스 시스템의 개념을 도시한 도면,
도 7은 본 발명의 일 실시 예에 따른 지능형 시력 보조 시스템을 이용하여 상점정보를 안내하는 쇼핑 보조 서비스 제공 프로세스를 설명하기 위한 도면,
도 8은 본 발명의 일 실시 예에 따른 지능형 시력 보조 시스템을 이용하여 상품 위치정보를 안내하는 쇼핑 보조 서비스 제공 프로세스를 설명하기 위한 도면,
도 9는 본 발명의 일 실시 예에 따른 쇼핑 보조 서비스 제공방법을 도시한 도면,
도 10은 본 발명의 다른 실시 예에 따른 쇼핑 보조 서비스 제공방법을 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.

이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.

도 1은 본 발명의 일 실시 예에 따른 시력 취약계층을 위한 지능형 시력 보조 시스템의 구성을 도시한 도면이다.

도 1을 참조하면, 지능형 시력 보조 시스템은 시력 보조장치(1)를 포함하며, 관리 서버(2) 및 네트워크(3)를 더 포함할 수 있다.

지능형 시력 보조 시스템은 인공지능(artificial intelligence: AI)을 활용하여 시력 취약계층을 지원한다. 시력 취약계층이란 시력이 정상인과는 다른 계층으로, 스마트폰 사용 등으로 인해 노안, 원시, 근시, 난시 등이 빨리 온 계층과, 기존 원시, 근시, 난시군, 고령층, 시각 장애인층을 모두 포함하는 개념이다. 지능형 시력 보조 시스템은 시력 취약계층의 불편함을 극복하고 독립적으로 생활할 수 있도록 시력 보조장치(1)를 부담없는 가격에 제공하는 것을 목적으로 한다.

시력 보조장치(1)는 사용자인 시력 취약계층이 소지하고 휴대할 수 있는 장치이다. 이하, 상세한 설명에는 '사용자'와 '시력 취약계층'이 혼용되어 사용될 수 있다. 시력 보조장치(1)는 사용자가 착용 가능한 웨어러블 디바이스이거나 이를 포함하는 형태일 수 있다. 웨어러블 디바이스는 착용 및 소지가 용이한 액세서리이다. 웨어러블 디바이스의 예로는 사용자가 착용한 안경의 안경 테 또는 안경 다리 등에 탈부착하는 형태가 있다. 전면에 촬영부가 장착되어, 촬영부를 통해 영상을 실시간 촬영할 수 있다. 이러한 웨어러블 디바이스는 기존 안경에도 탈부착할 수 있으며, 무게를 최소화하여 착용하기 편리하도록 한다. 시력 보조장치(1)는 본체 및 제어장치가 결합한 단독형일 수 있으며, 본체와 스마트폰이 연동한 연동형일 수 있다.

일 실시 예에 따른 시력 보조장치(1)는 인공지능(AI) 기반 기계학습(Machine Learning)을 통해 촬영부로 들어오는 영상으로부터 시각정보를 인식하며 인식한 시각정보를 사용자가 들을 수 있도록 청각정보로 가공하여 출력한다. 시각정보는 객체, 문자, 깊이 등이다. 청각정보는 음성신호, 경고음 등이다. 예를 들어, 시력 보조장치(1)는 인쇄 형태의 문자를 읽어 소리로 들려준다. 이에 따라, 사용자인 시력 취약계층이 사물에 대한 인지를 쉽게 하고 환경에 잘 적응할 수 있도록 한다.

일 실시 예에 따른 지능형 시력 보조 시스템은 시각정보의 청각정보로의 변환 및 제공 구성을 확장하여 사용자의 쇼핑을 지원한다. 예를 들어, 물품을 판매하는 상점의 카테고리를 분류하고 대표 판매상품을 포함한 상점정보를 안내함에 따라 해당 상점에 어떠한 상품이 판매하는지를 쉽게 알 수 있다. 가령, 사용자 앞에 "삼성상회"라는 상점이 있고 시력 보조장치(1)를 통해 "삼성상회" 간판을 인식한 경우, "삼성상회"가 "철물점"이라는 정보와 대표 판매상품은 "전기재료"라는 정보를 음성으로 알려준다.

일 실시 예에 따른 지능형 시력 보조 시스템은 상점 내에서 사용자가 찾고자 하는 물품의 위치를 알려준다. 예를 들어, 상점 내에서 사용자가 상점 내에서 "빵"을 찾기 원하는 경우, 상점 내 "빵"의 위치를 음성으로 알려준다. 일반적으로 상점 내 위치파악을 위해서는 상점 안에 위치정보를 송출하거나 기준위치를 알려주는 GPS나 블루투스(Bluetooth), 근거리 무선통신(NFC) 기반 모듈이 별도로 구비되어야 한다. 그러나 일 실시 예에 따른 지능형 시력 보조 시스템은 이러한 별도의 모듈 구비 없이도 시력 보조장치(1)가 가진 본래의 시각정보 인식 기능과 기존 파악된 위치정보를 이용하여 상점 내 위치를 파악한다. 물론 이를 확장하여 GPS나 블루투스, NFC 기반 모듈을 통해 위치정보 신호를 이용하면 더 정확한 위치정보를 파악할 수 있다.

시력 보조장치(1)의 핵심은 전면의 객체 인식에 있다. 인공지능 기반 기계학습을 통해 사람과 동물, 사물을 구분해 이를 음성으로 알려준다. 기계학습의 특성 상 사용자가 많을수록 정확도는 더 높아진다. 시력 보조장치(1)는 전면 객체와의 거리도 계산해 알려준다. 나아가, 부딪히지 않도록 경고한다. 촬영 영상에서 문자 이미지를 추출해 이를 읽어주기도 한다. 지금까지는 영상을 지인이나 상담원에게 전송해 구두로 설명을 듣는 방식이었다. 사용자가 원하는 객체를 지목하면, 시력 보조장치(1)는 지목한 객체를 대상으로 시력 보조 서비스를 제공할 수 있다. 원하는 객체를 지목할 때 사용하는 기기 입력방식으로는 증강현실(augmented reality: AR) 기반 포인터를 이용하여 손가락이 지목하는 객체에 대해 바로 인지할 수 있도록 할 수 있다. 예를 들어, 사용자가 검지만 세우면 증강현실 속 포인터가 된다. 음식점에서 메뉴판을 손가락으로 가리키면 촬영부가 인지해 해당 글자를 읽어준다. 책이나 잡지도 혼자서 읽을 수 있다. 손가락으로 'V' 자를 표현하면 책과 잡지로 인지해 자동으로 계속 읽어준다. 손바닥을 펴면 주변 사물과 부딪히지 않도록 깊이 추정 모드로 전환된다. 영상왜곡 처리 이미지 프로세싱으로 정확한 깊이를 계산해낼 수 있다.

시력 보조장치(1)에는 인공지능(AI) 기술, 증강현실(AR), 음성변환(text to speech: TTS) 기술 등의 다양한 기술이 적용된다. 원격제어(remote control)도 가능하다. 인공지능 기술은 기계학습을 통해 영상으로부터 자동으로 객체, 문자, 거리 등의 시각정보를 인식하는 기술을 포함한다. 증강현실 기술은 사용자와 떨어진 객체를 지목하더라도 사용자가 지목한 객체의 이미지를 인식하여 음성으로 알려주는 것과 같이 가상의 세계와 현실의 세계가 결합한 기술이다. 여기서, 사용자의 제스처를 증강현실 포인터로 인식하고 인식된 증강현실 포인터가 지시하는 위치를 인식하는 기술이 포함된다. 음성변환 기술은 인식된 시각정보, 예를 들어 문자 이미지를 문자(text) 정보로 변환하고 이를 사용자가 들을 수 있는 청각정보로 변환하여 음성 출력하는 기술을 포함한다. 원격제어는 시력 보조장치(1)가 네트워크(3)를 통해 연결된 관리 서버(2)로부터 원격제어를 지원받고 관리 서버(2)가 시력 보조장치(1)를 모니터링하는 기술을 포함한다.

관리 서버(2)는 시력 보조장치(1)를 관리한다. 또한, 사용자가 시력 보조장치(1)를 실제 사용할 때 정상상태를 유지할 수 있도록 실시간 사전 서비스(Before Service: B/S) 및 사후 서비스(After Service: A/S)를 제공한다. 현장에서 시력 보조장치(1)가 고장이 나거나 이상동작을 할 경우 시력 취약계층인 사용자의 위험도가 증가하므로 시력 보조장치(1)의 상태를 미리 빅 데이터 기반으로 분석하여 이상징후를 미리 파악한다. 그리고 이상이 발생한 경우, 사용자에게 통보하거나 유지보수인원을 파견하여 사전처리하도록 함에 따라 위험을 미리 제거할 수 있다. 현장에서 문제가 발생했을 경우 네트워크(3)를 통해 시력 보조장치(1)에 대한 기기유지보수도 가능하다. 나아가, 사용자가 동의할 경우 현장의 화면캡처 및 동영상을 저장하는 서비스도 제공할 수 있다. 이때 서비스를 제공하기 위하여 모니터링이 가능하며 이를 지원한다.

네트워크(3)는 관리 서버(2)와 시력 보조장치(1) 간에 데이터의 송수신이 가능한 유무선 네트워크이다. 네트워크(3)는 다양한 형태의 통신망이 이용될 수 있는데, 예를 들어, Wi-Fi, WLAN(Wireless LAN), Wibro, Wimax, HSDPA(High Speed Downlink Packet Access), 블루투스, DSL, LTE, PCS, 2G, 3G, 4G, 5G, LAN, CDMA, TDMA, GSM, WDM 등의 무선 통신방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coax), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신방식이 이용될 수 있다. 네트워크는 전술한 통신방식에 한정되는 것은 아니며, 전술한 통신 방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 시력 보조장치의 구성을 도시한 도면이다.

도 1 및 도 2를 참조하면, 시력 보조장치(1)는 촬영부(11), 프로세서(12), 입력부(13), 출력부(14), 통신부(15), 메모리(16), 배터리(17) 및 위치정보 수신부(18)를 포함한다.

촬영부(11)는 외부의 전면 영상을 실시간으로 촬영한다. 촬영부(11)는 카메라일 수 있다. 객체의 깊이를 인식하기 위해 촬영부(11)는 ToF 카메라일 수 있다. 촬영부(11)는 본체의 내부 또는 외부에 정면을 바라보도록 배치되어 사용자의 정면을 촬영할 수 있다. 예를 들어, 촬영부(11)는 사용자가 안경의 안경 테나 안경 다리에 착용 가능한 본체에 장착되어, 사용자의 시점에 따른 실제 영상을 촬영할 수 있다.

프로세서(12)는 촬영 영상으로부터 인공지능(AI) 기반 기계학습을 통해 객체, 문자, 깊이 등의 시각정보를 인식하고 인식한 시각정보를 청각정보로 변환한다. 인식된 시각정보가 위험상황이면 위험 경보신호를 생성한다. 기계학습은 촬영 영상 데이터로부터 특징을 추출하고 추출된 특징들을 이용하여 영상 데이터에서 객체를 구분하는 방법이다. 객체의 종류는 사람, 사물일 수 있다. 사람의 경우, 지인 여부를 인식할 수 있다. 사물이면 신호등인지 책인지 문인지 지하철 출입구인지 버스인지 등을 분류한다. 이때, 객체의 윤곽을 인식할 수 있다. 프로세서(12)는 문자를 인식할 수 있는데, 문자는 단어, 문장, 기호, 숫자 등을 포함한다. 기계학습은 시력 보조장치(1)에서 이루어지는데, 필요에 따라 시력 보조장치(1)의 처리능력이 떨어지는 경우, 관리 서버(2)와의 협업을 통해 이루어질 수도 있다.

프로세서(12)는 입력받은 영상 데이터를 대상으로 기계학습 데이터를 이용해 객체를 인식한다. 신호등을 예로 들면, 프로세서(12)는 영상 데이터와 미리 저장된 형상 패턴을 비교하여 전방에 존재하는 신호등을 검출하고, 검출된 색 패턴과 메모리(16)에 저장된 객체의 색 패턴을 비교하여 신호등 색을 인지하고, 객체 패턴과 색에 의해 신호를 판단한다. 또한, 신호등에 있는 숫자 이미지를 인식한다. 이때, 판단된 신호등이 초록 불이고 숫자 이미지가 20이면, "초록 불이 20초 남았습니다."라는 안내정보를 생성하여 출력부(14)를 통해 출력한다.

일 실시 예에 따른 프로세서(12)는 시각정보 인식 기본기능을 확장하여 사용자의 쇼핑을 지원한다. 즉, 촬영 영상으로부터 획득된 시각 정보에서 상점 명을 인식하면, 인식된 상점 명을 가진 상점의 대표 판매상품을 포함하는 상점정보를 획득하고, 상점 명과 함께 해당 상점의 상점정보를 청각정보로 변환하여 출력부(14)에 제공한다. 해당 프로세스는 사용자가 상점 외부에서 이동하면서 수행될 수 있다.

나아가, 프로세서(12)는 상점 내부의 맵 데이터를 획득하고 획득된 맵 데이터를 이용하여 상점 내부 위치를 파악한다. 그리고 실시간 촬영 영상으로부터 인식된 시각정보를 이용하여 사용자의 현재위치를 파악한다. 또한 사용자의 상점 내 관심상품이 배치된 목적지까지 사용자를 안내하는 안내정보를 생성하여 이를 청각정보를 변환 후 출력부(14)에 제공한다. 해당 프로세스는 사용자가 상점 안에서 특정 상품을 찾고자 할 때 수행될 수 있다. 프로세서(12)의 세부 구성은 도 3을 참조로 하여 후술한다.

입력부(13)는 사용자 명령을 입력받아 이를 프로세서(12)에 제공한다. 일 실시 예에 따른 입력부(13)는 사용자로부터 음성신호를 입력받을 수 있는데, 음성신호는 상점 내에서 사용자가 구매를 원하는 상품 명일 수 있다. 입력부(13)는 입력을 위한 사용자 인터페이스를 포함할 수 있다. 예를 들어, 전원 버튼, 볼륨 조절 버튼 등을 포함할 수 있다. 시력 취약계층을 고려하여 버튼을 양각 처리하거나, 진동을 주는 것과 같이 손의 감각으로 버튼 기능을 구현하는 방법 등 시력 취약계층 위주의 입력 인터페이스가 제공된다. 입력부(13)는 에러 예측에 따른 사전 서비스 정보 수신을 위해 에러 기준이 되는 임계값 및 에러 예측 시의 알림 형태를 사용자로부터 미리 설정 입력받을 수 있다.

출력부(14)는 프로세서(12)에 의해 처리된 정보, 통신부(15)를 통해 수신된 정보 등을 외부로 출력한다. 출력부(14)는 프로세서(12)에서 변환된 청각정보를 출력한다. 출력 형태는 음성신호일 수 있으며, 음성신호는 경고 메시지, 경고 음을 포함할 수 있다. 일 실시 예에 따른 출력부(14)는 스피커와 골 전도 이어폰을 포함한다. 스피커는 청각정보를 출력하며, 골 전도 이어폰은 뼈를 통해 청각정보를 전달한다. 골 전도 이어폰은 진동을 통해 두개골에 음파를 전달한다. 골 전도 이어폰의 가장 큰 장점은 바로 귀를 자유롭게 해준다는 점이다. 즉, 고막의 손상이나 피로를 줄여주고 다른 외부의 소리까지 추가로 들을 수 있도록 해준다. 골 전도 이어폰은 도서관, 지하철과 같은 대중교통수단, 공공장소 등에서 사용 가능하다. 일 실시 예에 따라 사용자에 의해 골 전도 이어폰이 장착되면 골 전도 이어폰을 통해 청각정보를 출력한다. 이에 비해, 골 전도 스피커가 장착 해제되면 스피커를 통해 청각정보를 출력할 수 있다.

출력부(14)는 디스플레이를 포함할 수 있다. 이 경우, 디스플레이를 통해 촬영 영상이 표시될 수 있다. 또한, 촬영 영상에 사용자의 제스처 포인터가 합성되어 표시될 수 있다. 디스플레이를 위해, 시력 보조장치(1)는 스마트 글라스(smart glass)와 같은 안경 형태로 구현될 수 있다.

출력부(14)를 통해 음성신호로 사용자가 지정한 음식 메뉴를 읽어줄 수 있고, 책이나 잡지 등의 글을 자동으로 읽어줄 수 있다. 전방에 위험요소가 있는 경우 이를 음성 또는 경고음으로 알려줄 수 있다. 예를 들어, "전방 3m 이내에 위험요소가 있으니 조심하세요", "돌발상황입니다. 멈추세요." 등을 음성으로 전달하거나, "삐-" 등의 경고음을 전달할 수 있다. 위험 상황이 발생하면, 위험 경보신호를 즉각적으로 전달하여 위험한 상황에 사전 대응하도록 한다.

통신부(15)는 외부로부터 정보를 수신하거나 외부로 정보를 전송한다. 통신부(15)는 네트워크(3)를 이용할 수 있다. 외부는 관리 서버(2)일 수 있다. 일 실시 예에 따른 통신부(15)는 관리 서버(2)와 네트워크(3) 연결되어 통신하면서, 상점 리스트 정보와 맵 데이터를 획득할 수 있다. 나아가, 시력 보조장치(1)의 기기 상태정보를 관리 서버(2)에 전송하고 관리 서버(2)로부터 기기 상태에 따른 사전 서비스 정보를 수신할 수 있다.

메모리(16)는 시력 보조장치(1)에서 동작 수행을 위해 필요한 정보와 동작 수행에 따라 생성되는 정보가 저장된다. 예를 들어, 메모리(16)에는 촬영 영상에서 객체를 인식하기 위해, 기계학습을 수행하기 위한 명령어와, 객체의 형상 패턴, 색 패턴, 신호 패턴 등의 패턴에 대해 기계학습된 데이터가 미리 저장될 수 있다. 또한 관리 서버(2)로부터 통신부(15)를 통해 수신된 정보들을 다운로드하여 저장할 수 있다.

배터리(17)는 시력 보조장치(1)의 구동을 위한 전원을 공급한다. 시력 보조장치(1)가 본체와 제어장치로 분리된 경우, 배터리(17)는 제어장치에 위치할 수 있다. 제어장치에 위치하는 경우 사용자가 착용하는 본체의 무게를 가볍게 할 수 있다. 본체를 스마트폰과 같은 사용자 단말과 연동하는 경우, 배터리(17)는 사용자 단말의 배터리를 이용할 수도 있다. 배터리(17)는 교체식, 충전식 또는 이 두 방식 모두를 사용할 수 있다. 예를 들어, 1차적으로 교체식 배터리를 통해 전원공급이 이루어지도록 한 상태에서, 교체식 배터리를 모두 사용할 경우 충전식 배터리는 예비 전원으로서 사용할 수 있다.

위치정보 수신부(18)는 GPS나 블루투스 NFC 등을 이용하여 위치정보 신호를 수신하여 프로세서(12)에 전달한다. 프로세서(12)는 수신된 위치정보를 보조수단으로 사용하여 사용자의 위치 및 상점 내부 위치를 파악할 수 있다.

도 3은 본 발명의 일 실시 예에 따른 도 2의 시력 보조장치의 프로세서의 구성을 도시한 도면이다.

도 2 및 도 3을 참조하면, 프로세서(12)는 시각정보 인식부(120), 정보 변환부(121), 상점 안내부(122), 위치 안내부(123) 및 청각정보 인식부(124)를 포함한다.

시각정보 인식부(120)는 촬영부(11)를 통해 획득된 촬영 영상으로부터 시각정보를 인식한다. 정보 변환부(121)는 시각정보 인식부(120)를 통해 인식된 시각정보를 청각정보로 변환한다. 시각정보는 객체, 문자, 깊이 등이다. 청각정보는 음성신호, 경고음 등이다.

상점 안내부(122)는 시각정보 인식부(120)를 통해 인식된 시각정보가 상점 명이면 인식된 상점 명을 가진 상점의 대표 판매상품을 포함하는 상점정보를 획득하고 상점 명과 함께 해당 상점의 상점정보를 청각정보로 변환하여 출력부(14)에 제공한다. 예를 들어, 간판 형태의 상점 명을 읽어 이를 소리로 들려주면서 해당 상점의 대표 판매상품을 함께 소리로 들려준다.

상점정보는 관리 서버(2)로부터 획득할 수 있다. 예를 들어, 상점 안내부(122)는 인식된 상점 명과 함께 상점정보 요청 메시지를 생성하여 통신부(15)를 통해 관리 서버(2)에 전송한다. 상점정보 요청 메시지를 수신한 관리 서버(2)에는 그룹화된 상점 리스트가 저장되어 있다. 예를 들어, 상점 업종, 상점 지역 등에 따라 그룹화한다. 상점 리스트를 구성하는 각 상점은 상점 명, 상점 업종, 상점 지역, 대표 판매상품 정보 등이 매칭되어 저장된다. 이에 따라, 관리 서버(2)는 인식된 상점 명을 가진 상점을 검색하고 검색된 상점과 매칭되는 대표 판매상품을 포함한 상점정보를 읽어들여 시력 보조장치(1)에 전달한다. 시력 보조장치(1)는 통신부를 통해 관리 서버(2)로부터 상점정보를 수신하고, 상점 안내부(122)는 통신부(15)로부터 상점정보를 획득하여 이를 청각정보로 변환한 후 출력부(14)를 통해 음성으로 출력한다.

위치 안내부(123)는 상점 내부의 맵 데이터를 획득하고 획득된 맵 데이터와 인식된 시각정보를 이용하여 사용자의 위치 및 상점 내부 위치를 파악한다. 그리고 파악된 사용자의 위치 및 상점 내부 위치를 이용하여 사용자의 상점 내 관심상품이 배치된 목적지까지 사용자를 안내하는 안내정보를 생성한다. 안내정보는 청각정보로 변환된 후 출력부(14)에 제공된다. 위치 안내부(123)는 위치정보 수신부(18)를 통해 수신된 위치정보를 보조수단으로 사용하여 사용자의 위치 및 상점 내부 위치를 파악할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 위치 안내부의 세부 구성을 도시한 도면이다.

도 4를 참조하면, 위치 안내부(123)는 맵 획득부(1230), 위치 계산부(1232), 이동경로 생성부(1234) 및 안내정보 생성부(1236)를 포함한다.

맵 획득부(1230)는 상점 내부의 상점 실내지도 및 공간좌표 지도를 포함한 맵 데이터를 획득한다. 상점 실내지도는 미리 상점 내 실내 전체의 지도를 저장해 둔 것으로, 정문, 계산대, 주요 상품 코너 등에 대한 위치정보가 기록된다. 공간좌표 지도는 미리 설정된 간격(예를 들어, 0.5~1m 전후의 간격)으로 상점 내부공간을 분할한 것이다. 각 분할 영역의 경계에는 공간좌표(예를 들어, (1,0) 등)가 할당된다. 상점 실내지도 및 공간좌표 지도의 예는 도 8을 참조로 하여 후술한다.

위치 계산부(1232)는 맵 획득부(1230)를 통해 획득된 맵 데이터를 이용하여 상점 내부공간을 분할하고 분할된 상점 내부공간에서 사용자의 위치 및 상점 내부 위치를 파악한다.

이동경로 생성부(1234)는 위치 계산부(1232)를 통해 파악된 사용자의 위치 및 상점 내부 위치정보를 기초로 하여 사용자의 관심상품이 배치된 목적지까지의 이동경로를 생성한다. 사용자의 관심상품이 무엇인지는 사용자 음성을 인식하여 알 수 있다. 청각정보 인식부(124)가 입력부(13)를 통해 입력받은 사용자 음성으로부터 청각정보를 인식하여 관심상품을 알아내면, 위치 계산부(1232)는 알아낸 관심상품이 배치된 목적지까지의 위치를 포함하는 상점 내부 위치를 파악하며, 이동경로 생성부(1234)는 인식된 관심상품이 배치된 목적지까지의 이동경로를 생성한다. 안내정보 생성부(1236)는 목적지까지의 이동경로로 사용자가 이동하도록 안내하는 안내정보를 생성하여 청각정보 형태로 출력부(14)에 제공한다.

일 실시 예에 따른 위치 계산부(1232)는 인식된 시각정보가 상점 내 표식자이면 사용자가 해당 표식자 위치에 있는 것으로 판단한다. 표식자는 예를 들어, 상점 내 상품 명을 알리는 깃발, 표지판 등이 있다. 안내정보 생성부(1236)는 인식된 표식자를 기준으로 목적지까지의 이동경로를 안내한다. 이동경로 중 표식자가 위치하면, 표식자가 방향선택 기준이 된다. 표식자를 기준으로 어느 방향으로 갈지를 안내할 수 있다.

도 5는 본 발명의 일 실시 예에 따른 관리 서버의 구성을 도시한 도면이다.

도 1 및 도 5를 참조하면, 관리 서버(2)는 인증 관리부(20), 모니터링부(21), 네트워크 연결부(22), 원격 제어부(23), 데이터 처리부(24), 클라이언트 관리부(25), 프로토콜 처리부(26), 데이터 분석부(27) 및 상점 관리부(28)를 포함한다.

인증 관리부(20)는 사용자 요청에 따라 시력 보조장치(1)의 사용자 정보의 유효성을 검증한다. 필요에 따라 관리 서버(2)로 수신되는 요구사항의 주체가 누구인지를 인증한다. 모니터링부(21)는 시력 보조장치(1)를 통한 캡처 화면을 모니터링한다. 이때, 관리자 단말에 모니터링 결과를 제공하거나, 관리자 조작을 돕는 기능을 제공한다. 원격 제어부(23)는 시력 보조장치(1)로부터 원격제어 요청을 수신하고 원격 제어명령을 시력 보조장치(1)에 전송하여 원격 엔지니어링을 수행한다.

데이터 처리부(24)는 네트워크 연결부(22)를 통해 시력 보조장치(1)로부터 수신된 실제영상을 대상으로 기계학습을 시력 보조장치(1)에 이어서 수행하고 수행에 따른 최종 결과를 생성하여 네트워크 연결부(22)에 제공한다. 이때, 네트워크 연결부(22)는 최종 결과를 시력 보조장치(1)에 제공한다. 관리 서버(2)의 기계학습 기반 시각정보 인식은 시력 보조장치(1)의 장치 처리능력에 따라 선택적으로 이루어질 수 있다. 예를 들어, 시력 보조장치(1)의 장치 처리능력이 떨어지는 경우에, 관리 서버(2)에 요청하면 관리 서버(2)에서 기계학습을 이어서 수행할 수 있다.

클라이언트 관리부(25)는 시력 보조장치(1)의 기기 상태 정보를 모니터링하여 에러를 사전에 예측하고, 에러가 발생하기 이전에 에러를 처리하기 위한 사전 서비스 정보를 생성한다. 에러 예측은 수신된 기기 상태 정보를 미리 설정된 임계값과 비교하는 방식을 이용할 수 있다. 예를 들어, 배터리 상태를 정상상태 및 위험상태로 구분하고 이를 배터리 잔량 임계값으로 구분한다. 수신된 기기 상태 정보인 배터리 잔량이, 정상상태 임계값과 위험상태 임계값 중 어디에 포함되는지를 판단하여 에러를 예측한다. 위험상태 임계값에 해당하는 경우 에러 예측으로 판단할 수 있다.

사전 서비스 정보는 에러 예측 내역, 에러 발생 차단을 위한 경고 메시지 및 에러 이전 조치 정보 중 적어도 하나를 포함한다. 에러 예측 내역은 에러 예측 상태를 나타내는 것으로, 에러가 예측되는 시력 보조장치(1)의 식별을 위한 기기 명칭 또는 식별자, 기기 기본 정보, 기기 위치 정보, 에러 예측에 관한 시간 정보, 에러 원인 정보를 포함할 수 있다. 경고 메시지는 에러 발생을 경고하는 신호이다. 음성, 텍스트, 알람 음 등을 통해 경고 메시지를 출력할 수 있다. 에러 조치 정보에는 에러 사전 해결을 위한 방법, 컨택 포인트, 링크 정보 등이 포함한다. 에러 사전 해결을 위한 방법의 예로는 문제가 발생한 부품의 교체, 충전 등이 있을 수 있다.

네트워크 연결부(22)는 시력 보조장치(1) 및 관리자 단말 등과 정보를 송수신한다. 일 실시 예에 따른 네트워크 연결부(22)는 클라이언트 관리부(25)를 통해 에러가 예측되면, 에러가 발생하기 이전에 관리자 단말을 통해 관리자에 경고 메시지를 통보한다. 예를 들어, 관리자에게 그 결과를 송부하여 상황에 즉각 대처할 수 있도록 한다. 알림 방식은 E-mail, SMS, ARS 등의 방식 등 기존의 통신수단을 모두 활용할 수 있다. 다른 예로, 네트워크 연결부(22)는 시력 보조장치(1)와 통신하면서 시력 보조장치(1)의 기기 상태정보를 수신하고 시력 보조장치(1)의 기기상태에 따라 클라이언트 관리부(25)에서 생성된 사전 서비스 정보를 시력 보조장치(1)에 전송한다. 사전 서비스 정보는 에러 예측 내역, 에러 발생 차단을 위한 경고 메시지 및 에러 이전 조치 정보 중 적어도 하나를 포함한다.

프로토콜 처리부(26)는 시력 보조장치(1)의 정상신호를 수신하여 파싱하고 이를 처리하기 위한 통신규약을 구현해주는 소프트웨어 모듈이다.

데이터 분석부(27)는 빅 데이터를 획득하여 분석하고 분석정보를 사전 서비스를 위해 클라이언트 관리부(25)에 제공한다. 일 실시 예에 따른 데이터 분석부(27)는 데이터 분석부(27)의 분석 결과 또는 클라이언트 관리부(25)의 예측 결과로부터 통계정보를 생성하여 관리한다. 관리자는 통계정보를 통해 에러 예측 결과를 쉽게 파악할 수 있다.

데이터 분석부(27)는 미리 설정된 기간동안 기기 상태 정보를 수집하고 수집된 기기 상태 정보로부터 유효한 표준 데이터를 추출함에 따라 시력 보조장치(1)의 환경에 기반하여 유연하게 표준 데이터를 설정할 수 있다. 미리 설정된 기간동안 수집되는 상태 정보는 그 양이 방대하므로 대량의 수집 데이터를 신속하게 처리할 수 있도록 빅 데이터 분석을 수행할 수 있다. 예를 들어, 날씨정보와 날씨에 따른 상태정보를 수집하여 수집된 상태 정보로부터 유효한 표준 데이터를 추출한다.

관리 서버(2)의 에러 예측 및 이에 따른 사전 서비스의 예를 들면, 시력 보조장치(1)의 상태 정보 중 배터리 잔량을 보고 배터리 잔량이 미리 설정된 임계값 범위에 든 경우, 예를 들어 10% 이하인 경우 교체 단계로 예측하여, 배터리 소모에 의해 시력 보조장치(1)가 꺼지기 전에 이를 알리는 경고 메시지를 생성하여 시력 보조장치(1)에 전송한다.

상점 관리부(28)는 상점 리스트 정보 및 맵 데이터를 관리한다. 맵 데이터는 상점 별 상점 실내지도와 공간좌표 지도를 포함한다. 상점 관리부(28)는 시력 보조장치(1)의 요청 시에 상점 리스트 정보와 맵 데이터를 제공할 수 있다.

도 6은 본 발명의 일 실시 예에 따른 시력 취약계층을 위한 지능형 시력 보조 서비스 시스템의 개념을 도시한 도면이다.

도 6을 참조하면, 시력 보조장치(1)는 사용자(4)의 전면에 보이는 시각정보를 청각정보로 변환하여 이를 출력함에 따라 사용자(4)의 시력을 보조한다. 사용자(4)는 시력 취약계층으로서, 개인, 기업, 공공기관으로 확장될 수 있다.

시력 보조장치(1)는 본체(6)와 제어장치(7-1)로 분리된 형태일 수 있다. 본체(6)는 도 4에 도시된 바와 같이 사용자(4) 안경의 안경 다리에 탈부착하는 형태의 웨어러블 디바이스일 수 있다. 연결부(8)는 본체(6)와 제어장치(7-1)를 연결한다. 연결부(8)는 도 4에 도시된 바와 같이 유선으로 본체(6)와 제어장치(7-1)를 연결할 수 있다. 무선방식을 이용하여 연결하거나 무선방식을 병행하여 사용할 수도 있다. 본체(6)에 촬영부가 장착되고 제어장치(7-1)에 배터리가 장착될 수 있다.

다른 예로, 본체(6)가 사용자 단말(예를 들어, 스마트폰)(7-2)과 연동된 형태일 수 있다. 연결부(8)는 본체(6)와 사용자 단말(7-2)을 연결한다. 연결부(8)는 도 4에 도시된 바와 같이 유선으로 본체(6)와 사용자 단말(7-2)을 연결할 수 있다. 무선방식을 이용하여 연결하거나 무선방식을 병행하여 사용할 수도 있다. 본체(6)에 촬영부가 장착되고 사용자 단말(7-2)의 배터리를 이용할 수 있다.

시력 보조장치(1)는 사용자 제스처, 예를 들어, 손바닥을 보인다든지 주먹을 쥐는 동작을 통해 사용자가 하고자 하는 의도를 파악하여 파악된 의도에 맞는 시력 보조 서비스를 제공한다. 예를 들어, 사용자(4)가 손바닥을 보이는 제스처를 보이면, 주변의 위험요소와 사용자(4) 간의 거리를 추정하고 이를 안내하는 서비스를 제공한다. 사용자(4)가 멀리 떨어진 대상을 지시하더라도 이를 제스처를 통해 인지한다는 점에서 증강현실 기술이 적용된다.

시력 보조장치(1)는 촬영 영상으로부터 인공지능(AI) 기반 기계학습을 통해 객체를 구분해 음성으로 알려준다. 시력 보조장치(1)는 전면 객체와의 거리도 계산하여 알려준다. 객체를 인식하면 이를 문자 정보로 변환하고 다시 음성신호로 변환하는 음성변환 기술이 적용된다. 음성신호는 골 전도 이어폰를 통해 사용자(4)에 전달될 수 있다.

관리 서버(2)는 시력 보조장치(1)로부터 로그 데이터를 수집하고, 기기 상태를 파악하는 모니터링을 수행한다. 이때, 모니터링 결과에 따라 조치가 필요한 경우 이를 조치하며, 시력 보조장치(1)에 대한 원격제어도 가능하다. 모니터링 및 원격제어는 실시간으로 이루어질 수 있다. 관리 서버(2)는 사용자 이미지, 동영상 등을 수집하여 이를 데이터베이스에 저장해 둘 수 있다.

관리 서버(2)는 에러 예측에 따라 에러 발생 이전에 조치하는 사전 서비스를 제공한다. 이때, 관리자(5)에게 에러 상태를 모니터링하여 경고함에 따라 관리자(5)가 이를 제거하도록 지시할 수 있다. 관리자(5)는 센터 담당자 또는 로컬 엔지니어일 수 있다. 센터 담당자는 총괄 권한이 있는 담당자이다. 로컬 담당자는 고장 원인에 따라 현장에서 직접 조치할 수 있는 로컬 엔지니어이다. 관리 서버(2)는 시력 보조장치(1)의 부품 불량, 장치 불량, 배터리 소진, 긴급상황 발생 등을 모니터링하여 관리자(5)가 조치하도록 지시한다. 시력 보조장치(1)에 긴급상황이 발생하면 이를 관리자(5)에 경고한다. 시력 보조장치(1)의 기기 자체나 부품에 문제가 발생하면, 문제가 발생한 기기 또는 부품을 사전 교체하도록 관리자(5)에 지시한다.

조치의 다른 예로, 시력 보조장치(1)에 직접 기기 제어 명령을 전송하여 시력 보조장치(1)를 제어한다. 예를 들어, 시력 보조장치(1)의 배터리 잔량이 미리 설정된 값 이하인 경우, 배터리를 교체하라는 제어 명령을 전송하여 시력 보조장치(1) 사용자가 이를 교체하도록 한다.

관리자(5)는 관리 서버(2)를 사용하는 사람으로서, 관리 서버(2)를 통해 제공되는 정보를 확인한다. 이때, 관리자(5)는 에러 예측 결과를 다양한 관리자 단말, 예를 들어 컴퓨터, 데스크 탑, 테블릿 PC, 스마트폰 등을 통해 모니터링하면서 시력 보조장치(1)의 에러를 사전에 인식한다. 관리자(5)가 에러를 사전에 인식하면 해당 시력 보조장치(1)를 대상으로 원격진단(remote diagnosis) 및 복구(repair) 할 수 있다.

관리자(5)는 관리 서버(2)로부터 시력 보조장치(1)에 대한 에러 예측에 따른 경고 메시지를 소정의 방식으로 통보받을 수 있다. 소정의 방식이라 함은, 전화(call), 문자 메시지(MMS), 이메일(E-mail) 등일 수 있다. 관리자(5)는 경고 메시지를 통보받으면, 즉시 에러가 예측되는 시력 보조장치(1)에 대한 조치를 취하거나, 소정의 시점, 예를 들어 정기점검 때에 해당 시력 보조장치(1)를 점검할 수 있다.

사전 서비스의 실시 예를 들면, 시력 보조장치(1)의 사용자가 집을 나가기 전에, 집에서 시력 보조장치(1)를 가지고 Wi-Fi 연결을 통해 관리 서버(2)에 접속하고, 시력 보조장치(1)의 기기 상태 정보를 관리 서버(2)에 전송한다. 배터리 잔량을 예로 들면, 관리 서버(2)는 수신된 기기 상태 정보 내 배터리 잔량이 미리 설정된 임계값, 예를 들어 60% 이상이면 정상인 것으로 판단하여 사용자에게 정상임을 알린다. 사용자가 활동을 하다 카페에 들어가 Wi-Fi 연결을 통해 관리 서버(2)에 접속하고, 관리 서버(2)는 수신된 기기 상태 정보 내 배터리 잔량이 미리 설정된 임계값, 예를 들어 30% 이하이면, 사용자에게 "배터리를 갈아 주세요." 또는 "배터리를 충전해주세요." 등의 경고신호를 생성한다. 경고신호에 따라 사용자는 배터리를 갈거나 충전함에 따라 배터리 문제를 해결한다.

에러 예측에 따른 사전 서비스를 위해 임계값을 미리 설정할 수 있다. 그리고 미리 설정된 임계값과 시력 보조장치(1)로부터 수신된 기기 상태 정보 값을 비교하여 에러를 예측할 수 있다. 임계값은 시력 보조장치(1)의 사용자가 설정할 수 있고, 관리 서버(2)가 빅 데이터 기반 분석을 통해 미리 설정해 놓을 수 있다. 사용자 설정의 예로서, 사용자가 배터리 잔량이 30% 이하가 되면 관리 서버(2)가 이를 자동으로 알림 하도록 설정할 수 있다.

관리 서버(2)의 사전 서비스는 미리 설정된 주기, 예를 들어 3분마다 한 번씩 이루어질 수 있다. 또는 모니터링을 하다가 이벤트, 예를 들어 배터리를 교체해야 하는 상황이 발생할 때 사전 서비스가 이루어질 수 있다.

도 7은 본 발명의 일 실시 예에 따른 지능형 시력 보조 시스템을 이용하여 상점정보를 안내하는 쇼핑 보조 서비스 제공 프로세스를 설명하기 위한 도면이다.

도 7을 참조하여 본 발명의 적용 시나리오를 예로 들면, "옥산 할인마트"라는 상점이 있을 경우, 시력 보조장치(1)의 본연 기능인 "옥산 할인마트"라는 글씨를 읽어 소리로 들려주는 기능만으로는 "옥산 할인마트" 내부에 판매하는 상품이 어떤 것이 있는지 파악하기 어렵다. 시력취약 계층이 상품을 판매하는 다수의 상점이 형성된 용산전자와 같은 상가거리를 지나간다고 가정할 때 더욱 필요한 물품을 찾기가 쉽지 않다. 이를 보완하기 위해 시력 보조장치(1)가 상점 명을 인지할 경우 어떤 상품을 대표적으로 판매하는지를 알 수 있도록 하고, 사용자 요청 시 상품의 자세한 목록을 다운로드를 통해 알려준다.

도 7에 도시된 바와 같이, 시력 보조장치(1)가 "옥산 할인마트"를 인식한 경우, 관리 서버(2)에 "옥산 할인마트"에 대한 데이터를 요청한다(710). 관리 서버(2)는 시력 보조장치(1)의 요청에 따라 상점 리스트를 확인하여 "옥산 할인마트"에 대한 상점정보를 읽어 들인다(720). 관리 서버(2)에는 사전에 카테고리화된 상점 리스트와 상점별 체크포인트 등에 대한 정보가 저장되어 있다. 예를 들어, "옥산 할인마트"의 경우, 주요 판매상품이 "빵, 과자, 생필품"이라는 정보가 함께 매칭되어 저장되어 있다.

관리 서버(2)는 읽어들인 상점정보, 즉 "옥산 할인마트. 빵+과자+생필품" 데이터를 시력 보조장치(1)에 송신한다(730). 이를 수신한 시력 보조장치(1)는 음성으로 "옥산 할인마트는 빵, 과자, 생필품 판매합니다"를 사용자에 고지한다(740). 필요 시, 시력 보조장치(1)는 상점정보를 다운로드하여 추후 사용할 수 있다. 이러한 절차를 통해 사용자는 시력 보조장치(1)를 착용한 채 이동하면서 상점 밖에서 상점에 대해 파악할 수 있다.

도 8은 본 발명의 일 실시 예에 따른 지능형 시력 보조 시스템을 이용하여 상품 위치정보를 안내하는 쇼핑 보조 서비스 제공 프로세스를 설명하기 위한 도면이다.

도 8을 참조하면, 사용자가 상점 내부로 진입할 때 방위를 인지할 수 있는 위치정보를 통해 실 상품 위치를 파악할 수 있도록 한다. 이때 방위를 인지하기 위하여 상점을 일정 거리간격으로 분할한 공간좌표 지도를 이용하여 기본 위치를 구분하고 내부에 들어갔을 때 표지 글씨 인지를 통해 내부 위치를 파악한다.

도 8의 시나리오를 예로 들어 설명하면, 사용자가 상점 내부에 진입하면 시력 보조장치(1)는 관리 서버(2)에 "옥산 할인마트"에 대한 맵 데이터를 요청한다(810). 이에 관리 서버(2)는 시력 보조장치(1)에 상점 실내지도(800) 및 공간좌표 지도(804), 2개의 맵 데이터를 전송하고 시력 보조장치(1)는 이를 수신한다(820). 실내지도(800)에는 정문, 계산대, 주요 상품 코너(빵(802-1), 과자(802-2), 생필품(802-3)) 등에 대한 위치정보가 기록된다. 공간좌표 지도(804)는 미리 설정된 간격(예를 들어, 0.5~1M) 전후의 간격으로 공간을 분할한다. 공간 분할을 통해 실내공간이 다수의 행 및 열로 분할되고, 각 행 및 열의 분할된 경계에 좌표가 할당된다.

사용자가 찾고자 하는 물품을 음성으로 알려주면, 예를 들어, "과자"를 음성으로 입력(830)하면, 시력 보조장치(1)는 관리 서버(2)로부터 수신된 맵 데이터를 이용하여 정문 위치를 기준으로 이동경로(806)를 계산한다. 예를 들어, 이동하려는 열 위치를 계산한다. 예를 들어, 이동경로(806)는 정문을 기준으로 좌측 끝까지 간 후 "빵" 코너를 지나 목적지인 "과자" 코너에 도달하도록 생성된다.

이동경로가 생성되면, 시력 보조장치(1)는 "좌측 끝까지 가세요. 깃발 있는 곳에서 확인하세요."를 소리로 알려준다. 사용자가 좌측 끝에서 직진하여 "빵" 코너 위치에 도달하면, 시력 보조장치(1)는 "빵" 깃발을 인식하여 "빵"을 읽어준다(840). 그리고 "직진하세요. 깃발 있는 곳에서 확인하세요."를 소리로 알려준다. 사용자가 지시에 따라 이동하여 "과자" 코너에 진입하면, 시력 보조장치(1)는 "과자" 깃발 인식 후 "과자"를 읽어준다(850).

도 9는 본 발명의 일 실시 예에 따른 쇼핑 보조 서비스 제공방법을 도시한 도면이다.

도 1 및 도 9를 참조하면, 사용자가 상점 바깥에 위치하고 있을 때, 사용자가 착용하고 있는 시력 보조장치(1)가 상점 외부를 촬영하여 촬영 영상을 획득(910) 하고 실시간으로 촬영된 영상으로부터 상점 명을 포함한 시각정보를 인식한다(920). 상점 명을 인식하면, 인식된 상점 명을 가진 상점의 대표 판매상품을 포함하는 상점정보를 관리 서버(2)에 요청하여 획득(930) 하고, 인식된 상점 명과 함께 해당 상점의 상점정보를 청각정보로 변환하여 출력한다(940).

도 10은 본 발명의 다른 실시 예에 따른 쇼핑 보조 서비스 제공방법을 도시한 도면이다.

도 1 및 도 10을 참조하면, 시력 보조장치(1)는 실시간 촬영 영상으로부터 인식된 시각정보를 이용하여 사용자의 현재위치를 파악한다(1010). 그리고 상점 내부의 상점 실내지도 및 공간좌표 지도를 포함한 맵 데이터를 관리 서버(2)에 요청하여 획득한다(1020). 사용자로부터 입력받은 음성신호로부터 상점 내 관심상품을 인식하면(1030), 획득된 맵 데이터를 이용하여 상점 내부공간을 분할하고 분할된 상점 내부공간에서 상점 내부 위치를 파악한다(1040). 이어서, 파악된 사용자 위치 및 상점 내부 위치정보를 기초로 하여 인식된 관심상품이 배치된 목적지까지의 이동경로를 생성하고, 목적지까지의 이동경로로 사용자가 이동하도록 안내하는 안내정보를 생성하여 청각정보 형태로 출력한다(1050). 이때, 촬영 영상으로부터 상점 내부의 표식자를 인식하면, 사용자가 해당 표식자 위치에 있는 것으로 판단하여 인식된 표식자를 기준으로 목적지까지의 이동경로를 안내하는 안내정보를 생성하여 청각정보 형태로 출력할 수 있다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (11)

1. 시력 취약계층인 사용자의 신체에 착용 되는 본체;
   본체에 장착되어 전면의 영상을 실시간으로 촬영하는 촬영부;
   촬영 영상으로부터 시각정보를 인식하고 인식된 시각정보를 청각정보로 변환하는 프로세서; 및
   청각정보를 출력하는 출력부; 를 포함하며,
   프로세서는
   인식된 시각정보가 상점 명이면 인식된 상점 명을 가진 상점의 대표 판매상품을 포함하는 상점정보를 획득하고 상점 명과 함께 해당 상점의 상점정보를 청각정보로 변환하여 출력부에 제공하는 상점 안내부;
   를 포함하는 것을 특징으로 하는 시력 보조장치.
2. 제 1 항에 있어서, 시력 보조장치는
   관리 서버와 통신하는 통신부; 를 더 포함하며,
   상점 안내부는
   인식된 상점 명과 함께 상점정보 요청 메시지를 생성하여 통신부에 제공하고, 상점정보 요청 메시지를 수신한 관리 서버가 그룹화된 상점 리스트를 확인하여 인식된 상점 명을 가진 상점을 검색하고 검색된 상점과 매칭되는 대표 판매상품을 포함한 상점정보를 읽어들이면, 통신부를 통해 관리 서버로부터 수신된 상점정보를 획득하는 것을 특징으로 하는 시력 보조장치.
3. 제 1 항에 있어서, 프로세서는
   상점 내부의 맵 데이터를 획득하고 획득된 맵 데이터를 이용하여 상점 내부 위치를 파악하며 실시간 촬영 영상으로부터 인식된 시각정보를 이용하여 사용자의 현재위치를 파악하고 사용자의 상점 내 관심상품이 배치된 목적지까지 사용자를 안내하는 안내정보를 생성하여 이를 청각정보를 변환 후 출력부에 제공하는 위치 안내부;
   를 더 포함하는 것을 특징으로 하는 시력 보조장치.
4. 제 3 항에 있어서, 위치 안내부는
   상점 내부의 상점 실내지도 및 공간좌표 지도를 포함한 맵 데이터를 획득하는 맵 획득부;
   획득된 맵 데이터를 이용하여 상점 내부공간을 분할하고 분할된 상점 내부공간에서 사용자의 위치 및 상점 내부 위치를 계산하는 위치 계산부;
   위치 계산부를 통해 파악된 사용자의 위치 및 상점 내부 위치정보를 기초로 하여 관심상품이 배치된 목적지까지의 이동경로를 생성하는 이동경로 생성부; 및
   목적지까지의 이동경로로 사용자가 이동하도록 안내하는 안내정보를 생성하여 청각정보 형태로 출력부에 제공하는 안내정보 생성부;
   를 포함하는 것을 특징으로 하는 시력 보조장치.
5. 제 4 항에 있어서, 시력 보조장치는
   사용자 음성신호를 포함한 사용자 명령을 입력받는 입력부; 를 더 포함하며,
   프로세서는
   입력받은 사용자 음성으로부터 청각정보를 인식하는 청각정보 인식부; 를 더 포함하며,
   위치 계산부는 청각정보 인식부를 통해 인식된 청각정보가 상점 내 관심상품인 경우에 관심상품이 배치된 목적지까지의 위치를 포함한 상점 내부 위치를 계산하는 것을 특징으로 하는 시력 보조장치.
6. 제 4 항에 있어서,
   위치 계산부는 인식된 시각정보가 상점 내 표식자이면 사용자가 해당 표식자 위치에 있는 것으로 판단하고,
   안내정보 생성부는 인식된 표식자를 기준으로 목적지까지의 이동경로를 안내하는 것을 특징으로 하는 시력 보조장치.
7. 제 3 항에 있어서, 시력 보조장치는
   위치정보 신호를 수신하는 위치정보 수신부; 를 더 포함하며,
   위치 안내부는 위치정보 수신부를 통해 수신된 위치정보를 보조수단으로 사용하여 사용자의 위치 및 상점 내부 위치를 파악하는 것을 특징으로 하는 시력 보조장치.
8. 제 1 항에 있어서, 출력부는
   청각정보를 출력하는 스피커; 및
   뼈를 통해 청각정보를 전달하는 골 전도 이어폰; 을 포함하며,
   사용자에 의해 골 전도 이어폰이 장착되면 골 전도 이어폰을 통해 청각정보를 출력하고 골 전도 스피커가 장착 해제되면 스피커를 통해 청각정보를 출력하는 것을 특징으로 하는 시력 보조장치.
9. 시력 취약계층인 사용자의 신체에 착용된 시력 보조장치를 통해 상점 외부를 촬영하여 촬영 영상을 획득하는 단계;
   실시간으로 촬영된 영상으로부터 상점 명을 포함한 시각정보를 인식하는 단계;
   인식된 상점 명을 가진 상점의 대표 판매상품을 포함하는 상점정보를 획득하는 단계; 및
   인식된 상점 명과 함께 해당 상점의 상점정보를 청각정보로 변환하여 출력하는 단계;
   를 포함하는 것을 특징으로 하는 쇼핑 보조 서비스 제공방법.
10. 제 9 항에 있어서, 쇼핑 보조 서비스 제공방법은
    실시간으로 촬영되는 영상으로부터 인식된 시각정보를 이용하여 사용자의 현재위치를 파악하는 단계;
    상점 내부의 상점 실내지도 및 공간좌표 지도를 포함한 맵 데이터를 획득하는 단계;
    사용자로부터 입력받은 음성신호로부터 상점 내 관심상품을 인식하는 단계;
    획득된 맵 데이터를 이용하여 상점 내부공간을 분할하고 분할된 상점 내부공간에서 상점 내부 위치를 파악하는 단계;
    파악된 사용자 위치 및 상점 내부 위치정보를 기초로 하여 인식된 관심상품이 배치된 목적지까지의 이동경로를 생성하는 단계; 및
    목적지까지의 이동경로로 사용자가 이동하도록 안내하는 안내정보를 생성하여 청각정보 형태로 출력하는 단계;
    를 포함하는 것을 특징으로 하는 쇼핑 보조 서비스 제공방법.
11. 제 10 항에 있어서, 쇼핑 보조 서비스 제공방법은
    촬영 영상으로부터 상점 내부의 표식자를 인식하는 단계;
    인식된 시각정보가 상점 내 표식자이면 사용자가 해당 표식자 위치에 있는 것으로 판단하는 단계; 및
    인식된 표식자를 기준으로 목적지까지의 이동경로를 안내하는 안내정보를 생성하여 청각정보 형태로 출력하는 단계;
    를 더 포함하는 것을 특징으로 하는 쇼핑 보조 서비스 제공방법.

Images