KR102047988B1 - 시력 취약계층을 위한 시력 보조장치와 원격관리장치 및 시력 보조방법 - Google Patents

Abstract

시력 취약계층을 위한 시력 보조장치와 원격관리장치 및 시력 보조방법이 개시된다. 일 실시 예에 따른 시력 보조장치는, 시력 취약계층인 사용자의 전면에서 영상을 촬영하는 촬영부와, 촬영 영상으로부터 인공지능 기반 기계학습을 통해 객체, 문자 및 깊이 중 적어도 하나를 포함하는 시각정보를 인식하고 인식한 시각정보를 청각정보로 변환하는 프로세서와, 변환된 청각정보를 출력하는 출력부를 포함한다.

Description

시력 취약계층을 위한 시력 보조장치와 원격관리장치 및 시력 보조방법 {Vision aids apparatus for the vulnerable group of sight, remote managing apparatus and method for vision aids}

본 발명은 시력 취약계층을 위한 시력 보조기술에 관한 것이다.

최근 시각 장애인이 아니더라도 스마트폰 사용 등으로 인해 노안, 원시, 근시, 난시 등이 빨리 온 30-40대가 늘어나고 있다. 거기에, 원시, 근시, 난시군, 고령층 및 시각 장애인을 포함하여 시력 취약계층이라 한다. 이러한 시력 취약계층은 일상생활에서 불편함을 많이 느낀다. 예를 들어, 보행 중에 장애물이나 다른 보행자와 부딪힐 위험들 때문에 외출을 꺼린다. 버스를 타고 싶어도 버스 번호를 읽기 어려워 버스 타기를 망설인다. 또는 책의 글씨를 읽기 어려워 책을 보지 못하는 경우가 있다. 따라서, 이러한 시각적인 불편함을 해결할 수 있는 기술이 요구된다.

한국 등록특허 제10-0405636 (2003.11.03.) 한국 등록특허 제10-1715472 (2017.03.06.)

일 실시 예에 따라, 시력 취약계층의 시력을 보조할 수 있는 시력 보조장치와 원격관리장치 및 시력 보조방법을 제안한다.

일 실시 예에 따른 시력 보조장치는, 시력 취약계층인 사용자의 전면에서 영상을 촬영하는 촬영부와, 촬영 영상으로부터 인공지능 기반 기계학습을 통해 객체, 문자 및 깊이 중 적어도 하나를 포함하는 시각정보를 인식하고 인식한 시각정보를 청각정보로 변환하는 프로세서와, 변환된 청각정보를 출력하는 출력부를 포함한다.

프로세서는, 촬영 영상 데이터로부터 기계학습을 통해 객체 이미지 또는 문자 이미지를 인식하는 제1 영상 처리부와, 촬영 영상 데이터의 영상 분석을 통해 깊이를 인식하는 제2 영상 처리부와, 인식된 객체 이미지, 문자 이미지 또는 깊이정보를 문자 정보로 변환하고 변환된 문자 정보를 청각정보로 변환하여 출력부에 제공하는 신호 처리부를 포함할 수 있다. 제2 영상 처리부는 영상 데이터의 왜곡(distortion)에 기초하여 깊이를 인식할 수 있다.

프로세서는, 촬영 영상에서 사용자 제스처를 감지하는 제스처 감지부와, 감지된 사용자 제스처를 증강현실 기반 제스처로 인식하고 증강현실 기반 제스처에 대응되는 동작 모드를 결정하며 결정된 동작 모드 별로 증강현실 기반 제스처와 매칭되는 동작을 수행하는 기기 제어부를 포함할 수 있다.

프로세서는, 원격관리장치에 원격제어를 요청하고 원격관리장치의 원격제어에 따라 원격으로 시력 보조장치 화면을 공유하며 원격관리장치의 제어요청을 처리하는 원격제어 처리부를 더 포함할 수 있다.

시력 보조장치는, 시력 보조장치의 기기 상태정보를 획득하고 원격관리장치로부터 수신된 사전 서비스 정보를 처리하는 클라이언트 에이전트와, 원격관리장치와 네트워크 연결되어 통신하며, 클라이언트 에이전트를 통해 획득된 시력 보조장치의 기기 상태정보를 원격관리장치에 전송하고 원격관리장치로부터 사전 서비스 정보를 수신하는 통신부를 더 포함하며, 사전 서비스 정보는 기기 상태에 따라 발생 가능한 에러를 사전에 차단하기 위한 정보로서, 에러 예측 내역, 에러 발생 차단을 위한 경고 메시지 및 에러 이전 조치 정보 중 적어도 하나를 포함할 수 있다.

시력 보조장치는, 사용자 명령을 입력받는 입력부를 더 포함하며, 입력부는 에러 예측에 따른 사전 서비스 정보 수신을 위해 에러 기준이 되는 임계값 및 에러 예측 시의 알림 형태를 사용자로부터 미리 설정 입력받을 수 있다.

다른 실시 예에 따른 원격관리장치는, 시력 취약계층인 사용자의 전면에서 촬영된 영상으로부터 인공지능 기반 기계학습을 통해 시각정보를 인식하고 인식한 시각정보를 청각정보로 변환하여 출력하는 시력 보조장치를 관리하며, 시력 보조장치가 정상상태를 유지할 수 있도록 사전 서비스 및 사후 서비스를 제공한다.

원격관리장치는, 시력 보조장치의 기기 상태 정보를 모니터링하여 에러를 사전에 예측하고, 에러가 발생하기 이전에 에러를 처리하기 위한 사전 서비스 정보를 생성하는 클라이언트 관리부와, 정보를 송수신하되, 시력 보조장치의 기기 상태정보를 수신하고 기기상태에 따라 클라이언트 관리부에서 생성된 사전 서비스 정보를 시력 보조장치에 전송하는 네트워크 연결부와, 빅 데이터를 획득하여 분석하고 분석정보를 사전 서비스를 위해 클라이언트 관리부에 제공하는 데이터 분석부를 포함할 수 있다.

클라이언트 관리부는, 수신된 기기 상태 정보를 미리 설정된 임계값과 비교하여 에러를 예측하고, 에러가 예측되면 에러 예측 내역, 에러 발생 차단을 위한 경고 메시지 및 에러 이전 조치 정보 중 적어도 하나를 포함한 에러 정보를 생성하여 네트워크 연결부에 제공할 수 있다. 데이터 분석부는, 데이터 분석부의 데이터 분석 결과 또는 클라이언트 관리부의 예측 결과로부터 통계정보를 생성할 수 있다.

원격관리장치는, 시력 보조장치를 통한 캡처 화면을 모니터링하는 모니터링부와, 시력 보조장치로부터 원격제어 요청을 수신하고 원격 제어명령을 시력 보조장치에 전송하여 원격 엔지니어링을 수행하는 원격 제어부를 더 포함할 수 있다.

원격관리장치는, 시력 보조장치로부터 수신된 촬영 영상을 대상으로 기계학습을 시력 보조장치에 이어서 수행하고 수행에 따른 최종 결과를 생성하여 네트워크 연결부에 제공하는 데이터 처리부를 더 포함할 수 있다.

또 다른 실시 예에 따른 시력 보조장치를 이용하여 시력 취약계층을 보조하기 위한 시력 보조방법은, 시력 보조장치가 시력 취약계층 사용자의 전면에서 영상을 촬영하는 단계와, 촬영 영상에서 소정의 사용자 제스처를 감지하는 단계와, 감지된 소정의 사용자 제스처를 소정의 동작 수행을 위한 증강현실 기반 제스처 포인터로 인식하고 인식된 사용자 제스처와 대응되는 소정의 동작 모드를 결정하는 단계와, 결정된 동작 모드 별로 촬영 영상으로부터 인공지능 기반 기계학습을 통해 객체, 문자 및 깊이 중 적어도 하나를 포함하는 시각정보를 인식하는 단계와, 인식된 시각정보를 청각정보로 변환하여 출력하는 단계를 포함한다.

소정의 동작 모드를 결정하는 단계에서, 감지된 사용자 제스처를 정보 안내를 위한 제스처 포인터로 인식하여 정보 안내 모드로 진입하고, 시각정보를 인식하는 단계에서, 감지된 사용자 제스처 중 손가락을 촬영 영상 내 증강현실 포인터로 인식하고 촬영 영상 내에서 증강현실 포인터가 지시하는 위치의 문자 이미지를 인식하며, 청각정보로 변환하여 출력하는 단계에서, 증강현실 포인터가 지시하는 위치의 문자 이미지를 문자정보로 변환하고 변환된 문자정보를 청각정보로 변환하여 출력할 수 있다.

소정의 동작 모드를 결정하는 단계에서, 감지된 사용자 제스처를 신호등 안내를 위한 제스처 포인터로 인식하여 신호등 안내 모드로 진입하고, 시각정보를 인식하는 단계에서, 감지된 사용자 제스처 중 손가락을 촬영 영상 내 증강현실 포인터로 인식하고 증강현실 포인터가 지시하는 위치의 신호등 색상정보 및 남은 시간정보를 포함하는 신호등 상태를 인식하며, 청각정보로 변환하여 출력하는 단계에서, 인식된 신호등 상태를 문자정보로 변환하고 변환된 문자정보를 청각정보로 변환하여 출력할 수 있다.

소정의 동작 모드를 결정하는 단계에서, 감지된 사용자 제스처를 책 읽기 동작 수행을 위한 제스처 포인터로 인식하여 글 읽기 모드로 진입하고, 시각정보를 인식하는 단계에서, 글 내에서 문자 이미지를 인식하며, 청각정보로 변환하여 출력하는 단계는, 글 내에서 인식된 문자 이미지를 문자정보로 변환하고 변환된 문자정보를 청각정보로 변환하여 출력할 수 있다. 여기서, 글 읽기 모드는 연속 모드로서, 시력 보조장치는 사용자가 계속 포인팅을 하지 않아도 글 내 문자 이미지를 차례대로 기계학습을 이용하여 인식하며 인식된 문자 이미지를 차례대로 음성으로 변환하여 출력할 수 있다.

소정의 동작 모드를 결정하는 단계에서, 감지된 사용자 제스처를 깊이 추정을 위한 제스처 포인터로 인식하여 깊이 추정 모드로 진입하고, 시각정보를 인식하는 단계에서, 촬영 영상에서 전면의 객체 이미지를 인식하고 영상 분석을 통해 객체와 사용자 간의 거리를 인식하며, 청각정보로 변환하여 출력하는 단계에서, 인식된 객체 이미지와 사용자 간의 거리 정보를 문자정보로 변환하고 변환된 문자정보를 청각정보로 변환하여 출력할 수 있다.

소정의 동작 모드를 결정하는 단계에서, 감지된 사용자 제스처를 버스 번호 안내를 위한 제스처 포인터로 인식하여 버스 번호 안내 모드로 진입하고, 시각정보를 인식하는 단계에서, 촬영 영상 내에서 제스처 포인터가 지시하는 위치를 인식하고 인식된 위치의 숫자 이미지를 인식하며, 청각정보로 변환하여 출력하는 단계에서, 인식된 숫자 이미지를 문자정보로 변환하고 변환된 문자정보를 청각정보로 변환하여 출력할 수 있다.

소정의 동작 모드를 결정하는 단계에서, 감지된 사용자 제스처를 지하철 안내를 위한 제스처 포인터로 인식하여 지하철 안내 모드로 진입하고, 시각정보를 인식하는 단계에서, 촬영 영상 내에서 제스처 포인터가 지시하는 위치를 인식하고 인식된 위치의 색상 이미지 및 문자 이미지를 인식하며, 청각정보로 변환하여 출력하는 단계에서, 인식된 색상 이미지 및 문자 이미지를 문자정보로 변환하고 변환된 문자정보를 청각정보로 변환하여 출력할 수 있다.

일 실시 예에 따르면, 시력 취약계층이 일상생활에서 느끼는 불편함을 없애고 환경에 잘 적응할 수 있도록 한다. 예를 들어, 시력 취약계층이 주변의 사물 인지, 깊이 인지, 문자 인지를 쉽게 하도록 한다. 이러한 인지는 시력에 기반한 것으로, 시력이 취약한 계층을 대신하여 사물, 깊이 및 문자 등을 인지하여 이를 음성으로 알려줌에 따라 시력 취약계층을 돕는다.

나아가, 웨어러블 형태의 시력 보조장치를 제공함에 따라 시력 취약계층을 위해 착용, 소지 및 사용이 쉽도록 한다. 복잡한 조작 방법으로 동작하는 장치가 아닌 간단한 제스처로 동작할 수 있도록 하여 사용의 편리성을 높인다. 가격은 중저가로 맞춤에 따라 시력 취약계층의 경제적 부담을 덜어준다. 기계학습 기반 시각정보 인식을 통해 객체 인식률을 높이고 증강현실 기반 제스처 포인팅을 통해 사용자가 편리하게 사용할 수 있도록 한다.

증강현실 기반 제스처 인지, 기계학습 기반 사물 인지, 영상처리 기반 깊이 인지, 기계학습 기반 문자 인식 등의 기술을 이용하여 시력 보조장치를 다양한 시나리오에 사용할 수 있다. 예를 들어, 식당/레스토랑에서 음식 주문 시에 메뉴판의 메뉴를 인식하여 알려주는 시나리오, 거실/서재에서 책이나 잡지를 읽어주는 시나리오, 주변 사물과의 거리 고지를 통해 위험을 방지하는 시나리오, 교차로에서 신호등 상태를 알려주는 시나리오, 버스 정류장에서 버스번호를 안내하는 시나리오, 지하철 출입구를 알려주는 시나리오 등에 다양하게 응용될 수 있다.

웨어러블 디바이스와 제어장치를 분리하고, 웨어러블 디바이스에 촬영부를 두고 제어장치에는 배터리를 둠에 따라, 웨어러블 디바이스의 무게를 가볍게 하여 착용감을 높일 수 있다. 웨어러블 디바이스를 안경의 안경테나 안경 다리에 착용함에 따라 사용자의 거부감을 최소화할 수 있다. 이 경우, 웨어러블 디바이스의 착탈이 쉽다. 나아가, 청각정보를 출력하기 위한 출력부를 골전도 스피커로 구현함에 따라 사용자의 피로도를 줄일 수 이때 골전도 스피커가 적절한 텐션이 유지되도록 한다. 제어장치를 사용자가 소지한 스마트폰과 같은 사용자 단말로 구현하여 웨어러블 디바이스와 연동하는 경우 사용자가 편리하게 사용할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 시력 취약계층을 위한 지능형 시력 보조 시스템의 구성도,
도 2는 본 발명의 일 실시 예에 따른 시력 보조장치의 기능 구성도,
도 3은 본 발명의 일 실시 예에 따른 도 2의 프로세서의 구성도,
도 4는 본 발명의 일 실시 예에 따른 원격관리장치의 구성도,
도 5는 본 발명의 일 실시 예에 따른 시력 보조장치의 하드웨어 구성도,
도 6은 본 발명의 다른 실시 예에 따른 시력 보조장치의 하드웨어 구성도,
도 7 내지 도 9는 본 발명의 일 실시 예에 따른 시력 보조장치의 웨어러블 디바이스의 외관도,
도 10 및 도 11은 사용자가 시력 보조장치의 웨어러블 디바이스를 착용한 모습을 도시한 참조도,
도 12는 본 발명의 일 실시 예에 따른 시력 취약계층을 위한 지능형 서비스 시스템의 개념도,
도 13은 본 발명의 일 실시 예에 따른 시력 취약계층을 위한 지능형 서비스 시스템의 적용 시나리오 조합 예를 도시한 참조도,
도 14는 본 발명의 일 실시 예에 따른 시력 보조장치의 기능 개념을 도시한 개념도,
도 15는 본 발명의 시력 보조장치를 이용하여 식당/레스토랑에서 음식을 주문하는 시나리오,
도 16은 본 발명의 시력 보조장치를 이용하여 거실/서재에서 책이나 잡지를 읽기 위한 시나리오,
도 17은 본 발명의 시력 보조장치를 이용하여 주변 사물과의 거리 고지를 통해 위험을 방지하는 시나리오,
도 18은 본 발명의 시력 보조장치를 이용하여 교차로에서 신호등 상태 파악 시나리오,
도 19는 본 발명의 시력 보조장치를 이용하여 버스 정류장에서 버스번호를 안내하는 시나리오,
도 20은 본 발명의 시력 보조장치를 이용하여 지하철 출입구를 확인하는 시나리오이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.

이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.

도 1은 본 발명의 일 실시 예에 따른 시력 취약계층을 위한 지능형 시력 보조 시스템의 구성도이다.

도 1을 참조하면, 지능형 시력 보조 시스템은 시력 보조장치(2)를 포함하며, 원격관리장치(1) 및 네트워크(3)를 더 포함할 수 있다.

지능형 시력 보조 시스템은 인공지능(artificial intelligence: AI)을 활용하여 시력 취약계층을 지원한다. 시력 취약계층이란 시력이 정상인과는 다른 계층으로, 스마트폰 사용 등으로 인해 노안, 원시, 근시, 난시 등이 빨리 온 계층과, 기존 원시, 근시, 난시군, 고령층, 시각 장애인층을 모두 포함하는 개념이다. 지능형 시력 보조 시스템은 시력 취약계층의 불편함을 극복하고 독립적으로 생활할 수 있도록 시력 보조장치(2)를 부담없는 가격에 제공하는 것을 목적으로 한다.

시력 보조장치(2)는 사용자인 시력 취약계층이 소지하고 휴대할 수 있는 장치이다. 이하, 상세한 설명에는 '사용자'와 '시력 취약계층'이 혼용되어 사용될 수 있다. 시력 보조장치(2)는 시력 취약계층이 착용 가능한 웨어러블 디바이스이거나 이를 포함하는 형태일 수 있다. 웨어러블 디바이스는 착용 및 소지가 용이한 액세서리이다. 웨어러블 디바이스의 예로는 사용자가 착용한 안경의 안경 테 또는 안경 다리 등에 탈부착하는 형태가 있다. 전면에 촬영부가 장착되어, 촬영부를 통해 영상을 촬영할 수 있다. 이러한 웨어러블 디바이스는 기존 안경에도 탈부착할 수 있으며, 무게를 최소화하여 착용하기 편리하도록 한다. 시력 보조장치(2)는 분리된 웨어러블 디바이스 및 제어장치가 결합한 단독형(도 5 참조)일 수 있으며, 웨어러블 디바이스와 스마트폰이 연동한 연동형(도 6 참조)일 수 있다.

시력 보조장치(2)는 인공지능(AI) 기반 기계학습(Machine Learning)을 통해 카메라로 들어오는 영상으로부터 시각정보를 인식하며 인식한 시각정보를 시력 취약계층이 들을 수 있도록 청각정보로 가공하여 출력한다. 시각정보는 객체, 문자, 깊이 등이다. 청각정보는 음성신호, 경고음 등이다. 이에 따라, 시력 취약계층이 사물에 대한 인지를 쉽게 하고 환경에 잘 적응할 수 있도록 한다.

일 실시 예에 따른 지능형 시력 보조 시스템은 시력이 나쁘지 않다 하더라도 눈의 피로를 덜고 싶거나, 노안 등으로 인해 초점이 흐리거나 안 근육 초점을 맞추는 시간이 더딘 경우에도 사용할 수 있다. 예를 들어, 책 자동읽기 모드 등을 제공하여, 사용의 편리성과 고객 확장성을 가진다. 시력 보조장치(2)의 사용 예를 들면, 시각 장애인 A씨는 안경에 착용 가능한 시력 보조장치(2)가 앞에 있는 버스 번호를 인식해 알려줌에 따라 버스를 이용할 수 있다. 여러 대 버스가 정차한 정류장에서 타야 할 버스를 찾기 쉬워졌다. 다른 사용 예로, 저시력층인 B씨는 출퇴근길에 책 보는 재미에 빠졌다. 안경에 착용한 시력 보조장치(2)가 책 내용을 자동으로 인식해 읽어주기 때문이다. 최근 시력이 급격히 나빠져 확대경 없이는 책을 읽지 못했다. 점자도 익숙하지 않았다.

시력 보조장치(2)의 핵심은 앞에 있는 객체 인식이다. 인공지능 기반 기계학습을 통해 사람과 동물, 사물을 구분해 이를 음성으로 알려준다. 기계학습의 특성 상 사용자가 많을수록 정확도는 더 높아진다. 시력 보조장치(2)는 전면 객체와의 거리도 계산해 알려준다. 나아가, 부딪히지 않도록 경고한다. 카메라 촬영 영상에서 문자 이미지를 추출해 이를 읽어주기도 한다. 지금까지는 영상을 지인이나 상담원에게 전송해 구두로 설명을 듣는 방식이었다.

사용자가 원하는 객체를 지목하면, 시력 보조장치(2)는 지목한 객체를 대상으로 시력 보조 서비스를 제공할 수 있다. 원하는 객체를 지목할 때 사용하는 기기 입력방식으로는 증강현실(augmented reality: AR) 기반 포인터를 이용하여 손가락이 지목하는 객체에 대해 바로 인지할 수 있도록 할 수 있다. 예를 들어, 시력 취약계층이 검지만 세우면 증강현실 속 포인터가 된다. 음식점에서 메뉴판을 손가락으로 가리키면 카메라가 인지해 해당 글자를 읽어준다. 책이나 잡지도 혼자서 읽을 수 있다. 손가락으로 'V' 자를 표현하면 책과 잡지로 인지해 자동으로 계속 읽어준다. 손바닥을 펴면 주변 사물과 부딪히지 않도록 깊이 추정 모드로 전환된다. 영상왜곡 처리 이미지 프로세싱으로 정확한 깊이를 계산해낼 수 있다.

시력 보조장치(2)에는 인공지능(AI) 기술, 증강현실(AR), 음성변환(text to speech: TTS) 기술 등의 다양한 기술이 적용된다. 원격제어(remote control)도 가능하다. 인공지능 기술은 기계학습을 통해 영상으로부터 자동으로 객체, 문자, 거리 등의 시각정보를 인식하는 기술을 포함한다. 증강현실 기술은 사용자와 떨어진 객체를 지목하더라도 사용자가 지목한 객체의 이미지를 인식하여 음성으로 알려주는 것과 같이 가상의 세계와 현실의 세계가 결합한 기술이다. 여기서, 사용자의 제스처를 증강현실 포인터로 인식하고 인식된 증강현실 포인터가 지시하는 위치를 인식하는 기술이 포함된다. 음성변환 기술은 인식된 시각정보, 예를 들어 문자 이미지를 문자(text) 정보로 변환하고 이를 사용자가 들을 수 있는 청각정보로 변환하여 음성 출력하는 기술을 포함한다. 원격제어는 시력 보조장치(2)가 네트워크(3)를 통해 연결된 원격관리장치(1)로부터 원격제어를 지원받고 원격관리장치(1)가 시력 보조장치(2)를 모니터링하는 기술을 포함한다.

원격관리장치(1)는 시력 보조장치(2)를 관리한다. 또한, 사용자가 시력 보조장치(2)를 실제 사용할 때 정상상태를 유지할 수 있도록 실시간 사전 서비스(Before Service: B/S) 및 사후 서비스(After Service: A/S)를 제공한다. 현장에서 시력 보조장치(2)가 고장이 나거나 이상동작을 할 경우 시력 취약계층인 사용자의 위험도가 증가하므로 시력 보조장치(2)의 상태를 미리 빅 데이터 기반으로 분석하여 이상징후를 미리 파악한다. 그리고 이상이 발생한 경우, 사용자에게 통보하거나 유지보수인원을 파견하여 사전처리하도록 함에 따라 위험을 미리 제거할 수 있다. 현장에서 문제가 발생했을 경우 네트워크(3)를 통해 시력 보조장치(2)에 대한 기기유지보수도 가능하다. 나아가, 사용자가 동의할 경우 현장의 화면캡처 및 동영상을 저장하는 서비스도 제공할 수 있다. 이때 서비스를 제공하기 위하여 모니터링이 가능하며 이를 지원한다.

네트워크(3)는 원격관리장치(1)와 시력 보조장치(2) 간에 데이터의 송수신이 가능한 유무선 네트워크이다. 네트워크(3)는 다양한 형태의 통신망이 이용될 수 있는데, 예를 들어, Wi-Fi, WLAN(Wireless LAN), Wibro, Wimax, HSDPA(High Speed Downlink Packet Access), 블루투스, DSL, LTE, PCS, 2G, 3G, 4G, 5G, LAN, CDMA, TDMA, GSM, WDM 등의 무선 통신방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coax), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신방식이 이용될 수 있다. 네트워크는 전술한 통신방식에 한정되는 것은 아니며, 전술한 통신 방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 시력 보조장치의 기능 구성도이다.

도 1 및 도 2를 참조하면, 시력 보조장치(2)는 촬영부(20), 입력부(21), 출력부(22), 프로세서(23), 배터리(24), 클라이언트 에이전트(client agent)(25), 통신부(26) 및 메모리(27)를 포함한다.

촬영부(20)는 시력 취약계층인 사용자의 전면에서 촬영한다. 촬영부(20)는 예를 들어 카메라일 수 있다. 객체의 깊이를 인식하기 위해 카메라는 ToF 카메라일 수 있다. 촬영부(20)는 시력 보조장치(2)의 내부 또는 외부에 정면을 바라보도록 배치되어 사용자의 정면을 촬영할 수 있다. 예를 들어, 촬영부(20)는 사용자가 안경의 안경 테나 안경 다리에 착용 가능한 웨어러블 디바이스에 장착되어, 사용자의 시점에 따른 실제 영상을 촬영할수 있다.

입력부(21)는 사용자 명령을 입력받아 이를 프로세서(23)에 제공한다. 입력부(21)는 입력을 위한 사용자 인터페이스를 포함할 수 있다. 예를 들어, 전원 버튼, 볼륨 조절 버튼 등을 포함할 수 있다. 시력 취약계층을 고려하여 버튼을 양각 처리하거나, 진동을 주는 것과 같이 손의 감각으로 버튼 기능을 구현하는 방법 등 시력 취약계층 위주의 입력 인터페이스가 제공된다. 입력부(21)는 에러 예측에 따른 사전 서비스 정보 수신을 위해 에러 기준이 되는 임계값 및 에러 예측 시의 알림 형태를 사용자로부터 미리 설정 입력받을 수 있다.

출력부(22)는 프로세서(23)에 의해 처리된 정보, 통신부(26)를 통해 수신된 정보를 외부로 출력한다. 출력부(22)는 프로세서(23)에서 변환된 청각정보를 음성으로 출력한다. 출력 형태는 음성신호일 수 있으며, 음성신호는 경고 메시지, 경고 음을 포함할 수 있으며, 스피커를 통해 출력된다. 스피커는 골전도 스피커일 수 있다. 이 스피커는 진동을 통해 두개골에 음파를 전달한다. 골전도 스피커의 가장 큰 장점은 바로 귀를 자유롭게 해준다는 점이다. 즉, 고막의 손상이나 피로를 줄여주고 다른 외부의 소리까지 추가로 들을 수 있도록 해준다. 골전도 스피커는 도서관, 지하철과 같은 대중교통수단, 공공장소 등에서 사용이 가능하다. 필요에 따라 출력부(22)는 디스플레이를 포함할 수 있다. 이 경우, 디스플레이를 통해 촬영 영상이 표시될 수 있다. 또한, 촬영 영상에 사용자의 제스처 포인터가 합성되어 표시될 수 있다. 디스플레이를 위해, 시력 보조장치(2)는 스마트 글라스(smart glass)와 같은 안경 형태로 구현될 수 있다.

출력부(22)를 통해 음성신호로 사용자가 지정한 음식 메뉴를 읽어줄 수 있고, 책이나 잡지 등의 글을 자동으로 읽어줄 수 있다. 전방에 위험요소가 있는 경우 이를 음성 또는 경고음으로 알려줄 수 있다. 예를 들어, "전방 3m 이내에 위험요소가 있으니 조심하세요", "돌발상황입니다. 멈추세요." 등을 음성으로 전달하거나, "삐-" 등의 경고음을 전달할 수 있다. 위험 상황이 발생하면, 위험 경보신호를 즉각적으로 전달하여 위험한 상황에 사전 대응하도록 한다.

프로세서(23)는 촬영 영상으로부터 인공지능(AI) 기반 기계학습을 통해 객체, 문자, 깊이 등의 시각정보를 인식하고 인식한 시각정보를 청각정보로 변환한다. 인식된 시각정보가 위험상황이면 위험 경보신호를 생성한다. 기계학습은 촬영 영상 데이터로부터 특징을 추출하고 추출된 특징들을 이용하여 영상 데이터에서 객체를 구분하는 방법이다. 객체의 종류는 사람, 사물일 수 있다. 사람의 경우, 지인 여부를 인식할 수 있다. 사물이면 신호등인지 책인지 문인지 지하철 출입구인지 버스인지 등을 분류한다. 이때, 객체의 윤곽을 인식할 수 있다. 프로세서(23)는 문자를 인식할 수 있는데, 문자는 단어, 문장, 기호, 숫자 등을 포함한다. 기계학습은 시력 보조장치(2)에서 이루어지는데, 필요에 따라 시력 보조장치(2)의 처리능력이 떨어지는 경우, 원격관리장치(1)와의 협업을 통해 이루어질 수도 있다.

프로세서(23)는 입력받은 영상 데이터를 대상으로 기계학습 데이터를 이용해 객체를 인식한다. 신호등을 예로 들면, 프로세서(23)는 영상 데이터와 미리 저장된 형상 패턴을 비교하여 전방에 존재하는 신호등을 검출하고, 검출된 색 패턴과 메모리(27)에 저장된 객체의 색 패턴을 비교하여 신호등 색을 인지하고, 객체 패턴과 색에 의해 신호를 판단한다. 또한, 신호등에 있는 숫자 이미지를 인식한다. 이때, 판단된 신호등이 초록 불이고 숫자 이미지가 20이면, "초록 불이 20초 남았습니다."라는 안내정보를 생성하여 출력부(22)를 통해 출력한다. 프로세서(23)의 세부 구성은 도 3을 참조로 하여 후술한다.

배터리(24)는 시력 보조장치(2)의 구동을 위한 전원을 공급한다. 시력 보조장치(2)가 웨어러블 디바이스와 제어장치로 분리된 경우, 배터리(24)는 제어장치에 위치할 수 있다. 제어장치에 위치하는 경우 사용자가 착용하는 웨어러블 디바이스의 무게를 가볍게 할 수 있다. 웨어러블 디바이스를 스마트폰과 같은 사용자 단말과 연동하는 경우, 배터리(24)는 사용자 단말의 배터리를 이용할 수도 있다. 배터리(24)는 교체식, 충전식 또는 이 두 방식 모두를 사용할 수 있다. 예를 들어, 1차적으로 교체식 배터리를 통해 전원공급이 이루어지도록 한 상태에서, 교체식 배터리를 모두 사용할 경우 충전식 배터리는 예비 전원으로서 사용할 수 있다.

클라이언트 에이전트(25)는 시력 보조장치(2)의 기기 상태정보를 획득하고 원격관리장치(1)로부터 수신된 사전 서비스 정보를 처리한다. 기기 상태정보는 장치 별 기기 정보와 기기를 통해 측정되는 센싱 정보를 포함할 수 있다. 기기 정보는 시력 보조장치(2) 자체에서 획득 가능한 장치 정보로서, 예를 들어 배터리 잔량, CPU, 메모리, 발열량, 장치 온도, 촬영 영상 등이다. 촬영 영상은 시력 보조장치(2)의 촬영부(20)를 이용하여 촬영된 것이다. 센싱 정보는 센서를 통해 획득되는 정보로서, GPS 센서, 가속도 센서, 기압 센서, 지자기 센서 등의 각종 센서를 통해 측정된 정보이다. 센서는 시력 보조장치(2)에 장착될 수 있고 그러지 않을 수도 있다. 전술한 기기 상태 정보는 이에 한정되는 것은 아니고, 시력 보조장치(2)의 동작 상태를 나타낼 수 있는 정보라면 제한 없이 사용될 수 있다. 상태 정보 분석은 대량의 데이터를 신속하게 처리하기 위해 빅 데이터 분석(Big Data Analysis)을 이용할 수 있다. 사전 서비스 정보는 기기 상태에 따라 발생 가능한 에러를 사전에 차단하기 위한 정보로서, 에러 예측 내역, 에러 발생 차단을 위한 경고 메시지 및 에러 이전 조치 정보 중 적어도 하나를 포함한다.

통신부(26)는 외부로부터 정보를 수신하거나 외부로 정보를 전송한다. 통신부(26)는 네트워크(3)를 이용할 수 있다. 외부는 원격관리장치(1)일 수 있다. 일 실시 예에 따른 통신부(26)는 원격관리장치(1)와 네트워크(3) 연결되어 통신하며, 시력 보조장치(2)의 기기 상태정보를 원격관리장치(1)에 전송하고 원격관리장치(1)로부터 기기 상태에 따른 사전 서비스 정보를 수신한다.

메모리(27)는 시력 보조장치(2)에서 동작 수행을 위해 필요한 정보와 동작 수행에 따라 생성되는 정보가 저장된다. 예를 들어, 메모리(27)에는 촬영 영상에서 객체를 인식하기 위해, 기계학습을 수행하기 위한 명령어와, 객체의 형상 패턴, 색 패턴, 신호 패턴 등의 패턴에 대해 기계학습된 데이터가 미리 저장될 수 있다.

도 3은 본 발명의 일 실시 예에 따른 도 2의 프로세서의 구성도이다.

도 1 내지 도 3을 참조하면, 시력 보조장치(2)의 프로세서(23)는 제1 영상 처리부(231), 제2 영상 처리부(232), 신호 처리부(233), 제스처 감지부(234), 기기 제어부(235) 및 원격제어 처리부(236)를 포함한다.

제1 영상 처리부(231)는 촬영 영상 데이터로부터 기계학습을 통해 객체 이미지 또는 문자 이미지를 인식한다. 이때, 광학적 문자 인식 방법과 같은 일반적으로 사용되는 문자 인식 알고리즘을 추가로 사용할 수 있다. 제2 영상 처리부(232)는 촬영 영상 데이터의 영상 분석을 통해 깊이를 인식한다. 예를 들어, 영상 데이터의 왜곡(distortion)에 기초하여 깊이를 인식한다. 카메라로 촬영된 영상은 가장자리로 갈수록 왜곡이 생기므로 이 왜곡을 펴주고, 펴주는 정도에 따라 객체와 사용자 간의 거리를 계산한다. ToF 카메라는 교란이 일어나는 단점이 있어, ToF 카메라와 왜곡 기반 영상 처리 기술을 병행하여 사용할 수도 있다.

제1 영상 처리부(231)와 제2 영상 처리부(232)가 입력받는 영상 데이터는 전 처리를 거쳐 노이즈가 제거된 영상일 수 있다. 예를 들어, 영상 데이터에서 불필요한 상하, 좌우, 마진(margin) 측 영역을 제거하여 관심영역(Region Of Interest: ROI)에 해당하는 영상 데이터를 입력받아 처리할 수 있다.

신호 처리부(233)는 각 영상 처리부(231,232)를 통해 인식된 객체 이미지, 문자 이미지 또는 깊이정보를 문자 정보로 변환하고 변환된 문자 정보를 청각정보로 변환하여 출력부(22)에 제공한다. 예를 들어, 인식된 객체가 "신호등의 초록 불"과 "30"이라면, 이를 문자 정보인 "초록 불이 30초 남았습니다."로 변환하고, 변환된 문자 정보를 청각정보인 음성으로 변환한다.

제스처 감지부(234)는 촬영 영상으로부터 사용자 제스처를 감지한다. 제스처 감지부(234)는 영상 데이터로부터 인공지능(AI) 기반 기계학습을 통해 사용자의 손 모양과 동작을 포함한 객체 이미지를 인식할 수 있다. 기기 제어부(235)는 제스처 감지부(234)를 통해 감지된 사용자 제스처를 증강현실 기반 제스처로 인식하고 증강현실 기반 제스처에 대응되는 동작 모드를 결정하며 결정된 동작 모드 별로 증강현실 기반 제스처와 매칭되는 동작을 수행한다. 원격제어 처리부(236)는 원격관리장치(1)에 원격제어를 요청하고 원격관리장치(1)의 원격제어에 따라 원격으로 시력 보조장치의 캡처 화면을 공유하며 원격관리장치(1)의 제어요청을 처리한다.

도 4는 본 발명의 일 실시 예에 따른 원격관리장치의 구성도이다.

도 1 및 도 4를 참조하면, 원격관리장치(1)는 인증 관리부(10), 모니터링부(11), 네트워크 연결부(12), 원격 제어부(13), 데이터 처리부(14), 클라이언트 관리부(15), 프로토콜 처리부(16) 및 데이터 분석부(17)를 포함한다.

인증 관리부(10)는 요청받은 시력 보조장치(2)의 사용자 정보의 유효성을 검증한다. 필요에 따라 원격관리장치(2)로 수신되는 요구사항의 주체가 누구인지를 인증한다. 모니터링부(11)는 시력 보조장치(2)를 통한 캡처 화면을 모니터링한다. 이때, 관리자 단말에 모니터링 결과를 제공하거나, 관리자 조작을 돕는 기능을 제공한다. 원격 제어부(13)는 시력 보조장치(2)로부터 원격제어 요청을 수신하고 원격 제어명령을 시력 보조장치(2)에 전송하여 원격 엔지니어링을 수행한다.

데이터 처리부(14)는 네트워크 연결부(12)를 통해 시력 보조장치(2)로부터 수신된 실제영상을 대상으로 기계학습을 시력 보조장치(2)에 이어서 수행하고 수행에 따른 최종 결과를 생성하여 네트워크 연결부(12)에 제공한다. 이때, 네트워크 연결부(12)는 최종 결과를 시력 보조장치(2)에 제공한다. 원격관리장치(1)의 기계학습 기반 시각정보 인식은 시력 보조장치(2)의 장치 처리능력에 따라 선택적으로 이루어질 수 있다. 예를 들어, 시력 보조장치(2)의 장치 처리능력이 떨어지는 경우에, 원격관리장치(1)에 요청하면 원격관리장치(1)에서 기계학습을 이어서 수행할 수 있다.

클라이언트 관리부(15)는 시력 보조장치(2)의 기기 상태 정보를 모니터링하여 에러를 사전에 예측하고, 에러가 발생하기 이전에 에러를 처리하기 위한 사전 서비스 정보를 생성한다. 에러 예측은 수신된 기기 상태 정보를 미리 설정된 임계값과 비교하는 방식을 이용할 수 있다. 예를 들어, 배터리 상태를 정상상태 및 위험상태로 구분하고 이를 배터리 잔량 임계값으로 구분한다. 수신된 기기 상태 정보인 배터리 잔량이, 정상상태 임계값과 위험상태 임계값 중 어디에 포함되는지를 판단하여 에러를 예측한다. 위험상태 임계값에 해당하는 경우 에러 예측으로 판단할 수 있다.

사전 서비스 정보는 에러 예측 내역, 에러 발생 차단을 위한 경고 메시지 및 에러 이전 조치 정보 중 적어도 하나를 포함한다. 에러 예측 내역은 에러 예측 상태를 나타내는 것으로, 에러가 예측되는 시력 보조장치(2)의 식별을 위한 기기 명칭 또는 식별자, 기기 기본 정보, 기기 위치 정보, 에러 예측에 관한 시간 정보, 에러 원인 정보를 포함할 수 있다. 경고 메시지는 에러 발생을 경고하는 신호이다. 음성, 텍스트, 알람 음 등을 통해 경고 메시지를 출력할 수 있다. 에러 조치 정보에는 에러 사전 해결을 위한 방법, 컨택 포인트, 링크 정보 등이 포함한다. 에러 사전 해결을 위한 방법의 예로는 문제가 발생한 부품의 교체, 충전 등이 있을 수 있다.

네트워크 연결부(12)는 시력 보조장치(2) 및 관리자 단말 등과 정보를 송수신한다. 일 실시 예에 따른 네트워크 연결부(12)는 클라이언트 관리부(15)를 통해 에러가 예측되면, 에러가 발생하기 이전에 관리자 단말을 통해 관리자에 경고 메시지를 통보한다. 예를 들어, 관리자에게 그 결과를 송부하여 상황에 즉각 대처할 수 있도록 한다. 알림 방식은 E-mail, SMS, ARS 등의 방식 등 기존의 통신수단을 모두 활용할 수 있다. 다른 예로, 네트워크 연결부(12)는 시력 보조장치(2)와 통신하면서 시력 보조장치(2)의 기기 상태정보를 수신하고 시력 보조장치(2)의 기기상태에 따라 클라이언트 관리부(15)에서 생성된 사전 서비스 정보를 시력 보조장치(2)에 전송한다. 사전 서비스 정보는 에러 예측 내역, 에러 발생 차단을 위한 경고 메시지 및 에러 이전 조치 정보 중 적어도 하나를 포함한다.

프로토콜 처리부(16)는 시력 보조장치(2)의 정상신호를 수신하여 파싱하고 이를 처리하기 위한 통신규약을 구현해주는 소프트웨어 모듈이다.

데이터 분석부(17)는 빅 데이터를 획득하여 분석하고 분석정보를 사전 서비스를 위해 클라이언트 관리부(15)에 제공한다. 일 실시 예에 따른 데이터 분석부(17)는 데이터 분석부(17)의 분석 결과 또는 클라이언트 관리부(15)의 예측 결과로부터 통계정보를 생성하여 관리한다. 관리자는 통계정보를 통해 에러 예측 결과를 쉽게 파악할 수 있다.

데이터 분석부(17)는 미리 설정된 기간동안 기기 상태 정보를 수집하고 수집된 기기 상태 정보로부터 유효한 표준 데이터를 추출함에 따라 시력 보조장치(2)의 환경에 기반하여 유연하게 표준 데이터를 설정할 수 있다. 미리 설정된 기간동안 수집되는 상태 정보는 그 양이 방대하므로 대량의 수집 데이터를 신속하게 처리할 수 있도록 빅 데이터 분석을 수행할 수 있다. 예를 들어, 날씨정보와 날씨에 따른 상태정보를 수집하여 수집된 상태 정보로부터 유효한 표준 데이터를 추출한다.

원격관리장치(1)의 에러 예측 및 이에 따른 사전 서비스의 예를 들면, 시력 보조장치(2)의 상태 정보 중 배터리 잔량을 보고 배터리 잔량이 미리 설정된 임계값 범위에 든 경우, 예를 들어 10% 이하인 경우 교체 단계로 예측하여, 배터리 소모에 의해 시력 보조장치(2)가 꺼지기 전에 이를 알리는 경고 메시지를 생성하여 시력 보조장치(2)에 전송한다.

도 5는 본 발명의 일 실시 예에 따른 시력 보조장치의 하드웨어 구성도이다.

도 2, 도 3 및 도 5를 참조하면, 시력 보조장치(2)는 분리된 웨어러블 디바이스(6)와 제어장치(7-1)를 포함한다. 웨어러블 디바이스(6)는 도 2의 촬영부(20), 입력부(21) 및 출력부(22)를 포함할 수 있다. 제어장치(7-1)는 도 2의 프로세서(23), 배터리(24), 클라이언트 에이전트(25), 통신부(26) 및 메모리(27)를 포함할 수 있다. 제어장치(7-1)는 웨어러블 디바이스(6)와 연결부(8)를 통해 결합된다.

웨어러블 디바이스(6)와 제어장치(7-1)가 분리되는 이유는 제어장치(7-1)에 배터리(24) 등이 들어가기 때문이다. 웨어러블 디바이스(6)와 제어장치(7-1)가 통합되었을 때는 배터리(24)의 무게 때문에 착용감이 떨어져 장시간 사용이 어렵다. 이때, 연결부(8)는 유선일 수 있다. 물론 블루투스나 Wi-Fi와 같은 무선통신방식도 가능하다. 다만, 웨어러블 디바이스(6)에 무선통신방식으로 연동이 되었을 때에도 배터리(24)가 장착되어야 하기 때문에, 배터리(24)를 제어장치(7-1)에 장착하고 웨어러블 디바이스(6)를 유선으로 연동하는 것이 바람직하다. 꼭 필요한 경우 옵션으로 블루투스 등의 무선통신방식을 적용할 수 있다.

제어장치(7-1)는 기계학습 라이브러리가 작동할 수 있는 충분한 성능이 나올 수 있도록 리눅스, 윈도우즈, 안드로이드, iOS 등 기존의 OS를 기반으로 동작한다. 제어장치(7-1)는 긴급한 경우 Wi-Fi/LTE 등의 통신기능을 통해 기기상태를 파악할 수 있어야 하며, 이를 위해 제어장치(7-1)에는 클라이언트 에이전트(25)가 설치된다. 제어장치(7-1)는 범용적인 사용자 단말, 예를 들어 스마트폰으로 대체 운영이 가능하도록 리눅스, 윈도우즈, 안드로이드, iOS와 같은 OS를 우선 고려한다.

웨어러블 디바이스(6)는 사용자의 신체에 별도로 장착을 할 수 있어야 하므로 머리에 고정할 수 있는 틀이 필요한데, 이때 일반적인 안경의 안경 다리를 사용할 수 있도록 하여 사용자 거부감을 최소화한다. 웨어러블 디바이스(6)는 일반 안경 다리에 착탈이 쉬운 형태로 구성되어야 하며, 그러면서도 골전도 스피커의 기능을 활용할 수 있도록 적절한 텐션이 유지되어야 한다. 안경 다리에 웨어러블 디바이스(6)를 장착하고 웨어러블 디바이스(6)의 측면 앞쪽에 부착된 촬영부를 통해 실제 영상을 촬영함에 따라 사용자가 바라보는 시점에서 실제 영상을 획득할 수 있으며, 촬영 시 사용자의 불편을 없앨 수 있다.

도 6은 본 발명의 다른 실시 예에 따른 시력 보조장치의 하드웨어 구성도이다.

도 6을 참조하면, 시력 보조장치(2)는 도 5의 제어장치(7-1)를 사용자 단말(7-2)로 대체 가능하다. 사용자 단말(7-2)의 기능은 제어장치(7-1)의 그것과 유사하므로 상세한 설명은 생략한다.

도 7 내지 도 9는 본 발명의 일 실시 예에 따른 시력 보조장치의 웨어러블 디바이스의 외관도이다.

도 7 내지 도 9를 참조하면, 웨어러블 디바이스(6)는 바디(60), 카메라(62), 골전도 스피커(64), 결합부(66), 전원 버튼(68) 및 볼륨 조절 버튼(69)를 포함한다. 카메라(62)는 도 2의 촬영부(20)에 해당하고, 골전도 스피커(64)는 도 2의 출력부(22)에 해당하며, 전원 버튼(68) 및 볼륨 조절 버튼(69)은 도 2의 입력부(21)에 해당한다.

카메라(62)는 사용자의 시점을 따라 실제영상을 촬영하도록 바디(60)에 설치된다. 촬영 영상은 촬영 영상 내에서 기계학습 기반 시력정보를 인식하고 나아가 사용자 제스처를 인식하기 위해 사용된다. 카메라(62)는 도 7 내지 도 9에 도시된 바와 같이, 바디(60)의 측면 앞쪽에 부착될 수 있다. 이 경우, 사용자가 바라보는 시점에서 실제 영상을 촬영할 수 있다.

골전도 스피커(64)는 청각정보를 출력하도록 바디(60)에 설치된다. 골전도 스피커(64)는 고막이 아닌 뼈를 통해 청각정보를 전달하는 방식이다. 골전도 스피커(64)는 사용자의 얼굴이나 귀 주변에 밀착하면서 사용자에게 청각정보를 전달한다. 골전도 스피커(64)는 도 7 내지 도 9에 도시된 바와 같이, 다리 구조의 몸체 일단에 진동판 형태로 이루어질 수 있다. 몸체는 적어도 일부가 바디(60)에 삽입되고 나머지는 외부로 돌출된 다리 구조이다. 도 7 내지 도 9에서는 다리 구조가 두 개로 나누어져 있다. 진동판은 동그란 형태일 수 있다. 진동판에 소정의 텐션(tension)을 가지도록 한다. 소정의 텐션은 인체 착용 시 무리가 없을 정도의 텐션이다. 골전도 스피커(64)는 다수 개일 수 있다. 도 7 내지 도 9에서는 2개를 도시하고 있다. 다수인 경우, 적어도 하나는 지지대로 사용될 수 있다.

결합부(66)는 바디(60)를 사용자의 신체에 착용하기 위한 구조를 가진다. 결합부(66)는 바디(60)의 측면에 설치될 수 있는데, 카메라(62)와는 다른 측면에 설치될 수 있다. 결합부(66)는 사용자가 착용한 안경의 안경테 또는 안경 다리를 수용하기 위한 수용 홀을 구비한 튜브 형태일 수 있다. 결합부(66)는 신축성을 가진 소재로 구성될 수 있다. 예를 들어, 합성수지, 고무소재일 수 있다. 다른 예로, 결합부(66)는 안경에 탈부착을 위해 자석을 포함할 수 있다.

전원 버튼(68) 및 볼륨 조절 버튼(69)은 사용자가 시력 취약계층임을 배려한 구조일 수 있다. 예를 들어, 전원 버튼(68) 및 볼륨 조절 버튼(69)은 양각 구조, 진동을 주는 구조와 같이 사용자에 손 감각을 제공한다.

도 10 및 도 11은 사용자가 시력 보조장치의 웨어러블 디바이스를 착용한 모습을 도시한 참조도이다.

도 10 및 도 11을 참조하면, 튜브 형태의 결합부(66)의 수용 홀에 사용자의 안경 다리가 끼워지며, 전면의 카메라(62)를 통해 영상을 촬영한다. 그리고 골전도 스피커(64)가 귀 주변에 위치하여 사용자가 골전도 스피커(64)를 통해 출력되는 소리를 들을 수 있다.

도 12는 본 발명의 일 실시 예에 따른 시력 취약계층을 위한 지능형 서비스 시스템의 개념도이다.

도 12를 참조하면, 시력 보조장치(2)는 사용자(4)의 전면에 보이는 시각정보를 청각정보로 변환하여 이를 출력함에 따라 사용자(4)의 시력을 보조한다. 사용자(4)는 시력 취약계층으로서, 개인, 기업, 공공기관으로 확장될 수 있다.

시력 보조장치(2)는 웨어러블 디바이스(6)와 제어장치(7-1)로 분리된 형태일 수 있다. 웨어러블 디바이스(6)는 도 12에 도시된 바와 같이 사용자(4) 안경의 안경 다리에 탈부착하는 형태일 수 있다. 연결부(8)는 웨어러블 디바이스(6)와 제어장치(7-1)를 연결한다. 연결부(8)는 도 12에 도시된 바와 같이 유선으로 웨어러블 디바이스(6)와 제어장치(7-1)를 연결할 수 있다. 무선방식을 이용하여 연결하거나 무선방식을 병행하여 사용할 수도 있다. 웨어러블 디바이스(6)에 촬영부가 장착되고 제어장치(7-1)에 배터리가 장착될 수 있다.

다른 예로, 웨어러블 디바이스(6)가 사용자 단말(예를 들어, 스마트폰)(7-2)과 연동된 형태일 수 있다. 연결부(8)는 웨어러블 디바이스(6)와 사용자 단말(7-2)을 연결한다. 연결부(8)는 도 12에 도시된 바와 같이 유선으로 웨어러블 디바이스(6)와 사용자 단말(7-2)을 연결할 수 있다. 무선방식을 이용하여 연결하거나 무선방식을 병행하여 사용할 수도 있다. 웨어러블 디바이스(6)에 촬영부가 장착되고 사용자 단말(7-2)의 배터리를 이용할 수 있다.

시력 보조장치(2)는 사용자 제스처, 예를 들어, 손바닥을 보인다든지 주먹을 쥐는 동작을 통해 사용자가 하고자 하는 의도를 파악하여 파악된 의도에 맞는 시력 보조 서비스를 제공한다. 예를 들어, 사용자(4)가 손바닥을 보이는 제스처를 보이면, 주변의 위험요소와 사용자(4) 간의 거리를 추정하고 이를 안내하는 서비스를 제공한다. 사용자(4)가 멀리 떨어진 대상을 지시하더라도 이를 제스처를 통해 인지한다는 점에서 증강현실 기술이 적용된다.

시력 보조장치(2)는 촬영 영상으로부터 인공지능(AI) 기반 기계학습을 통해 객체를 구분해 음성으로 알려준다. 시력 보조장치(2)는 전면 객체와의 거리도 계산하여 알려준다. 객체를 인식하면 이를 문자 정보로 변환하고 다시 음성신호로 변환하는 음성변환 기술이 적용된다. 음성신호는 골전도 스피커를 통해 사용자(4)에 전달될 수 있다.

원격관리장치(1)는 시력 보조장치(2)로부터 로그 데이터를 수집하고, 기기 상태를 파악하는 모니터링을 수행한다. 이때, 모니터링 결과에 따라 조치가 필요한 경우 이를 조치하며, 시력 보조장치(2)에 대한 원격제어도 가능하다. 모니터링 및 원격제어는 실시간으로 이루어질 수 있다. 원격관리장치(1)는 사용자 이미지, 동영상 등을 수집하여 이를 데이터베이스에 저장해 둘 수 있다.

원격관리장치(1)는 에러 예측에 따라 에러 발생 이전에 조치하는 사전 서비스를 제공한다. 이때, 관리자(5)에게 에러 상태를 모니터링하여 경고함에 따라 관리자(5)가 이를 제거하도록 지시할 수 있다. 관리자(5)는 센터 담당자 또는 로컬 엔지니어일 수 있다. 센터 담당자는 총괄 권한이 있는 담당자이다. 로컬 담당자는 고장 원인에 따라 현장에서 직접 조치할 수 있는 로컬 엔지니어이다. 원격관리장치(1)는 시력 보조장치(2)의 부품 불량, 장치 불량, 배터리 소진, 긴급상황 발생 등을 모니터링하여 관리자(5)가 조치하도록 지시한다. 시력 보조장치(2)에 긴급상황이 발생하면 이를 관리자(5)에 경고한다. 시력 보조장치(2)의 기기 자체나 부품에 문제가 발생하면, 문제가 발생한 기기 또는 부품을 사전 교체하도록 관리자(5)에 지시한다.

조치의 다른 예로, 시력 보조장치(2)에 직접 기기 제어 명령을 전송하여 시력 보조장치(2)를 제어한다. 예를 들어, 시력 보조장치(2)의 배터리 잔량이 미리 설정된 값 이하인 경우, 배터리를 교체하라는 제어 명령을 전송하여 시력 보조장치(2) 사용자가 이를 교체하도록 한다.

관리자(5)는 원격관리장치(1)를 사용하는 사람으로서, 원격관리장치(1)를 통해 제공되는 정보를 확인한다. 이때, 관리자(5)는 에러 예측 결과를 다양한 관리자 단말, 예를 들어 컴퓨터, 데스크 탑, 테블릿 PC, 스마트폰 등을 통해 모니터링하면서 시력 보조장치(2)의 에러를 사전에 인식한다. 관리자(5)가 에러를 사전에 인식하면 해당 시력 보조장치(2)를 대상으로 원격진단(remote diagnosis) 및 복구(repair) 할 수 있다.

관리자(5)는 원격관리장치(1)로부터 시력 보조장치(2)에 대한 에러 예측에 따른 경고 메시지를 소정의 방식으로 통보받을 수 있다. 소정의 방식이라 함은, 전화(call), 문자 메시지(MMS), 이메일(E-mail) 등일 수 있다. 관리자(5)는 경고 메시지를 통보받으면, 즉시 에러가 예측되는 시력 보조장치(2)에 대한 조치를 취하거나, 소정의 시점, 예를 들어 정기점검 때에 해당 시력 보조장치(2)를 점검할 수 있다.

사전 서비스의 실시 예를 들면, 시력 보조장치(2)의 사용자가 집을 나가기 전에, 집에서 시력 보조장치(2)를 가지고 Wi-Fi 연결을 통해 원격관리장치(1)에 접속하고, 시력 보조장치(2)의 기기 상태 정보를 원격관리장치(1)에 전송한다. 배터리 잔량을 예로 들면, 원격관리장치(1)는 수신된 기기 상태 정보 내 배터리 잔량이 미리 설정된 임계값, 예를 들어 60% 이상이면 정상인 것으로 판단하여 사용자에게 정상임을 알린다. 사용자가 활동을 하다 카페에 들어가 Wi-Fi 연결을 통해 원격관리장치(1)에 접속하고, 원격관리장치(1)는 수신된 기기 상태 정보 내 배터리 잔량이 미리 설정된 임계값, 예를 들어 30% 이하이면, 사용자에게 "배터리를 갈아 주세요." 또는 "배터리를 충전해주세요." 등의 경고신호를 생성한다. 경고신호에 따라 사용자는 배터리를 갈거나 충전함에 따라 배터리 문제를 해결한다.

에러 예측에 따른 사전 서비스를 위해 임계값을 미리 설정할 수 있다. 그리고 미리 설정된 임계값과 시력 보조장치(2)로부터 수신된 기기 상태 정보 값을 비교하여 에러를 예측할 수 있다. 임계값은 시력 보조장치(2)의 사용자가 설정할 수 있고, 원격관리장치(1)가 빅 데이터 기반 분석을 통해 미리 설정해 놓을 수 있다. 사용자 설정의 예로서, 사용자가 배터리 잔량이 30% 이하가 되면 원격관리장치(1)가 이를 자동으로 알림 하도록 설정할 수 있다.

원격관리장치(1)의 사전 서비스는 미리 설정된 주기, 예를 들어 3분마다 한 번씩 이루어질 수 있다. 또는 모니터링을 하다가 이벤트, 예를 들어 배터리를 교체해야 하는 상황이 발생할 때 사전 서비스가 이루어질 수 있다.

도 13은 본 발명의 일 실시 예에 따른 시력 취약계층을 위한 지능형 서비스 시스템의 적용 시나리오 조합 예를 도시한 참조도이다.

도 12 및 도 13을 참조하면, 시력 보조장치(2)는 사용자의 제스처를 인식한다(610). 제스처의 형태는 동작형태, 정지형태, 또는 동작과 정지가 혼합된 형태일 수 있다. 동작형태의 예로는 손을 좌우로 흔드는 제스처가 있고, 정지형태의 예로는 손을 편 채 있는 그대로 있는 제스처가 있다.

시력 보조장치(2)는 인공지능(AI) 기반 기계학습을 통해 촬영 영상에서 객체를 인식한다(620). 객체인식은 객체의 종류 인식, 윤곽 인식을 포함한다. 종류 인식은 사람(person)인지 사물인지, 사물이면 개(dog)인지 의자(chair)인지를 구분하는 것이다. 윤곽 인식을 통해서 사람을 구별할 수 있다. 나아가 지문인식도 구현할 수 있다.

시력 보조장치(2)는 인식된 객체와 사용자 간의 깊이를 인지한다(630). 깊이 인지는 ToF 카메라를 통해 이루어질 수 있다. 또는 촬영 영상에 대한 영상 처리를 통해 이루어질 수도 있다. 예를 들어, 영상 데이터의 왜곡(distortion)에 기초하여 깊이를 인식한다. 카메라로 촬영된 영상은 가장자리로 갈수록 왜곡이 생기므로 이 왜곡을 펴주고 펴주는 정도에 따라 객체와 사용자 간의 거리를 계산한다. ToF 카메라는 교란이 일어나는 단점이 있어, ToF 카메라와 왜곡 기반 영상 처리 기술을 병행하여 사용할 수도 있다. 시력 보조장치(2)는 인공지능(AI) 기반 기계학습을 통해 촬영 영상에서 문자를 인식한다(640). 문자는 단어, 문장, 숫자, 기호 등을 포함한다.

전술한 바와 같이, 증강현실 기반 제스처 인지(610), 기계학습 기반 사물 인지(620), 영상처리 기반 깊이 인지(630), 기계학습 기반 문자 인식(640) 등의 기술을 이용하여 시력 보조장치(2)를 다양한 시나리오에 사용할 수 있다. 예를 들어, 식당/레스토랑에서 음식 주문 시에 메뉴판의 메뉴를 인식하여 알려주는 시나리오(도 15 참조), 거실/서재에서 책이나 잡지를 읽어주는 시나리오(도 16 참조), 주변 사물과의 거리 고지를 통해 위험을 방지하는 시나리오(도 17 참조), 교차로에서 신호등 상태를 알려주는 시나리오(도 18 참조), 버스 정류장에서 버스번호를 안내하는 시나리오(도 19 참조), 지하철 출입구를 알려주는 시나리오(도 20 참조) 등에 다양하게 응용될 수 있다.

도 14는 본 발명의 일 실시 예에 따른 시력 보조장치의 기능 개념을 도시한 개념도이다.

도 14을 참조하면, 사용자가 시력 보조장치(2)의 웨어러블 디바이스(6)를 착용, 예를 들어 안경의 안경 다리에 장착하고 손바닥을 펴는 제스처(1400)를 취한다. 그러면 손바닥을 펴는 제스처(1400)를 증강현실 기반 개체 포인터로 인식하고 그에 맞는 동작 모드로 전환하여 시각정보 인식을 시작한다. 시각정보 인식의 예로는 기계학습 기반 사물 인지(1410), 거리 인지(1420), 문자 인지(1430) 등이 있다. 시각정보 인식이 이루어지면 인식된 시각정보를 문자 정보로 변환하고 변환된 문자 정보를 음성으로 변환하여 출력한다. 예를 들어, 도 14에 도시된 바와 같이, 촬영 영상에서 기계학습을 통해 사물(의자, 책상 등)을 인지하고 이를 사용자가 즉시 인지할 수 있는 수준으로 소리로 전환하여 “의자입니다.”, “책상입니다.”와 같은 형태로 고지한다.

도 15 내지 도 20은 본 발명의 일 실시 예에 따른 시력 보조장치를 이용하여 구현 가능한 다양한 시나리오들을 도시한 예시도이다. 세부적으로, 도 15는 식당/레스토랑에서 음식주문 시나리오를, 도 16은 거실/서재에서 글 읽기 시나리오를, 도 17은 주변 사물과의 거리 고지를 통한 위험 방지 시나리오를, 도 18은 교차로에서 신호등 상태 파악 시나리오를, 도 19는 버스 정류장에서 버스번호 안내 시나리오를, 도 20은 지하철 출입구 확인 시나리오를 각각 보여준다.

도 15를 참조하면, 식당/레스토랑에서 음식주문을 위해 사용자는 메뉴판을 보고, 손가락 하나로 "야채김밥"이라는 메뉴를 가리킨다. 시력 보조장치는 손가락 지시를 증강현실을 기반으로 인지하고 촬영 영상 내 지시 위치를 인식한다. 그리고 인식된 위치의 '야채김밥 2000'이라는 문자 이미지를 기계학습을 이용하여 인식하며 인식된 문자 이미지를 음성으로 변환하여 출력한다. 사용자는 이를 청취 후 음식을 주문한다. 나아가, 증강현실 포인팅이 대기하고 있다가 사용자가 손가락으로 다른 위치를 지시하면 지시 위치 인식, 인식된 위치의 문자 이미지 인식, 인식된 문자 이미지에 대한 음성으로의 변환 및 출력 프로세스를 반복 수행한다.

이와 같은 방법은, 증강현실 기술이 적용된 포인터 인지 기술, 인공지능(AI) 기반 기계학습을 적용하여 메뉴판의 문자를 인식하는 기술, 메뉴판의 문자 인지 후 음성으로의 변환 및 출력 기술이 사용된다.

도 16을 참조하면, 거실/서재에서 글 읽기를 위해 사용자는 책을 향해 V 제스처를 취한다. 글은 책, 신문, 잡지 등일 수 있다. 시력 보조장치는 V 제스처를 인지하고, 인지된 V 제스처를, 글 읽기를 위한 동작으로 인식하고 글 읽기 모드로 진입한다. 이때, 촬영 영상 내 책/잡지의 문자 이미지를 차례대로 기계학습을 이용하여 인식하며 인식된 문자 이미지를 음성으로 변환하여 출력한다.

사용자는 계속 포인팅을 하지 않아도 청취하면서 책/잡지를 읽을 수 있다. 즉, 신문, 잡지 등 문자나 숫자의 사용이 빈번한 경우 연속 모드를 사용할 수 있고 연속 모드 지시를 인지하여 읽어주고 처리한다. 쇼핑, 약국을 갔을 때 제품에 기재된 읽기 어려운 아주 작은 글자들도 처리할 수 있도록 한다.

이와 같은 방법은, 증강현실 기술이 적용된 포인터 인지 기술, 인공지능(AI) 기반 기계학습을 적용하여 책/잡지의 문자를 인식하는 기술, 책/잡지의 문자 인식 후 음성으로의 변환 및 출력 기술, 지속적으로 문자를 인식하고 이를 음성으로 출력하는 기술이 사용된다.

도 17을 참조하면, 주변 사물로부터의 위험을 고지받기 위하여, 사용자가 문에 근접하면, 손바닥 제스처를 취한다. 시력 보조장치는 손바닥 제스처를 인지하고, 인지된 손바닥 제스처를 주변 사물과 부딪히지 않도록 깊이를 추정하고 이를 경고하기 위한 동작으로 인식하여 깊이 추정 모드로 진입한다. 이때, 촬영 영상에서 위험요소, 예를 들어 '문' 객체를 인식하고, 영상 처리를 통해 위험요소와 사용자 간 거리를 계산한다. 예를 들어, 촬영 영상의 왜곡 정도에 따라 위험요소와 사용자 간 거리를 계산할 수 있다. 이어서, 시력 보조장치는 계산된 거리를 포함한 경고신호를 음성으로 출력한다. 예를 들어, "3m 앞에 장애물이 있으니 조심하세요."라는 경고 메시지를 출력한다.

이와 같은 방법은, 증강현실 기술이 적용된 포인터 인지 기술, 인공지능(AI) 기반 기계학습을 적용하여 객체를 인식하는 기술, 영상왜곡 처리 이미지 프로세싱을 통해 깊이를 추정하는 기술, 객체 인식 후 음성으로의 변환 및 출력 기술이 사용된다.

도 18을 참조하면, 교차로에서 신호등 상태를 파악하기 위해, 사용자는 교차로에서 건너편 신호등을 지시한다. 시력 보조장치는 손가락 지시를 증강현실을 기반으로 인지하고 촬영 영상 내 지시 위치를 인식한다. 그리고 인식된 위치의 신호등, 녹색, 60이라는 객체 이미지를 기계학습을 이용하여 인식하며 인식된 객체 이미지를 음성으로 변환하여 출력한다. 예를 들어, "녹색 불이고 60초 남았습니다."라는 음성을 출력한다. 사용자는 이를 청취 후 이동한다.

이와 같은 방법은, 증강현실 기술이 적용된 포인터 인지 기술, 인공지능(AI) 기반 기계학습을 적용하여 신호등의 객체를 인식하는 기술, 신호등의 개체 인식 후 음성으로의 변환 및 출력 기술이 사용된다.

도 19를 참조하면, 버스 정류장에서 버스번호 안내를 받기 위해, 사용자는 4개의 손가락으로 버스를 지시한다. 시력 보조장치는 네 손가락의 지시를 버스번호 안내로 인식하고, 버스 및 해당 버스의 숫자 이미지를 기계학습을 이용하여 인식하며, 인식된 숫자 이미지를 음성으로 변환하여 출력한다. 예를 들어, "지금 버스는 5619번 입니다."라는 음성을 출력한다. 사용자는 이를 청취 후 버스에 탑승한다.

도 20을 참조하면, 지하철 출입구를 확인받기 위해, 사용자는 4개의 손가락으로 지시 후 주먹을 쥐는 더블 액션(double action)을 수행한다. 시력 보조장치는 4개의 손가락으로 지시 후 주먹을 쥐는 동작을 지하철 출입구 정보 알림을 위한 제스처로 인식하고 해당 지하철 출입구의 문자/ 색상을 기계학습을 이용하여 인식하며 인식된 이미지를 음성으로 변환하여 출력한다. 예를 들어, “청색 1호선 종각역 2번 출입구입니다.”라는 음성을 출력한다.

이와 같은 방법은, 증강현실 기술이 적용된 포인터 인지 기술, 인공지능(AI) 기반 기계학습을 적용하여 지하철 출입구의 객체를 인식하는 기술, 지하철 출입구의 개체 인식 후 음성으로의 변환 및 출력 기술이 사용된다.

이하, 전술한 도 15 내지 도 20의 다양한 시나리오를 수행하기 위한 시력 보조장치의 프로세스를 상세히 후술한다.

도 15 내지 도 20을 참조하면, 시력 보조방법은 시력 취약계층 사용자의 전면에서 영상을 촬영하는 단계, 촬영 영상에서 소정의 사용자 제스처를 감지하는 단계, 감지된 소정의 사용자 제스처를 소정의 동작 수행을 위한 증강현실 기반 제스처 포인터로 인식하고 인식된 사용자 제스처와 대응되는 소정의 동작 모드를 결정하는 단계, 결정된 동작 모드 별로 촬영 영상으로부터 인공지능 기반 기계학습을 통해 시각정보를 인식하는 단계, 인식된 시각정보를 청각정보로 변환하여 출력하는 단계를 포함한다.

도 15의 식당/레스토랑에서 음식주문 시나리오의 경우, 시력 보조장치는 소정의 동작 모드를 결정하는 단계에서, 감지된 사용자 제스처를 정보 안내를 위한 제스처 포인터로 인식하여 정보 안내 모드로 진입하고, 시각정보를 인식하는 단계에서, 감지된 사용자 제스처 중 손가락을 촬영 영상 내 증강현실 포인터로 인식하고 촬영 영상 내에서 증강현실 포인터가 지시하는 위치의 문자 이미지를 인식하며, 청각정보로 변환하여 출력하는 단계에서, 증강현실 포인터가 지시하는 위치의 문자 이미지를 문자정보로 변환하고 변환된 문자정보를 청각정보로 변환하여 출력할 수 있다.

도 16의 거실/서재에서 글 읽기 시나리오의 경우, 시력 보조장치는 소정의 동작 모드를 결정하는 단계에서, 감지된 사용자 제스처를 책 읽기 동작 수행을 위한 제스처 포인터로 인식하여 글 읽기 모드로 진입하고, 시각정보를 인식하는 단계에서, 글 내에서 문자 이미지를 인식하며, 청각정보로 변환하여 출력하는 단계는, 글 내에서 인식된 문자 이미지를 문자정보로 변환하고 변환된 문자정보를 청각정보로 변환하여 출력할 수 있다. 여기서, 글 읽기 모드는 연속 모드로서, 시력 보조장치는 사용자가 계속 포인팅을 하지 않아도 글 내 문자 이미지를 차례대로 기계학습을 이용하여 인식하며 인식된 문자 이미지를 차례대로 음성으로 변환하여 출력할 수 있다.

도 17의 주변 사물과의 거리 고지를 통한 위험 방지 시나리오의 경우, 시력 보조장치는 소정의 동작 모드를 결정하는 단계에서, 감지된 사용자 제스처를 깊이 추정을 위한 제스처 포인터로 인식하여 깊이 추정 모드로 진입하고, 시각정보를 인식하는 단계에서, 촬영 영상에서 전면의 객체 이미지를 인식하고 영상 분석을 통해 객체와 사용자 간의 거리를 인식하며, 청각정보로 변환하여 출력하는 단계에서, 인식된 객체 이미지와 사용자 간의 거리 정보를 문자정보로 변환하고 변환된 문자정보를 청각정보로 변환하여 출력할 수 있다.

도 18의 교차로에서 신호등 상태 파악 시나리오의 경우, 시력 보조장치는 소정의 동작 모드를 결정하는 단계에서, 감지된 사용자 제스처를 신호등 안내를 위한 제스처 포인터로 인식하여 신호등 안내 모드로 진입하고, 시각정보를 인식하는 단계에서, 감지된 사용자 제스처 중 손가락을 촬영 영상 내 증강현실 포인터로 인식하고 증강현실 포인터가 지시하는 위치의 신호등 색상정보 및 남은 시간정보를 포함하는 신호등 상태를 인식하며, 청각정보로 변환하여 출력하는 단계에서, 인식된 신호등 상태를 문자정보로 변환하고 변환된 문자정보를 청각정보로 변환하여 출력할 수 있다.

도 19의 버스 정류장에서 버스번호 안내 시나리오의 경우, 시력 보조장치는 소정의 동작 모드를 결정하는 단계에서, 감지된 사용자 제스처를 버스 번호 안내를 위한 제스처 포인터로 인식하여 버스 번호 안내 모드로 진입하고, 시각정보를 인식하는 단계에서, 촬영 영상 내에서 제스처 포인터가 지시하는 위치를 인식하고 인식된 위치의 숫자 이미지를 인식하며, 청각정보로 변환하여 출력하는 단계에서, 인식된 숫자 이미지를 문자정보로 변환하고 변환된 문자정보를 청각정보로 변환하여 출력할 수 있다.

도 20의 지하철 출입구 확인 시나리오의 경우, 시력 보조장치는 소정의 동작 모드를 결정하는 단계에서, 감지된 사용자 제스처를 지하철 안내를 위한 제스처 포인터로 인식하여 지하철 안내 모드로 진입하고, 시각정보를 인식하는 단계에서, 촬영 영상 내에서 제스처 포인터가 지시하는 위치를 인식하고 인식된 위치의 색상 이미지 및 문자 이미지를 인식하며, 청각정보로 변환하여 출력하는 단계에서, 인식된 색상 이미지 및 문자 이미지를 문자정보로 변환하고 변환된 문자정보를 청각정보로 변환하여 출력할 수 있다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

1: 원격관리장치 2: 시력 보조장치
3: 네트워크 4: 사용자
5: 관리자 6: 웨어러블 디바이스
7-1: 제어장치 7-2: 사용자 단말
10: 인증 관리부 11: 모니터링부
12: 네트워크 연결부 13: 원격 제어부
14: 데이터 처리부 15: 클라이언트 관리부
16: 프로토콜 처리부 17: 데이터 분석부
20: 촬영부 21: 입력부
22: 출력부 23: 프로세서
24: 배터리 25: 클라이언트 에이전트
26: 통신부 26: 메모리
60: 바디 62: 카메라
64: 골전도 스피커 66: 결합부
68: 전원 버튼 69: 볼륨 조절 버튼
231: 제1 영상 처리부 232: 제2 영상 처리부
233: 신호 처리부 234: 제스처 감지부
235: 기기 제어부 236: 원격제어 처리부

Claims (21)

1. 시력 취약계층인 사용자의 전면에서 영상을 촬영하는 촬영부;
   촬영 영상으로부터 인공지능 기반 기계학습을 통해 객체, 문자 및 깊이 중 적어도 하나를 포함하는 시각정보를 인식하고 인식한 시각정보를 청각정보로 변환하는 프로세서;
   변환된 청각정보를 출력하는 출력부;
   시력 보조장치의 기기 정보와 기기를 통해 측정되는 센싱 정보를 포함하는 기기 상태정보를 획득하고 기기 상태정보를 기반으로 원격관리장치로부터 수신된 사전 서비스 정보를 처리하는 클라이언트 에이전트; 및
   원격관리장치와 네트워크 연결되어 통신하며, 클라이언트 에이전트를 통해 획득된 시력 보조장치의 기기 상태정보를 원격관리장치에 전송하고 원격관리장치로부터 사전 서비스 정보를 수신하는 통신부; 를 포함하며,
   사전 서비스 정보는 기기 상태에 따라 발생 가능한 에러를 사전에 차단하기 위한 정보로서, 미리 설정된 기간동안 수집된 기기 상태 정보에 대한 빅 데이터 분석을 통해 시력 보조장치의 환경에 기반하여 생성된 유효한 표준 데이터를 이용하여 에러를 사전에 예측하고 에러가 발생하기 이전에 에러를 처리하기 위한 정보인 것을 특징으로 하는 시력 보조장치.
2. 제 1 항에 있어서, 상기 프로세서는
   촬영 영상 데이터로부터 기계학습을 통해 객체 이미지 또는 문자 이미지를 인식하는 제1 영상 처리부;
   촬영 영상 데이터의 영상 분석을 통해 깊이를 인식하는 제2 영상 처리부; 및
   인식된 객체 이미지, 문자 이미지 또는 깊이정보를 문자 정보로 변환하고 변환된 문자 정보를 청각정보로 변환하여 출력부에 제공하는 신호 처리부;
   를 포함하는 것을 특징으로 하는 시력 보조장치.
3. 제 2 항에 있어서, 상기 제2 영상 처리부는
   영상 데이터의 왜곡(distortion)에 기초하여 깊이를 인식하는 것을 특징으로 하는 시력 보조장치.
4. 제 2 항에 있어서, 상기 프로세서는
   촬영 영상에서 사용자 제스처를 감지하는 제스처 감지부; 및
   감지된 사용자 제스처를 증강현실 기반 제스처로 인식하고 증강현실 기반 제스처에 대응되는 동작 모드를 결정하며 결정된 동작 모드 별로 증강현실 기반 제스처와 매칭되는 동작을 수행하는 기기 제어부;
   를 포함하는 것을 특징으로 하는 시력 보조장치.
5. 제 2 항에 있어서, 프로세서는
   원격관리장치에 원격제어를 요청하고 원격관리장치의 원격제어에 따라 원격으로 시력 보조장치 화면을 공유하며 원격관리장치의 제어요청을 처리하는 원격제어 처리부;
   를 더 포함하는 것을 특징으로 하는 시력 보조장치.
6. 제 1 항에 있어서,
   사전 서비스 정보는 에러 예측 내역, 에러 발생 차단을 위한 경고 메시지 및 에러 이전 조치 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 시력 보조장치.
7. 제 1 항에 있어서, 상기 시력 보조장치는
   사용자 명령을 입력받는 입력부; 를 더 포함하며,
   상기 입력부는 에러 예측에 따른 사전 서비스 정보 수신을 위해 에러 기준이 되는 임계값 및 에러 예측 시의 알림 형태를 사용자로부터 미리 설정 입력받는 것을 특징으로 하는 시력 보조장치.
8. 시력 취약계층인 사용자의 전면에서 촬영된 영상으로부터 인공지능 기반 기계학습을 통해 시각정보를 인식하고 인식한 시각정보를 청각정보로 변환하여 출력하는 시력 보조장치를 관리하며, 시력 보조장치의 기기 정보와 기기를 통해 측정되는 센싱 정보를 포함하는 기기 상태 정보를 모니터링하여 에러를 사전에 예측하고, 에러가 발생하기 이전에 에러를 처리하기 위한 사전 서비스 정보를 생성하는 클라이언트 관리부; 및
   미리 설정된 기간동안 수집된 기기 상태 정보를 대상으로 빅 데이터 분석을 수행하여 시력 보조장치의 환경에 기반한 유효한 표준 데이터를 추출하고 이를 사전 서비스를 위해 클라이언트 관리부에 제공하는 데이터 분석부;
   를 포함하는 것을 특징으로 하는 원격관리장치.
9. 제 8 항에 있어서, 상기 원격관리장치는
   정보를 송수신하되, 시력 보조장치의 기기 상태정보를 수신하고 기기상태에 따라 클라이언트 관리부에서 생성된 사전 서비스 정보를 시력 보조장치에 전송하는 네트워크 연결부;
   를 더 포함하는 것을 특징으로 하는 원격관리장치.
10. 제 8 항에 있어서, 상기 클라이언트 관리부는
    수신된 기기 상태 정보를 미리 설정된 임계값과 비교하여 에러를 예측하고, 에러가 예측되면 에러 예측 내역, 에러 발생 차단을 위한 경고 메시지 및 에러 이전 조치 정보 중 적어도 하나를 포함한 에러 정보를 생성하여 네트워크 연결부에 제공하는 것을 특징으로 하는 원격관리장치.
11. 제 8 항에 있어서, 상기 데이터 분석부는
    데이터 분석부의 데이터 분석 결과 또는 클라이언트 관리부의 예측 결과로부터 통계정보를 생성하는 것을 특징으로 하는 원격관리장치.
12. 제 8 항에 있어서, 상기 원격관리장치는
    시력 보조장치를 통한 캡처 화면을 모니터링하는 모니터링부; 및
    시력 보조장치로부터 원격제어 요청을 수신하고 원격 제어명령을 시력 보조장치에 전송하여 원격 엔지니어링을 수행하는 원격 제어부;
    를 더 포함하는 것을 특징으로 하는 원격관리장치.
13. 제 9 항에 있어서, 상기 원격관리장치는
    시력 보조장치로부터 수신된 촬영 영상을 대상으로 기계학습을 시력 보조장치에 이어서 수행하고 수행에 따른 최종 결과를 생성하여 상기 네트워크 연결부에 제공하는 데이터 처리부;
    를 더 포함하는 것을 특징으로 하는 원격관리장치.
14. 시력 보조장치를 이용하여 시력 취약계층을 보조하기 위한 시력 보조방법에 있어서, 시력 보조장치가:
    시력 취약계층 사용자의 전면에서 영상을 촬영하는 단계;
    촬영 영상에서 소정의 사용자 제스처를 감지하는 단계;
    감지된 소정의 사용자 제스처를 소정의 동작 수행을 위한 증강현실 기반 제스처 포인터로 인식하고 인식된 사용자 제스처와 대응되는 소정의 동작 모드를 결정하는 단계;
    결정된 동작 모드 별로 촬영 영상으로부터 인공지능 기반 기계학습을 통해 객체, 문자 및 깊이를 포함하는 시각정보를 인식하는 단계;
    인식된 시각정보를 청각정보로 변환하여 출력하는 단계; 및
    시력 보조장치의 기기 정보와 기기를 통해 측정되는 센싱 정보를 포함하는 기기 상태정보를 획득하고 기기 상태정보를 기반으로 원격관리장치로부터 수신된 사전 서비스 정보를 처리하는 단계; 를 포함하며,
    사전 서비스 정보는 기기 상태에 따라 발생 가능한 에러를 사전에 차단하기 위한 정보로서, 미리 설정된 기간동안 수집된 기기 상태 정보에 대한 빅 데이터 분석을 통해 시력 보조장치의 환경에 기반하여 생성된 유효한 표준 데이터를 이용하여 에러를 사전에 예측하고 에러가 발생하기 이전에 에러를 처리하기 위한 정보인 것을 특징으로 하는 시력 보조방법.
15. 제 14 항에 있어서,
    상기 소정의 동작 모드를 결정하는 단계는, 감지된 사용자 제스처를 정보 안내를 위한 제스처 포인터로 인식하여 정보 안내 모드로 진입하고,
    상기 시각정보를 인식하는 단계는, 감지된 사용자 제스처 중 손가락을 촬영 영상 내 증강현실 포인터로 인식하고 촬영 영상 내에서 증강현실 포인터가 지시하는 위치의 문자 이미지를 인식하며,
    상기 청각정보로 변환하여 출력하는 단계는, 증강현실 포인터가 지시하는 위치의 문자 이미지를 문자정보로 변환하고 변환된 문자정보를 청각정보로 변환하여 출력하는 것을 특징으로 하는 시력 보조방법.
16. 제 14 항에 있어서,
    상기 소정의 동작 모드를 결정하는 단계는, 감지된 사용자 제스처를 신호등 안내를 위한 제스처 포인터로 인식하여 신호등 안내 모드로 진입하고,
    상기 시각정보를 인식하는 단계는, 감지된 사용자 제스처 중 손가락을 촬영 영상 내 증강현실 포인터로 인식하고 증강현실 포인터가 지시하는 위치의 신호등 색상정보 및 남은 시간정보를 포함하는 신호등 상태를 인식하며,
    상기 청각정보로 변환하여 출력하는 단계는, 인식된 신호등 상태를 문자정보로 변환하고 변환된 문자정보를 청각정보로 변환하여 출력하는 것을 특징으로 하는 시력 보조방법.
17. 제 14 항에 있어서,
    상기 소정의 동작 모드를 결정하는 단계는, 감지된 사용자 제스처를 책 읽기 동작 수행을 위한 제스처 포인터로 인식하여 글 읽기 모드로 진입하고,
    상기 시각정보를 인식하는 단계는, 글 내에서 문자 이미지를 인식하며,
    상기 청각정보로 변환하여 출력하는 단계는, 글 내에서 인식된 문자 이미지를 문자정보로 변환하고 변환된 문자정보를 청각정보로 변환하여 출력하는 것을 특징으로 하는 것을 특징으로 하는 시력 보조방법.
18. 제 17 항에 있어서,
    글 읽기 모드는 연속 모드로서, 시력 보조장치는 사용자가 계속 포인팅을 하지 않아도 글 내 문자 이미지를 차례대로 기계학습을 이용하여 인식하며 인식된 문자 이미지를 차례대로 음성으로 변환하여 출력하는 것을 특징으로 하는 시력 보조방법.
19. 제 14 항에 있어서,
    상기 소정의 동작 모드를 결정하는 단계는, 감지된 사용자 제스처를 깊이 추정을 위한 제스처 포인터로 인식하여 깊이 추정 모드로 진입하고,
    상기 시각정보를 인식하는 단계는, 촬영 영상에서 전면의 객체 이미지를 인식하고 영상 분석을 통해 객체와 사용자 간의 거리를 인식하며,
    상기 청각정보로 변환하여 출력하는 단계는, 인식된 객체 이미지와 사용자 간의 거리 정보를 문자정보로 변환하고 변환된 문자정보를 청각정보로 변환하여 출력하는 것을 특징으로 하는 시력 보조방법.
20. 제 14 항에 있어서,
    상기 소정의 동작 모드를 결정하는 단계는, 감지된 사용자 제스처를 버스 번호 안내를 위한 제스처 포인터로 인식하여 버스 번호 안내 모드로 진입하고,
    상기 시각정보를 인식하는 단계는, 촬영 영상 내에서 제스처 포인터가 지시하는 위치를 인식하고 인식된 위치의 숫자 이미지를 인식하며,
    상기 청각정보로 변환하여 출력하는 단계는, 인식된 숫자 이미지를 문자정보로 변환하고 변환된 문자정보를 청각정보로 변환하여 출력하는 것을 특징으로 하는 시력 보조방법.
21. 제 14 항에 있어서,
    상기 소정의 동작 모드를 결정하는 단계는, 감지된 사용자 제스처를 지하철 안내를 위한 제스처 포인터로 인식하여 지하철 안내 모드로 진입하고,
    상기 시각정보를 인식하는 단계는, 촬영 영상 내에서 제스처 포인터가 지시하는 위치를 인식하고 인식된 위치의 색상 이미지 및 문자 이미지를 인식하며,
    상기 청각정보로 변환하여 출력하는 단계는, 인식된 색상 이미지 및 문자 이미지를 문자정보로 변환하고 변환된 문자정보를 청각정보로 변환하여 출력하는 것을 특징으로 하는 시력 보조방법.

Images