KR20200076170A - 스마트 안경을 이용한 시각 장애인 보조 시스템 및 방법 - Google Patents

스마트 안경을 이용한 시각 장애인 보조 시스템 및 방법 Download PDF

Info

Publication number
KR20200076170A
KR20200076170A KR1020180165021A KR20180165021A KR20200076170A KR 20200076170 A KR20200076170 A KR 20200076170A KR 1020180165021 A KR1020180165021 A KR 1020180165021A KR 20180165021 A KR20180165021 A KR 20180165021A KR 20200076170 A KR20200076170 A KR 20200076170A
Authority
KR
South Korea
Prior art keywords
image
smart glasses
visually impaired
user terminal
server
Prior art date
Application number
KR1020180165021A
Other languages
English (en)
Inventor
유병준
황상두
김윤태
김우식
Original Assignee
유병준
김윤태
김우식
황상두
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유병준, 김윤태, 김우식, 황상두 filed Critical 유병준
Priority to KR1020180165021A priority Critical patent/KR20200076170A/ko
Publication of KR20200076170A publication Critical patent/KR20200076170A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72475—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
    • H04M1/72481—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users for visually impaired users
    • H04M1/72594—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/01—Constructive details
    • A61H2201/0173—Means for preventing injuries
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled
    • A61H2201/501—Control means thereof computer controlled connected to external computer devices or networks
    • A61H2201/5012—Control means thereof computer controlled connected to external computer devices or networks using the internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A61H2201/5048—Audio interfaces, e.g. voice or music controlled

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Physical Education & Sports Medicine (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Pain & Pain Management (AREA)
  • Ophthalmology & Optometry (AREA)
  • Epidemiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Child & Adolescent Psychology (AREA)
  • Rehabilitation Therapy (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 시각 장애인을 보조하는 스마트 시스템에 관한 것으로, 본 발명의 실시 예에 따른 스마트 안경을 이용한 시각 장애인 보조 시스템은, 사용자의 주시 방향에 따른 전방에 대한 이미지를 획득하는 스마트 안경; 상기 스마트 안경에 의해 획득되는 이미지에 대한 분석을 통해, 이미지에 포함되어 있는 객체를 식별한 후, 객체 식별 결과를 전송하는 서버; 및 상기 서버로부터의 객체 식별 결과에 기초하여, 객체별 장애 위험 순위를 판별하고, 위험 순위가 높은 객체에 대한 정보를 생성하는 사용자 단말을 포함한다.

Description

스마트 안경을 이용한 시각 장애인 보조 시스템 및 방법{Assistance system and method for a person who is visually impaired using smart glasses}
본 발명은 시각 장애인을 보조하는 스마트 시스템에 관한 것으로, 상세하게는 스마트 안경에 의해 촬영되는 영상을 기반으로 장애물을 안내하여 시각 장애인을 보조하는 시스템 및 방법에 관한 것이다.
시각장애인은 맹인과 저시력자를 모두 포함하는 개념이다. 시각 장애를 겪는 사람은 주변에서 흔하게 찾아볼 수 있는데, 시각 장애는 단순히 개인의 시력이 정상적이지 않다는 문제에서 그치지 않고 주변 환경에 대처하는 능력의 저하로 이어진다. 이에 따라, 시각장애인의 실외 활동에 대한 욕구와 동기 부여가 감퇴되고 개인의 삶의 질 저하로 직결되는 문제가 있다.
시각장애인은 빛을 완전히 볼 수 없는 전맹에서부터 사물을 어렴풋이 인식할 수 있는 저시력자까지 개인별로 다양한 임상적인 양상이 나타난다. 이에 따라, 전맹은 제외하더라도 저시력자의 활동을 보조하기 위한 여러 가지 수단들이 종래에 강구된 바 있다.
통상적으로, 시각 장애인들은 이동시 자신이 가고자 하는 곳의 지형 지물을 시각 장애인 전용 지팡이를 사용하여 짚어보고 두드려 봄으로써, 소리를 듣고 감촉을 느껴서, 주변 장애물을 인식하는 경우가 대부분이다. 그 외에는 시각 안내견을 통해 도움을 받는 경우도 있다. 이처럼, 시각 장애인들의 이동시 시각 안내견이나 지팡이는 필수품 중의 하나이다.
그러나, 지팡이를 이용할 경우에는 직접 두들겨 봄으로써 느껴지는 소리와 감촉으로 판단하는 것은 시각 장애인이 되고 나서 다른 감각들을 어느 정도 훈련하고 난 후에야 효과적으로 사용될 수 있을 뿐만 아니라 감지의 속도가 느리고 불편하며, 시각 안내견을 활용하더라도 공공장소에서 같이 행동하는데 어려움이 있고 도로에서의 복잡한 신호 체계를 이해하거나 방향성을 감지하는 데 제약이 있다.
이에, 시각 장애인용 보조 수단들이 개발되고 있기는 하지만, 지팡이 형태의 보조 수단의 경우 사용자가 상시 휴대하기 불편하고 분실될 가능성이 크다는 한계가 있고, 사용자의 머리 전체를 둘러싸는 디바이스의 경우 부피가 크고 중량이 무거워 타인의 시선을 의식하거나 심미적인 이유로 일상생활에서 사용하기 어렵다는 한계가 있었다.
이에 따라, 사용자가 상시 착용 가능하면서도 휴대성이 확보된 시각장애인용 보조 도구(예컨대, 스마트 안경 등)에 대한 개발이 절실히 요구되고 있다.
본 발명은 전술한 바와 같은 요구를 반영한 것으로, 촬영 기능 및 통신 기능이 적용된 안경을 통해 획득되는 영상을 기반으로 장애물을 식별하고, 위험 우선순위에 따라 음성을 통해 장애물을 안내함으로써 시각 장애인의 이동 시에 장애물에 구애받지 않고 안전한 보행이 가능하게 할 수 있는 시각 장애인용 보조 시스템 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 기술적 과제는 이상에서 언급한 사항에 제한되지 않으며, 이하의 기재들로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 본 발명이 의도하는 기타의 과제들 또한 명료하게 이해할 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 스마트 안경을 이용한 시각 장애인 보조 시스템은, 사용자의 주시 방향에 따른 전방에 대한 이미지를 획득하는 스마트 안경; 상기 스마트 안경에 의해 획득되는 이미지에 대한 분석을 통해, 이미지에 포함되어 있는 객체를 식별한 후, 객체 식별 결과를 전송하는 서버; 및 상기 서버로부터의 객체 식별 결과에 기초하여, 객체별 장애 위험 순위를 판별하고, 위험 순위가 높은 객체에 대한 정보를 생성하는 사용자 단말을 포함한다.
상기 사용자 단말은, 상기 서버의 객체 인식률을 판단해 낮은 인식률의 객체는 분석 대상에서 제외시키는 것을 특징으로 한다.
상기 사용자 단말은, 기 설정된 위험요소 우선순위를 바탕으로, 위험요소 우선순위가 낮은 객체는 분석 대상에서 제외시키는 것을 특징으로 한다.
상기 사용자 단말은, 객체들을 비교하여 장애 위험 순위가 높은 하나의 객체를 추출하고, 추출된 객체의 중심점, 이미지의 중심점 및 역삼각함수를 사용하여 사용자의 시선을 중심으로 360°상에서의 객체의 각도를 추출하고, 각도 상의 객체의 위치를 360°를 30으로 나눈 것으로 정의되는 방향에서 어느 방향에 해당하는지를 판별하는 것을 특징으로 한다.
상기 사용자 단말은, 상기 이미지의 중심과 객체의 중심점들과의 거리를 비교하여 이미지 중심에 가장 근접한 하나의 객체를 추출하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 스마트 안경을 이용한 시각 장애인 보조 방법은, 사용자의 주시 방향에 따른 전방에 대한 이미지를 획득하는 단계; 획득된 상기 이미지에 대한 분석을 통해, 상기 이미지에 포함되어 있는 객체를 식별한 후, 객체 식별 결과를 생성하는 단계; 및 생성된 상기 객체 식별 결과에 기초하여, 객체별 장애 위험 순위를 판별하고, 위험 순위가 높은 객체에 대한 정보를 생성 및 출력하는 단계를 포함한다.
상기 출력하는 단계는, 상기 서버의 객체 인식률을 판단해 낮은 인식률의 객체는 분석 대상에서 제외시키는 것을 포함하는 것을 특징한다.
상기 출력하는 단계는, 기 설정된 위험요소 우선순위를 바탕으로, 위험요소 우선순위가 낮은 객체는 분석 대상에서 제외시키는 것을 특징으로 한다.
상기 출력하는 단계는, 객체들을 비교하여 장애 위험 순위가 높은 하나의 객체를 추출하고, 추출된 객체의 중심점, 이미지의 중심점 및 역삼각함수를 사용하여 사용자의 시선을 중심으로 360°상에서의 객체의 각도를 추출하고, 각도 상의 객체의 위치를 360°를 30으로 나눈 것으로 정의되는 방향에서 어느 방향에 해당하는지를 판별하는 것을 포함하는 것을 특징으로 한다.
상기 객체들을 비교하여 장애 위험 순위가 높은 하나의 객체를 추출하는 것은, 상기 이미지의 중심과 객체의 중심점들과의 거리를 비교하여 이미지 중심에 가장 근접한 하나의 객체를 추출하는 것인 것을 특징으로 한다.
본 발명의 실시 예에 따른 스마트 안경을 이용한 시각 장애인 보조 기술을 이용하면, 촬영 기능 및 통신 기능이 적용된 안경을 통해 획득되는 영상을 기반으로 장애물을 식별하고, 위험 우선순위에 따라 음성을 통해 장애물을 안내함으로써 시각 장애인의 이동 시에 장애물에 구애받음 없이 안전한 보행이 가능하게 할 수 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 스마트 안경을 이용한 시각 장애인 보조 시스템의 일례의 구성을 도시한 도면이다.
도 2는 본 발명의 바람직한 실시 예에 따른 스마트 안경을 이용한 시각 장애인 보조 시스템의 서버의 일례의 구성을 도시한 도면이다.
도 3은 본 발명의 바람직한 실시 예에 따른 스마트 안경을 이용한 시각 장애인 보조 시스템의 사용자 단말의 일례의 구성을 도시한 도면이다.
도 4는 본 발명의 바람직한 실시 예에 따른 스마트 안경을 이용한 시각 장애인 보조 시스템을 이용한 시각 장애인 보조 방법을 설명하기 위한 순서도이다.
도 5는 도 4에 있어서의 단계 S420을 상세하게 설명하기 위한 순서를 도시한 도면이다.
본문에 개시되어 있는 본 발명의 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시 예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 “~사이에”와 “바로 ~사이에” 또는 “~에 이웃하는”과 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함하다” 또는 “가지다” 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시 예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 본 발명의 바람직한 실시 예에 따른 스마트 안경을 이용한 시각 장애인 보조 시스템 및 방법에 대하여 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 바람직한 실시 예에 따른 스마트 안경을 이용한 시각 장애인 보조 시스템의 일례의 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 바람직한 실시 예에 따른 스마트 안경을 이용한 시각 장애인 보조 시스템(100, 이하 ‘시스템’)은 안경에 적용된 영상촬영장치에 의해 획득되는 이미지에서 객체를 식별하고, 식별된 객체에 대한 장애 위험 순위를 판별하고, 판별된 장애 위험 순위에 기초하여, 위험 순위가 높은 객체에 대한 정보를 순차적으로 사용자 환경에 적합하게 진동, 음성, 이미지 등으로 제공할 수 있도록 구현된다.
이를 위해, 상기 시스템(100)은 촬영 기능 및 통신 기능이 적용된 스마트 안경(110), 외부로부터의 이미지에서 객체를 식별하는 서버(120) 및 본 발명의 시각 장애인 보조 서비스를 이용하기 위한 어플리케이션이 탑재된 사용자 단말(130)로 구성될 수 있으나, 시스템(100)의 구성이 본 실시 예에 한정되는 것은 아니다.
상기 스마트 안경(110)은 사용자의 주시 방향에 따른 전방에 대한 이미지를 획득할 수 있는 형태로 구현되며, 사용자의 편의를 위한 안경 형태로 구현될 수 있으며, 스마트 안경(110)은 다양하게 설정될 수 있다.
상기 스마트 안경(110)은 사용자(ex, 시각 장애인 등)의 주시 방향에 따른 전방에 대한 이미지를 획득하는 이미지 센서(111), 스마트 안경(110)에 포함되는 전자적 구성에 대한 전반적인 처리를 수행하는 처리 모듈(112) 및 외부와의 통신을 위한 통신 모듈(113)을 포함할 수 있다.
상기 이미지 센서(111)는 사용자의 주시 방향에 따른 전방에 이미지를 획득하기 위한 구성으로, 본 실시 예에 있어서 이미지 센서(111)에 의해 획득되는 이미지는 사용자의 전방에 객체(ex, 물체 또는 보행자 등으로서 사용자의 보행에 장애를 줄 수 있는 것)가 위치하는지를 판단하는 데에 이용된다.
상기 이미지 센서(111)로는, 공지된 다양한 이미지 센서가 선택적으로 이용될 수 있으며, 이미지 센서(111)에 대한 구체적인 특징에 대해서는 생략한다.
예를 들어, 상기 이미지 센서(111)는 CCD(Charge Coupled Device) 센서나 CMOS(상보성 금속산화막 반도체) 센서가 해당될 수 있다.
상기 처리 모듈(112)은 스마트 안경(110)에 포함되는 다양한 전자적 구성에 대한 전반적인 처리를 수행하는 것으로서, 본 실시 예에 있어서는, 이미지 센서(111)에 의해 획득되는 이미지를 통신 모듈(113)을 통해 서버(120)로 전송하도록 구현될 수 있다.
실시 예에 따라, 상기 처리 모듈(112)은 통신 모듈(113)을 이용하여 직접 서버(120)로 이미지를 전송하도록 구현될 수 있다.
실시 예에 따라, 상기 처리 모듈(112)은 사용자 단말(130)의 통신 모듈(ex, WiFi 통신 모듈 등)을 이용하여 서버(120)로 영상을 전송하는 간접적인 방식으로 이미지를 전송하도록 구현될 수도 있다.
그리고, 상기 처리 모듈(112)은 이미지 센서(111)에 의해 획득되는 모든 이미지를 실시간으로 서버(120)로 전송하도록 구현될 수 있다.
한편, 상기 처리 모듈(112)은 이미지에 대한 분석을 통해, 객체가 존재하는지 여부를 판단한 후, 객체가 존재하는 것으로 판단된 이미지만을 서버(130)로 전송하도록 구현될 수 있다.
상기 처리 모듈(112)은 객체가 존재하는지를 판단할 수 있도록 구현된 경우, 이미지 분석에 시간이나 리소스가 적게 소요되는 알고리즘에 따라 동작하도록 구현되는 것이 바람직하다.
즉, 상기 처리 모듈(112)는 서버(230)에서의 분석 시에 발생할 수 있는 과부하를 방지하면서도, 스마트 안경(110)의 제작에 소요되는 부담을 가능한 한 줄일 수 있도록 구현되는 것이 바람직하다.
상기 통신 모듈(113)은 기 설정된 바에 따라, 서버(120)와 직접 통신하여 처리 모듈(112)로부터의 이미지를 서버(120)로 전송할 수 있다.
혹은, 상기 통신 모듈(113)은 기 설정된 바에 따라, 사용자 단말(130)의 통신 모듈(ex, WiFi 통신 모듈 등)로 이미지를 전송하여, 사용자 단말(130)의 통신 모듈을 통해 이미지가 서버(120)로 전송될 수 있도록 구현될 수 있다.
상기 통신 모듈(113)은 구현 방식에 따라 다양하게 설정될 수 있는 것으로, 통신 모듈(113)에 대한 구체적인 설명은 생략한다.
상기 서버(120)는 외부로부터의 이미지에서 객체를 식별할 수 있도록 구현된 구성으로서, 스마트 안경(110) 혹은 사용자 단말(130)로부터의 이미지에서 객체를 식별할 수 있도록 구현된다.
도 2는 본 발명의 바람직한 실시 예에 따른 스마트 안경을 이용한 시각 장애인 보조 시스템의 서버의 일례의 구성을 도시한 도면이다.
도 2에 도시된 바와 같이, 상기 서버(120)는 통신 모듈(121), 저장 모듈(122), 분석 모듈(123) 및 제어 모듈(124) 등으로 구성될 수 있으나, 서버(120)의 구성이 이에 한정되는 것은 아니다.
상기 통신 모듈(121)은 외부 장치와의 통신을 위한 구성으로, 예를 들면 스마트 안경(110) 혹은 사용자 단말(130)과 통신할 수 있도록 구현된다.
상기 저장 모듈(122)은 서버(120)의 기능 수행 및 동작을 위한 알고리즘, 데이터, 정보들을 저장하는 한편, 서버(120)가 동작하면서 수집되거나 생성되는 데이터들을 저장한다.
상기 분석 모듈(123)은 외부로부터의 이미지에 대한 분석을 통해, 이미지에 포함되어 있는 객체를 식별하기 위한 것으로, 분석 모듈(123)이 이용하는 분석 알고리즘은 다양하게 설정될 수 있다.
예를 들어, 상기 분석 모듈(123)은 딥 러닝(deep learning) 기술에 기반한 분석 알고리즘에 따라 이미지를 분석할 수 있으며, R-CNN(Region-based Convolutional Neural Networks)에 기반하여 이미지를 분석할 수 있다.
상기 제어 모듈(124)은 서버(120)에 대한 전반적인 제어를 수행하는 구성으로서, 예를 들어 통신 모듈(121)을 통해 수신된 외부로부터의 이미지를 분석 모듈(123)로 전달하거나, 분석 모듈(123)로부터의 객체 식별 결과를 저장 모듈(122)에 저장하거나, 객체 식별 결과를 통신 모듈(121)을 통해 사용자 단말(130)로 제공할 수 있다.
실시 예에 따라, 상기 서버(120)는 분석 모듈(123)의 객체 식별 결과에 기초하여 객체별 장애 위험 순위를 판별하고, 판별된 장애 위험 순위에 기초하여, 위험 순위가 높은 객체에 대한 정보를 생성하여 사용자 단말(130)로 제공할 수 있도록 구현될 수 있다.
상기 사용자 단말(130)은 본 발명의 시각 장애인 보조 서비스를 이용하기 위한 어플이케이션이 탑재된 것으로, 사용자 단말(130)의 종류가 특정되는 것은 아니며, 스마트 폰, PDA 및 태블릿 PC 중 어느 하나인 것이 바람직하고, 휴대하기 간편하고, 인터넷 통신이 가능한 모바일 시스템이면 모두 가능함은 물론이다.
상기 사용자 단말(130)은 서버(120)로부터의 객체 식별 결과에 기초하여, 객체별 장애 위험 순위를 판별하고, 위험 순위가 높은 객체에 대한 정보를 생성하여 출력할 수 있도록 구현될 수 있다.
도 3은 본 발명의 바람직한 실시 예에 따른 스마트 안경을 이용한 시각 장애인 보조 시스템의 사용자 단말의 일례의 구성을 도시한 도면이다.
도 3에 도시된 바와 같이, 상기 사용자 단말(130)은 통신 모듈(131), 저장 모듈(132), 사용자 인터페이스(133), 위험정보 생성모듈(134) 및 제어 모듈(135)을 포함할 수 있으나, 사용자 단말(130)의 구성이 본 실시 예에 한정되는 것은 아니다.
상기 통신 모듈(131)은 외부 장치와의 통신을 위한 구성으로, 예를 들면 스마트 안경(110) 혹은 서버(120)와 통신할 수 있도록 구현된다.
상기 저장 모듈(132)은 사용자 단말(130)의 기능 수행 및 동작을 위한 알고리즘, 데이터, 정보들을 저장하는 한편, 사용자 단말(130)이 동작하면서 수집되거나 생성되는 데이터들을 저장한다.
상기 사용자 인터페이스(133)는 외부로부터의 정보를 기 설정된 바에 따라 사용자가 인지할 수 있는 형태로 출력할 수 있도록 구현된다.
상기 사용자 인터페이스(133)는 하나의 장치로 구현될 수 있으나, 사용자의 편의를 위해 다양한 형태로 정보를 출력할 수 있도록 서로 다른 형태의 다수의 장치로 구현되는 것이 바람직하다.
예를 들어, 상기 사용자 인터페이스(133)는 제어 모듈(135)로부터의 정보를 진동으로 출력할 수 있도록 구현된 장치(ex, 진동기 등), 제어 모듈(135)로부터의 정보를 음성으로 출력할 수 있도록 구현된 장치(ex, 스피커, 이어폰 등), 제어모듈(135)로부터의 정보를 이미지로 출력할 수 있도록 구현된 장치(ex, 디스플레이 모듈 등) 등을 포함할 수 있다.
상기 위험정보 생성모듈(134)은 서버(120)로부터의 객체 인식 결과에 기초하여 객체별 장애 위험 순위를 판별하고, 판별된 장애 위험 순위에 기초하여 객체에 대한 정보를 생성하고, 위험 순위가 높은 객체에 대한 정보를 출력할 수 있도록 구현될 수 있다.
상기 위험정보 생성모듈(134)은 객체에 대한 정보로서, 객체 장애 위험도, 객체 위치 정보 등을 생성할 수 있다.
구체적으로, 상기 위험정보 생성모듈(134)은 서버(120)의 객체 인식률을 판단해 낮은 인식률의 객체는 분석 대상에서 제외시킬 수 있다.
상기 위험정보 생성모듈(134)은 기 설정된 위험요소 우선순위를 바탕으로, 위험요소 우선순위가 낮은 객체는 분석 대상에서 제외시킬 수 있다.
상기 위험정보 생성모듈(134)은 필터링 후의 객체들을 비교하여 장애 위험 순위가 높은 하나의 객체를 추출할 수 있다.
이때, 상기 위험정보 생성모듈(134)은 이미지의 중심과 객체의 중심점들과의 거리를 비교하여 이미지 중심에 가장 근접한 하나의 객체를 추출할 수 있다.
상기 위험정보 생성모듈(134)은 추출된 객체의 중심점, 이미지의 중심점 및 역삼각함수를 사용하여 사용자의 시선을 중심으로 360°상에서의 객체의 각도를 추출한다.
그리고, 상기 위험정보 생성모듈(134)은 각도 상의 객체의 위치를 360°를 30으로 나눈 것으로 정의되는 방향에서 어느 방향에 해당하는지를 판별한다.
이후, 상기 위험정보 생성모듈(134)은 위험 우선순위가 높은 객체와 관련한 위치 정보를 출력한다.
상기 제어 모듈(135)은 사용자 단말(130)의 전반적인 제어를 수행하는 구성으로서, 예를 들어 통신 모듈(131)을 통해 수신된 외부로부터의 정보를 저장 모듈(132) 혹은 위험정보 생성모듈(134)로 제공하거나, 위험정보 생성모듈(134)에 의해 생성된 정보를 사용자 인터페이스(133)로 제공할 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 따른 스마트 안경을 이용한 시각 장애인 보조 시스템의 구성 및 구성별 기능에 대해서 살펴보았다. 이하에서는 본 발명의 바람직한 실시 예에 따른 스마트 안경을 이용한 시각 장애인 보조 시스템을 이용한 시각 장애인 보조 방법에 대해서 설명한다.
도 4는 본 발명의 바람직한 실시 예에 따른 스마트 안경을 이용한 시각 장애인 보조 시스템을 이용한 시각 장애인 보조 방법을 설명하기 위한 순서도이다.
도 4에 도시된 단계별 동작은 도 1 내지 3을 참조하여 설명한 시각 장애인 보조 시스템(100)에 의해 수행될 수 있다.
먼저, 스마트 안경(110)은 사용자의 주시 방향에 따른 전방에 대한 이미지를 획득한다(S400).
상기 단계 S400에서 획득된 이미지는 출력되어 서버(120)로 입력되는데, 스마트 안경(110)에서 직접 서버(120)로 입력될 수 있고, 사용자 단말(130)을 통해 간접적으로 서버(120)로 입력될 수도 있다.
상기 단계 S400에서, 스마트 안경(110)에 의해 획득되는 모든 이미지가 서버(120)로 입력될 수 있고, 객체가 존재하는 것으로 판단된 이미지만이 서버(120)로 입력될 수 있다.
상기 단계 S400 이후, 서버(120)는 단계 S400에 따라 입력되는 이미지에 대한 분석을 통해, 이미지에 포함되어 있는 객체를 식별한 후, 객체 식별 결과를 사용자 단말(130)로 전송한다(S410).
상기 단계 S410 이후, 사용자 단말(130)은 서버(120)로부터의 객체 식별 결과에 기초하여, 객체별 장애 위험 순위를 판별하고, 위험 순위가 높은 객체에 대한 정보를 생성하여 출력한다(S420).
이하에서는, 도 4에 있어서의 단계 S420을 상세하게 설명하기 위한 순서를 도시한 도 5를 참조하여 단계 S420에서의 동작에 대해서 보다 구체적으로 설명한다.
도 5를 참조하면, 사용자 단말(130)은 서버(120)의 객체 인식률을 판단해 낮은 인식률의 객체는 분석 대상에서 제외시키거나(S421), 기 설정된 위험요소 우선순위를 바탕으로, 위험요소 우선순위가 낮은 객체는 분석 대상에서 제외시킬 수 있다(S422).
실시 예에 따라서는, 상기 분석 대상의 객체를 제외시키는 과정(S421, S422)은 생략될 수 있다.
이후, 사용자 단말(130)은 객체들을 비교하여 장애 위험 순위가 높은 하나의 객체를 추출할 수 있다(S423).
상기 단계 S423에서, 사용자 단말(130)은 이미지의 중심과 객체의 중심점들과의 거리를 비교하여 이미지 중심에 가장 근접한 하나의 객체를 추출할 수 있다.
상기 단계 S423 이후, 사용자 단말(130)은 추출된 객체의 중심점, 이미지의 중심점 및 역삼각함수를 사용하여 사용자의 시선을 중심으로 360°상에서의 객체의 각도를 추출한다(S424).
상기 단계 S424 이후, 사용자 단말(130)은 각도 상의 객체의 위치를 360°를 30으로 나눈 것으로 정의되는 방향에서 어느 방향에 해당하는지를 판별한다(S425).
상기 단계 S425 이후, 사용자 단말(130)은 위험 우선순위가 높은 객체와 관련한 위치 정보를 출력한다(S426).
이상에서 설명한 본 발명의 실시 예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 기능 혹은 모든 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
이상에서와 같이, 본 발명에 따른 스마트 안경을 이용한 시각 장애인 보조 시스템 및 방법을 실시 예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 시각 장애인 보조 시스템 110: 스마트 안경
111: 이미지 센서 112: 처리 모듈
113: 통신 모듈 120: 서버
121: 통신 모듈 122: 저장 모듈
123: 분석 모듈 124: 제어 모듈
130: 사용자 단말 131: 통신 모듈
132: 저장 모듈 133: 사용자 인터페이스
134: 위험정보 생성 모듈 135: 제어 모듈

Claims (10)

  1. 사용자의 주시 방향에 따른 전방에 대한 이미지를 획득하는 스마트 안경;
    상기 스마트 안경에 의해 획득되는 이미지에 대한 분석을 통해, 이미지에 포함되어 있는 객체를 식별한 후, 객체 식별 결과를 전송하는 서버; 및
    상기 서버로부터의 객체 식별 결과에 기초하여, 객체별 장애 위험 순위를 판별하고, 위험 순위가 높은 객체에 대한 정보를 생성하는 사용자 단말을 포함하는
    스마트 안경을 이용한 시각 장애인 보조 시스템.
  2. 제 1 항에 있어서,
    상기 사용자 단말은, 상기 서버의 객체 인식률을 판단해 낮은 인식률의 객체는 분석 대상에서 제외시키는 것을 특징으로 하는
    스마트 안경을 이용한 시각 장애인 보조 시스템.
  3. 제 1 항에 있어서,
    상기 사용자 단말은, 기 설정된 위험요소 우선순위를 바탕으로, 위험요소 우선순위가 낮은 객체는 분석 대상에서 제외시키는 것을 특징으로 하는
    스마트 안경을 이용한 시각 장애인 보조 시스템.
  4. 제 1 항에 있어서,
    상기 사용자 단말은, 객체들을 비교하여 장애 위험 순위가 높은 하나의 객체를 추출하고, 추출된 객체의 중심점, 이미지의 중심점 및 역삼각함수를 사용하여 사용자의 시선을 중심으로 360°상에서의 객체의 각도를 추출하고, 각도 상의 객체의 위치를 360°를 30으로 나눈 것으로 정의되는 방향에서 어느 방향에 해당하는지를 판별하는 것을 특징으로 하는
    스마트 안경을 이용한 시각 장애인 보조 시스템.
  5. 제 4 항에 있어서,
    상기 사용자 단말은, 상기 이미지의 중심과 객체의 중심점들과의 거리를 비교하여 이미지 중심에 가장 근접한 하나의 객체를 추출하는 것을 특징으로 하는
    스마트 안경을 이용한 시각 장애인 보조 시스템.
  6. 사용자의 주시 방향에 따른 전방에 대한 이미지를 획득하는 단계;
    획득된 상기 이미지에 대한 분석을 통해, 상기 이미지에 포함되어 있는 객체를 식별한 후, 객체 식별 결과를 생성하는 단계; 및
    생성된 상기 객체 식별 결과에 기초하여, 객체별 장애 위험 순위를 판별하고, 위험 순위가 높은 객체에 대한 정보를 생성 및 출력하는 단계를 포함하는
    스마트 안경을 이용한 시각 장애인 보조 방법.
  7. 제 6 항에 있어서,
    상기 출력하는 단계는, 상기 서버의 객체 인식률을 판단해 낮은 인식률의 객체는 분석 대상에서 제외시키는 것을 포함하는 것을 특징으로 하는
    스마트 안경을 이용한 시각 장애인 보조 방법.
  8. 제 6 항에 있어서,
    상기 출력하는 단계는, 기 설정된 위험요소 우선순위를 바탕으로, 위험요소 우선순위가 낮은 객체는 분석 대상에서 제외시키는 것을 특징으로 하는
    스마트 안경을 이용한 시각 장애인 보조 방법.
  9. 제 6 항에 있어서,
    상기 출력하는 단계는, 객체들을 비교하여 장애 위험 순위가 높은 하나의 객체를 추출하고, 추출된 객체의 중심점, 이미지의 중심점 및 역삼각함수를 사용하여 사용자의 시선을 중심으로 360°상에서의 객체의 각도를 추출하고, 각도 상의 객체의 위치를 360°를 30으로 나눈 것으로 정의되는 방향에서 어느 방향에 해당하는지를 판별하는 것을 포함하는 것을 특징으로 하는
    스마트 안경을 이용한 시각 장애인 보조 방법.
  10. 제 9 항에 있어서,
    상기 객체들을 비교하여 장애 위험 순위가 높은 하나의 객체를 추출하는 것은, 상기 이미지의 중심과 객체의 중심점들과의 거리를 비교하여 이미지 중심에 가장 근접한 하나의 객체를 추출하는 것인 것을 특징으로 하는
    스마트 안경을 이용한 시각 장애인 보조 방법.
KR1020180165021A 2018-12-19 2018-12-19 스마트 안경을 이용한 시각 장애인 보조 시스템 및 방법 KR20200076170A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180165021A KR20200076170A (ko) 2018-12-19 2018-12-19 스마트 안경을 이용한 시각 장애인 보조 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180165021A KR20200076170A (ko) 2018-12-19 2018-12-19 스마트 안경을 이용한 시각 장애인 보조 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20200076170A true KR20200076170A (ko) 2020-06-29

Family

ID=71401059

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180165021A KR20200076170A (ko) 2018-12-19 2018-12-19 스마트 안경을 이용한 시각 장애인 보조 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20200076170A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102234079B1 (ko) * 2020-11-26 2021-03-31 (주)에스알포스트 시각 보조 장치 및 방법
KR102252352B1 (ko) * 2020-12-04 2021-05-17 주식회사 바토너스 보행 안내 방법 및 장치
KR20220075128A (ko) * 2020-11-27 2022-06-07 가천대학교 산학협력단 시각 기능 훈련 컨텐츠를 제공하는 방법 및 시스템
WO2023219236A1 (ko) * 2022-05-10 2023-11-16 주식회사 비브스튜디오스 스마트 안경에 광고를 디스플레이하는 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102234079B1 (ko) * 2020-11-26 2021-03-31 (주)에스알포스트 시각 보조 장치 및 방법
KR20220073607A (ko) * 2020-11-26 2022-06-03 (주) 에스알포스트 계단에 대한 객체인식이 가능한 시각 보조 장치 및 방법
KR20220073606A (ko) * 2020-11-26 2022-06-03 (주) 에스알포스트 에스컬레이터에 대한 객체인식이 가능한 시각 보조 장치 및 방법
KR20220075128A (ko) * 2020-11-27 2022-06-07 가천대학교 산학협력단 시각 기능 훈련 컨텐츠를 제공하는 방법 및 시스템
KR102252352B1 (ko) * 2020-12-04 2021-05-17 주식회사 바토너스 보행 안내 방법 및 장치
WO2023219236A1 (ko) * 2022-05-10 2023-11-16 주식회사 비브스튜디오스 스마트 안경에 광고를 디스플레이하는 방법

Similar Documents

Publication Publication Date Title
KR20200076170A (ko) 스마트 안경을 이용한 시각 장애인 보조 시스템 및 방법
EP3742332B1 (en) Method and apparatus for training model for recognizing key points of hand, and method and apparatus for recognizing key points of hand
US10930010B2 (en) Method and apparatus for detecting living body, system, electronic device, and storage medium
TWI724736B (zh) 圖像處理方法及裝置、電子設備、儲存媒體和電腦程式
US11455788B2 (en) Method and apparatus for positioning description statement in image, electronic device, and storage medium
EP3584745A1 (en) Live body detection method and apparatus, system, electronic device, and storage medium
JP6705656B2 (ja) 視覚補助装置及びオブジェクトの分類の検出方法
Jain et al. Visual assistance for blind using image processing
JP2015064513A (ja) 表示装置、コンテンツ表示方法及びプログラム
KR101835235B1 (ko) 시각 장애인 보조장치 및 그 제어방법
CN109920016B (zh) 图像生成方法及装置、电子设备和存储介质
Garcia et al. Wearable computing for image-based indoor navigation of the visually impaired
JP2020523694A (ja) 顔特徴点の測位方法及び装置
Patel et al. Assistive device using computer vision and image processing for visually impaired; review and current status
US20140334682A1 (en) Monitoring device using selective attention model and method for monitoring same
JP2009206924A (ja) 情報処理装置、情報処理システム及び情報処理プログラム
KR20190113252A (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
Manjari et al. CREATION: Computational constRained travEl aid for objecT detection in outdoor eNvironment
US10299982B2 (en) Systems and methods for blind and visually impaired person environment navigation assistance
CN111611812B (zh) 翻译成盲文
JP2021056499A (ja) 方法、プログラム、及び装置
KR20160011302A (ko) 글라스형 웨어러블 디바이스의 영상 또는 이미지 처리시스템 및 처리방법
Saha et al. Visual, navigation and communication aid for visually impaired person
CN110801229A (zh) 视力保护监测方法、系统、设备及存储介质
CN115206305A (zh) 语义文本的生成方法、装置、电子设备及存储介质