KR102453035B1 - 증강현실 기반의 시각 장애인용 장애물 알림 제공 방법 및 장치 - Google Patents

증강현실 기반의 시각 장애인용 장애물 알림 제공 방법 및 장치 Download PDF

Info

Publication number
KR102453035B1
KR102453035B1 KR1020220062826A KR20220062826A KR102453035B1 KR 102453035 B1 KR102453035 B1 KR 102453035B1 KR 1020220062826 A KR1020220062826 A KR 1020220062826A KR 20220062826 A KR20220062826 A KR 20220062826A KR 102453035 B1 KR102453035 B1 KR 102453035B1
Authority
KR
South Korea
Prior art keywords
obstacle
visually impaired
augmented reality
haptic
vibration
Prior art date
Application number
KR1020220062826A
Other languages
English (en)
Inventor
오성훈
Original Assignee
오성훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오성훈 filed Critical 오성훈
Priority to KR1020220062826A priority Critical patent/KR102453035B1/ko
Priority to KR1020220126874A priority patent/KR20230163908A/ko
Application granted granted Critical
Publication of KR102453035B1 publication Critical patent/KR102453035B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/02—Goggles
    • A61F9/029—Additional functions or features, e.g. protection for other parts of the face such as ears, nose or mouth; Screen wipers or cleaning devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0269—System arrangements wherein the object is to detect the exact location of child or item using a navigation satellite system, e.g. GPS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F2009/0035—Devices for immobilising a patient's head with respect to the instrument
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A61H2003/063—Walking aids for blind persons with electronic detecting or guiding means with tactile perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A61H2003/063—Walking aids for blind persons with electronic detecting or guiding means with tactile perception
    • A61H2003/065—Walking aids for blind persons with electronic detecting or guiding means with tactile perception in the form of braille
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/1604—Head
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/164—Feet or leg, e.g. pedal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/165—Wearable interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled
    • A61H2201/501—Control means thereof computer controlled connected to external computer devices or networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5064—Position sensors

Abstract

증강현실 기반의 시각 장애인용 장애물 알림 제공 방법 및 장치가 제공된다. 상기 방법은, 일반 증강현실 모드가 활성화된 상태에서, 상기 장치를 착용한 사용자가 시각 장애인으로 판단된 경우, 상기 일반 증강현실 모드를 시각 장애인용 증강현실 모드로 전환하는 단계, 상기 시각 장애인용 증강현실 모드로 전환됨에 따라 적어도 하나의 장애물이 포함된 현실세계에 대한 영상을 획득하는 단계, 상기 획득된 영상의 분석을 통해 상기 장애물에 대한 깊이 맵(Depth map)을 생성하는 단계, 상기 생성된 깊이 맵에 기초하여 상기 현실세계 내의 장애물을 탐색하는 단계 및 상기 탐색된 장애물에 대한 알림을 제공하는 단계를 포함한다.

Description

증강현실 기반의 시각 장애인용 장애물 알림 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING OBSTACLE NOTIFICATION FOR THE BLIND BASED ON AUGMENTED REALITY}
본 개시는 증강현실 기반의 시각 장애인용 장애물 알림 제공 방법 및 장치에 관한 것이다.
사회의 전반적인 수준이 높아짐에 따라 사회적 약자들에 대한 배려는 점점 진보되어 가고 있다. 그중 시각 장애인은 안내견의 안내를 받아 보행하거나, 시각 장애인용 지팡이를 이용하여 보행할 수 있다.
그러나, 안내견의 안내를 받는 방식은 안내견의 훈련과 사용자와의 교감 형성에 상당한 시간이 소요되고, 대다수의 시각장애인이 이용할 수 없는 어려움이 있다. 또한, 시각 장애인용 지팡이를 이용하는 방식은 지팡이 사용법을 익히는 데 오랜 시간이 소요되고, 장애물 유무를 파악하기 힘들기 때문에 시각 장애인이 다치는 경우가 발생한다는 문제가 있다.
등록특허공보 제10-1708144호, 2017.02.13.
본 개시에 개시된 실시예는 증강현실 기반의 시각 장애인용 장애물 알림 제공 방법 및 장치를 제공하는데 그 목적이 있다.
본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 기술적 과제를 달성하기 위한 본 개시에 일 측면에 따른 증강현실 기반의 시각 장애인용 장애물 알림 제공 방법은, 일반 증강현실 모드가 활성화된 상태에서, 상기 장치를 착용한 사용자가 시각 장애인으로 판단된 경우, 상기 일반 증강현실 모드를 시각 장애인용 증강현실 모드로 전환하는 단계, 상기 시각 장애인용 증강현실 모드로 전환됨에 따라 적어도 하나의 장애물이 포함된 현실세계에 대한 영상을 획득하는 단계, 상기 획득된 영상의 분석을 통해 상기 장애물에 대한 깊이 맵(Depth map)을 생성하는 단계, 상기 생성된 깊이 맵에 기초하여 상기 현실세계 내의 장애물을 탐색하는 단계 및 상기 탐색된 장애물에 대한 알림을 제공하는 단계를 포함하고, 상기 장치는, 웨어러블 형태로 상기 시각 장애인의 머리에 착용되고, 좌, 우, 전방 및 후방 각각에 햅틱 모듈이 설치되고, 상기 알림을 제공하는 단계는, 상기 햅틱 모듈을 이용하여 상기 탐색된 장애물에 대한 상황 별로 서로 상이한 햅틱 효과를 제공할 수 있다.
또한, 상기 알림을 제공하는 단계는, 상기 시각 장애인의 주변 상황을 알리는 제1 촉각 패턴의 햅틱 효과를 제공하는 단계 및 상기 시각 장애인을 기준으로 하여 상기 시각 장애인 및 상기 장애물 간의 충돌 상황을 알리는 제2 촉각 패턴의 햅틱 효과를 제공하는 단계를 포함할 수 있다.
또한, 상기 제1 촉각 패턴은, 상기 시각 장애인의 주변 상황을 한 글자 단위의 텍스트로 표현한 점자 형태의 패턴일 수 있다.
또한, 상기 제2 촉각 패턴은, 상기 장애물과의 거리에 따라 강조되는 진동 형태의 패턴일 수 있다.
또한, 상기 제2 촉각 패턴의 햅틱 효과를 제공하는 단계는, 상기 시각 장애인과 고정형 장애물 간의 거리가 기 설정된 거리 이내인 경우 제1 세기 및 제1 주기의 제1 진동을 발생시키되, 상기 좌, 우, 전방 및 후방 각각에 설치된 햅틱 모듈 중에서 상기 고정형 장애물의 위치에 대응하는 하나의 햅틱 모듈에 의해 상기 제1 진동이 발생될 수 있다.
또한, 상기 제2 촉각 패턴의 햅틱 효과를 제공하는 단계는, 상기 시각 장애인과 이동형 장애물 간의 거리가 기 설정된 거리 이내인 경우 제2 세기 및 제2 주기의 제2 진동을 발생시키되, 상기 좌, 우, 전방 및 후방 각각에 설치된 햅틱 모듈 중에서 상기 이동형 장애물의 이동 방향에 대응하는 하나 이상의 햅틱 모듈에 의해 상기 제2 진동이 발생될 수 있다.
또한, 상기 시각 장애인과 이동형 장애물 간의 거리가 가까워질수록, 상기 제2 진동의 세기는 상기 제2 세기에서 점차적으로 강해지고, 상기 제2 진동의 주기는 상기 제2 주기에서 점차적으로 빨라질 수 있다.
또한, 상기 방법은, 상기 장치에 포함된 모션센서 및 GPS 센서를 이용하여 기 설정된 시간 동안 감지된 움직임이 기 저장된 시각 장애인의 보행 패턴에 해당하면, 상기 장치를 소지한 사용자가 상기 시각 장애인인 것으로 판단하는 단계를 더 포함할 수 있다.
또한, 본 개시의 다른 측면에 따른 증강현실 기반의 시각 장애인용 장애물 알림 제공 장치는, 웨어러블 형태로 시각 장애인의 머리에 착용되는 착용부, 현실 세계에 대한 영상을 획득하는 영상 획득부, 증강현실 기반의 시각 장애인용 장애물 알림 제공을 위한 적어도 하나의 프로세스를 저장하고 있는 메모리 및 상기 프로세스에 따라 동작하는 프로세서를 포함하고, 상기 프로세서는, 상기 프로세스를 기반으로, 일반 증강현실 모드가 활성화된 상태에서, 상기 착용부를 착용한 사용자가 시각 장애인으로 판단된 경우, 상기 일반 증강현실 모드를 시각 장애인용 증강현실 모드로 전환하고, 상기 시각 장애인용 증강현실 모드로 전환됨에 따라 상기 영상 획득부를 통해 적어도 하나의 장애물이 포함된 현실세계에 대한 영상을 획득하고, 상기 획득된 영상의 분석을 통해 상기 장애물에 대한 깊이 맵(Depth map)을 생성하고, 상기 생성된 깊이 맵에 기초하여 상기 현실세계 내의 장애물을 탐색하고, 상기 탐색된 장애물에 대한 알림을 제공하고, 상기 착용부는, 좌, 우, 전방 및 후방 각각에 햅틱 모듈이 설치되고, 상기 프로세서가 상기 알림을 제공 시에, 상기 탐색된 장애물에 대한 상황 별로 서로 상이한 햅틱 효과를 제공할 수 있다.
이 외에도, 본 개시를 구현하기 위한 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.
이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
본 개시의 전술한 과제 해결 수단에 의하면, 시각 장애인은 장애물 알림 제공 장치를 머리에 착용하여 주변 장애물 및 이동하는 장애물에 대한 알림을 제공받을 수 있다. 이로써, 시각 장애인이 보행 시 맞닥뜨릴 수 있는 위험에 미리 대처할 수 있는 효과를 제공한다.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시에 따른 증강현실 기반의 시각 장애인용 장애물 알림 제공 장치의 블록도이다.
도 2는 본 개시에 따른 증강현실 기반의 시각 장애인용 장애물 알림 제공 방법의 순서도이다.
도 3a 내지 도 3d는 본 개시에 따른 장애물 알림 제공 장치 형태의 실시예를 설명하기 위한 도면이다.
도 4는 도 2의 단계 S150의 구체적인 방법의 순서도이다.
도 5는 본 개시에 따른 제1 촉각 패턴의 햅틱 효과를 설명하기 위한 도면이다.
도 6a 및 도 6b는 본 개시에 따른 제2 촉각 패턴의 햅틱 효과를 설명하기 위한 도면이다.
도 7a 내지 7c는 본 개시에 따른 장애물 유형에 따라 상이한 패턴을 갖는 제2 진동을 설명하기 위한 도면이다.
본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부, 모듈, 부재, 블록’이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
종래에는 다양한 증강 현실(AR) 표현 방법이 사용되고 있다. 그 중 시각적 SLAM(또는 vSLAM)은 카메라 및 기타 영상 센서로 획득한 영상을 사용한다. 시각적 SLAM은 일반 카메라(광각, 어안 및 구형 카메라), 겹눈 카메라(스테레오 및 멀티 카메라) 및 RGB-D 카메라(심도 및 ToF 카메라)를 사용할 수 있다.
시각적 SLAM은 비교적 저렴한 카메라를 사용하여 저비용으로 구현할 수 있다. 뿐만 아니라 카메라에서 제공되는 정보가 방대하기 때문에 이를 토대로 랜드마크(이전에 측정한 위치)를 감지할 수 있다. 랜드마크 감지는 그래프 기반 최적화와의 결합이 가능하여 SLAM 구현 시 유연성이 확보될 수 있다.
단안 SLAM은 vSLAM이 단일 카메라를 유일한 센서로 사용할 때를 지칭하는데, 이때는 심도 추정이 어려워진다. 이 문제는 위치추정이 필요한 영상에서 AR 마커나 체커보드 또는 기타 알려진 객체를 감지하거나 카메라 정보를 속도, 방향 같은 물리량의 측정이 가능한 IMU(관성 측정 장치) 등의 다른 센서와 융합하여 해결할 수 있다. vSLAM에 관련된 기술에는 SfM(움직임 기반 구조), 시각적 주행거리 측정, 번들 조정 등이 있다.
시각적 SLAM 알고리즘은　크게 두 범주로 분류할 수 있다. 희소 방법은 영상의 특징점들을 정합하고 PTAM이나 ORB-SLAM 등의 알고리즘을 사용한다. 조밀 방법은 영상의 전체적인 밝기를 사용하고 DTAM, LSD-SLAM, DSO, SVO 등의 알고리즘을 사용한다.
SLAM은 몇몇 실제 응용 분야에 사용되고 있지만 몇 가지 기술적 문제가 더 광범위한 용도로의 도입을 막고 있다. 다음 각각의 문제는 이를 타개할 수 있는 대응책이 있다.
1. 실제 값과의 상당한 편차를 초래하는 위치추정 오차 누적
SLAM은 순차적으로 움직임을 추정하고, 이 과정에서 약간의 오차 범위가 발생한다. 이 오차는 시간이 지나면서 누적되고, 따라서 실제 값과는 상당한 편차가 발생한다. 이렇게 되면 지도 데이터가 붕괴되거나 왜곡되어 후속 탐색이 어려워질 수도 있다. 사각형 통로를 따라 주행하는 경우를 예로 들어 보면, 오차가 누적되면서 로봇의 출발점과 종료점이 더는 일치하지 않게 된다. 이를 루프 폐쇄 문제라고 하는데, 이와 같은 자세 추정 오차는 불가피하다. 따라서, 루프 폐쇄를 감지하고 누적된 오차를 수정하거나 상쇄하는 방법을 파악하는 것이 중요하다.
이에 대한　대응책은 이전에 갔던 장소의 특징을 랜드마크로서 기억하여 위치추정 오차를 최소화하는 것이다. 오차를 수정할 수 있도록 자세 그래프가 생성되고, 오차 최소화를 최적화 문제로 풀면 더욱 정확한 지도 데이터 생성이 가능해진다. 이러한 종류의 최적화를 시각적 SLAM의 번들 조정이라고 한다.
2. 위치추정 실패 및 지도상 위치 상실
영상 및 포인트 클라우드 지도작성에서는 로봇의 움직임 특성을 고려하지 않는다. 경우에 따라서는 이러한 접근법으로 인해 불연속적인 위치 추정값이 생성될 수 있다. 예를 들자면 1m/s로 이동하는 로봇이 갑자기 10m 앞으로 급속 이동하는 계산 결과가 표시되는 경우를 들 수 있다. 이러한 유형의 위치추정 실패 문제는 복원 알고리즘을 사용하거나 모션 모델과 다수의 센서를 융합하여 센서 데이터에 기반한 계산을 수행함으로써 방지할 수 있다.
모션 모델에 센서 융합을 사용하는 방법은 여러 가지가 있다. 널리 사용되는 방법은 위치추정에　칼만 필터링을 사용하는 방법이다. 대부분의 차동 구동 로봇 및 사륜 차량은 일반적으로 비선형 모션 모델을 사용하므로 확장 칼만 필터와　입자 필터(몬테카를로 위치추정)가 흔히 사용된다. 때로는 무향 칼만 필터처럼 더 유연한 베이즈 필터를 사용할 수도 있다. 흔히 사용되는 몇 가지 센서를 꼽자면　AHRS(자세방위기준장치), INS(관성 항법 시스템), 가속도계 센서, 자이로 센서, 자기 센서 및 IMU와 같은 관성 측정 기기를 들 수 있다. 차량에 장착된 휠 인코더는 종종 주행거리 측정에 사용된다.
위치추정에 실패할 경우 복원을 위한　대응책은 이전에 갔던 장소의 랜드마크를 키프레임으로 기억하는 것이다. 랜드마크를 검색할 때는 고속 스캔이 가능한 방식으로　특징 추출　절차를 적용한다. 영상 특징에 기반한 방법에는 BoF(Bag of Features) 및 BoVW(Bag of Visual Words)가 있다. 최근에는 특징까지의 거리 비교에 딥러닝이 사용되고 있다.
3. 영상 처리, 포인트 클라우드 처리 및 최적화에 소요되는 높은 계산 비용
차량 하드웨어에 SLAM을 구현할 때는 계산 비용이 문제가 된다. 계산은 대개 처리 능력이 낮은 소형 저전력 임베디드 마이크로프로세서에서 수행된다. 정확한 위치추정을 위해서는 포인트 클라우드 정합과　영상 처리를 높은 빈도로 실행하는 것이 매우 중요하다. 게다가 루프 폐쇄와 같은 최적화 계산은 연산량이 큰 공정이다. 문제는 그처럼 계산적 비용이 큰 공정을 임베디드 마이크로컴퓨터에서 실행하는 방법이다.
다양한 공정을 병렬로 실행하는 것도　대응책이 될 수 있다. 정합의 전처리 과정인 특징 추출 같은 공정은 병렬화에 비교적 적합하다. 멀티코어 CPU, SIMD(Single Instruction Multiple Data) 계산 및 임베디드 GPU를 사용해서 처리하면 경우에 따라 속도를 더욱 향상시킬 수 있다. 또한 자세 그래프 최적화는 비교적 긴 사이클에 걸쳐 수행될 수 있으므로 우선순위를 낮추고 일정한 간격으로 이 공정을 수행하는 것으로도 성능을 개선할 수 있다.
이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.
본 명세서에서 '본 개시에 따른 증강현실 기반의 시각 장애인용 장애물 알림 제공 장치'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 본 개시에 따른 증강현실 기반의 시각 장애인용 장애물 알림 제공 장치는, 컴퓨터, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.
여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.
상기 서버 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.
상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
도 1은 본 개시에 따른 증강현실 기반의 시각 장애인용 장애물 알림 제공 장치의 블록도이다.
도 2는 본 개시에 따른 증강현실 기반의 시각 장애인용 장애물 알림 제공 방법의 순서도이다.
도 3a 내지 도 3d는 본 개시에 따른 장애물 알림 제공 장치 형태의 실시예를 설명하기 위한 도면이다.
도 4는 도 2의 단계 S150의 구체적인 방법의 순서도이다.
도 5는 본 개시에 따른 제1 촉각 패턴의 햅틱 효과를 설명하기 위한 도면이다.
도 6a 및 도 6b는 본 개시에 따른 제2 촉각 패턴의 햅틱 효과를 설명하기 위한 도면이다.
도 7a 내지 7c는 본 개시에 따른 장애물 유형에 따라 상이한 패턴을 갖는 제2 진동을 설명하기 위한 도면이다.
본 개시의 증강현실 기반의 시각 장애인용 장애물 알림 제공 장치 (100)(이하, 알림 제공 장치)는 해당 장치를 착용한 사용자가 시각 장애인으로 판단된 경우, 일반 증강현실 모드에서 시각 장애인용 증강현실 모드로 전환하여 시각 장애인에게 현실세계에서의 주변 장애물에 대한 알림을 제공한다.
본 개시의 알림 제공 장치(100)는 사용자가 머리에 착용 가능한 형태로 형성될 수 있다. 예를 들어, 알림 제공 장치(100)는 띠 형태로 형성될 수 있다. 그러나, 알림 제공 장치(100)의 형태는 띠 형태로만 제한되지 않고 또한 착용 부위도 머리에만 제한되지 않으며, 사용자는 다양한 형태로 형성되는 장치를 신체 일부에 착용할 수 있다.
본 개시의 알림 제공 장치(100)는 시각 장애인에게 촉각 정보를 제공하여 주변에 장애물이 있음을 경고하는 장치로서, 시각 장애인은 길을 걸을 때 주변 상황에 대한 소리 정보를 통해 주변 상황을 파악하는데, 이에 대한 보조적인 역할로써 알림 제공 장치(100)가 제공하는 촉각 정보를 통해 장애물에 대한 보다 정확한 알림을 제공받을 수 있다. 이에 따라, 시각 장애인은 이중으로 주변 상황에 대한 정보를 얻을 수 있어서 보다 안전하게 보행할 수 있게 된다.
도 1을 참조하면, 알림 제공 장치(100)는 착용부(110), 영상 획득부(120), 메모리(130) 및 프로세서(140)를 포함할 수 있다.
다만, 몇몇 실시예에서 알림 제공 장치(100)는 도 1에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 수의 구성요소를 포함할 수도 있다.
상기 착용부(110)는 웨어러블 형태로 시각 장애인의 머리에 착용될 수 있다. 그러나 상술한 바와 같이 착용 부위는 머리에 제한되는 것은 아니다.
상기 영상 획득부(120)는 현실 세계에 대한 영상을 획득할 수 있다. 여기서, 영상 획득부(120)는 카메라일 수 있으며, 이에 제한되는 것은 아니다. 카메라는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 메모리(130)에 저장될 수 있다. 한편, 상기 카메라가 복수개일 경우, 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같이 매트릭스 구조를 이루는 카메라들을 통해 다양한 각도 또는 초점을 갖는 복수의 영상정보가 입력될 수 있고, 또한 상기 카메라들은 3차원의 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록, 스트레오 구조로 배치될 수도 있다.
상기 메모리(130)는 증강현실 기반의 시각 장애인용 장애물 알림 제공을 위한 적어도 하나의 프로세스를 저장하고 있을 수 있다.
메모리(130)는 본 장치(100)의 다양한 기능을 지원하는 데이터와, 프로세서(140)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 음악 파일, 정지영상, 동영상 등)을 저장할 있고, 본 장치에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 본 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.
이러한, 메모리(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(130)는 본 장치(100)와는 분리되어 있으나, 유선 또는 무선으로 연결된 데이터베이스가 될 수도 있다.
상기 프로세서(140)는 본 장치(100) 내의 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리, 및 메모리(130)에 저장된 데이터를 이용하여 전술한 동작을 수행할 수 있다. 이때, 메모리(130)와 프로세서(140)는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리(130)와 프로세서(140)는 단일 칩으로 구현될 수도 있다.
또한, 프로세서(140)는 이하의 도 2 내지 도 5에서 설명되는 본 개시에 따른 다양한 실시예들을 본 장치(100) 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.
또한, 프로세서(140)는 일반 증강현실 모드가 활성화된 상태에서, 상기 착용부를 착용한 사용자가 시각 장애인으로 판단된 경우, 상기 일반 증강현실 모드를 시각 장애인용 증강현실 모드로 전환하고, 상기 시각 장애인용 증강현실 모드로 전환됨에 따라 상기 영상 획득부(120)를 통해 적어도 하나의 장애물이 포함된 현실세계에 대한 영상을 획득하고, 상기 획득된 영상의 분석을 통해 상기 장애물에 대한 깊이 맵(Depth map)을 생성하고, 상기 생성된 깊이 맵에 기초하여 상기 현실세계 내의 장애물을 탐색하고, 상기 탐색된 장애물에 대한 알림을 제공할 수 있다.
여기서, 깊이 맵은 상기 알림 제공 장치(100)에 포함된 센싱부(미도시)를 통해 획득된 센싱 정보를 기초로 생성될 수 있다. 구체적으로, 상기 알림 제공 장치(100)는 상기 센싱 정보를 기초로 상기 현실세계에 대한 영상을 분석하여, 상기 영상 내에서 오브젝트가 존재하는 영역과 오브젝트가 존재하지 않는 영역이 구분되도록 상기 깊이 맵을 생성할 수 있다. 또한, 상기 오브젝트가 존재하는 영역에 대해서는 각각의 오브젝트의 위치 별로 상기 각각의 오브젝트가 상이하게 표현되도록 상기 깊이 맵을 생성할 수 있다.
센싱부(미도시)는 본 장치(100)의 내 정보, 본 장치를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하고, 이에 대응하는 센싱 신호를 발생시킨다. 프로세서(140)는 이러한 센싱 신호에 기초하여, 본 장치(100)의 구동 또는 동작을 제어하거나, 본 장치에 설치된 응용 프로그램과 관련된 데이터 처리, 기능 또는 동작을 수행 할 수 있다.
상기와 같은, 센싱부(미도시)는 근접센서(proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라), 마이크로폰, 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 중 적어도 하나를 포함함), 화학 센서(예를 들어, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 장치(100)는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
또한, 도 1에 도시된 바와 같이, 상기 착용부(110)는, 좌, 우, 전방 및 후방 각각에 햅틱 모듈(111, 112, 113, 114)이 설치될 수 있다.
햅틱 모듈(haptic module)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다. 햅틱 모듈에서 발생하는 진동의 세기와 패턴 등은 사용자의 선택 또는 프로세서의 설정에 의해 제어될 수 있다. 또한, 햅틱 모듈은 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(electrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈은 직접적인 접촉을 통해 촉각 효과를 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다.
이렇게 좌측 햅틱모듈(111)(이하, 제1 햅틱모듈), 우측 햅틱모듈(112)(이하, 제2 햅틱모듈), 전방 햅틱모듈(113)(이하, 제3 햅틱모듈) 및 후방 햅틱모듈(114)(이하, 제4 햅틱모듈)을 통해 상기 프로세서(140)는 탐색된 장애물에 대한 상황 별로 서로 상이한 햅틱 효과를 제공할 수 있게 된다.
또한, 도 1에는 도시하지 않았지만, 상기 알림 제공 장치(100)는 통신부(미도시)를 더 포함할 수 있다. 통신부(미도시)는 상기 장치(100)와 외부 단말 사이, 상기 장치(100)와 외부 장치 사이, 상기 장치(100)와 외부 서버 사이, 상기 장치(100)와 통신망 사이의 무선 또는 유선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.
여기서, 외부 단말(미도시)은 알림 제공 장치(100)를 사용하는 사용자의 단말일 수 있지만, 이에 제한되는 것은 아니다.
여기서, 통신망(미도시)은 다양한 형태의 통신망이 이용될 수 있으며, 예컨대, WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coax), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신방식이 이용될 수 있다.
한편, 통신망(미도시)은 상기에 제시된 통신방식에 한정되는 것은 아니며, 상술한 통신방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.
유선 통신 모듈은, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 4G, 5G, 6G 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
도 1에 도시된 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 1에는 영상 획득부(120), 메모리(130) 및 프로세서(140)가 착용부(110)에 포함되지 않는 것으로 도시하였지만, 실시예에 따라 착용부(100)가 본 장치(100)의 하우징으로서 기능하여 착용부(100)내에 본 장치(100)의 모든 구성요소들이 포함될 수 있다. 또한, 실시예에 따라 영상 획득부(120), 메모리(130) 및 프로세서(140)는 착용부(110)와 개별적인 장치에 포함될 수 있다.
한편, 도 1에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.
이하에서는 도 2 내지 도 7을 참조하여, 본 개시의 증강현실 기반의 시각 장애인용 장애물 알림 제공 방법에 대해 상세히 설명하도록 한다. 본 개시에 따른 방법의 각각의 동작은 알림 제공 장치(100)에 의해 수행되는 것으로 이해될 수 있지만, 이에 제한되는 것은 아니다.
도 2를 참조하면, 알림 제공 장치(100)의 프로세서(140)는 일반 증강현실 모드가 활성화된 상태에서, 상기 장치를 착용한 사용자가 시각 장애인으로 판단된 경우, 상기 일반 증강현실 모드를 시각 장애인용 증강현실 모드로 전환할 수 있다(S110).
여기서, 일반 증강현실 모드는 시각 장애를 가지고 있지 않은 사람들을 위해 장애물 알림을 시각적으로 보여주는 모드이고, 시각 장애인용 증강현실 모드는 시각 장애인을 위해 장애물 알림을 시각이 아닌 촉각으로 느끼게 해주는 모드이다. 알림 제공 장치(100)는 일반 증강현실 모드를 기본 모드로 제공하다가 해당 장치(100)를 소지한 사용자가 시각 장애인인 것으로 판단된 경우에만 모드 전환을 통해 시각 장애인에게도 장애물의 위치 및 종류 등의 정보를 정확히 제공할 수 있도록 한다.
이를 위해, 본 개시는 단계 S110 전에 알림 제공 장치(100)의 프로세서(140)가 해당 장치(100)를 소지한 사용자가 시각 장애인인지의 여부를 판단하는 단계를 더 포함할 수 있다.
구체적으로, 상기 장치(100)의 센싱부(미도시)에 포함된 적어도 하나의 센서(예를 들어, 모션센서 및 GPS 센서)를 이용하여 기 설정된 시간 동안 감지된 움직임이 기 저장된 시각 장애인의 보행 패턴에 해당하면, 상기 장치(100)를 소지한 사용자가 상기 시각 장애인인 것으로 판단할 수 있다. 즉, 시각 장애인은 시각 장애인이 아닌 사람들과 비교했을 때 보행 속도가 더 느리거나 방향 변화 없이 일직선으로 걷는 등의 정형화된 보행 패턴을 보일 수 있다. 알림 제공 장치(100)는 기 설정된 시간(예를 들어, 10분) 동안 측정된 사용자의 움직임이 상기 보행 패턴과 유사하다고 판단되면 상기 사용자를 시각 장애인인 것으로 판단할 수 있다.
이렇게 알림 제공 장치(100)를 소지(착용)한 사용자가 시각 장애인인 것으로 판단되면, 알림 제공 장치(100)는 일반 증강현실 모드를 시각 장애인용 증강현실 모드로 전환할 수 있다.
그런 다음, 알림 제공 장치(100)의 프로세서(140)는 영상 획득부(120)를 통해 상기 시각 장애인용 증강현실 모드로 전환됨에 따라 적어도 하나의 장애물이 포함된 현실세계에 대한 영상을 획득할 수 있다(S120).
상기 현실세계에 대한 영상은, 사용자(시각 장애인)을 기준으로 좌, 우, 전방 및 후방 영상을 포함할 수 있다. 실시예에 따라, 영상 획득부(120)가 하나의 360도 카메라로 구성되는 경우, 상기 장치(100)는 360도 카메라를 이용하여 사용자를 기준으로 360도 영상을 획득할 수 있다. 실시예에 따라, 영상 획득부(120)가 복수의 카메라로 구성되는 경우, 상기 장치(100)는 각각의 카메라로부터 좌측 영상, 우측 영상, 전방 영상 및 후방 영상을 획득할 수 있다. 실시예에 따라, 영상 획득부(120)가 복수의 카메라로 구성되는 경우, 상기 장치(100)는 하나의 카메라로부터 좌측 영상, 우측 영상 및 전방 영상을 획득하고 다른 하나의 카메라로부터 후방 영상을 획득할 수 있다.
그런 다음, 알림 제공 장치(100)의 프로세서(140)는 상기 획득된 영상의 분석을 통해 상기 장애물에 대한 깊이 맵(Depth map)을 생성할 수 있다(S130).
여기서, 깊이 맵은 상기 알림 제공 장치(100)에 포함된 센싱부(미도시)를 통해 획득된 센싱 정보를 기초로 생성될 수 있다. 구체적으로, 상기 알림 제공 장치(100)는 상기 센싱 정보를 기초로 상기 현실세계에 대한 영상을 분석하여, 상기 영상 내에서 오브젝트가 존재하는 영역과 오브젝트가 존재하지 않는 영역이 구분되도록 상기 깊이 맵을 생성할 수 있다. 또한, 상기 오브젝트가 존재하는 영역에 대해서는 각각의 오브젝트의 위치 별로 상기 각각의 오브젝트가 상이하게 표현되도록 상기 깊이 맵을 생성할 수 있다.
또한, 알림 제공 장치(100)는 센싱부(미도시)에 포함된 다양한 센서들(예를 들어, IMU 센서, 자이로 센서, GPS 등)의 파라미터들을 사용자가 현재 착용(소지) 중인 장치(100)의 위치 정보와 연동하여 깊이 맵의 정확도를 개선할 수 있다.
그런 다음, 알림 제공 장치(100)의 프로세서(140)는 상기 생성된 깊이 맵에 기초하여 상기 현실세계 내의 장애물을 탐색할 수 있다(S140).
상기 프로세서(140)는 상기 깊이 맵에 포함된 오브젝트를 상기 장애물로 탐색하되, 인공지능 기반 알고리즘을 이용하여 상기 깊이 맵 내의 각각의 오브젝트를 분석하여, 상기 각각의 오브젝트에 대응하는 각각의 장애물의 종류, 위치, 크기, 움직임 여부, 사용자와의 거리, 장애물의 경사 방향 및 경사 각도를 파악할 수 있다.
그런 다음, 알림 제공 장치(100)의 프로세서(140)는 제1 내지 제4 햅틱모듈(111 내지 114)를 통해 시각 장애인에게 상기 탐색된 장애물에 대한 알림을 제공할 수 있다(S150).
도 3에 도시된 바와 같이, 상기 알림 제공 장치(100)는, 시각 장애인의 머리, 상체 및 팔다리 중 하나 또는 둘 이상의 신체 부위에 착용되는 웨어러블 형태로써, 안경, 이마 밴드, 티셔츠, 조끼 등의 다양한 웨어러블 장치 형태를 가질 수 있고,, 좌, 우, 전방 및 후방 각각에 햅틱 모듈이 설치될 수 있다.
도 3a에 도시된 바와 같이, 상기 알림 제공 장치(100)의 착용부(110)는 안경(예를 들어, AR 글래스)의 형태를 가질 수 있으며, 제1 내지 제4 햅틱 모듈(111 내지 114)은 좌, 우, 전방 및 후방에 해당하는 위치에 각각 설치될 수 있다.
도 3b에 도시된 바와 같이, 상기 알림 제공 장치(100)의 착용부(110)는 이마 밴드의 형태를 가질 수 있으며, 제1 내지 제4 햅틱 모듈(111 내지 114)은 좌, 우, 전방 및 후방에 해당하는 위치에 각각 설치될 수 있다.
도 3c에 도시된 바와 같이, 상기 알림 제공 장치(100)의 착용부(110)는 조끼의 형태를 가질 수 있으며, 제1 내지 제4 햅틱 모듈(111 내지 114)은 좌, 우, 전방 및 후방에 해당하는 위치에 각각 설치될 수 있다.
도 3d에 도시된 바와 같이, 상기 알림 제공 장치(100)의 착용부(110)는 양팔 및 양다리에 착용하는 밴드의 형태를 가질 수 있으며, 제1 및 제2 햅틱 모듈(111 및 112)은 양팔에 착용된 밴드에 각각 설치되고, 제3 및 제4 햅틱 모듈(113 및 114)은 양다리에 착용된 밴드에 각각 설치될 수 있다.
프로세서(140)는 제1 내지 제4 햅틱모듈(111 내지 114)를 통해 상기 탐색된 장애물에 대한 상황 별로 서로 상이한 햅틱 효과를 제공할 수 있다.
도 4를 참조하면, 프로세서(140)는 제1 내지 제4 햅틱모듈(111 내지 114)를 통해 상기 시각 장애인의 주변 상황을 알리는 제1 촉각 패턴의 햅틱 효과를 제공할 수 있다(S151).
여기서, 상기 제1 촉각 패턴은, 상기 시각 장애인의 주변 상황을 한 글자 단위의 텍스트로 표현한 점자 형태의 패턴일 수 있다.
여기서, 점자는 2x3의 6개의 점들을 조합하여 텍스트를 표현하는 것으로서, 본 개시의 제1 내지 제4 햅틱모듈(111 내지 114)은 기존 점자 형태와 동일하게 각각 2x3 배열의 진동 소자를 포함하여 상기 6개의 진동 소자를 통해 상기 제1 촉각 패턴을 발생시킬 수 있다.
실시예에 따라, 프로세서(140)는 제1 내지 제4 햅틱모듈(111 내지 114)을 통해 시계 방향의 순서로 텍스트를 한 글자 단위로 점자로 표현할 수 있다. 그러나, 이에 제한되지 않고 시계 방향뿐만 아니라 반시계 방향 또는 상하좌우의 순서로 텍스트를 한 글자 단위로 점자로 표현할 수도 있다.
도 5를 참조하면, 프로세서(140)는 주변 상황에 대해 '앞 조심'이라는 텍스트를 점자 형태의 패턴을 생성하여 시계 방향으로 한 글자씩 햅틱모듈을 통해 햅틱 효과를 제공할 수 있다. 보다 상세하게, 프로세서(140)는 전방 햅틱모듈인 제3 햅틱모듈(113)을 통해 '앞'이라는 글자의 점자에 해당하는 햅틱 효과를 발생시키고, 우측 햅틱모듈인 제2 햅틱모듈(112)을 통해 '조'라는 글자의 점자에 해당하는 햅틱 효과를 발생시키고, 후방 햅틱모듈인 제4 햅틱모듈(114)을 통해 '심'이라는 글자의 점자에 해당하는 햅틱 효과를 발생시킬 수 있다.
실시예에 따라, 프로세서(140)는 제1 내지 제4 햅틱모듈(111 내지 114) 중에서 상기 장애물의 위치에 대응하는 햅틱모듈을 통해 햅틱 효과를 제공하되, 이때 해당 장애물의 정보에 대응하는 점자 패턴을 햅틱 효과로 제공할 수 있다.
상기 단계 S140에서 전방에 장애물이 탐색되면, 프로세서(140)는 '조심'이라는 텍스트를 점자 형태의 패턴을 생성하여 전방 햅틱모듈인 제3 햅틱모듈(113)을 통해 햅틱 효과를 한 글자씩 순차적으로 제공할 수 있다.
또한, 상기 단계 S140에서 파악된 장애물의 경사 방향 및 경사 각도를 통해 사용자의 전방에 올라가는 턱이 있는 것으로 판단되면, 상기 프로세서(140)는 제3 햅틱 모듈(113)을 통해 상기 올라가는 턱에 대응하는 점자 및 해당 턱의 높이에 대응하는 점자를 햅틱 효과로 한 글자씩 순차적으로 제공할 수 있다. 이때, 프로세서(140)는 턱의 높이에 따라 햅틱 강도를 다르게 출력하거나, 또는 햅틱 강도를 점차적으로 세게 출력하여 시각 장애인에게 턱의 위치 및 턱의 높이를 정확히 알릴 수 있다. 턱의 높이는 깊이 맵을 기반으로 감지하거나, 카메라 영상을 통해 감지하거나, 추가의 거리 감지 센서(라이다, 초음파 센서 등등)를 통해 감지될 수 있다.
또한, 상기 단계 S140에서 파악된 장애물의 경사 방향 및 경사 각도를 통해 사용자의 전방에 내려가는 계단이 있는 것으로 판단되면, 상기 프로세서(140)는 제3 햅틱 모듈(113)을 통해 상기 내려가는 계단에 대응하는 점자 및 계단의 개수에 대응하는 점자를 햅틱 효과로 한 글자씩 순차적으로 제공할 수 있다. 이때, 프로세서(140)는 계단의 개수, 각도 및 높이에 따라 햅틱 강도를 다르게 출력하거나, 또는 햅틱 강도를 점차적으로 세게 출력하여 시각 장애인에게 계단의 개수, 각도 및 높이를 정확히 알릴 수 있다. 계단의 개수, 각도 및 높이는 깊이 맵을 기반으로 감지하거나, 카메라 영상을 통해 감지하거나, 추가의 거리 감지 센서(라이다, 초음파 센서 등등)를 통해 감지될 수 있다.
상기에서는 상기 장애물의 위치에 대응하는 햅틱모듈에서만 햅틱 효과가 제공되는 것으로 설명하였지만, 이에 제한되지 않고 실시예에 따라 프로세서(140)는 제1 내지 제4 햅틱모듈(111 내지 114) 중에서 상기 장애물의 위치와 반대되는 방향에 위치한 햅틱모듈을 통해서 햅틱 효과를 제공할 수도 있다.
또한, 상기에서는 주변 상황을 알리기 위해 촉각 패턴을 제공하는 것으로 설명하였지만, 이에 제한되지 않고 실시예에 따라 프로세서(140)는 시각 장애인의 주변 상황을 알리기 위해 촉각이 아닌 청각적인 패턴 정보를 제공할 수도 있다.
프로세서(140)는 제1 내지 제4 햅틱모듈(111 내지 114)를 통해 상기 시각 장애인을 기준으로 하여 상기 시각 장애인 및 상기 장애물 간의 충돌 상황을 알리는 제2 촉각 패턴의 햅틱 효과를 제공할 수 있다(S152).
여기서, 상기 제2 촉각 패턴은, 상기 장애물과의 거리에 따라 강조되는 진동 형태의 패턴일 수 있다.
단계 S152에서, 프로세서(140)는 제1 내지 제4 햅틱모듈(111 내지 114)를 통해 장애물이 고정형 장애물인지 이동형 장애물인지에 따라 상이한 진동을 제공할 수 있다.
실시예에 따라, 프로세서(140)는 제1 내지 제4 햅틱모듈(111 내지 114)를 통해 상기 시각 장애인과 고정형 장애물 간의 거리가 기 설정된 거리 이내인 경우 제1 세기 및 제1 주기의 제1 진동을 발생시킬 수 있다. 이때, 제1 진동은, 상기 좌, 우, 전방 및 후방 각각에 설치된 햅틱 모듈(111 내지 114) 중에서 상기 고정형 장애물의 위치에 대응하는 하나의 햅틱 모듈에 의해 발생될 수 있다.
도 6a를 참조하면, 시각 장애인의 전방 5m 이내에 고정된 장애물이 탐색된 경우, 제1 내지 제4 햅틱모듈 중 전방에 설치된 제3 햅틱모듈(113)을 통해 상기 제1 진동이 발생될 수 있다.
도 7a를 참조하면, 제1 진동은 주기가 길고 세기가 약한 진동으로 제공될 수 있다. 즉, 장애물이 고정되어 있기 때문에 그렇게 위험한 상황이 아니므로 주의를 줄 수 있을 정도의 세기 및 주기의 진동을 제공하는 것이다.
실시예에 따라, 프로세서(140)는 제1 내지 제4 햅틱모듈(111 내지 114)를 통해 상기 시각 장애인과 이동형 장애물 간의 거리가 기 설정된 거리 이내인 경우 제2 세기 및 제2 주기의 제2 진동을 발생시킬 수 있다. 이때, 제2 진동은 상기 좌, 우, 전방 및 후방 각각에 설치된 햅틱 모듈 중에서 상기 이동형 장애물의 이동 방향에 대응하는 하나 이상의 햅틱 모듈에 의해 발생될 수 있다.
도 6b를 참조하면, 시각 장애인의 5m 이내에 좌측에서 전방쪽으로 이동하는 장애물이 탐색된 경우, 제1 내지 제4 햅틱모듈 중 좌측에 설치된 제1 햅틱모듈(111)에서 제2 진동이 먼저 발생되다가 전방에 설치된 제3 햅틱모듈(113)로 제2 진동이 이동할 수 있다. 이를 통해 시각 장애인은 이동형 장애물의 이동 방향을 파악할 수 있다.
도 7b를 참조하면, 제2 진동은 상기 제1 진동보다 주기가 짧고 세기가 강한 진동으로 제공될 수 있다. 즉, 장애물이 이동하고 있기 때문에 위험한 상황이므로 경고를 줄 수 있을 정도의 세기 및 주기의 진동을 제공하는 것이다.
그리고, 상기 시각 장애인과 이동형 장애물 간의 거리가 가까워질수록, 상기 제2 진동의 세기는 상기 제2 세기에서 점차적으로 강해지고, 상기 제2 진동의 주기는 상기 제2 주기에서 점차적으로 빨라질 수 있다.
도 7c를 참조하면, 시각 장애인과 이동형 장애물 간의 거리가 3m인 경우, 제2 진동은 도 7b에 도시된 제2 진동보다 주기가 짧고 세기가 강한 진동으로 제공될 수 있다. 만약 시각 장애인과 이동형 장애물 간의 거리가 2m인 경우 제2 진동은 도 7c에 도시된 제2 진동보다 주기가 짧고 세기가 강한 진동으로 제공될 수 있다. 이렇게 거리가 가까워질수록 제2 진동의 주기 및 세기를 짧고 세게 발생시킴으로써 사용자에게 위기 상황임을 알릴 수 있다.
도 2 및 도 4는 단계 S110 내지 단계 S152을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 2 및 도 4에 기재된 순서를 변경하여 실행하거나 단계 S110 내지 단계 S152을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 2 및 도 4는 시계열적인 순서로 한정되는 것은 아니다.
한편, 상술한 설명에서, 단계 S110 내지 단계 S152은 본 개시의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시가 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
100: 알림 제공 장치
110: 착용부
111: 제1 햅틱 모듈
112: 제2 햅틱 모듈
113: 제3 햅틱 모듈
114: 제4 햅틱 모듈
120: 영상 획득부
130: 메모리
140: 프로세서

Claims (10)

  1. 장치에 의해 수행되는 방법에 있어서,
    시각 장애를 가지고 있지 않은 사람들을 위해 장애물 알림을 시각적으로 보여주는 일반 증강현실 모드가 활성화된 상태에서, 상기 장치에 포함된 모션센서 및 GPS 센서를 이용하여 기 설정된 시간 동안 감지된 움직임이 기 저장된 시각 장애인의 보행 패턴에 해당하는지의 여부를 통해 상기 장치를 소지한 사용자가 시각 장애인인지를 판단하는 단계;
    상기 장치를 착용한 사용자가 시각 장애인으로 판단된 경우, 상기 일반 증강현실 모드를 시각 장애를 가지고 있는 사람들을 위해 장애물 알림을 촉각으로 느끼게 해주는 시각 장애인용 증강현실 모드로 전환하는 단계;
    상기 시각 장애인용 증강현실 모드로 전환됨에 따라 적어도 하나의 장애물이 포함된 현실세계에 대한 영상을 획득하는 단계;
    상기 획득된 영상의 분석을 통해 상기 장애물에 대한 깊이 맵(Depth map)을 생성하는 단계;
    상기 생성된 깊이 맵에 기초하여 상기 현실세계 내의 장애물을 탐색하는 단계; 및
    상기 탐색된 장애물에 대한 알림을 제공하는 단계;를 포함하고,
    상기 장치는, 웨어러블 형태로 상기 시각 장애인의 머리에 착용되고, 좌, 우, 전방 및 후방 각각에 햅틱 모듈이 설치되고,
    상기 알림을 제공하는 단계는,
    상기 햅틱 모듈을 이용하여 상기 탐색된 장애물에 대한 상황 별로 서로 상이한 햅틱 효과를 제공하되,
    상기 시각 장애인의 주변 상황을 알리는 제1 촉각 패턴의 햅틱 효과를 제공하는 단계; 및
    상기 시각 장애인을 기준으로 하여 상기 시각 장애인 및 상기 장애물 간의 충돌 상황을 알리는 제2 촉각 패턴의 햅틱 효과를 제공하는 단계;를 포함하고,
    상기 제2 촉각 패턴은, 상기 장애물과의 거리에 따라 강조되는 진동 형태의 패턴이고,
    상기 제2 촉각 패턴의 햅틱 효과를 제공하는 단계는,
    상기 시각 장애인과 고정형 장애물 간의 거리가 기 설정된 거리 이내인 경우 제1 세기 및 제1 주기의 제1 진동을 발생시키되, 상기 좌, 우, 전방 및 후방 각각에 설치된 햅틱 모듈 중에서 상기 고정형 장애물의 위치에 대응하는 하나의 햅틱 모듈에 의해 상기 제1 진동이 발생되고,
    상기 시각 장애인과 이동형 장애물 간의 거리가 기 설정된 거리 이내인 경우 제2 세기 및 제2 주기의 제2 진동을 발생시키되, 상기 좌, 우, 전방 및 후방 각각에 설치된 햅틱 모듈 중에서 상기 이동형 장애물의 이동 방향에 대응하는 두개 이상의 햅틱 모듈에서 순차적으로 상기 제2 진동이 발생되는,
    증강현실 기반의 시각 장애인용 장애물 알림 제공 방법.
  2. 삭제
  3. 제1 항에 있어서,
    상기 제1 촉각 패턴은, 상기 시각 장애인의 주변 상황을 한 글자 단위의 텍스트로 표현한 점자 형태의 패턴인,
    증강현실 기반의 시각 장애인용 장애물 알림 제공 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제1 항에 있어서,
    상기 시각 장애인과 이동형 장애물 간의 거리가 가까워질수록, 상기 제2 진동의 세기는 상기 제2 세기에서 점차적으로 강해지고, 상기 제2 진동의 주기는 상기 제2 주기에서 점차적으로 빨라지는,
    증강현실 기반의 시각 장애인용 장애물 알림 제공 방법.
  8. 삭제
  9. 컴퓨터와 결합되어, 제1 항, 제3 항 및 제7 항 중 어느 한 항의 방법을 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램.
  10. 웨어러블 형태로 시각 장애인의 머리에 착용되는 착용부;
    현실 세계에 대한 영상을 획득하는 영상 획득부;
    증강현실 기반의 시각 장애인용 장애물 알림 제공을 위한 적어도 하나의 프로세스를 저장하고 있는 메모리; 및
    상기 프로세스에 따라 동작하는 프로세서;를 포함하고,
    상기 프로세서는,
    시각 장애를 가지고 있지 않은 사람들을 위해 장애물 알림을 시각적으로 보여주는 일반 증강현실 모드가 활성화된 상태에서, 모션센서 및 GPS 센서를 이용하여 기 설정된 시간 동안 감지된 움직임이 기 저장된 시각 장애인의 보행 패턴에 해당하는지의 여부를 통해 사용자가 시각 장애인인지를 판단하고,
    상기 사용자가 시각 장애인으로 판단된 경우, 상기 일반 증강현실 모드를 시각 장애를 가지고 있는 사람들을 위해 장애물 알림을 촉각으로 느끼게 해주는 시각 장애인용 증강현실 모드로 전환하고, 상기 시각 장애인용 증강현실 모드로 전환됨에 따라 상기 영상 획득부를 통해 적어도 하나의 장애물이 포함된 현실세계에 대한 영상을 획득하고, 상기 획득된 영상의 분석을 통해 상기 장애물에 대한 깊이 맵(Depth map)을 생성하고, 상기 생성된 깊이 맵에 기초하여 상기 현실세계 내의 장애물을 탐색하고, 상기 탐색된 장애물에 대한 알림을 제공하고,
    상기 착용부는, 좌, 우, 전방 및 후방 각각에 햅틱 모듈이 설치되고,
    상기 프로세서가 상기 알림을 제공 시에,
    상기 탐색된 장애물에 대한 상황 별로 서로 상이한 햅틱 효과를 제공하되,
    상기 시각 장애인의 주변 상황을 알리는 제1 촉각 패턴의 햅틱 효과를 제공하고, 상기 시각 장애인을 기준으로 하여 상기 시각 장애인 및 상기 장애물 간의 충돌 상황을 알리는 제2 촉각 패턴의 햅틱 효과를 제공하고,
    상기 제2 촉각 패턴은, 상기 장애물과의 거리에 따라 강조되는 진동 형태의 패턴이고,
    상기 프로세서가 상기 제2 촉각 패턴의 햅틱 효과를 제공 시에,
    상기 시각 장애인과 고정형 장애물 간의 거리가 기 설정된 거리 이내인 경우 제1 세기 및 제1 주기의 제1 진동을 발생시키되, 상기 좌, 우, 전방 및 후방 각각에 설치된 햅틱 모듈 중에서 상기 고정형 장애물의 위치에 대응하는 하나의 햅틱 모듈에 의해 상기 제1 진동이 발생되고,
    상기 시각 장애인과 이동형 장애물 간의 거리가 기 설정된 거리 이내인 경우 제2 세기 및 제2 주기의 제2 진동을 발생시키되, 상기 좌, 우, 전방 및 후방 각각에 설치된 햅틱 모듈 중에서 상기 이동형 장애물의 이동 방향에 대응하는 두개 이상의 햅틱 모듈에서 순차적으로 상기 제2 진동이 발생되는,
    증강현실 기반의 시각 장애인용 장애물 알림 제공 장치.
KR1020220062826A 2022-05-23 2022-05-23 증강현실 기반의 시각 장애인용 장애물 알림 제공 방법 및 장치 KR102453035B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220062826A KR102453035B1 (ko) 2022-05-23 2022-05-23 증강현실 기반의 시각 장애인용 장애물 알림 제공 방법 및 장치
KR1020220126874A KR20230163908A (ko) 2022-05-23 2022-10-05 장애물 상황 별로 상이한 알림을 제공하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220062826A KR102453035B1 (ko) 2022-05-23 2022-05-23 증강현실 기반의 시각 장애인용 장애물 알림 제공 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220126874A Division KR20230163908A (ko) 2022-05-23 2022-10-05 장애물 상황 별로 상이한 알림을 제공하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102453035B1 true KR102453035B1 (ko) 2022-10-11

Family

ID=83598993

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020220062826A KR102453035B1 (ko) 2022-05-23 2022-05-23 증강현실 기반의 시각 장애인용 장애물 알림 제공 방법 및 장치
KR1020220126874A KR20230163908A (ko) 2022-05-23 2022-10-05 장애물 상황 별로 상이한 알림을 제공하는 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220126874A KR20230163908A (ko) 2022-05-23 2022-10-05 장애물 상황 별로 상이한 알림을 제공하는 방법 및 장치

Country Status (1)

Country Link
KR (2) KR102453035B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116076387A (zh) * 2023-02-09 2023-05-09 深圳市爱丰达盛科技有限公司 一种导盲犬训练导航智能管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140013335A (ko) * 2012-07-23 2014-02-05 한국과학기술연구원 착용형 진동 자극 장치 및 그 작동 방법
KR101708144B1 (ko) 2016-01-12 2017-02-17 한국해양대학교 산학협력단 시각 장애인을 위한 점자블록 패턴 인식 시스템이 구비된 지팡이
KR20210025835A (ko) * 2019-08-28 2021-03-10 구본준 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기
CN113674593A (zh) * 2021-08-25 2021-11-19 王季源 一种用于触觉显示的头戴式额机系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140013335A (ko) * 2012-07-23 2014-02-05 한국과학기술연구원 착용형 진동 자극 장치 및 그 작동 방법
KR101708144B1 (ko) 2016-01-12 2017-02-17 한국해양대학교 산학협력단 시각 장애인을 위한 점자블록 패턴 인식 시스템이 구비된 지팡이
KR20210025835A (ko) * 2019-08-28 2021-03-10 구본준 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기
CN113674593A (zh) * 2021-08-25 2021-11-19 王季源 一种用于触觉显示的头戴式额机系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116076387A (zh) * 2023-02-09 2023-05-09 深圳市爱丰达盛科技有限公司 一种导盲犬训练导航智能管理系统
CN116076387B (zh) * 2023-02-09 2023-07-28 深圳市爱丰达盛科技有限公司 一种导盲犬训练导航智能管理系统

Also Published As

Publication number Publication date
KR20230163908A (ko) 2023-12-01

Similar Documents

Publication Publication Date Title
CN110167823B (zh) 用于驾驶员监测的系统和方法
US10078377B2 (en) Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
JP6695503B2 (ja) 車両の運転者の状態を監視するための方法及びシステム
Poggi et al. A wearable mobility aid for the visually impaired based on embedded 3D vision and deep learning
CN107111753B (zh) 用于注视跟踪模型的注视检测偏移
ES2940634T3 (es) Mapeo de la dirección de la mirada
Tao et al. Integration of vision and inertial sensors for 3D arm motion tracking in home-based rehabilitation
US10853649B2 (en) Context-aware hazard detection using world-facing cameras in virtual, augmented, and mixed reality (xR) applications
US20180053055A1 (en) Integrating augmented reality content and thermal imagery
US20210081754A1 (en) Error correction in convolutional neural networks
US11715231B2 (en) Head pose estimation from local eye region
US20150161762A1 (en) Information processing apparatus, information processing method, and program
CN111145251B (zh) 一种机器人及其同步定位与建图方法和计算机存储设备
CN113227878A (zh) 用于视线估计的方法和系统
US20170278269A1 (en) Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program
JP2016045874A (ja) 情報処理装置、情報処理方法、及びプログラム
US11450022B2 (en) Voting space-based loop closure detection
KR102453035B1 (ko) 증강현실 기반의 시각 장애인용 장애물 알림 제공 방법 및 장치
KR20190069919A (ko) 시각 장애인용 보행 보조 장치 및 시스템
CN112753037A (zh) 传感器融合眼睛跟踪
EP3725217A1 (en) Electronic device and method for measuring heart rate
KR20200144363A (ko) 로봇 및 그의 구동 방법
CN114930272A (zh) 基于头部和眼部的姿势识别
CN115862124A (zh) 视线估计方法、装置、可读存储介质及电子设备
KR102281246B1 (ko) 인공지능에 기반한 시니어 케어를 위한 길안내 및 사물식별 시스템 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant