KR20110004064A - 시각장애인 보행 안내 방법 및 그 시스템 - Google Patents

시각장애인 보행 안내 방법 및 그 시스템 Download PDF

Info

Publication number
KR20110004064A
KR20110004064A KR1020090061690A KR20090061690A KR20110004064A KR 20110004064 A KR20110004064 A KR 20110004064A KR 1020090061690 A KR1020090061690 A KR 1020090061690A KR 20090061690 A KR20090061690 A KR 20090061690A KR 20110004064 A KR20110004064 A KR 20110004064A
Authority
KR
South Korea
Prior art keywords
information
obstacle
pedestrian
image
road
Prior art date
Application number
KR1020090061690A
Other languages
English (en)
Other versions
KR101054025B1 (ko
Inventor
한헌수
한영준
유재형
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020090061690A priority Critical patent/KR101054025B1/ko
Publication of KR20110004064A publication Critical patent/KR20110004064A/ko
Application granted granted Critical
Publication of KR101054025B1 publication Critical patent/KR101054025B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof

Abstract

본 발명은 실외의 환경에서 카메라를 통해 얻은 단일 영상의 에지영상을 기초로 소실점과 길의 외곽선 정보를 추출하여 추출된 정보를 기초로 결정된 보행자의 위치 및 보행자가 보는 길의 방향을 음성정보로 출력함으로써, 시각장애인이 안전한 보행을 할 수 있도록 한 시각장애인 보행 안내 방법 및 그 시스템에 관한 것이다.
이를 위하여 본 발명은 카메라로부터 영상을 획득하는 단계; 상기 획득된 영상내에서 검출된 에지 정보를 이용하여 소실점 및 길의 외곽선 정보를 추출하는 단계; 상기 길의 외곽선 정보를 기초로 보행자의 위치를 결정하고, 상기 소실점을 기준으로 보행자가 보는 길의 방향을 결정하는 단계; 및 상기 결정된 보행자의 위치 및 상기 길의 방향을 미리 정해진 보행안내정보에 각각 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 단계를 포함하는 것을 특징으로 한다.
시각장애인, 보행, 안내, 소실점, 외곽선 정보, 음성정보, 보행자의 위치, 길의 방향

Description

시각장애인 보행 안내 방법 및 그 시스템{METHOD FOR GUIDING A BLIND PERSON AND SYSTEM THEREFOR}
본 발명은 시각장애인 보행 안내 방법 및 그 시스템에 관한 것으로, 특히 카메라로부터 얻어진 영상을 통해 시각장애인이 보행할 수 있는 보행영역을 선정하고 그 보행영역내에서 보행에 필요한 안내정보를 음성정보로 알려줌으로써, 시각장애인이 안전하게 보행할 수 있도록 한 시각장애인 보행 안내 방법 및 그 시스템에 관한 것이다.
일반적으로, 시각장애인들은 외부의 환경에 대한 정보를 획득하기 어렵기 때문에 보행이 매우 제한되어 있으며, 장애물과 같은 위험한 요소들에 대해 적절한 대응을 하기가 어렵다.
현재 시각장애인들의 안전한 보행을 위한 도구 장치 및 시스템들이 국내외에서 활발히 연구되고 있다.
종래의 시각장애인 보행 안내 시스템들은 초음파, 촉각, 레이저, GPS, 카메라 등을 이용하여 시각장애인의 보행을 보조하기 위한 안내정보를 제공하였다.
초음파를 사용한 시각장애인 보행 안내 시스템은, 벨트의 형태로 구성된 초 음파 센서 묶음을 착용하고 가방의 형태로 착용된 컴퓨터를 통해 각 방향에 대한 정보들을 분석하여 시각장애인에게 알려주도록 되어 있다. 이러한 초음파 센서를 이용한 시각장애인 보행 안내 시스템은 그 구현이 비교적 간단하며 계산량이 많지 않다는 장점이 있지만, 주변 장애물의 유무만을 판단할 수 있을 뿐, 물체가 가지는 질감, 색상에 대한 정보를 얻을 수 없고, 물체의 이동정보를 얻기에 제한이 많은 단점을 가지고 있다.
초음파 센서를 사용하는 다른 형태의 시각장애인 보행 안내 시스템으로는 지팡이 형태로 되어 있는 길 안내 시스템이 있다. 이 길 안내 시스템은 일반 시각장애인용 안내 지팡이에 초음파 센서를 장착하여 장애물을 검출하고 위험하지 않은 방향으로 길을 안내하도록 되어 있다. 이와 같은 길 안내 시스템도 구조가 간단하고 적용하기가 쉽지만, 전방의 작은 물체나 가까이 있는 장애물만을 검출할 수 있기 때문에 감지 거리에 제한이 있는 단점을 가지고 있다.
레이저를 사용한 시각장애인 보행 안내 시스템은, 사용자가 레이저 센서 도구를 들고 좌우로 흔들어 주변에 존재하는 지역적인 정보를 획득할 수 있고, 시간적인 측면에서 계단, 낭떨어지와 같은 이동에 위험한 요소를 분석함에 따라 굴곡이 있거나 단일 카메라를 이용해 알 수 없는 거리정보를 획득할 수 있다는 장점이 있다. 하지만, 근접한 지역에 대해서만 적용이 가능하며 검출된 물체의 색상이나 질감에 대한 특징을 알 수 없는 단점을 가지고 있다.
GPS를 이용한 시각장애인 보행 안내 시스템은, 미리 경험적으로 획득하여 저장된 지역 맵정보를 이용하여 보행자에게 길을 안내하도록 하는 시스템으로, 목적 지까지의 순차적인 길의 경로를 제공한다. 이 GPS를 이용한 시각장애인 보행 안내 시스템은 지역적 정보를 담고 있는 데이터베이스를 가지고 있으며, 음성변환기술과 음성인식기술을 통해 컴퓨터와 사람간의 의사소통이 가능하도록 하고, 특정 지역의 목적지에 대한 경로를 제공하여 편리성을 준다. 하지만, 보행자와 바로 인접한 요소들에 대한 위험성을 분석할 수 없는 단점을 가지고 있다.
카메라를 이용한 시각장애인 보행 안내 시스템은 헤드셋, 마이크, 두개의 카메라를 장착하여, 전방 영역을 분석하고 3차원 정보를 구성하여 전방 영역 내의 물체를 검출한다. 카메라를 통해 실세계 공간에 존재하는 물체의 크기와 거리정보를 획득하기 위해서는 스테레오 카메라를 사용하는 것이 일반적이다. 이와 같은 카메라를 이용한 시각장애인 보행 안내 시스템은 대부분 실내와 같은 제한적인 공간에서 수행되며, 물체의 특징을 얻기 위해 단순한 배경에서 이루어졌다. 특히 건물내에서의 복도와 같은 환경은 3차원정보를 획득하기에 매우 좋은 환경이라고 할 수 있다.
전술된 바와 같이 종래의 시각 장애인 보행 안내 시스템은 외부의 복잡한 배경을 가지는 환경에서 적용하기 어려울 뿐만 아니라, 제공하는 정보에도 제약사항이 매우 많다.
본 발명의 목적은, 복잡한 배경정보를 가지는 실외의 환경에서도 단일 카메라를 이용하여 시각장애인이 안전한 보행을 할 수 있도록 길에 대한 음성정보를 제공함으로써, 시각장애인이 실외의 환경에서도 안전한 보행을 할 수 있도록 한 시각장애인 보행 안내 방법 및 그 시스템을 제공함에 있다.
또한 본 발명의 다른 목적은, 카메라로부터 획득된 실외 환경의 영상에서 보행영역을 선정하고 그 보행영역내에서 존재하는 장애물이 검출된 경우, 장애물의 위치 및 장애물과 보행자와의 거리를 알려줌으로써, 장애물과의 충돌사고를 미리 예방할 수 있도록 한 시각장애인 보행 안내 방법 및 그 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 시각장애인 보행 안내 방법은, 카메라로부터 영상을 획득하는 단계; 상기 획득된 영상내에서 검출된 에지 정보를 이용하여 소실점 및 길의 외곽선 정보를 추출하는 단계; 상기 길의 외곽선 정보를 기초로 보행자의 위치를 결정하고, 상기 소실점을 기준으로 보행자가 보는 길의 방향을 결정하는 단계; 및 상기 결정된 보행자의 위치 및 상기 길의 방향을 미리 정해진 보행안내정보에 각각 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 시각장애인 보행 안내 방법은, 상기 길의 외곽선 정보를 통해 얻어진 보행영역내의 영상 중 장애물이 검출되었는지 여부를 판단하는 단계; 상 기 장애물이 검출된 경우, 미리 설정된 거리별 상기 보행영역내 영상의 좌표를 이용하여 변환 테이블을 생성하는 단계; 상기 변환 테이블을 근거로 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 추정하는 단계; 및 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 미리 정해진 장애안내정보에 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 단계를 포함하는 것이 바람직하다.
상기 소실점 및 길의 외곽선 정보를 추출하는 단계는, 상기 획득된 영상을 그레이 영상으로 변환하는 단계; 상기 변환된 그레이 영상에서 에지 영상을 검출하는 단계; 상기 검출된 에지 영상에서 각 에지화소들의 8방향으로 이웃하는 화소들에 대한 연결성을 찾는 단계; 상기 연결성을 이용하여 특정한 방향으로 연속적으로 관계되는 직선성분을 추출하는 단계; 상기 획득된 영상의 중심을 기준으로 양분한 각각의 영역에서 중심으로 향하는 직선성분을 추출하는 단계; 상기 추출된 직선성분 중에서 연속적으로 미리 정해진 길이 이상의 직선성분을 선택하는 단계; 및 상기 선택된 직선성분들의 평균을 취하여 각각의 영역에서 평균 직선성분의 교차점을 소실점으로 추출하고, 각각의 영역에서 평균 직선성분을 길의 외곽선 정보로 추출하는 단계를 포함하는 것이 바람직하다.
상기 결정하는 단계는, 상기 소실점과 상기 길의 외곽선 정보를 이용하여 보행영역을 선정하는 단계; 상기 선정된 보행영역내 영상의 하단부분과 상기 각각의 영역에서 평균 직선성분의 교점을 보행영역의 너비로 계산하고, 그 너비에서의 중심점을 길의 중심으로 계산하는 단계; 상기 계산된 길의 중심과 영상의 중심을 비교하여 보행자의 위치를 판단하는 단계; 및 상기 소실점의 방향과 영상의 중심을 비교하여 보행자가 보는 길의 방향을 판단하는 단계를 포함하는 것이 바람직하다.
상기 장애물이 검출되었는지 여부를 판단하는 단계는, 상기 얻어진 보행영역내의 영상을 가버필터에 적용시켜 수직성분들을 추출하는 단계; 및 상기 추출된 수직성분들의 묶음을 통해 장애물의 바닥면과 너비정보를 확정하는 단계를 포함하는 것이 바람직하다.
상기 소실점 및 길의 외곽선 정보를 추출하는 단계는, 확장형 체인코드를 사용하여 특정한 방향성을 가지는 직선정보를 추출하는 것이 바람직하다.
또한, 본 발명의 다른 실시예에 따른 시각장애인 보행 안내 방법은, 카메라로부터 영상을 획득하는 단계; 상기 획득된 영상내에서 검출된 에지 정보를 이용하여 소실점 및 길의 외곽선 정보를 추출하는 단계; 상기 외곽선 정보를 기초로 보행자의 위치를 결정하고, 상기 소실점을 기준으로 보행자가 보는 길의 방향을 결정하는 단계; 상기 외곽선 정보를 통해 얻어진 보행영역내의 영상 중 장애물이 검출되었는지 여부를 판단하는 단계; 상기 장애물이 검출된 경우, 미리 설정된 거리별 상기 보행영역내 영상의 좌표를 이용하여 변환 테이블을 생성하는 단계; 상기 변환 테이블을 근거로 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 추정하는 단계; 및 상기 결정된 보행자의 위치 및 상기 길의 방향을 미리 정해진 보행안내정보에 적용시키고, 상기 추정된 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 미리 정해진 장애안내정보에 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 단계를 포함하는 것을 특징으로 한다.
상기 음성 출력부에 제공하는 단계는, 상기 미리 정해진 보행안내정보에 상 기 결정된 보행자의 위치 및 길의 방향을 적용시켜 완성된 문장을 음성정보로 변환하고, 상기 미리 정해진 장애안내정보에 상기 추정된 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 적용시켜 완성된 문장을 음성정보로 변환하는 것이 바람직하다.
한편, 본 발명의 실시예에 따른 시각장애인 보행 안내 시스템은, 영상을 촬영하는 카메라; 보행 안내를 위한 음성정보를 출력하는 음성 출력부; 및 상기 카메라로부터 영상을 획득하고, 획득된 영상내에서 검출된 에지 정보를 이용하여 소실점 및 길의 외곽선 정보를 추출하여, 상기 추출된 외곽선 정보를 기초로 결정된 보행자의 위치와 상기 추출된 소실점을 기준으로 결정된 보행자가 보는 길의 방향을 미리 정해진 보행 안내정보에 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 시각장애인 보행 안내 장치를 포함하는 것을 특징으로 한다.
상기 시각장애인 보행 안내 장치는, 상기 외곽선 정보를 통해 얻어진 보행 영역내의 영상 중 장애물이 검출되었는지 여부를 판단하고, 그 판단결과 상기 장애물이 검출된 경우, 미리 설정된 거리별 상기 보행영역내 영상의 좌표를 이용하여 생성된 변환 테이블을 근거로 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 추정하고, 상기 추정된 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 미리 정해진 장애안내정보에 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 것이 바람직하다.
본 발명의 실시예에 따르면 복잡한 배경정보를 가지는 실외의 환경에서도 단 일 카메라를 이용하여 시각장애인이 안전한 보행을 할 수 있도록 길에 대한 음성정보를 제공함으로써, 실외의 환경에서도 시각장애인에게 올바르고 안전한 보행을 안내해 줄 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따르면 카메라로부터 획득된 실외 환경의 영상에서 보행영역을 선정하고 그 보행영역내에서 존재하는 장애물이 검출된 경우, 장애물의 위치 및 장애물과 보행자와의 거리를 알려줌으로써, 장애물과의 충돌사고를 미리 예방할 수 있어, 위험 상황에서 벗어날 수 있는 효과도 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 시각장애인 보행 안내 시스템을 설명하기 위한 도면이고, 도 2는 도 1에 도시된 시각장애인 보행 안내 시스템의 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 시각장애인 보행 안내 시스템은 단일의 카메라(10)와, 음성 입/출력부(20)와, 시각장애인에게 보행에 필요한 안내정보를 제공하는 시각장애인 보행 안내 장치(30)를 포함하여 구성된다. 시각장애인 보행 안내 장치(30)는 케이블(40)을 통해 카메라(10)로부터 촬영된 영상이 획득되나, 본 발명이 이에 한정되는 것은 아니고 무선통신방식을 통해 카메라(10)로부터 촬영된 영상이 획득될 수도 있다.
본 실시예에서, 보행자가 걸어갈 수 있는 전방의 영역을 보행영역(B)라 정의하고, 카메라(10)를 통해 획득된 전방의 영역을 보행자가 보는 시야영역(A)이라 정 의한다.
본 발명에 따른 시각장애인 보행 안내 시스템은, 카메라(10)로부터 촬영된 영상을 획득하고, 획득된 영상을 분석하여 보행에 필요한 정보를 추출하고, 이에 대한 결과를 음성정보로 변환하여 출력한다. 이때, 보행에 필요한 보행안내정보와,장애안내정보를 미리 설정된 음성변환형식에 맞게 음성으로 변환하는 TTS(Text To Speech) 엔진이 채택되며, 문자로 구성된 장애안내정보를 TTS 엔진을 이용하여 음성정보로 변환시킨다. 이와 같이 변환된 음성정보가 음성 출력부(21)를 통해 출력되어, 시각장애인이 보행중에 청취할 수 있다.
도 2를 참조하면, 음성 입/출력부(20)는 보행 안내를 위한 음성정보를 출력하는 음성 출력부(21)와, 음성을 입력받는 음성 입력부(22)이며, 음성 출력부(21)는 예컨대 헤드셋일 수 있고, 음성 입력부(22)는 예컨대 마이크일 수 있다.
시각장애인 보행 안내 장치(30)는 카메라(10)로부터 영상을 획득하고, 획득된 영상내에서 검출된 에지 정보를 이용하여 소실점과 길의 외곽선 정보를 추출하여 추출된 외곽선 정보를 기초로 보행자의 위치와, 소실점을 기준으로 결정된 보행자가 보는 길의 방향을 적용시킨 제 1 문장을 생성하여 생성된 제1 문장을 음성정보로 변환시켜 음성 출력부(21)를 통해 출력되도록 한다. 이때, 제 1 문장은 미리 구성되어 있는 템플릿 구조의 보행안내정보로, 예를 들면 보행안내정보는 "당신은 길의 [보행자의 위치]에서 진행하고 있습니다. 당신은 길의 [길의 방향] 방향을 바라보고 있습니다."일 수 있으며, 추출된 보행자의 위치와 길의 방향을 각각 적용시켜 완성된 문장이다.
또한, 시각장애인 보행 안내 장치(30)는 추출된 길의 외곽선 정보를 통해 얻어진 보행영역(B) 내의 영상 중 수직성분이 추출되었는지 여부에 따라 보행영역내 장애물이 존재하는지 여부를 판단한다. 수직성분이 추출된 경우, 보행영역내의 영상 중 장애물이 존재하는 경우로 판단하여 시각장애인 보행 안내 장치(30)는 미리 설정된 실제거리별 보행영역내 영상좌표를 이용하여 변환테이블을 생성하고, 생성된 변환테이블을 근거로 장애물의 위치 및 장애물과 보행자의 거리를 추정하여, 추정된 장애물의 위치 및 장애물과 보행자의 거리를 적용시킨 제 2 문장을 만들어 그 제 2 문장을 음성정보로 변환시켜 음성 출력부(21)를 통해 출력되도록 한다. 이때, 제 2 문장은 장애안내정보로, 보행안내정보와 같이 미리 구성되어 있는 템플릿 구조를 가진다. 예를 들면 장애안내정보는 "전방 [장애물의 위치] 시 방향에 장애물이 있습니다. 전방 [장애물과 보행자와의 거리]m 거리에 장애물이 있습니다"일 수 있으며, 추정된 장애물의 위치와, 장애물과 보행자와의 거리를 각각 적용시켜 완성된 문장이다.
장애물이 존재하는지 여부의 검출은 보행영역(B) 내에서 존재하는 장애물의 수직성분에 대한 특징을 검출하도록 한다. 여기에서, 검출대상은 수직성분이 강한 사람, 나무, 기둥 등을 대표적인 장애물로 선정하지만, 본 발명이 이에 한정되는 것은 아니다. 수직성분이 강한 부분을 검출하기 위해 수직방향의 가버필터를 적용하도록 하며, 인접한 수직 성분의 클러스터링을 통하여 최종 장애물의 위치를 검출하도록 한다.
이와 같은 구성을 갖는 시각장애인 보행 안내 시스템의 시각장애인 보행 안 내 방법을 도 3 및 도 4를 참조하여 설명하면 다음과 같다.
도 3은 본 발명의 실시예에 따른 시각장애인 보행 안내 방법을 설명하기 위한 동작 흐름도이고, 도 4는 도 3에 도시된 소실점 및 길의 외곽선 정보 추출 관련 서브루틴을 설명하기 위한 동작 흐름도이다.
도 3을 참조하면, 시각장애인 보행 안내 장치(30)는 카메라(10)로부터 영상을 획득한다(S100). 획득된 영상은 도 9의 (a)에 도시된 바와 같다.
다음, 시각장애인 보행 안내 장치(30)는 획득된 영상 중 검출된 에지영상을 기초로 소실점 및 길의 외곽선 정보를 추출하기 위한 소실점 및 길의 외곽선 정보 추출 관련 서브루틴을 수행한다(도 4의 S200). 이때, 길의 외곽선 정보를 추출하기 위하여 확장형 체인코드를 사용하여 특정한 방향성을 가지는 직선성분을 추출하도록 한다. 확장형 체인코드는 3차원 형태의 길의 외곽선 형태가 2차원 형태의 영상에서 소실점의 방향으로 향하도록 나타나는 특징을 이용한 것이다. 결국 길의 외곽선 정보를 추출함으로써, 소실점을 추출하도록 한다.
도 4를 참조하여 소실점 및 길의 외곽선 정보 추출 관련 서브루틴(S200)을 설명하면, 시각장애인 보행 안내 장치(30)는 카메라(10)로부터 획득된 영상을 그레이 영상으로 변환한다(S201).
다음, 시각장애인 보행 안내 장치(30)는 변환된 그레이 영상에서 에지 영상을 검출한다(S203). 에지 영상은 그레이 영상에서 검출된 윤곽선을 말하며, 도 9의 (b)에서 보는 바와 같다.
다음, 시각장애인 보행 안내 장치(30)는 검출된 에지 영상에서 각 에지화소 들의 8방향으로 이웃하는 화소들에 대한 연결성을 찾는다(S205).
즉, 시각장애인 보행 안내 장치(30)는 예컨대 8방향 체인코드를 이용하여 직선으로 형성된 모양을 추출하고, 이에 대한 각도를 계산하여 찾고자 하는 방향으로 연결된 직선을 검출하도록 한다. 도 5의 (a)에 도시된 바와 같이 8방향 체인코드 유닛을 에지 영상의 처음부터 가로방향으로 스캔하여 처음 발견되는 에지화소를 시작점으로 선정하고, 도 5의 (b)에 도시된 바와 같이 이웃하는 화소를 검색하고 연속적인 연결성을 찾아나간다.
다음, 시각장애인 보행 안내 장치(30)는 찾은 연결성을 특정한 방향으로 연속적으로 관계되는 직선성분을 추출한다(S207).
다음, 시각장애인 보행 안내 장치(30)는 도 9의 (c)에 도시된 바와 같이, 획득된 영상의 중심을 기준으로 양분한 각각의 영역에서 중심으로 향하는 직선성분을 추출한다(S209). 본 실시예에서는 직선성분 추출을 통해 소실점의 위치가 비교적 중심에 위치함을 고려하여 도 6에 도시된 바와 같이 영상을 좌우로 나누어 소실점을 향하는 직선성분을 추출하였다.
다음, 시각장애인 보행 안내 장치(30)는 추출된 직선성분 중에서 연속적으로 미리 정해진 길이 이상의 직선성분이 선택되어 표시되도록 한다(S211). 이때, 시각장애인 보행 안내 장치(30)는 중심 방향성분을 기준으로 허용각도범위를 벗어나는 직선성분은 제거하도록 하며, 허용각도범위내에 존재하는 두방향의 직선성분이 있을 경우에는 중심 방향각도에 보다 가까운 직선성분을 선택하도록 함이 바람직하다.
다음, 시각장애인 보행 안내 장치(30)는 중심 방향각도에 대한 계산을 해야 하는데, 계산의 간결성을 고려하여 체인코드유닛의 8방향 성분에 대해 각도를 설정하고 연결성을 찾아낸 직선성분들을 누적하여 평균을 취한다(S213). 이때, 각도는 체인코드유닛의 0방향 성분을 시작으로 0도부터 360도의 성분을 부여하도록 한다. 최종적으로 검출된 화소들의 체인은 하나의 직선으로 기록하고 재 검색되지 않도록 한다. 하나의 직선을 검출한 이후에는 또 다시 시작점을 검색하도록 하며, 이때 이전에 검출된 직선에 속한 화소들은 검색대상에서 제외된다. 여기에서 결정해야 할 파라미터들은 기본단위길이, 허용각도의 범위, 검출하고자 하는 직선의 방향이다.
다음, 시각장애인 보행 안내 장치(30)는 각각의 영역에서 평균 직선성분의 교차점을 소실점으로, 각각의 영역에서 평균 직선성분을 길의 외곽선 정보로 추출한다(S215).
다시, 도 3에서 시각장애인 보행 안내 장치(30)는 추출된 길의 외곽선 정보와 소실점을 종합하여 도 9의 (d)에 도시된 바와 같은 보행영역(B)을 선정한다(S300).
다음, 시각장애인 보행 안내 장치(30)는 길의 방향과 보행자의 위치를 결정한다(S302). 여기에서, 시각장애인 보행 안내 장치(30)는 선정된 보행영역의 영상의 하단부분과 각각의 영역에서 평균 직선성분의 교점을 보행영역의 너비로 계산하고, 그 너비에서의 중심점을 길의 중심으로 계산한다. 이와 같이 계산된 길의 중심을 영상의 중심과 비교하여 보행자가 어느쪽으로 치우쳤는지를 판단하여 보행자의 위치가 결정되고, 소실점의 방향과 영상의 중심을 판단하여 소실점이 어느 방향을 보고 있는지를 파악하여 보행자가 보는 길의 방향이 결정된다.
다음, 시각장애인 보행 안내 장치(30)는 보행영역(B) 내의 영상 중에서 장애물이 검출되었는지 여부를 판단한다(S304). 장애물이 검출된 경우는 영상 내에 수직성분이 추출된 경우가 해당된다.
본 실시예에서는 보행영역(B)에 존재하는 장애물을 검출하기 위해서는 장애물이 가지는 특징정보를 추출해야 한다. 장애물은 수직성분의 특징을 강하게 가지는 사람, 기둥, 나무와 같은 물체를 대상으로 선정한다. 이때 수직성분이 강한 부분을 추출하기 위해 수직 방향의 가버필터를 적용하였다. 추출된 수직성분들의 묶음을 통해 장애물의 바닥면과 너비정보를 확정한다. 도 7은 가버필터의 커널을 도시한 도면으로, 도 7의 (a)와 (b)는 가버필터의 스케일을 나타내는 변수값이 각각 다르게 정해진 경우에 대한 각각의 필터 영상을 보여준다.
도 10은 장애물의 위치를 추정하는 과정을 표시한 도면으로, 도 10의 (a)는 카메라(10)로부터 획득된 영상을 도시한 도면이고, 도 10의 (b)는 도 10의 (a)에 도시된 영상 중 검출된 에지 영상을 도시한 도면이고, 도 10의 (c)는 에지 영상의 중심을 기준으로 양분한 각각의 영역에서 중심으로 향한 직선성분을 도시한 도면이며, 도 10의 (d)는 소실점과 길의 외곽선 정보를 이용하여 선정된 보행영역을 도시한 도면이고, 도 10의 (e)는 선정된 보행영역의 영상을 가버필터에 적용시켜 추출된 수직성분들을 도시한 도면이고, 도 10의 (f)는 도 10의 (e) 중 수직성분이 강한 부분을 도시한 도면이고, 도 10의 (g)는 도 10의 (f)를 클러스터링한 상태를 도시한 도면이며, 도 10의 (h)는 최종 장애물의 위치가 표시된 영상을 도시한 도면이 다.
상기 S304 단계의 판단결과, 보행영역(B) 내의 영상 중 장애물이 검출되지 않은 경우, 시각장애인 보행 안내 장치(30)는 결정된 길의 방향과 보행자의 위치를 미리 정해진 보행안내정보에 적용시켜 만들어진 문장을 음성정보로 변환시켜 음성 출력부(21)로 출력되도록 제어한다(S306).
상기 S304 단계의 판단결과, 보행영역(B) 내의 영상 중 장애물이 검출된 경우, 즉 영상 중 전방에 존재하는 장애물이 존재하는 경우 시각장애인 보행 안내 장치(30)는 미리 설정된 거리별로 위치한 보행영역내 영상좌표를 이용하여 변환테이블을 생성한다(S305).
다음, 시각장애인 보행 안내 장치(30)는 변환테이블을 이용하여 장애물의 위치 및 장애물과 보행자와의 거리를 추정한다(S307).
더 설명하면, 시각장애인 보행 안내 장치(30)는 실제 거리별 영상의 좌표를 나타낸 변환테이블을 이용하여 영상에 투영된 장애물의 실제 거리를 추정한다. 실제로 3차원 정보에 대해서 단일 영상을 이용하는 경우 깊이 정보를 알 수 없지만, 이와 같이 길에 대한 소실점의 정보를 얻을 수 있는 경우에 대해서는 몇가지의 제한사항을 고려함으로써 깊이 정보를 알 수 있다. 그 제한사항은 길의 외곽선이 평행하며, 그 연장선이 영상에서 소실점으로 만난다는 점과 소실점의 위치가 영상의 중심에 근접하게 위치한다는 조건이다. 따라서 도 8과 같은 실제거리와 영상에서의 좌표에 대한 변환테이블을 이용하여 영상에 투영된 위치좌표의 실제거리를 추정할 수 있다.
다음, 시각장애인 보행 안내 장치(30)는 추정된 장애물의 위치 및 장애물과 보행자와의 거리를 미리 정해진 장애안내정보에 적용시켜 만들어진 문장을 음성정보로 변환시켜 음성 출력부(21)로 출력되도록 제어하고(S309), 상술한 S306 단계로 프로세스를 이동한다.
본 실시예에서는 영상을 통해 획득된 길의 정보 즉, 보행자의 위치 및 길의 방향과, 장애물의 정보 즉, 장애물의 위치 및 장애물과 보행자와의 거리를 보행자에게 알려주기 위해서, 새로운 문장 구성을 통한 음성변환과정이 필요하다. 문장을 구성하기 위해서 미리 정의된 템플릿 기반의 문장에 알맞은 단어를 입력하는 방식을 사용하도록 한다. 도 11은 현재 보행자가 걸어가고 있는 보행영역 내에서의 위치 및 시선의 정보와 전방에 존재하는 장애물을 검출한 후 그 위치에 대한 정보를 추출하여 미리 정의된 문장에 해당 단어를 입력하여 보행자에게 제공할 최종 문장으로 만든 결과를 보여준다.
이렇게 함으로써, 복잡한 배경을 가지는 실외의 환경에서도 시각장애인의 안전한 보행에 도움을 줄 수 있다.
본 실시예는 미리 설정된 주기, 예컨대 1분, 5분, 7분 등의 주기로 상술한 S100 단계부터 S309 단계까지 프로세스를 수행하여, 시각장애인의 보행 안정성을 더욱 높일 수 있다.
이상의 본 발명은 상기에 기술된 실시예들에 의해 한정되지 않고, 당업자들에 의해 다양한 변형 및 변경을 가져올 수 있으며, 이는 첨부된 청구항에서 정의되는 본 발명의 취지와 범위에 포함된다.
도 1은 본 발명의 실시예에 따른 시각장애인 보행 안내 시스템을 설명하기 위한 도면.
도 2는 도 1에 도시된 시각장애인 보행 안내 시스템의 블록도.
도 3은 본 발명의 실시예에 따른 시각장애인 보행 안내 방법을 설명하기 위한 동작 흐름도.
도 4는 도 3의 소실점 및 길의 외곽선 정보 추출 관련 서브루틴을 설명하기 위한 동작 흐름도.
도 5는 본 발명에서 사용되는 체인코드 및 직선성분 검출과정을 설명하기 위한 도면.
도 6은 본 발명에 적용되는 소실점 및 길의 외곽선을 구하기 위해 영상의 영역을 구분하여 적용한 도면.
도 7은 본 발명에서 장애물 검출을 위해 사용되는 가버필터 커널을 도시한 도면.
도 8은 본 발명에서 장애물의 거리 추정에 사용되는 실제거리와 영상에서의 위치에 대한 관계를 나타내는 도면.
도 9는 카메라로부터 획득된 영상 중 보행영역에 대한 검출결과를 도시한 도면.
도 10은 카메라로부터 획득된 영상 중 장애물 검출 결과를 도시한 도면.
도 11은 본 발명에서 얻어진 결과를 통해 시각장애인에게 제공되어야 하는 음성정보를 문장의 형태로 보여주는 도면.
<도면의 주요부분에 대한 부호의 설명>
10 : 카메라 21 : 음성 출력부
22 : 음성 입력부 30 : 시각장애인 보행 안내 장치
40 : 케이블

Claims (10)

  1. 영상을 촬영하는 카메라와, 음성정보를 출력하는 음성 출력부와, 시각장애인 보행 안내 장치를 포함하는 시각장애인 보행 안내 시스템의 시각 장애인 보행 안내 방법으로,
    상기 카메라로부터 영상을 획득하는 단계;
    상기 획득된 영상내에서 검출된 에지 정보를 이용하여 소실점 및 길의 외곽선 정보를 추출하는 단계;
    상기 길의 외곽선 정보를 기초로 보행자의 위치를 결정하고, 상기 소실점을 기준으로 보행자가 보는 길의 방향을 결정하는 단계; 및
    상기 결정된 보행자의 위치 및 상기 길의 방향을 미리 정해진 보행안내정보에 각각 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 단계를 포함하는 것을 특징으로 하는 시각장애인 보행 안내 방법.
  2. 청구항 1에 있어서,
    상기 길의 외곽선 정보를 통해 얻어진 보행영역내의 영상 중 장애물이 검출되었는지 여부를 판단하는 단계;
    상기 장애물이 검출된 경우, 미리 설정된 거리별 상기 보행영역내 영상의 좌표를 이용하여 변환 테이블을 생성하는 단계;
    상기 변환 테이블을 근거로 상기 장애물의 위치 및 상기 장애물과 보행자와 의 거리를 추정하는 단계; 및
    상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 미리 정해진 장애안내정보에 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 단계를 포함하는 것을 특징으로 하는 시각장애인 보행 안내 방법.
  3. 청구항 1에 있어서,
    상기 소실점 및 길의 외곽선 정보를 추출하는 단계는,
    상기 획득된 영상을 그레이 영상으로 변환하는 단계;
    상기 변환된 그레이 영상에서 에지 영상을 검출하는 단계;
    상기 검출된 에지 영상에서 각 에지화소들의 8방향으로 이웃하는 화소들에 대한 연결성을 찾는 단계;
    상기 연결성을 이용하여 특정한 방향으로 연속적으로 관계되는 직선성분을 추출하는 단계;
    상기 획득된 영상의 중심을 기준으로 양분한 각각의 영역에서 중심으로 향하는 직선성분을 추출하는 단계;
    상기 추출된 직선성분 중에서 연속적으로 미리 정해진 길이 이상의 직선성분을 선택하는 단계; 및
    상기 선택된 직선성분들의 평균을 취하여 각각의 영역에서 평균 직선성분의 교차점을 소실점으로 추출하고, 각각의 영역에서 평균 직선성분을 길의 외곽선 정보로 추출하는 단계를 포함하는 것을 특징으로 하는 시각장애인 보행 안내 방법.
  4. 청구항 3에 있어서,
    상기 결정하는 단계는,
    상기 소실점과 상기 길의 외곽선 정보를 이용하여 보행영역을 선정하는 단계;
    상기 선정된 보행영역내 영상의 하단부분과 상기 각각의 영역에서 평균 직선성분의 교점을 보행영역의 너비로 계산하고, 그 너비에서의 중심점을 길의 중심으로 계산하는 단계;
    상기 계산된 길의 중심과 영상의 중심을 비교하여 보행자의 위치를 판단하는 단계; 및
    상기 소실점의 방향과 영상의 중심을 비교하여 보행자가 보는 길의 방향을 판단하는 단계를 포함하는 것을 특징으로 하는 시각장애인 보행 안내 방법.
  5. 청구항 2에 있어서,
    상기 장애물이 검출되었는지 여부를 판단하는 단계는,
    상기 얻어진 보행영역내의 영상을 가버필터에 적용시켜 수직성분들을 추출하는 단계; 및
    상기 추출된 수직성분들의 묶음을 통해 장애물의 바닥면과 너비정보를 확정하는 단계를 포함하는 것을 특징으로 하는 시각장애인 보행 안내 방법.
  6. 청구항 3에 있어서,
    상기 소실점 및 길의 외곽선 정보를 추출하는 단계는,
    확장형 체인코드를 사용하여 특정한 방향성을 가지는 직선정보를 추출하는 것을 특징으로 하는 시각장애인 보행 안내 방법.
  7. 영상을 촬영하는 카메라와, 음성정보를 출력하는 음성 출력부와, 시각장애인 보행 안내 장치를 포함하는 시각장애인 보행 안내 시스템의 시각 장애인 보행 안내 방법으로,
    상기 카메라로부터 영상을 획득하는 단계;
    상기 획득된 영상내에서 검출된 에지 정보를 이용하여 소실점 및 길의 외곽선 정보를 추출하는 단계;
    상기 외곽선 정보를 기초로 보행자의 위치를 결정하고, 상기 소실점을 기준으로 보행자가 보는 길의 방향을 결정하는 단계;
    상기 외곽선 정보를 통해 얻어진 보행영역내의 영상 중 장애물이 검출되었는지 여부를 판단하는 단계;
    상기 장애물이 검출된 경우, 미리 설정된 거리별 상기 보행영역내 영상의 좌표를 이용하여 변환 테이블을 생성하는 단계;
    상기 변환 테이블을 근거로 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 추정하는 단계; 및
    상기 결정된 보행자의 위치 및 상기 길의 방향을 미리 정해진 보행안내정보 에 적용시키고, 상기 추정된 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 미리 정해진 장애안내정보에 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 단계를 포함하는 것을 특징으로 하는 시각장애인 보행 안내 방법.
  8. 청구항 7에 있어서,
    상기 음성 출력부에 제공하는 단계는,
    상기 미리 정해진 보행안내정보에 상기 결정된 보행자의 위치 및 길의 방향을 적용시켜 완성된 문장을 음성정보로 변환하고,
    상기 미리 정해진 장애안내정보에 상기 추정된 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 적용시켜 완성된 문장을 음성정보로 변환하는 것을 특징으로 하는 시각장애인 보행 안내 방법.
  9. 영상을 촬영하는 카메라;
    보행 안내를 위한 음성정보를 출력하는 음성 출력부; 및
    상기 카메라로부터 영상을 획득하고, 획득된 영상내에서 검출된 에지 정보를 이용하여 소실점 및 길의 외곽선 정보를 추출하여, 상기 추출된 외곽선 정보를 기초로 결정된 보행자의 위치와 상기 추출된 소실점을 기준으로 결정된 보행자가 보는 길의 방향을 미리 정해진 보행 안내정보에 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 시각장애인 보행 안내 장치를 포함하는 것을 특징으로 하는 시각장애인 보행 안내 시스템.
  10. 청구항 9에 있어서,
    상기 시각장애인 보행 안내 장치는,
    상기 외곽선 정보를 통해 얻어진 보행 영역내의 영상 중 장애물이 검출되었는지 여부를 판단하고, 그 판단결과 상기 장애물이 검출된 경우, 미리 설정된 거리별 상기 보행영역내 영상의 좌표를 이용하여 생성된 변환 테이블을 근거로 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 추정하고, 상기 추정된 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 미리 정해진 장애안내정보에 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 것을 특징으로 하는 시각장애인 보행 안내 시스템.
KR1020090061690A 2009-07-07 2009-07-07 시각장애인 보행 안내 방법 및 그 시스템 KR101054025B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090061690A KR101054025B1 (ko) 2009-07-07 2009-07-07 시각장애인 보행 안내 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090061690A KR101054025B1 (ko) 2009-07-07 2009-07-07 시각장애인 보행 안내 방법 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20110004064A true KR20110004064A (ko) 2011-01-13
KR101054025B1 KR101054025B1 (ko) 2011-08-04

Family

ID=43611745

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090061690A KR101054025B1 (ko) 2009-07-07 2009-07-07 시각장애인 보행 안내 방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR101054025B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102389361A (zh) * 2011-07-18 2012-03-28 浙江大学 一种基于计算机视觉的盲人户外支援系统
CN102657572A (zh) * 2012-03-22 2012-09-12 张东林 电子点阵式智能盲人图像触觉传感装置和传感实现方法
WO2016036160A1 (ko) * 2014-09-05 2016-03-10 주식회사 디자인아이피 시각 장애인을 위한 정보 제공 장치
KR20160090781A (ko) 2016-07-19 2016-08-01 주식회사 비에스엘 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법
KR20160113666A (ko) * 2014-01-24 2016-09-30 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 오디오 탐색 지원
CN106461370A (zh) * 2014-06-27 2017-02-22 扑来量度公司 移动体的姿势识别装置以及基于位置的附加服务提供系统
KR20170030842A (ko) * 2015-09-10 2017-03-20 한국과학기술연구원 복도 영상의 소실점을 이용한 실내 위치 추정 장치 및 그 방법
GB2586733A (en) * 2018-03-19 2021-03-03 Korea Jintech Functional diaper
KR102252352B1 (ko) * 2020-12-04 2021-05-17 주식회사 바토너스 보행 안내 방법 및 장치
KR20210076235A (ko) * 2019-12-13 2021-06-24 동국대학교 산학협력단 초음파 센서를 통해 감지된 장애물에 대한 음성 정보를 제공하는 스마트 지팡이 및 그 동작 방법
KR20210085865A (ko) * 2019-12-31 2021-07-08 국민대학교산학협력단 시각장애인의 횡단보도 보행을 위한 가이드 장치 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160028891A (ko) 2014-09-04 2016-03-14 김경연 깊이 카메라와 방향 센서를 이용한 시각 장애인을 위한 장애물 인식 장치
KR101828042B1 (ko) * 2016-08-19 2018-03-22 주식회사 하오문 데이터 저장 기능을 구비한 위험 상황 알림 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3646795B2 (ja) 2002-03-01 2005-05-11 日本電気株式会社 交差点信号案内補助システム
JP2006251596A (ja) 2005-03-14 2006-09-21 Kyoto Institute Of Technology 視覚障害者支援装置
KR20080008705A (ko) * 2006-07-21 2008-01-24 (주)바네트 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102389361A (zh) * 2011-07-18 2012-03-28 浙江大学 一种基于计算机视觉的盲人户外支援系统
CN102657572A (zh) * 2012-03-22 2012-09-12 张东林 电子点阵式智能盲人图像触觉传感装置和传感实现方法
KR20160113666A (ko) * 2014-01-24 2016-09-30 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 오디오 탐색 지원
CN106461370B (zh) * 2014-06-27 2019-03-15 扑来量度公司 移动体的姿势识别装置以及基于位置的附加服务提供系统
CN106461370A (zh) * 2014-06-27 2017-02-22 扑来量度公司 移动体的姿势识别装置以及基于位置的附加服务提供系统
WO2016036160A1 (ko) * 2014-09-05 2016-03-10 주식회사 디자인아이피 시각 장애인을 위한 정보 제공 장치
KR20170030842A (ko) * 2015-09-10 2017-03-20 한국과학기술연구원 복도 영상의 소실점을 이용한 실내 위치 추정 장치 및 그 방법
KR20160090781A (ko) 2016-07-19 2016-08-01 주식회사 비에스엘 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법
GB2586733A (en) * 2018-03-19 2021-03-03 Korea Jintech Functional diaper
GB2586733B (en) * 2018-03-19 2022-04-27 Korea Jintech Functional diaper
KR20210076235A (ko) * 2019-12-13 2021-06-24 동국대학교 산학협력단 초음파 센서를 통해 감지된 장애물에 대한 음성 정보를 제공하는 스마트 지팡이 및 그 동작 방법
KR20210085865A (ko) * 2019-12-31 2021-07-08 국민대학교산학협력단 시각장애인의 횡단보도 보행을 위한 가이드 장치 및 방법
KR102252352B1 (ko) * 2020-12-04 2021-05-17 주식회사 바토너스 보행 안내 방법 및 장치

Also Published As

Publication number Publication date
KR101054025B1 (ko) 2011-08-04

Similar Documents

Publication Publication Date Title
KR101054025B1 (ko) 시각장애인 보행 안내 방법 및 그 시스템
Jafri et al. Visual and infrared sensor data-based obstacle detection for the visually impaired using the Google project tango tablet development kit and the unity engine
Tapu et al. Wearable assistive devices for visually impaired: A state of the art survey
JP2006251596A (ja) 視覚障害者支援装置
CN109730910B (zh) 出行的视觉辅助系统及其辅助设备、方法、可读存储介质
Costa et al. Obstacle detection using stereo imaging to assist the navigation of visually impaired people
Sáez et al. Aerial obstacle detection with 3-D mobile devices
TWI474173B (zh) 行走輔助系統及行走輔助方法
US20170003132A1 (en) Method of constructing street guidance information database, and street guidance apparatus and method using street guidance information database
Tian et al. Dynamic crosswalk scene understanding for the visually impaired
KR102284744B1 (ko) 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기
KR20150097043A (ko) 스마트 안경 및 지팡이를 이용한 시각 장애인 보조 시스템 및 방법
Fei et al. Review of machine vision-based electronic travel aids
KR101187600B1 (ko) 스테레오 카메라 기반의 3차원 실시간 입술 특징점 추출을 이용한 음성 인식 장치 및 음성 인식 방법
Ali et al. Blind navigation system for visually impaired using windowing-based mean on Microsoft Kinect camera
Saputra et al. Obstacle avoidance for visually impaired using auto-adaptive thresholding on Kinect's depth image
EP2642463A1 (en) Peripheral monitoring device for vehicle
Söveny et al. Blind guide-A virtual eye for guiding indoor and outdoor movement
Bharati LiDAR+ camera sensor data fusion on mobiles with ai-based virtual sensors to provide situational awareness for the visually impaired
KR20180097962A (ko) 영상 분석 기반 상황 판단형 가이드 장치 및 방법
Sun et al. “Watch your step”: precise obstacle detection and navigation for Mobile users through their Mobile service
WO2015198284A1 (en) Reality description system and method
KR101997531B1 (ko) 개인 이동기구의 장애물 회피 시스템 및 이를 이용한 장애물 회피 방법
Zeng et al. Range-IT: detection and multimodal presentation of indoor objects for visually impaired people
Skulimowski et al. Door detection in images of 3d scenes in an electronic travel aid for the blind

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140709

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150609

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160627

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee