KR101054025B1 - Visually impaired walking guidance method and system - Google Patents

Visually impaired walking guidance method and system Download PDF

Info

Publication number
KR101054025B1
KR101054025B1 KR1020090061690A KR20090061690A KR101054025B1 KR 101054025 B1 KR101054025 B1 KR 101054025B1 KR 1020090061690 A KR1020090061690 A KR 1020090061690A KR 20090061690 A KR20090061690 A KR 20090061690A KR 101054025 B1 KR101054025 B1 KR 101054025B1
Authority
KR
South Korea
Prior art keywords
information
obstacle
pedestrian
road
image
Prior art date
Application number
KR1020090061690A
Other languages
Korean (ko)
Other versions
KR20110004064A (en
Inventor
한헌수
한영준
유재형
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020090061690A priority Critical patent/KR101054025B1/en
Publication of KR20110004064A publication Critical patent/KR20110004064A/en
Application granted granted Critical
Publication of KR101054025B1 publication Critical patent/KR101054025B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/02Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Vascular Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 실외의 환경에서 카메라를 통해 얻은 단일 영상의 에지영상을 기초로 소실점과 길의 외곽선 정보를 추출하여 추출된 정보를 기초로 결정된 보행자의 위치 및 보행자가 보는 길의 방향을 음성정보로 출력함으로써, 시각장애인이 안전한 보행을 할 수 있도록 한 시각장애인 보행 안내 방법 및 그 시스템에 관한 것이다.The present invention extracts the vanishing point and the road outline information based on the edge image of a single image obtained through a camera in an outdoor environment, and outputs the pedestrian's location and the direction of the pedestrian's road as voice information determined based on the extracted information. Therefore, the present invention relates to a visually impaired gait guide method and system for allowing a visually impaired person to walk safely.

이를 위하여 본 발명은 카메라로부터 영상을 획득하는 단계; 상기 획득된 영상내에서 검출된 에지 정보를 이용하여 소실점 및 길의 외곽선 정보를 추출하는 단계; 상기 길의 외곽선 정보를 기초로 보행자의 위치를 결정하고, 상기 소실점을 기준으로 보행자가 보는 길의 방향을 결정하는 단계; 및 상기 결정된 보행자의 위치 및 상기 길의 방향을 미리 정해진 보행안내정보에 각각 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 단계를 포함하는 것을 특징으로 한다.To this end, the present invention comprises the steps of obtaining an image from a camera; Extracting vanishing point and outline information of a road using edge information detected in the acquired image; Determining a location of the pedestrian based on the outline information of the road, and determining a direction of the road seen by the pedestrian based on the vanishing point; And providing the converted voice information to the voice output unit by applying the determined position of the pedestrian and the direction of the road to predetermined walking guide information, respectively.

시각장애인, 보행, 안내, 소실점, 외곽선 정보, 음성정보, 보행자의 위치, 길의 방향 Visually impaired, walking, guidance, vanishing point, outline information, voice information, pedestrian position, direction of road

Description

시각장애인 보행 안내 방법 및 그 시스템{METHOD FOR GUIDING A BLIND PERSON AND SYSTEM THEREFOR}METHOD FOR GUIDING A BLIND PERSON AND SYSTEM THEREFOR}

본 발명은 시각장애인 보행 안내 방법 및 그 시스템에 관한 것으로, 특히 카메라로부터 얻어진 영상을 통해 시각장애인이 보행할 수 있는 보행영역을 선정하고 그 보행영역내에서 보행에 필요한 안내정보를 음성정보로 알려줌으로써, 시각장애인이 안전하게 보행할 수 있도록 한 시각장애인 보행 안내 방법 및 그 시스템에 관한 것이다.The present invention relates to a walking guidance method and a system for the visually impaired, in particular by selecting a gait area that can be visually impaired through the image obtained from the camera and by providing the voice information to guide information required for walking in the gait area The present invention relates to a method and a system for guiding a visually impaired person who can safely walk.

일반적으로, 시각장애인들은 외부의 환경에 대한 정보를 획득하기 어렵기 때문에 보행이 매우 제한되어 있으며, 장애물과 같은 위험한 요소들에 대해 적절한 대응을 하기가 어렵다.In general, people with visual impairments are very limited in walking because they are difficult to obtain information about the external environment, and it is difficult to properly respond to dangerous factors such as obstacles.

현재 시각장애인들의 안전한 보행을 위한 도구 장치 및 시스템들이 국내외에서 활발히 연구되고 있다.Currently, tool devices and systems for safe walking of visually impaired people are actively researched at home and abroad.

종래의 시각장애인 보행 안내 시스템들은 초음파, 촉각, 레이저, GPS, 카메라 등을 이용하여 시각장애인의 보행을 보조하기 위한 안내정보를 제공하였다.Conventional visually impaired gait guidance systems provided guidance information for assisting the visually impaired gait using ultrasound, tactile, laser, GPS, camera, and the like.

초음파를 사용한 시각장애인 보행 안내 시스템은, 벨트의 형태로 구성된 초 음파 센서 묶음을 착용하고 가방의 형태로 착용된 컴퓨터를 통해 각 방향에 대한 정보들을 분석하여 시각장애인에게 알려주도록 되어 있다. 이러한 초음파 센서를 이용한 시각장애인 보행 안내 시스템은 그 구현이 비교적 간단하며 계산량이 많지 않다는 장점이 있지만, 주변 장애물의 유무만을 판단할 수 있을 뿐, 물체가 가지는 질감, 색상에 대한 정보를 얻을 수 없고, 물체의 이동정보를 얻기에 제한이 많은 단점을 가지고 있다.The visually impaired walking guidance system using ultrasonic waves is equipped with a bundle of ultrasonic sensors configured in the form of a belt, and analyzes information on each direction through a computer worn in the form of a bag and informs the visually impaired. Although the visually impaired gait guide system using the ultrasonic sensor has an advantage that the implementation is relatively simple and does not have a large amount of calculation, it can only determine the presence or absence of surrounding obstacles and cannot obtain information about the texture and color of the object. There are many disadvantages in obtaining the movement information of an object.

초음파 센서를 사용하는 다른 형태의 시각장애인 보행 안내 시스템으로는 지팡이 형태로 되어 있는 길 안내 시스템이 있다. 이 길 안내 시스템은 일반 시각장애인용 안내 지팡이에 초음파 센서를 장착하여 장애물을 검출하고 위험하지 않은 방향으로 길을 안내하도록 되어 있다. 이와 같은 길 안내 시스템도 구조가 간단하고 적용하기가 쉽지만, 전방의 작은 물체나 가까이 있는 장애물만을 검출할 수 있기 때문에 감지 거리에 제한이 있는 단점을 가지고 있다.Another type of visually impaired walking guidance system using ultrasonic sensors is a cane-shaped road guidance system. The road guidance system is equipped with an ultrasonic sensor on a guide wand for general blind people to detect obstacles and guide the road in a non-hazardous direction. Such a road guidance system is simple in structure and easy to apply, but has a disadvantage in that the detection distance is limited because only a small object in front of it or an obstacle in proximity can be detected.

레이저를 사용한 시각장애인 보행 안내 시스템은, 사용자가 레이저 센서 도구를 들고 좌우로 흔들어 주변에 존재하는 지역적인 정보를 획득할 수 있고, 시간적인 측면에서 계단, 낭떨어지와 같은 이동에 위험한 요소를 분석함에 따라 굴곡이 있거나 단일 카메라를 이용해 알 수 없는 거리정보를 획득할 수 있다는 장점이 있다. 하지만, 근접한 지역에 대해서만 적용이 가능하며 검출된 물체의 색상이나 질감에 대한 특징을 알 수 없는 단점을 가지고 있다.The visually impaired pedestrian guidance system using a laser can grab the laser sensor tool and shake it from side to side to obtain local information that exists in the surrounding area, and analyzes risk factors for movement such as stairs and cliffs in terms of time. There is an advantage in that there is a curve or a single camera can be used to obtain unknown distance information. However, it can be applied only to an adjacent area and has a disadvantage in that the color or texture of the detected object is unknown.

GPS를 이용한 시각장애인 보행 안내 시스템은, 미리 경험적으로 획득하여 저장된 지역 맵정보를 이용하여 보행자에게 길을 안내하도록 하는 시스템으로, 목적 지까지의 순차적인 길의 경로를 제공한다. 이 GPS를 이용한 시각장애인 보행 안내 시스템은 지역적 정보를 담고 있는 데이터베이스를 가지고 있으며, 음성변환기술과 음성인식기술을 통해 컴퓨터와 사람간의 의사소통이 가능하도록 하고, 특정 지역의 목적지에 대한 경로를 제공하여 편리성을 준다. 하지만, 보행자와 바로 인접한 요소들에 대한 위험성을 분석할 수 없는 단점을 가지고 있다.The visually impaired walking guidance system using GPS is a system for guiding a road to pedestrians by using empirically acquired and stored area map information, and provides a sequential path to a destination. This GPS-guided visual aid system has a database that contains local information, and it enables communication between computers and people through voice conversion technology and voice recognition technology, and provides a route to a destination in a specific area. Give convenience. However, there is a drawback that the risk of the immediate pedestrians cannot be analyzed.

카메라를 이용한 시각장애인 보행 안내 시스템은 헤드셋, 마이크, 두개의 카메라를 장착하여, 전방 영역을 분석하고 3차원 정보를 구성하여 전방 영역 내의 물체를 검출한다. 카메라를 통해 실세계 공간에 존재하는 물체의 크기와 거리정보를 획득하기 위해서는 스테레오 카메라를 사용하는 것이 일반적이다. 이와 같은 카메라를 이용한 시각장애인 보행 안내 시스템은 대부분 실내와 같은 제한적인 공간에서 수행되며, 물체의 특징을 얻기 위해 단순한 배경에서 이루어졌다. 특히 건물내에서의 복도와 같은 환경은 3차원정보를 획득하기에 매우 좋은 환경이라고 할 수 있다.The visually impaired walking guidance system using a camera is equipped with a headset, a microphone, and two cameras, and analyzes the front area and constructs three-dimensional information to detect an object in the front area. It is common to use a stereo camera to obtain the size and distance information of objects in the real world space through the camera. The visually impaired pedestrian guidance system using such a camera is mostly performed in a limited space such as a room, and is made in a simple background to obtain the characteristics of an object. In particular, an environment such as a corridor in a building is a very good environment for acquiring three-dimensional information.

전술된 바와 같이 종래의 시각 장애인 보행 안내 시스템은 외부의 복잡한 배경을 가지는 환경에서 적용하기 어려울 뿐만 아니라, 제공하는 정보에도 제약사항이 매우 많다.As described above, the conventional visually impaired walking guidance system is not only difficult to apply in an environment having an external complex background, but also has a lot of limitations on information provided.

본 발명의 목적은, 복잡한 배경정보를 가지는 실외의 환경에서도 단일 카메라를 이용하여 시각장애인이 안전한 보행을 할 수 있도록 길에 대한 음성정보를 제공함으로써, 시각장애인이 실외의 환경에서도 안전한 보행을 할 수 있도록 한 시각장애인 보행 안내 방법 및 그 시스템을 제공함에 있다.An object of the present invention is to provide visual information on the road so that the visually impaired can walk safely using a single camera even in an outdoor environment having complicated background information, so that the visually impaired person can walk safely in an outdoor environment. In order to provide a visually impaired walking guidance method and system.

또한 본 발명의 다른 목적은, 카메라로부터 획득된 실외 환경의 영상에서 보행영역을 선정하고 그 보행영역내에서 존재하는 장애물이 검출된 경우, 장애물의 위치 및 장애물과 보행자와의 거리를 알려줌으로써, 장애물과의 충돌사고를 미리 예방할 수 있도록 한 시각장애인 보행 안내 방법 및 그 시스템을 제공함에 있다.In addition, another object of the present invention, by selecting a gait area in the image of the outdoor environment obtained from the camera and, if an obstacle existing in the gait area is detected, by indicating the location of the obstacle and the distance between the obstacle and the pedestrian, The present invention provides a method and a system for guiding a visually impaired pedestrian, which can prevent a collision accident.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 시각장애인 보행 안내 방법은, 카메라로부터 영상을 획득하는 단계; 상기 획득된 영상내에서 검출된 에지 정보를 이용하여 소실점 및 길의 외곽선 정보를 추출하는 단계; 상기 길의 외곽선 정보를 기초로 보행자의 위치를 결정하고, 상기 소실점을 기준으로 보행자가 보는 길의 방향을 결정하는 단계; 및 상기 결정된 보행자의 위치 및 상기 길의 방향을 미리 정해진 보행안내정보에 각각 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, a visually impaired walking guidance method according to an embodiment of the present invention includes: acquiring an image from a camera; Extracting vanishing point and outline information of a road using edge information detected in the acquired image; Determining a location of the pedestrian based on the outline information of the road, and determining a direction of the road seen by the pedestrian based on the vanishing point; And providing the converted voice information to the voice output unit by applying the determined position of the pedestrian and the direction of the road to predetermined walking guide information, respectively.

본 발명에 따른 시각장애인 보행 안내 방법은, 상기 길의 외곽선 정보를 통해 얻어진 보행영역내의 영상 중 장애물이 검출되었는지 여부를 판단하는 단계; 상 기 장애물이 검출된 경우, 미리 설정된 거리별 상기 보행영역내 영상의 좌표를 이용하여 변환 테이블을 생성하는 단계; 상기 변환 테이블을 근거로 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 추정하는 단계; 및 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 미리 정해진 장애안내정보에 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 단계를 포함하는 것이 바람직하다.In accordance with another aspect of the present invention, there is provided a walking guide method for visually impaired, comprising: determining whether an obstacle is detected in an image in a walking area obtained through outline information of a road; When the obstacle is detected, generating a conversion table using coordinates of the image in the walking area for each predetermined distance; Estimating the position of the obstacle and the distance between the obstacle and the pedestrian based on the conversion table; And providing the converted voice information to the voice output unit by applying the position of the obstacle and the distance between the obstacle and the pedestrian to predetermined obstacle guide information.

상기 소실점 및 길의 외곽선 정보를 추출하는 단계는, 상기 획득된 영상을 그레이 영상으로 변환하는 단계; 상기 변환된 그레이 영상에서 에지 영상을 검출하는 단계; 상기 검출된 에지 영상에서 각 에지화소들의 8방향으로 이웃하는 화소들에 대한 연결성을 찾는 단계; 상기 연결성을 이용하여 특정한 방향으로 연속적으로 관계되는 직선성분을 추출하는 단계; 상기 획득된 영상의 중심을 기준으로 양분한 각각의 영역에서 중심으로 향하는 직선성분을 추출하는 단계; 상기 추출된 직선성분 중에서 연속적으로 미리 정해진 길이 이상의 직선성분을 선택하는 단계; 및 상기 선택된 직선성분들의 평균을 취하여 각각의 영역에서 평균 직선성분의 교차점을 소실점으로 추출하고, 각각의 영역에서 평균 직선성분을 길의 외곽선 정보로 추출하는 단계를 포함하는 것이 바람직하다.The extracting the vanishing point and the outline information of the road may include converting the acquired image into a gray image; Detecting an edge image from the converted gray image; Finding connectivity for neighboring pixels in eight directions of each edge pixel in the detected edge image; Extracting linear components continuously related in a specific direction using the connectivity; Extracting a linear component directed toward the center in each area bisected based on the center of the acquired image; Selecting linear components of a predetermined length or more continuously from the extracted linear components; And taking the average of the selected linear components, extracting the intersection point of the average linear components in each region as a vanishing point, and extracting the average linear components in each region as the outline information of the road.

상기 결정하는 단계는, 상기 소실점과 상기 길의 외곽선 정보를 이용하여 보행영역을 선정하는 단계; 상기 선정된 보행영역내 영상의 하단부분과 상기 각각의 영역에서 평균 직선성분의 교점을 보행영역의 너비로 계산하고, 그 너비에서의 중심점을 길의 중심으로 계산하는 단계; 상기 계산된 길의 중심과 영상의 중심을 비교하여 보행자의 위치를 판단하는 단계; 및 상기 소실점의 방향과 영상의 중심을 비교하여 보행자가 보는 길의 방향을 판단하는 단계를 포함하는 것이 바람직하다.The determining may include selecting a walking area using the vanishing point and the outline information of the road; Calculating an intersection point of an average linear component in the lower end portion of the selected gait area and the respective areas as the width of the gait area, and calculating a center point in the width as the center of the road; Determining the location of the pedestrian by comparing the center of the road with the center of the image; And comparing the direction of the vanishing point and the center of the image to determine the direction of the pedestrian's view.

상기 장애물이 검출되었는지 여부를 판단하는 단계는, 상기 얻어진 보행영역내의 영상을 가버필터에 적용시켜 수직성분들을 추출하는 단계; 및 상기 추출된 수직성분들의 묶음을 통해 장애물의 바닥면과 너비정보를 확정하는 단계를 포함하는 것이 바람직하다.The determining of whether the obstacle is detected may include: extracting vertical components by applying an image in the gait area to a Gabor filter; And determining the bottom surface and the width information of the obstacle through the bundle of the extracted vertical components.

상기 소실점 및 길의 외곽선 정보를 추출하는 단계는, 확장형 체인코드를 사용하여 특정한 방향성을 가지는 직선정보를 추출하는 것이 바람직하다.In the extracting the vanishing point and the outline information of the road, it is preferable to extract the linear information having a specific direction by using the extended chain code.

또한, 본 발명의 다른 실시예에 따른 시각장애인 보행 안내 방법은, 카메라로부터 영상을 획득하는 단계; 상기 획득된 영상내에서 검출된 에지 정보를 이용하여 소실점 및 길의 외곽선 정보를 추출하는 단계; 상기 외곽선 정보를 기초로 보행자의 위치를 결정하고, 상기 소실점을 기준으로 보행자가 보는 길의 방향을 결정하는 단계; 상기 외곽선 정보를 통해 얻어진 보행영역내의 영상 중 장애물이 검출되었는지 여부를 판단하는 단계; 상기 장애물이 검출된 경우, 미리 설정된 거리별 상기 보행영역내 영상의 좌표를 이용하여 변환 테이블을 생성하는 단계; 상기 변환 테이블을 근거로 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 추정하는 단계; 및 상기 결정된 보행자의 위치 및 상기 길의 방향을 미리 정해진 보행안내정보에 적용시키고, 상기 추정된 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 미리 정해진 장애안내정보에 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 단계를 포함하는 것을 특징으로 한다.In addition, the walk guide method for the visually impaired according to another embodiment of the present invention, obtaining an image from the camera; Extracting vanishing point and outline information of a road using edge information detected in the acquired image; Determining a location of the pedestrian based on the outline information, and determining a direction of a road seen by the pedestrian based on the vanishing point; Determining whether an obstacle is detected among images in the walking area obtained through the outline information; When the obstacle is detected, generating a conversion table using coordinates of the image in the walking area for each predetermined distance; Estimating the position of the obstacle and the distance between the obstacle and the pedestrian based on the conversion table; And applying the determined position of the pedestrian and the direction of the road to predetermined pedestrian guidance information, and applying the estimated position of the obstacle and the distance between the obstacle and the pedestrian to predetermined obstacle guide information to convert the voice information. And providing the voice output unit.

상기 음성 출력부에 제공하는 단계는, 상기 미리 정해진 보행안내정보에 상 기 결정된 보행자의 위치 및 길의 방향을 적용시켜 완성된 문장을 음성정보로 변환하고, 상기 미리 정해진 장애안내정보에 상기 추정된 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 적용시켜 완성된 문장을 음성정보로 변환하는 것이 바람직하다.The providing to the voice output unit may convert the completed sentence into voice information by applying the position of the pedestrian and the direction of the road to the predetermined walking guidance information, and convert the estimated sentence into the predetermined disability guide information. It is preferable to convert the completed sentence into voice information by applying the position of the obstacle and the distance between the obstacle and the pedestrian.

한편, 본 발명의 실시예에 따른 시각장애인 보행 안내 시스템은, 영상을 촬영하는 카메라; 보행 안내를 위한 음성정보를 출력하는 음성 출력부; 및 상기 카메라로부터 영상을 획득하고, 획득된 영상내에서 검출된 에지 정보를 이용하여 소실점 및 길의 외곽선 정보를 추출하여, 상기 추출된 외곽선 정보를 기초로 결정된 보행자의 위치와 상기 추출된 소실점을 기준으로 결정된 보행자가 보는 길의 방향을 미리 정해진 보행 안내정보에 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 시각장애인 보행 안내 장치를 포함하는 것을 특징으로 한다.On the other hand, a visually impaired walking guidance system according to an embodiment of the present invention, the camera for taking an image; A voice output unit for outputting voice information for walking guidance; And acquiring an image from the camera, extracting vanishing point and road outline information using edge information detected in the obtained image, and based on the extracted pedestrian position and the extracted vanishing point based on the extracted outline information. It is characterized in that it comprises a visually impaired gait guide device for providing the converted voice information to the voice output unit by applying the direction of the road determined by the pedestrian determined to the predetermined gait guide information.

상기 시각장애인 보행 안내 장치는, 상기 외곽선 정보를 통해 얻어진 보행 영역내의 영상 중 장애물이 검출되었는지 여부를 판단하고, 그 판단결과 상기 장애물이 검출된 경우, 미리 설정된 거리별 상기 보행영역내 영상의 좌표를 이용하여 생성된 변환 테이블을 근거로 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 추정하고, 상기 추정된 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 미리 정해진 장애안내정보에 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 것이 바람직하다.The walk guide apparatus for the visually impaired determines whether an obstacle is detected among the images in the walking area obtained through the outline information. When the obstacle is detected, the coordinates of the image in the walking area for each predetermined distance are determined. The position of the obstacle and the distance between the obstacle and the pedestrian are estimated based on the generated conversion table, and the estimated position of the obstacle and the distance between the obstacle and the pedestrian are applied to predetermined obstacle guide information. It is preferable to provide the voice information to the voice output unit.

본 발명의 실시예에 따르면 복잡한 배경정보를 가지는 실외의 환경에서도 단 일 카메라를 이용하여 시각장애인이 안전한 보행을 할 수 있도록 길에 대한 음성정보를 제공함으로써, 실외의 환경에서도 시각장애인에게 올바르고 안전한 보행을 안내해 줄 수 있는 효과가 있다.According to an embodiment of the present invention by providing a voice information on the road so that the visually impaired can walk safely using a single camera even in an outdoor environment having complex background information, it is correct and safe for the blind even in an outdoor environment There is an effect that can guide the walk.

또한, 본 발명의 실시예에 따르면 카메라로부터 획득된 실외 환경의 영상에서 보행영역을 선정하고 그 보행영역내에서 존재하는 장애물이 검출된 경우, 장애물의 위치 및 장애물과 보행자와의 거리를 알려줌으로써, 장애물과의 충돌사고를 미리 예방할 수 있어, 위험 상황에서 벗어날 수 있는 효과도 있다.In addition, according to an embodiment of the present invention by selecting a gait area in the image of the outdoor environment obtained from the camera and when the obstacle existing in the gait area is detected, by indicating the location of the obstacle and the distance between the obstacle and the pedestrian, The collision with the obstacles can be prevented in advance, so that it is possible to escape the dangerous situation.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 시각장애인 보행 안내 시스템을 설명하기 위한 도면이고, 도 2는 도 1에 도시된 시각장애인 보행 안내 시스템의 블록도이다.1 is a view illustrating a visually impaired walking guidance system according to an embodiment of the present invention, Figure 2 is a block diagram of the visually impaired walking guidance system shown in FIG.

도 1을 참조하면, 본 발명의 실시예에 따른 시각장애인 보행 안내 시스템은 단일의 카메라(10)와, 음성 입/출력부(20)와, 시각장애인에게 보행에 필요한 안내정보를 제공하는 시각장애인 보행 안내 장치(30)를 포함하여 구성된다. 시각장애인 보행 안내 장치(30)는 케이블(40)을 통해 카메라(10)로부터 촬영된 영상이 획득되나, 본 발명이 이에 한정되는 것은 아니고 무선통신방식을 통해 카메라(10)로부터 촬영된 영상이 획득될 수도 있다.Referring to FIG. 1, a visually impaired walking guidance system according to an embodiment of the present invention provides a single camera 10, a voice input / output unit 20, and a visually impaired person to provide guide information for walking to a visually impaired person. It is comprised including the walking guide apparatus 30. FIG. The visually impaired gait guide device 30 obtains an image taken from the camera 10 through a cable 40, but the present invention is not limited thereto, and an image taken from the camera 10 is acquired through a wireless communication method. May be

본 실시예에서, 보행자가 걸어갈 수 있는 전방의 영역을 보행영역(B)라 정의하고, 카메라(10)를 통해 획득된 전방의 영역을 보행자가 보는 시야영역(A)이라 정 의한다.In the present embodiment, the area in front of which the pedestrian can walk is defined as a walking area B, and the area in front of which is obtained through the camera 10 is defined as the viewing area A that the pedestrian sees.

본 발명에 따른 시각장애인 보행 안내 시스템은, 카메라(10)로부터 촬영된 영상을 획득하고, 획득된 영상을 분석하여 보행에 필요한 정보를 추출하고, 이에 대한 결과를 음성정보로 변환하여 출력한다. 이때, 보행에 필요한 보행안내정보와,장애안내정보를 미리 설정된 음성변환형식에 맞게 음성으로 변환하는 TTS(Text To Speech) 엔진이 채택되며, 문자로 구성된 장애안내정보를 TTS 엔진을 이용하여 음성정보로 변환시킨다. 이와 같이 변환된 음성정보가 음성 출력부(21)를 통해 출력되어, 시각장애인이 보행중에 청취할 수 있다.The visually impaired walking guidance system according to the present invention obtains an image photographed from the camera 10, extracts information necessary for walking by analyzing the acquired image, and converts the result into voice information and outputs the converted information. In this case, the TTS (Text To Speech) engine for converting the pedestrian guide information and the disability guide information required for walking into voice according to a preset voice conversion format is adopted. To. The converted voice information is output through the voice output unit 21, so that the visually impaired person can listen while walking.

도 2를 참조하면, 음성 입/출력부(20)는 보행 안내를 위한 음성정보를 출력하는 음성 출력부(21)와, 음성을 입력받는 음성 입력부(22)이며, 음성 출력부(21)는 예컨대 헤드셋일 수 있고, 음성 입력부(22)는 예컨대 마이크일 수 있다.Referring to FIG. 2, the voice input / output unit 20 is a voice output unit 21 for outputting voice information for walking guidance, a voice input unit 22 for receiving a voice, and the voice output unit 21 is a voice output unit 21. For example, it may be a headset, and the voice input unit 22 may be a microphone, for example.

시각장애인 보행 안내 장치(30)는 카메라(10)로부터 영상을 획득하고, 획득된 영상내에서 검출된 에지 정보를 이용하여 소실점과 길의 외곽선 정보를 추출하여 추출된 외곽선 정보를 기초로 보행자의 위치와, 소실점을 기준으로 결정된 보행자가 보는 길의 방향을 적용시킨 제 1 문장을 생성하여 생성된 제1 문장을 음성정보로 변환시켜 음성 출력부(21)를 통해 출력되도록 한다. 이때, 제 1 문장은 미리 구성되어 있는 템플릿 구조의 보행안내정보로, 예를 들면 보행안내정보는 "당신은 길의 [보행자의 위치]에서 진행하고 있습니다. 당신은 길의 [길의 방향] 방향을 바라보고 있습니다."일 수 있으며, 추출된 보행자의 위치와 길의 방향을 각각 적용시켜 완성된 문장이다.The visually impaired gait guide device 30 obtains an image from the camera 10, extracts vanishing point and outline information of the road using edge information detected in the acquired image, and then positions the pedestrian based on the extracted outline information. The first sentence generated by applying the direction of the pedestrian's view determined on the basis of the vanishing point is converted into the voice information and output through the voice output unit 21. In this case, the first sentence is a pedestrian guide information of a pre-configured template structure. For example, the pedestrian guide information is "You are proceeding at the [pedestrian position] of the road. It can be seen, "is a sentence completed by applying the extracted pedestrian position and the direction of the road respectively.

또한, 시각장애인 보행 안내 장치(30)는 추출된 길의 외곽선 정보를 통해 얻어진 보행영역(B) 내의 영상 중 수직성분이 추출되었는지 여부에 따라 보행영역내 장애물이 존재하는지 여부를 판단한다. 수직성분이 추출된 경우, 보행영역내의 영상 중 장애물이 존재하는 경우로 판단하여 시각장애인 보행 안내 장치(30)는 미리 설정된 실제거리별 보행영역내 영상좌표를 이용하여 변환테이블을 생성하고, 생성된 변환테이블을 근거로 장애물의 위치 및 장애물과 보행자의 거리를 추정하여, 추정된 장애물의 위치 및 장애물과 보행자의 거리를 적용시킨 제 2 문장을 만들어 그 제 2 문장을 음성정보로 변환시켜 음성 출력부(21)를 통해 출력되도록 한다. 이때, 제 2 문장은 장애안내정보로, 보행안내정보와 같이 미리 구성되어 있는 템플릿 구조를 가진다. 예를 들면 장애안내정보는 "전방 [장애물의 위치] 시 방향에 장애물이 있습니다. 전방 [장애물과 보행자와의 거리]m 거리에 장애물이 있습니다"일 수 있으며, 추정된 장애물의 위치와, 장애물과 보행자와의 거리를 각각 적용시켜 완성된 문장이다.In addition, the visually impaired pedestrian guide device 30 determines whether there is an obstacle in the pedestrian area according to whether the vertical component is extracted from the image in the pedestrian area B obtained through the extracted outline information of the road. When the vertical component is extracted, it is determined that there is an obstacle among the images in the walking area, and the visually impaired walking guide apparatus 30 generates a conversion table by using the preset image coordinates in the walking area for each actual distance. Based on the conversion table, the position of the obstacle and the distance between the obstacle and the pedestrian are estimated, a second sentence is generated by applying the estimated position of the obstacle and the distance between the obstacle and the pedestrian, and the second sentence is converted into voice information. Output via (21). In this case, the second sentence is the disability guide information, and has a template structure which is preconfigured like the walking guide information. For example, the disability information may be "an obstacle in the direction of the front [the location of the obstacle]. There is an obstacle in the distance of [the distance between the obstacle and the pedestrian] m.", And the estimated position of the obstacle, This sentence is completed by applying the distance to the pedestrian.

장애물이 존재하는지 여부의 검출은 보행영역(B) 내에서 존재하는 장애물의 수직성분에 대한 특징을 검출하도록 한다. 여기에서, 검출대상은 수직성분이 강한 사람, 나무, 기둥 등을 대표적인 장애물로 선정하지만, 본 발명이 이에 한정되는 것은 아니다. 수직성분이 강한 부분을 검출하기 위해 수직방향의 가버필터를 적용하도록 하며, 인접한 수직 성분의 클러스터링을 통하여 최종 장애물의 위치를 검출하도록 한다.The detection of whether an obstacle exists is to detect a characteristic of the vertical component of the obstacle existing in the walking area B. Here, the detection target is selected as a representative obstacle, such as people, trees, pillars, etc. having a strong vertical component, but the present invention is not limited thereto. A vertical Gabor filter is applied to detect a strong portion of the vertical component, and the position of the final obstacle is detected through clustering of adjacent vertical components.

이와 같은 구성을 갖는 시각장애인 보행 안내 시스템의 시각장애인 보행 안 내 방법을 도 3 및 도 4를 참조하여 설명하면 다음과 같다.A visually impaired walking guide method of the visually impaired walking guidance system having such a configuration will be described with reference to FIGS. 3 and 4.

도 3은 본 발명의 실시예에 따른 시각장애인 보행 안내 방법을 설명하기 위한 동작 흐름도이고, 도 4는 도 3에 도시된 소실점 및 길의 외곽선 정보 추출 관련 서브루틴을 설명하기 위한 동작 흐름도이다.FIG. 3 is a flowchart illustrating a method for guiding a visually impaired person walking according to an embodiment of the present invention, and FIG. 4 is a flowchart illustrating a subroutine related to extraction of vanishing point and road outline information shown in FIG. 3.

도 3을 참조하면, 시각장애인 보행 안내 장치(30)는 카메라(10)로부터 영상을 획득한다(S100). 획득된 영상은 도 9의 (a)에 도시된 바와 같다.Referring to FIG. 3, the visually impaired gait guide device 30 obtains an image from the camera 10 (S100). The acquired image is as shown in (a) of FIG. 9.

다음, 시각장애인 보행 안내 장치(30)는 획득된 영상 중 검출된 에지영상을 기초로 소실점 및 길의 외곽선 정보를 추출하기 위한 소실점 및 길의 외곽선 정보 추출 관련 서브루틴을 수행한다(도 4의 S200). 이때, 길의 외곽선 정보를 추출하기 위하여 확장형 체인코드를 사용하여 특정한 방향성을 가지는 직선성분을 추출하도록 한다. 확장형 체인코드는 3차원 형태의 길의 외곽선 형태가 2차원 형태의 영상에서 소실점의 방향으로 향하도록 나타나는 특징을 이용한 것이다. 결국 길의 외곽선 정보를 추출함으로써, 소실점을 추출하도록 한다.Next, the visually impaired gait guide device 30 performs a subroutine related to vanishing point and road outline information extraction for extracting vanishing point and road outline information based on the detected edge image among the acquired images (S200 of FIG. 4). ). At this time, in order to extract the outline information of the road, a linear component having a specific direction is extracted using an extended chain code. The extended chain code utilizes the feature that the outline of the three-dimensional road is directed toward the vanishing point in the two-dimensional image. Finally, the vanishing point is extracted by extracting the outline information of the road.

도 4를 참조하여 소실점 및 길의 외곽선 정보 추출 관련 서브루틴(S200)을 설명하면, 시각장애인 보행 안내 장치(30)는 카메라(10)로부터 획득된 영상을 그레이 영상으로 변환한다(S201).Referring to FIG. 4, a subroutine related to extraction of vanishing point and road outline information (S200) will be described. The visually impaired walking guide apparatus 30 converts an image acquired from the camera 10 into a gray image (S201).

다음, 시각장애인 보행 안내 장치(30)는 변환된 그레이 영상에서 에지 영상을 검출한다(S203). 에지 영상은 그레이 영상에서 검출된 윤곽선을 말하며, 도 9의 (b)에서 보는 바와 같다.Next, the visually impaired gait guide device 30 detects an edge image from the converted gray image (S203). An edge image refers to an outline detected in a gray image, as shown in FIG. 9B.

다음, 시각장애인 보행 안내 장치(30)는 검출된 에지 영상에서 각 에지화소 들의 8방향으로 이웃하는 화소들에 대한 연결성을 찾는다(S205).Next, the visually impaired gait guide device 30 finds connectivity for neighboring pixels in eight directions of each edge pixel in the detected edge image (S205).

즉, 시각장애인 보행 안내 장치(30)는 예컨대 8방향 체인코드를 이용하여 직선으로 형성된 모양을 추출하고, 이에 대한 각도를 계산하여 찾고자 하는 방향으로 연결된 직선을 검출하도록 한다. 도 5의 (a)에 도시된 바와 같이 8방향 체인코드 유닛을 에지 영상의 처음부터 가로방향으로 스캔하여 처음 발견되는 에지화소를 시작점으로 선정하고, 도 5의 (b)에 도시된 바와 같이 이웃하는 화소를 검색하고 연속적인 연결성을 찾아나간다.That is, the visually impaired walking guide device 30 extracts a shape formed by a straight line using, for example, an eight-way chain cord, and calculates an angle thereof to detect a straight line connected in a direction to be found. As shown in (a) of FIG. 5, an eight-way chaincode unit is scanned horizontally from the beginning of an edge image to select an edge pixel first found as a starting point, and as shown in (b) of FIG. Search for pixels to find successive connectivity.

다음, 시각장애인 보행 안내 장치(30)는 찾은 연결성을 특정한 방향으로 연속적으로 관계되는 직선성분을 추출한다(S207).Next, the visually impaired gait guide device 30 extracts the linear components continuously related to the found connectivity in a specific direction (S207).

다음, 시각장애인 보행 안내 장치(30)는 도 9의 (c)에 도시된 바와 같이, 획득된 영상의 중심을 기준으로 양분한 각각의 영역에서 중심으로 향하는 직선성분을 추출한다(S209). 본 실시예에서는 직선성분 추출을 통해 소실점의 위치가 비교적 중심에 위치함을 고려하여 도 6에 도시된 바와 같이 영상을 좌우로 나누어 소실점을 향하는 직선성분을 추출하였다.Next, as shown in (c) of FIG. 9, the visually impaired gait guide device 30 extracts a linear component directed to the center in each area divided by the center of the acquired image (S209). In this embodiment, in consideration of the location of the vanishing point is relatively centered through the extraction of the linear component, as shown in Figure 6 by dividing the image to the left and right to extract the linear component toward the vanishing point.

다음, 시각장애인 보행 안내 장치(30)는 추출된 직선성분 중에서 연속적으로 미리 정해진 길이 이상의 직선성분이 선택되어 표시되도록 한다(S211). 이때, 시각장애인 보행 안내 장치(30)는 중심 방향성분을 기준으로 허용각도범위를 벗어나는 직선성분은 제거하도록 하며, 허용각도범위내에 존재하는 두방향의 직선성분이 있을 경우에는 중심 방향각도에 보다 가까운 직선성분을 선택하도록 함이 바람직하다.Next, the visually impaired gait guide device 30 selects and displays a linear component of a predetermined length or more continuously from the extracted linear components (S211). At this time, the visually impaired gait guide device 30 is to remove the linear components outside the allowable angle range on the basis of the central direction component, if there are two linear components in the allowable angle range closer to the central direction angle It is preferable to select the linear component.

다음, 시각장애인 보행 안내 장치(30)는 중심 방향각도에 대한 계산을 해야 하는데, 계산의 간결성을 고려하여 체인코드유닛의 8방향 성분에 대해 각도를 설정하고 연결성을 찾아낸 직선성분들을 누적하여 평균을 취한다(S213). 이때, 각도는 체인코드유닛의 0방향 성분을 시작으로 0도부터 360도의 성분을 부여하도록 한다. 최종적으로 검출된 화소들의 체인은 하나의 직선으로 기록하고 재 검색되지 않도록 한다. 하나의 직선을 검출한 이후에는 또 다시 시작점을 검색하도록 하며, 이때 이전에 검출된 직선에 속한 화소들은 검색대상에서 제외된다. 여기에서 결정해야 할 파라미터들은 기본단위길이, 허용각도의 범위, 검출하고자 하는 직선의 방향이다.Next, the visually impaired gait guide device 30 should calculate the central direction angle, and in consideration of the simplicity of the calculation, sets an angle with respect to the eight-way component of the chain code unit, and accumulates the linear components that find the connectivity and averages them. (S213). At this time, the angle is to give a component of 0 to 360 degrees starting from the zero-direction component of the chain code unit. The chain of pixels finally detected is written in one straight line and is not retrieved again. After detecting one straight line, the starting point is searched again. In this case, pixels belonging to the previously detected straight line are excluded from the search target. The parameters to be determined here are the basic unit length, the allowable angle range, and the direction of the straight line to be detected.

다음, 시각장애인 보행 안내 장치(30)는 각각의 영역에서 평균 직선성분의 교차점을 소실점으로, 각각의 영역에서 평균 직선성분을 길의 외곽선 정보로 추출한다(S215).Next, the visually impaired gait guide device 30 extracts the intersection point of the average linear components in each region as a vanishing point, and extracts the average linear components in the respective regions as outline information of the road (S215).

다시, 도 3에서 시각장애인 보행 안내 장치(30)는 추출된 길의 외곽선 정보와 소실점을 종합하여 도 9의 (d)에 도시된 바와 같은 보행영역(B)을 선정한다(S300).Again, in step 3, the visually impaired walking guide device 30 selects the walking area B as shown in FIG. 9D by combining the extracted outline information of the road and the vanishing point (S300).

다음, 시각장애인 보행 안내 장치(30)는 길의 방향과 보행자의 위치를 결정한다(S302). 여기에서, 시각장애인 보행 안내 장치(30)는 선정된 보행영역의 영상의 하단부분과 각각의 영역에서 평균 직선성분의 교점을 보행영역의 너비로 계산하고, 그 너비에서의 중심점을 길의 중심으로 계산한다. 이와 같이 계산된 길의 중심을 영상의 중심과 비교하여 보행자가 어느쪽으로 치우쳤는지를 판단하여 보행자의 위치가 결정되고, 소실점의 방향과 영상의 중심을 판단하여 소실점이 어느 방향을 보고 있는지를 파악하여 보행자가 보는 길의 방향이 결정된다.Next, the visually impaired gait guide device 30 determines the direction of the road and the position of the pedestrian (S302). Here, the visually impaired pedestrian guide device 30 calculates the intersection of the average linear component in the lower portion of the image of the selected pedestrian area and the width of each walking area as the width of the walking area, and the center point in the width as the center of the road. Calculate The pedestrian's position is determined by judging which direction the pedestrian is biased by comparing the center of the road with the center of the image. The direction of the road for pedestrians is determined.

다음, 시각장애인 보행 안내 장치(30)는 보행영역(B) 내의 영상 중에서 장애물이 검출되었는지 여부를 판단한다(S304). 장애물이 검출된 경우는 영상 내에 수직성분이 추출된 경우가 해당된다.Next, the visually impaired gait guide device 30 determines whether an obstacle is detected in the image in the gait area B (S304). When an obstacle is detected, a vertical component is extracted in an image.

본 실시예에서는 보행영역(B)에 존재하는 장애물을 검출하기 위해서는 장애물이 가지는 특징정보를 추출해야 한다. 장애물은 수직성분의 특징을 강하게 가지는 사람, 기둥, 나무와 같은 물체를 대상으로 선정한다. 이때 수직성분이 강한 부분을 추출하기 위해 수직 방향의 가버필터를 적용하였다. 추출된 수직성분들의 묶음을 통해 장애물의 바닥면과 너비정보를 확정한다. 도 7은 가버필터의 커널을 도시한 도면으로, 도 7의 (a)와 (b)는 가버필터의 스케일을 나타내는 변수값이 각각 다르게 정해진 경우에 대한 각각의 필터 영상을 보여준다.In this embodiment, in order to detect an obstacle present in the walking area B, feature information of the obstacle must be extracted. Obstacles are selected for objects such as people, columns, and trees that have strong characteristics of vertical components. At this time, the Gabor filter in the vertical direction was applied to extract the strong vertical component. The bottom and width information of the obstacle is determined through the bundle of extracted vertical components. FIG. 7 is a diagram illustrating a kernel of a Gabor filter, and FIGS. 7A and 7B show respective filter images for a case where a variable value representing a scale of a Gabor filter is determined differently.

도 10은 장애물의 위치를 추정하는 과정을 표시한 도면으로, 도 10의 (a)는 카메라(10)로부터 획득된 영상을 도시한 도면이고, 도 10의 (b)는 도 10의 (a)에 도시된 영상 중 검출된 에지 영상을 도시한 도면이고, 도 10의 (c)는 에지 영상의 중심을 기준으로 양분한 각각의 영역에서 중심으로 향한 직선성분을 도시한 도면이며, 도 10의 (d)는 소실점과 길의 외곽선 정보를 이용하여 선정된 보행영역을 도시한 도면이고, 도 10의 (e)는 선정된 보행영역의 영상을 가버필터에 적용시켜 추출된 수직성분들을 도시한 도면이고, 도 10의 (f)는 도 10의 (e) 중 수직성분이 강한 부분을 도시한 도면이고, 도 10의 (g)는 도 10의 (f)를 클러스터링한 상태를 도시한 도면이며, 도 10의 (h)는 최종 장애물의 위치가 표시된 영상을 도시한 도면이 다.FIG. 10 is a diagram illustrating a process of estimating a position of an obstacle. FIG. 10A illustrates an image obtained from the camera 10, and FIG. 10B illustrates FIG. 10A. The edge image detected from the image shown in FIG. 10 (c) is a diagram showing a linear component toward the center in each region bisected with respect to the center of the edge image. d) shows a pedestrian area selected using vanishing point and road outline information, and FIG. 10 (e) shows vertical components extracted by applying an image of the selected pedestrian area to a Gabor filter. FIG. 10 (f) is a view showing a strong vertical component in FIG. 10 (e), and FIG. 10 (g) is a view showing a clustered state of FIG. 10 (f). 10 (h) is a view showing an image in which the position of the last obstacle is displayed.

상기 S304 단계의 판단결과, 보행영역(B) 내의 영상 중 장애물이 검출되지 않은 경우, 시각장애인 보행 안내 장치(30)는 결정된 길의 방향과 보행자의 위치를 미리 정해진 보행안내정보에 적용시켜 만들어진 문장을 음성정보로 변환시켜 음성 출력부(21)로 출력되도록 제어한다(S306).As a result of the determination in step S304, when no obstacle is detected in the image in the walking area B, the visually impaired walking guide device 30 applies the determined direction of the road and the position of the pedestrian to predetermined walking guide information. To convert the voice information into voice information and output the voice information to the voice output unit 21 (S306).

상기 S304 단계의 판단결과, 보행영역(B) 내의 영상 중 장애물이 검출된 경우, 즉 영상 중 전방에 존재하는 장애물이 존재하는 경우 시각장애인 보행 안내 장치(30)는 미리 설정된 거리별로 위치한 보행영역내 영상좌표를 이용하여 변환테이블을 생성한다(S305).As a result of the determination in step S304, when an obstacle is detected in the image in the walking area B, that is, when there is an obstacle in front of the image, the visually impaired walking guide device 30 is located in the walking area at a predetermined distance. A conversion table is generated using the image coordinates (S305).

다음, 시각장애인 보행 안내 장치(30)는 변환테이블을 이용하여 장애물의 위치 및 장애물과 보행자와의 거리를 추정한다(S307).Next, the visually impaired gait guide device 30 estimates the position of the obstacle and the distance between the obstacle and the pedestrian using the conversion table (S307).

더 설명하면, 시각장애인 보행 안내 장치(30)는 실제 거리별 영상의 좌표를 나타낸 변환테이블을 이용하여 영상에 투영된 장애물의 실제 거리를 추정한다. 실제로 3차원 정보에 대해서 단일 영상을 이용하는 경우 깊이 정보를 알 수 없지만, 이와 같이 길에 대한 소실점의 정보를 얻을 수 있는 경우에 대해서는 몇가지의 제한사항을 고려함으로써 깊이 정보를 알 수 있다. 그 제한사항은 길의 외곽선이 평행하며, 그 연장선이 영상에서 소실점으로 만난다는 점과 소실점의 위치가 영상의 중심에 근접하게 위치한다는 조건이다. 따라서 도 8과 같은 실제거리와 영상에서의 좌표에 대한 변환테이블을 이용하여 영상에 투영된 위치좌표의 실제거리를 추정할 수 있다.In more detail, the visually impaired gait guide device 30 estimates the actual distance of the obstacle projected on the image using a conversion table representing the coordinates of the image for each actual distance. Indeed, when using a single image for the three-dimensional information, the depth information is not known, but in the case of obtaining the vanishing point information on the road as described above, the depth information can be known by considering some limitations. The limitations are that the road outlines are parallel, the extension line meets the vanishing point in the image, and the location of the vanishing point is close to the center of the image. Therefore, the actual distance of the position coordinates projected on the image can be estimated using the conversion table for the actual distance and coordinates in the image as shown in FIG. 8.

다음, 시각장애인 보행 안내 장치(30)는 추정된 장애물의 위치 및 장애물과 보행자와의 거리를 미리 정해진 장애안내정보에 적용시켜 만들어진 문장을 음성정보로 변환시켜 음성 출력부(21)로 출력되도록 제어하고(S309), 상술한 S306 단계로 프로세스를 이동한다.Next, the visually impaired gait guide device 30 is controlled to convert the sentence made by applying the estimated position of the obstacle and the distance between the obstacle and the pedestrian to the predetermined disability guide information to voice information to be output to the voice output unit 21. (S309), the process moves to step S306 described above.

본 실시예에서는 영상을 통해 획득된 길의 정보 즉, 보행자의 위치 및 길의 방향과, 장애물의 정보 즉, 장애물의 위치 및 장애물과 보행자와의 거리를 보행자에게 알려주기 위해서, 새로운 문장 구성을 통한 음성변환과정이 필요하다. 문장을 구성하기 위해서 미리 정의된 템플릿 기반의 문장에 알맞은 단어를 입력하는 방식을 사용하도록 한다. 도 11은 현재 보행자가 걸어가고 있는 보행영역 내에서의 위치 및 시선의 정보와 전방에 존재하는 장애물을 검출한 후 그 위치에 대한 정보를 추출하여 미리 정의된 문장에 해당 단어를 입력하여 보행자에게 제공할 최종 문장으로 만든 결과를 보여준다.In this embodiment, a new sentence structure is used to inform the pedestrian of the information of the road, that is, the location and direction of the pedestrian, and the information of the obstacle, that is, the location of the obstacle and the distance between the obstacle and the pedestrian. Voice conversion process is required. In order to construct a sentence, a method of inputting a word suitable for a predetermined template-based sentence is used. 11 is to detect the position and gaze information in the walking area that the pedestrian is currently walking and obstacles present in the front and then extract the information about the position and input the corresponding word in a predefined sentence and provide it to the pedestrian Show the result of the final sentence you want to do.

이렇게 함으로써, 복잡한 배경을 가지는 실외의 환경에서도 시각장애인의 안전한 보행에 도움을 줄 수 있다.By doing so, it is possible to help the blind person to walk safely even in an outdoor environment having a complicated background.

본 실시예는 미리 설정된 주기, 예컨대 1분, 5분, 7분 등의 주기로 상술한 S100 단계부터 S309 단계까지 프로세스를 수행하여, 시각장애인의 보행 안정성을 더욱 높일 수 있다. The present embodiment can further improve the walking stability of the visually impaired by performing the process from the above-described step S100 to step S309 at a predetermined cycle, for example, 1 minute, 5 minutes, 7 minutes.

이상의 본 발명은 상기에 기술된 실시예들에 의해 한정되지 않고, 당업자들에 의해 다양한 변형 및 변경을 가져올 수 있으며, 이는 첨부된 청구항에서 정의되는 본 발명의 취지와 범위에 포함된다.The invention being thus described, it will be obvious that the same way may be varied in many ways. Such modifications are intended to be within the spirit and scope of the invention as defined by the appended claims.

도 1은 본 발명의 실시예에 따른 시각장애인 보행 안내 시스템을 설명하기 위한 도면.1 is a view for explaining a walking guidance system for the visually impaired according to an embodiment of the present invention.

도 2는 도 1에 도시된 시각장애인 보행 안내 시스템의 블록도.2 is a block diagram of the visually impaired walking guidance system shown in FIG.

도 3은 본 발명의 실시예에 따른 시각장애인 보행 안내 방법을 설명하기 위한 동작 흐름도.3 is an operation flowchart for explaining a walking guidance method for the visually impaired according to an embodiment of the present invention.

도 4는 도 3의 소실점 및 길의 외곽선 정보 추출 관련 서브루틴을 설명하기 위한 동작 흐름도.FIG. 4 is a flowchart illustrating a subroutine related to extraction of vanishing point and road outline information of FIG. 3.

도 5는 본 발명에서 사용되는 체인코드 및 직선성분 검출과정을 설명하기 위한 도면.5 is a view for explaining a chain code and a linear component detection process used in the present invention.

도 6은 본 발명에 적용되는 소실점 및 길의 외곽선을 구하기 위해 영상의 영역을 구분하여 적용한 도면.FIG. 6 is a diagram illustrating the application of a region of an image in order to obtain a vanishing point and an outline of a road applied to the present invention; FIG.

도 7은 본 발명에서 장애물 검출을 위해 사용되는 가버필터 커널을 도시한 도면.FIG. 7 illustrates a Gabor filter kernel used for obstacle detection in the present invention. FIG.

도 8은 본 발명에서 장애물의 거리 추정에 사용되는 실제거리와 영상에서의 위치에 대한 관계를 나타내는 도면.8 is a view showing the relationship between the actual distance and the position in the image used in the distance estimation of the obstacle in the present invention.

도 9는 카메라로부터 획득된 영상 중 보행영역에 대한 검출결과를 도시한 도면.9 is a diagram illustrating a detection result of a walking area in an image acquired from a camera.

도 10은 카메라로부터 획득된 영상 중 장애물 검출 결과를 도시한 도면.10 is a diagram illustrating an obstacle detection result among images acquired from a camera.

도 11은 본 발명에서 얻어진 결과를 통해 시각장애인에게 제공되어야 하는 음성정보를 문장의 형태로 보여주는 도면.11 is a view showing the voice information to be provided to the visually impaired in the form of sentences through the results obtained in the present invention.

<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

10 : 카메라 21 : 음성 출력부10: camera 21: audio output unit

22 : 음성 입력부 30 : 시각장애인 보행 안내 장치22: voice input unit 30: visually impaired walking guidance device

40 : 케이블40: cable

Claims (10)

영상을 촬영하는 카메라와, 음성정보를 출력하는 음성 출력부와, 시각장애인 보행 안내 장치를 포함하는 시각장애인 보행 안내 시스템의 시각 장애인 보행 안내 방법으로,As a visually impaired walking guidance method of the visually impaired gait guide system including a camera for photographing an image, a voice output unit for outputting audio information, and a visually impaired gait guide device, 상기 카메라로부터 영상을 획득하는 단계;Acquiring an image from the camera; 상기 획득된 영상내에서 검출된 에지 정보를 이용하여 소실점 및 길의 외곽선 정보를 추출하는 단계;Extracting vanishing point and outline information of a road using edge information detected in the acquired image; 상기 길의 외곽선 정보를 기초로 보행자의 위치를 결정하고, 상기 소실점을 기준으로 보행자가 보는 길의 방향을 결정하는 단계; 및Determining a location of the pedestrian based on the outline information of the road, and determining a direction of the road seen by the pedestrian based on the vanishing point; And 상기 결정된 보행자의 위치 및 상기 길의 방향을 미리 정해진 보행안내정보에 각각 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 단계를 포함하며,And providing the converted voice information to the voice output unit by applying the determined position of the pedestrian and the direction of the road to predetermined walking guidance information, respectively. 상기 길의 외곽선 정보를 통해 얻어진 보행영역내의 영상 중 장애물이 검출되었는지 여부를 판단하는 단계;Determining whether an obstacle is detected among images in the walking area obtained through the outline information of the road; 상기 장애물이 검출된 경우, 미리 설정된 거리별 상기 보행영역내 영상의 좌표를 이용하여 변환 테이블을 생성하는 단계;When the obstacle is detected, generating a conversion table using coordinates of the image in the walking area for each predetermined distance; 상기 변환 테이블을 근거로 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 추정하는 단계; 및Estimating the position of the obstacle and the distance between the obstacle and the pedestrian based on the conversion table; And 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 미리 정해진 장애안내정보에 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 단계를 더 포함하는 것을 특징으로 하는 시각장애인 보행 안내 방법.And providing the converted voice information to the voice output unit by applying the position of the obstacle and the distance between the obstacle and the pedestrian to predetermined obstacle guide information. 삭제delete 청구항 1에 있어서,The method according to claim 1, 상기 소실점 및 길의 외곽선 정보를 추출하는 단계는,Extracting the vanishing point and the outline information of the road, 상기 획득된 영상을 그레이 영상으로 변환하는 단계;Converting the obtained image into a gray image; 상기 변환된 그레이 영상에서 에지 영상을 검출하는 단계;Detecting an edge image from the converted gray image; 상기 검출된 에지 영상에서 각 에지화소들의 8방향으로 이웃하는 화소들에 대한 연결성을 찾는 단계;Finding connectivity for neighboring pixels in eight directions of each edge pixel in the detected edge image; 상기 연결성을 이용하여 특정한 방향으로 연속적으로 관계되는 직선성분을 추출하는 단계;Extracting linear components continuously related in a specific direction using the connectivity; 상기 획득된 영상의 중심을 기준으로 양분한 각각의 영역에서 중심으로 향하는 직선성분을 추출하는 단계;Extracting a linear component directed toward the center in each area bisected based on the center of the acquired image; 상기 추출된 직선성분 중에서 연속적으로 미리 정해진 길이 이상의 직선성분을 선택하는 단계; 및Selecting linear components of a predetermined length or more continuously from the extracted linear components; And 상기 선택된 직선성분들의 평균을 취하여 각각의 영역에서 평균 직선성분의 교차점을 소실점으로 추출하고, 각각의 영역에서 평균 직선성분을 길의 외곽선 정보로 추출하는 단계를 포함하는 것을 특징으로 하는 시각장애인 보행 안내 방법.The visually impaired pedestrian guide includes extracting an intersection of the average linear components in each region as a vanishing point by taking the average of the selected linear components, and extracting the average linear components in each region as outline information of a road. Way. 청구항 3에 있어서,The method of claim 3, 상기 결정하는 단계는,The determining step, 상기 소실점과 상기 길의 외곽선 정보를 이용하여 보행영역을 선정하는 단계;Selecting a walking area using the vanishing point and the outline information of the road; 상기 선정된 보행영역내 영상의 하단부분과 상기 각각의 영역에서 평균 직선성분의 교점을 보행영역의 너비로 계산하고, 그 너비에서의 중심점을 길의 중심으로 계산하는 단계;Calculating an intersection point of an average linear component in the lower end portion of the selected gait area and the respective areas as the width of the gait area, and calculating a center point in the width as the center of the road; 상기 계산된 길의 중심과 영상의 중심을 비교하여 보행자의 위치를 판단하는 단계; 및Determining the location of the pedestrian by comparing the center of the road with the center of the image; And 상기 소실점의 방향과 영상의 중심을 비교하여 보행자가 보는 길의 방향을 판단하는 단계를 포함하는 것을 특징으로 하는 시각장애인 보행 안내 방법.And comparing the direction of the vanishing point and the center of the image to determine the direction of the road for pedestrians. 청구항 1에 있어서,The method according to claim 1, 상기 장애물이 검출되었는지 여부를 판단하는 단계는,Determining whether the obstacle is detected, 상기 얻어진 보행영역내의 영상을 가버필터에 적용시켜 수직성분들을 추출하는 단계; 및Extracting vertical components by applying the image in the gait area to a Gabor filter; And 상기 추출된 수직성분들의 묶음을 통해 장애물의 바닥면과 너비정보를 확정하는 단계를 포함하는 것을 특징으로 하는 시각장애인 보행 안내 방법.And determining the bottom surface and width information of the obstacle through the bundle of the extracted vertical components. 청구항 3에 있어서,The method of claim 3, 상기 소실점 및 길의 외곽선 정보를 추출하는 단계는,Extracting the vanishing point and the outline information of the road, 확장형 체인코드를 사용하여 특정한 방향성을 가지는 직선정보를 추출하는 것을 특징으로 하는 시각장애인 보행 안내 방법.A walk guide method for the visually impaired, characterized by extracting straight line information having a specific direction using an extended chain cord. 영상을 촬영하는 카메라와, 음성정보를 출력하는 음성 출력부와, 시각장애인 보행 안내 장치를 포함하는 시각장애인 보행 안내 시스템의 시각 장애인 보행 안내 방법으로,As a visually impaired walking guidance method of the visually impaired gait guide system including a camera for photographing an image, a voice output unit for outputting audio information, and a visually impaired gait guide device, 상기 카메라로부터 영상을 획득하는 단계;Acquiring an image from the camera; 상기 획득된 영상내에서 검출된 에지 정보를 이용하여 소실점 및 길의 외곽선 정보를 추출하는 단계;Extracting vanishing point and outline information of a road using edge information detected in the acquired image; 상기 외곽선 정보를 기초로 보행자의 위치를 결정하고, 상기 소실점을 기준으로 보행자가 보는 길의 방향을 결정하는 단계;Determining a location of the pedestrian based on the outline information, and determining a direction of a road seen by the pedestrian based on the vanishing point; 상기 외곽선 정보를 통해 얻어진 보행영역내의 영상 중 장애물이 검출되었는지 여부를 판단하는 단계;Determining whether an obstacle is detected among images in the walking area obtained through the outline information; 상기 장애물이 검출된 경우, 미리 설정된 거리별 상기 보행영역내 영상의 좌표를 이용하여 변환 테이블을 생성하는 단계;When the obstacle is detected, generating a conversion table using coordinates of the image in the walking area for each predetermined distance; 상기 변환 테이블을 근거로 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 추정하는 단계; 및Estimating the position of the obstacle and the distance between the obstacle and the pedestrian based on the conversion table; And 상기 결정된 보행자의 위치 및 상기 길의 방향을 미리 정해진 보행안내정보 에 적용시키고, 상기 추정된 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 미리 정해진 장애안내정보에 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 단계를 포함하는 것을 특징으로 하는 시각장애인 보행 안내 방법.The determined position of the pedestrian and the direction of the road are applied to predetermined pedestrian guide information, and the estimated voice position and the distance between the obstacle and the pedestrian are applied to predetermined obstacle guide information to convert the voice information. And a step of providing the voice output unit. 청구항 7에 있어서,The method of claim 7, 상기 음성 출력부에 제공하는 단계는,The providing to the voice output unit, 상기 미리 정해진 보행안내정보에 상기 결정된 보행자의 위치 및 길의 방향을 적용시켜 완성된 문장을 음성정보로 변환하고,Converting the completed sentence into voice information by applying the determined pedestrian position and the direction of the road to the predetermined walking guidance information, 상기 미리 정해진 장애안내정보에 상기 추정된 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 적용시켜 완성된 문장을 음성정보로 변환하는 것을 특징으로 하는 시각장애인 보행 안내 방법.And a visually impaired pedestrian guide method, by applying the estimated position of the obstacle and the distance between the obstacle and the pedestrian to the predetermined obstacle guide information. 영상을 촬영하는 카메라;A camera for taking an image; 보행 안내를 위한 음성정보를 출력하는 음성 출력부; 및A voice output unit for outputting voice information for walking guidance; And 상기 카메라로부터 영상을 획득하고, 획득된 영상내에서 검출된 에지 정보를 이용하여 소실점 및 길의 외곽선 정보를 추출하여, 상기 추출된 외곽선 정보를 기초로 결정된 보행자의 위치와 상기 추출된 소실점을 기준으로 결정된 보행자가 보는 길의 방향을 미리 정해진 보행 안내정보에 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 시각장애인 보행 안내 장치를 포함하며,Acquire an image from the camera, extract vanishing point and road outline information using edge information detected in the acquired image, and based on the extracted pedestrian position and the vanishing point determined based on the extracted outline information. And a visually impaired gait guide device for providing the converted voice information to the voice output unit by applying the direction of the determined pedestrian's view to predetermined gait guide information. 상기 시각장애인 보행 안내 장치는,The visually impaired gait guide device, 상기 외곽선 정보를 통해 얻어진 보행 영역내의 영상 중 장애물이 검출되었는지 여부를 판단하고, 그 판단결과 상기 장애물이 검출된 경우, 미리 설정된 거리별 상기 보행영역내 영상의 좌표를 이용하여 생성된 변환 테이블을 근거로 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 추정하고, 상기 추정된 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 미리 정해진 장애안내정보에 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 것을 특징으로 하는 시각장애인 보행 안내 시스템.It is determined whether an obstacle is detected among the images in the walking area obtained through the outline information, and when the obstacle is detected, based on the conversion table generated using the coordinates of the image in the walking area for each predetermined distance. The voice output unit may be configured to estimate the location of the obstacle and the distance between the obstacle and the pedestrian, and apply the estimated voice location and the distance between the obstacle and the pedestrian to predetermined obstacle guide information. Walking aid system for the visually impaired, characterized in that provided in the. 삭제delete
KR1020090061690A 2009-07-07 2009-07-07 Visually impaired walking guidance method and system KR101054025B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090061690A KR101054025B1 (en) 2009-07-07 2009-07-07 Visually impaired walking guidance method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090061690A KR101054025B1 (en) 2009-07-07 2009-07-07 Visually impaired walking guidance method and system

Publications (2)

Publication Number Publication Date
KR20110004064A KR20110004064A (en) 2011-01-13
KR101054025B1 true KR101054025B1 (en) 2011-08-04

Family

ID=43611745

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090061690A KR101054025B1 (en) 2009-07-07 2009-07-07 Visually impaired walking guidance method and system

Country Status (1)

Country Link
KR (1) KR101054025B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160028891A (en) 2014-09-04 2016-03-14 김경연 An objection recognition device for a blind person using a depth camera and a direction-detecting sensor
KR101828042B1 (en) * 2016-08-19 2018-03-22 주식회사 하오문 System of informing emergency with data saving function

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102389361B (en) * 2011-07-18 2014-06-25 浙江大学 Blindman outdoor support system based on computer vision
CN102657572B (en) * 2012-03-22 2013-11-06 郑州科兴电子信息科技有限公司 Electronic dot-matrix type intelligent image touch sensing device and sensing implementation method for the blind
US9140554B2 (en) * 2014-01-24 2015-09-22 Microsoft Technology Licensing, Llc Audio navigation assistance
KR101542947B1 (en) * 2014-06-27 2015-08-11 장혁 Pose detection device and location-based supplemental service system
KR101954989B1 (en) * 2014-09-05 2019-03-08 (주)엠에스라인이엔지 Imformation provision apparatus for blind people
KR101719292B1 (en) * 2015-09-10 2017-03-23 한국과학기술연구원 Appratus and method for predicting position in indoor using vanishing point of image of hallway
KR20160090781A (en) 2016-07-19 2016-08-01 주식회사 비에스엘 Apparatus for Converting Video Signal to Sound Method for Converting Video Signal into Voice Signal for the Visually Impaired
KR101914781B1 (en) * 2018-03-19 2018-11-21 주식회사 코리아진텍 Functional diapers
KR102295277B1 (en) * 2019-12-13 2021-08-30 동국대학교 산학협력단 Smart stick provides voice information about obstacles detected by ultrasonic sensors and operating method thereof
KR102304593B1 (en) * 2019-12-31 2021-09-24 국민대학교산학협력단 Crosswalk guide apparatus and method for pedestrians of the visually impaired
KR102252352B1 (en) * 2020-12-04 2021-05-17 주식회사 바토너스 Method and apparatus for walking guide

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256987A (en) 2002-03-01 2003-09-12 Nec Corp Intersection signal guidance support system
JP2006251596A (en) 2005-03-14 2006-09-21 Kyoto Institute Of Technology Support device for visually handicapped person
KR20080008705A (en) * 2006-07-21 2008-01-24 (주)바네트 A street guidance information system for blind peoples that using image recognition technology

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256987A (en) 2002-03-01 2003-09-12 Nec Corp Intersection signal guidance support system
JP2006251596A (en) 2005-03-14 2006-09-21 Kyoto Institute Of Technology Support device for visually handicapped person
KR20080008705A (en) * 2006-07-21 2008-01-24 (주)바네트 A street guidance information system for blind peoples that using image recognition technology

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160028891A (en) 2014-09-04 2016-03-14 김경연 An objection recognition device for a blind person using a depth camera and a direction-detecting sensor
KR101828042B1 (en) * 2016-08-19 2018-03-22 주식회사 하오문 System of informing emergency with data saving function

Also Published As

Publication number Publication date
KR20110004064A (en) 2011-01-13

Similar Documents

Publication Publication Date Title
KR101054025B1 (en) Visually impaired walking guidance method and system
Tapu et al. Wearable assistive devices for visually impaired: A state of the art survey
Jafri et al. Visual and infrared sensor data-based obstacle detection for the visually impaired using the Google project tango tablet development kit and the unity engine
CN109730910B (en) Visual auxiliary system for trip, auxiliary equipment, method and readable storage medium thereof
Khan et al. KinDectect: Kinect detecting objects
Fernandes et al. Stereo vision in blind navigation assistance
US6690451B1 (en) Locating object using stereo vision
JP2006251596A (en) Support device for visually handicapped person
Sáez et al. Aerial obstacle detection with 3-D mobile devices
KR102284744B1 (en) Wearable device using stereo camera and infrared sensor for the visually impaired
US20170003132A1 (en) Method of constructing street guidance information database, and street guidance apparatus and method using street guidance information database
TWI474173B (en) Assistance system and assistance method
Tian et al. Dynamic crosswalk scene understanding for the visually impaired
KR20150097043A (en) Smart System for a person who is visually impaired using eyeglasses with camera and a cane with control module
KR101187600B1 (en) Speech Recognition Device and Speech Recognition Method using 3D Real-time Lip Feature Point based on Stereo Camera
Fei et al. Review of machine vision-based electronic travel aids
Ali et al. Blind navigation system for visually impaired using windowing-based mean on Microsoft Kinect camera
Saputra et al. Obstacle avoidance for visually impaired using auto-adaptive thresholding on Kinect's depth image
EP2642463A1 (en) Peripheral monitoring device for vehicle
Söveny et al. Blind guide-A virtual eye for guiding indoor and outdoor movement
Bharati LiDAR+ camera sensor data fusion on mobiles with ai-based virtual sensors to provide situational awareness for the visually impaired
Rahman et al. An automated navigation system for blind people
WO2015198284A1 (en) Reality description system and method
KR101997531B1 (en) Obstacle avoiding system for a personal mobility and a method for avoiding an obstacle using the same
Zeng et al. Range-IT: detection and multimodal presentation of indoor objects for visually impaired people

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140709

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150609

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160627

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee