KR101054025B1 - Visually impaired walking guidance method and system - Google Patents
Visually impaired walking guidance method and system Download PDFInfo
- Publication number
- KR101054025B1 KR101054025B1 KR1020090061690A KR20090061690A KR101054025B1 KR 101054025 B1 KR101054025 B1 KR 101054025B1 KR 1020090061690 A KR1020090061690 A KR 1020090061690A KR 20090061690 A KR20090061690 A KR 20090061690A KR 101054025 B1 KR101054025 B1 KR 101054025B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- obstacle
- pedestrian
- road
- image
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
- H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Ophthalmology & Optometry (AREA)
- Vascular Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Pain & Pain Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Rehabilitation Therapy (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 실외의 환경에서 카메라를 통해 얻은 단일 영상의 에지영상을 기초로 소실점과 길의 외곽선 정보를 추출하여 추출된 정보를 기초로 결정된 보행자의 위치 및 보행자가 보는 길의 방향을 음성정보로 출력함으로써, 시각장애인이 안전한 보행을 할 수 있도록 한 시각장애인 보행 안내 방법 및 그 시스템에 관한 것이다.The present invention extracts the vanishing point and the road outline information based on the edge image of a single image obtained through a camera in an outdoor environment, and outputs the pedestrian's location and the direction of the pedestrian's road as voice information determined based on the extracted information. Therefore, the present invention relates to a visually impaired gait guide method and system for allowing a visually impaired person to walk safely.
이를 위하여 본 발명은 카메라로부터 영상을 획득하는 단계; 상기 획득된 영상내에서 검출된 에지 정보를 이용하여 소실점 및 길의 외곽선 정보를 추출하는 단계; 상기 길의 외곽선 정보를 기초로 보행자의 위치를 결정하고, 상기 소실점을 기준으로 보행자가 보는 길의 방향을 결정하는 단계; 및 상기 결정된 보행자의 위치 및 상기 길의 방향을 미리 정해진 보행안내정보에 각각 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 단계를 포함하는 것을 특징으로 한다.To this end, the present invention comprises the steps of obtaining an image from a camera; Extracting vanishing point and outline information of a road using edge information detected in the acquired image; Determining a location of the pedestrian based on the outline information of the road, and determining a direction of the road seen by the pedestrian based on the vanishing point; And providing the converted voice information to the voice output unit by applying the determined position of the pedestrian and the direction of the road to predetermined walking guide information, respectively.
시각장애인, 보행, 안내, 소실점, 외곽선 정보, 음성정보, 보행자의 위치, 길의 방향 Visually impaired, walking, guidance, vanishing point, outline information, voice information, pedestrian position, direction of road
Description
본 발명은 시각장애인 보행 안내 방법 및 그 시스템에 관한 것으로, 특히 카메라로부터 얻어진 영상을 통해 시각장애인이 보행할 수 있는 보행영역을 선정하고 그 보행영역내에서 보행에 필요한 안내정보를 음성정보로 알려줌으로써, 시각장애인이 안전하게 보행할 수 있도록 한 시각장애인 보행 안내 방법 및 그 시스템에 관한 것이다.The present invention relates to a walking guidance method and a system for the visually impaired, in particular by selecting a gait area that can be visually impaired through the image obtained from the camera and by providing the voice information to guide information required for walking in the gait area The present invention relates to a method and a system for guiding a visually impaired person who can safely walk.
일반적으로, 시각장애인들은 외부의 환경에 대한 정보를 획득하기 어렵기 때문에 보행이 매우 제한되어 있으며, 장애물과 같은 위험한 요소들에 대해 적절한 대응을 하기가 어렵다.In general, people with visual impairments are very limited in walking because they are difficult to obtain information about the external environment, and it is difficult to properly respond to dangerous factors such as obstacles.
현재 시각장애인들의 안전한 보행을 위한 도구 장치 및 시스템들이 국내외에서 활발히 연구되고 있다.Currently, tool devices and systems for safe walking of visually impaired people are actively researched at home and abroad.
종래의 시각장애인 보행 안내 시스템들은 초음파, 촉각, 레이저, GPS, 카메라 등을 이용하여 시각장애인의 보행을 보조하기 위한 안내정보를 제공하였다.Conventional visually impaired gait guidance systems provided guidance information for assisting the visually impaired gait using ultrasound, tactile, laser, GPS, camera, and the like.
초음파를 사용한 시각장애인 보행 안내 시스템은, 벨트의 형태로 구성된 초 음파 센서 묶음을 착용하고 가방의 형태로 착용된 컴퓨터를 통해 각 방향에 대한 정보들을 분석하여 시각장애인에게 알려주도록 되어 있다. 이러한 초음파 센서를 이용한 시각장애인 보행 안내 시스템은 그 구현이 비교적 간단하며 계산량이 많지 않다는 장점이 있지만, 주변 장애물의 유무만을 판단할 수 있을 뿐, 물체가 가지는 질감, 색상에 대한 정보를 얻을 수 없고, 물체의 이동정보를 얻기에 제한이 많은 단점을 가지고 있다.The visually impaired walking guidance system using ultrasonic waves is equipped with a bundle of ultrasonic sensors configured in the form of a belt, and analyzes information on each direction through a computer worn in the form of a bag and informs the visually impaired. Although the visually impaired gait guide system using the ultrasonic sensor has an advantage that the implementation is relatively simple and does not have a large amount of calculation, it can only determine the presence or absence of surrounding obstacles and cannot obtain information about the texture and color of the object. There are many disadvantages in obtaining the movement information of an object.
초음파 센서를 사용하는 다른 형태의 시각장애인 보행 안내 시스템으로는 지팡이 형태로 되어 있는 길 안내 시스템이 있다. 이 길 안내 시스템은 일반 시각장애인용 안내 지팡이에 초음파 센서를 장착하여 장애물을 검출하고 위험하지 않은 방향으로 길을 안내하도록 되어 있다. 이와 같은 길 안내 시스템도 구조가 간단하고 적용하기가 쉽지만, 전방의 작은 물체나 가까이 있는 장애물만을 검출할 수 있기 때문에 감지 거리에 제한이 있는 단점을 가지고 있다.Another type of visually impaired walking guidance system using ultrasonic sensors is a cane-shaped road guidance system. The road guidance system is equipped with an ultrasonic sensor on a guide wand for general blind people to detect obstacles and guide the road in a non-hazardous direction. Such a road guidance system is simple in structure and easy to apply, but has a disadvantage in that the detection distance is limited because only a small object in front of it or an obstacle in proximity can be detected.
레이저를 사용한 시각장애인 보행 안내 시스템은, 사용자가 레이저 센서 도구를 들고 좌우로 흔들어 주변에 존재하는 지역적인 정보를 획득할 수 있고, 시간적인 측면에서 계단, 낭떨어지와 같은 이동에 위험한 요소를 분석함에 따라 굴곡이 있거나 단일 카메라를 이용해 알 수 없는 거리정보를 획득할 수 있다는 장점이 있다. 하지만, 근접한 지역에 대해서만 적용이 가능하며 검출된 물체의 색상이나 질감에 대한 특징을 알 수 없는 단점을 가지고 있다.The visually impaired pedestrian guidance system using a laser can grab the laser sensor tool and shake it from side to side to obtain local information that exists in the surrounding area, and analyzes risk factors for movement such as stairs and cliffs in terms of time. There is an advantage in that there is a curve or a single camera can be used to obtain unknown distance information. However, it can be applied only to an adjacent area and has a disadvantage in that the color or texture of the detected object is unknown.
GPS를 이용한 시각장애인 보행 안내 시스템은, 미리 경험적으로 획득하여 저장된 지역 맵정보를 이용하여 보행자에게 길을 안내하도록 하는 시스템으로, 목적 지까지의 순차적인 길의 경로를 제공한다. 이 GPS를 이용한 시각장애인 보행 안내 시스템은 지역적 정보를 담고 있는 데이터베이스를 가지고 있으며, 음성변환기술과 음성인식기술을 통해 컴퓨터와 사람간의 의사소통이 가능하도록 하고, 특정 지역의 목적지에 대한 경로를 제공하여 편리성을 준다. 하지만, 보행자와 바로 인접한 요소들에 대한 위험성을 분석할 수 없는 단점을 가지고 있다.The visually impaired walking guidance system using GPS is a system for guiding a road to pedestrians by using empirically acquired and stored area map information, and provides a sequential path to a destination. This GPS-guided visual aid system has a database that contains local information, and it enables communication between computers and people through voice conversion technology and voice recognition technology, and provides a route to a destination in a specific area. Give convenience. However, there is a drawback that the risk of the immediate pedestrians cannot be analyzed.
카메라를 이용한 시각장애인 보행 안내 시스템은 헤드셋, 마이크, 두개의 카메라를 장착하여, 전방 영역을 분석하고 3차원 정보를 구성하여 전방 영역 내의 물체를 검출한다. 카메라를 통해 실세계 공간에 존재하는 물체의 크기와 거리정보를 획득하기 위해서는 스테레오 카메라를 사용하는 것이 일반적이다. 이와 같은 카메라를 이용한 시각장애인 보행 안내 시스템은 대부분 실내와 같은 제한적인 공간에서 수행되며, 물체의 특징을 얻기 위해 단순한 배경에서 이루어졌다. 특히 건물내에서의 복도와 같은 환경은 3차원정보를 획득하기에 매우 좋은 환경이라고 할 수 있다.The visually impaired walking guidance system using a camera is equipped with a headset, a microphone, and two cameras, and analyzes the front area and constructs three-dimensional information to detect an object in the front area. It is common to use a stereo camera to obtain the size and distance information of objects in the real world space through the camera. The visually impaired pedestrian guidance system using such a camera is mostly performed in a limited space such as a room, and is made in a simple background to obtain the characteristics of an object. In particular, an environment such as a corridor in a building is a very good environment for acquiring three-dimensional information.
전술된 바와 같이 종래의 시각 장애인 보행 안내 시스템은 외부의 복잡한 배경을 가지는 환경에서 적용하기 어려울 뿐만 아니라, 제공하는 정보에도 제약사항이 매우 많다.As described above, the conventional visually impaired walking guidance system is not only difficult to apply in an environment having an external complex background, but also has a lot of limitations on information provided.
본 발명의 목적은, 복잡한 배경정보를 가지는 실외의 환경에서도 단일 카메라를 이용하여 시각장애인이 안전한 보행을 할 수 있도록 길에 대한 음성정보를 제공함으로써, 시각장애인이 실외의 환경에서도 안전한 보행을 할 수 있도록 한 시각장애인 보행 안내 방법 및 그 시스템을 제공함에 있다.An object of the present invention is to provide visual information on the road so that the visually impaired can walk safely using a single camera even in an outdoor environment having complicated background information, so that the visually impaired person can walk safely in an outdoor environment. In order to provide a visually impaired walking guidance method and system.
또한 본 발명의 다른 목적은, 카메라로부터 획득된 실외 환경의 영상에서 보행영역을 선정하고 그 보행영역내에서 존재하는 장애물이 검출된 경우, 장애물의 위치 및 장애물과 보행자와의 거리를 알려줌으로써, 장애물과의 충돌사고를 미리 예방할 수 있도록 한 시각장애인 보행 안내 방법 및 그 시스템을 제공함에 있다.In addition, another object of the present invention, by selecting a gait area in the image of the outdoor environment obtained from the camera and, if an obstacle existing in the gait area is detected, by indicating the location of the obstacle and the distance between the obstacle and the pedestrian, The present invention provides a method and a system for guiding a visually impaired pedestrian, which can prevent a collision accident.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 시각장애인 보행 안내 방법은, 카메라로부터 영상을 획득하는 단계; 상기 획득된 영상내에서 검출된 에지 정보를 이용하여 소실점 및 길의 외곽선 정보를 추출하는 단계; 상기 길의 외곽선 정보를 기초로 보행자의 위치를 결정하고, 상기 소실점을 기준으로 보행자가 보는 길의 방향을 결정하는 단계; 및 상기 결정된 보행자의 위치 및 상기 길의 방향을 미리 정해진 보행안내정보에 각각 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, a visually impaired walking guidance method according to an embodiment of the present invention includes: acquiring an image from a camera; Extracting vanishing point and outline information of a road using edge information detected in the acquired image; Determining a location of the pedestrian based on the outline information of the road, and determining a direction of the road seen by the pedestrian based on the vanishing point; And providing the converted voice information to the voice output unit by applying the determined position of the pedestrian and the direction of the road to predetermined walking guide information, respectively.
본 발명에 따른 시각장애인 보행 안내 방법은, 상기 길의 외곽선 정보를 통해 얻어진 보행영역내의 영상 중 장애물이 검출되었는지 여부를 판단하는 단계; 상 기 장애물이 검출된 경우, 미리 설정된 거리별 상기 보행영역내 영상의 좌표를 이용하여 변환 테이블을 생성하는 단계; 상기 변환 테이블을 근거로 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 추정하는 단계; 및 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 미리 정해진 장애안내정보에 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 단계를 포함하는 것이 바람직하다.In accordance with another aspect of the present invention, there is provided a walking guide method for visually impaired, comprising: determining whether an obstacle is detected in an image in a walking area obtained through outline information of a road; When the obstacle is detected, generating a conversion table using coordinates of the image in the walking area for each predetermined distance; Estimating the position of the obstacle and the distance between the obstacle and the pedestrian based on the conversion table; And providing the converted voice information to the voice output unit by applying the position of the obstacle and the distance between the obstacle and the pedestrian to predetermined obstacle guide information.
상기 소실점 및 길의 외곽선 정보를 추출하는 단계는, 상기 획득된 영상을 그레이 영상으로 변환하는 단계; 상기 변환된 그레이 영상에서 에지 영상을 검출하는 단계; 상기 검출된 에지 영상에서 각 에지화소들의 8방향으로 이웃하는 화소들에 대한 연결성을 찾는 단계; 상기 연결성을 이용하여 특정한 방향으로 연속적으로 관계되는 직선성분을 추출하는 단계; 상기 획득된 영상의 중심을 기준으로 양분한 각각의 영역에서 중심으로 향하는 직선성분을 추출하는 단계; 상기 추출된 직선성분 중에서 연속적으로 미리 정해진 길이 이상의 직선성분을 선택하는 단계; 및 상기 선택된 직선성분들의 평균을 취하여 각각의 영역에서 평균 직선성분의 교차점을 소실점으로 추출하고, 각각의 영역에서 평균 직선성분을 길의 외곽선 정보로 추출하는 단계를 포함하는 것이 바람직하다.The extracting the vanishing point and the outline information of the road may include converting the acquired image into a gray image; Detecting an edge image from the converted gray image; Finding connectivity for neighboring pixels in eight directions of each edge pixel in the detected edge image; Extracting linear components continuously related in a specific direction using the connectivity; Extracting a linear component directed toward the center in each area bisected based on the center of the acquired image; Selecting linear components of a predetermined length or more continuously from the extracted linear components; And taking the average of the selected linear components, extracting the intersection point of the average linear components in each region as a vanishing point, and extracting the average linear components in each region as the outline information of the road.
상기 결정하는 단계는, 상기 소실점과 상기 길의 외곽선 정보를 이용하여 보행영역을 선정하는 단계; 상기 선정된 보행영역내 영상의 하단부분과 상기 각각의 영역에서 평균 직선성분의 교점을 보행영역의 너비로 계산하고, 그 너비에서의 중심점을 길의 중심으로 계산하는 단계; 상기 계산된 길의 중심과 영상의 중심을 비교하여 보행자의 위치를 판단하는 단계; 및 상기 소실점의 방향과 영상의 중심을 비교하여 보행자가 보는 길의 방향을 판단하는 단계를 포함하는 것이 바람직하다.The determining may include selecting a walking area using the vanishing point and the outline information of the road; Calculating an intersection point of an average linear component in the lower end portion of the selected gait area and the respective areas as the width of the gait area, and calculating a center point in the width as the center of the road; Determining the location of the pedestrian by comparing the center of the road with the center of the image; And comparing the direction of the vanishing point and the center of the image to determine the direction of the pedestrian's view.
상기 장애물이 검출되었는지 여부를 판단하는 단계는, 상기 얻어진 보행영역내의 영상을 가버필터에 적용시켜 수직성분들을 추출하는 단계; 및 상기 추출된 수직성분들의 묶음을 통해 장애물의 바닥면과 너비정보를 확정하는 단계를 포함하는 것이 바람직하다.The determining of whether the obstacle is detected may include: extracting vertical components by applying an image in the gait area to a Gabor filter; And determining the bottom surface and the width information of the obstacle through the bundle of the extracted vertical components.
상기 소실점 및 길의 외곽선 정보를 추출하는 단계는, 확장형 체인코드를 사용하여 특정한 방향성을 가지는 직선정보를 추출하는 것이 바람직하다.In the extracting the vanishing point and the outline information of the road, it is preferable to extract the linear information having a specific direction by using the extended chain code.
또한, 본 발명의 다른 실시예에 따른 시각장애인 보행 안내 방법은, 카메라로부터 영상을 획득하는 단계; 상기 획득된 영상내에서 검출된 에지 정보를 이용하여 소실점 및 길의 외곽선 정보를 추출하는 단계; 상기 외곽선 정보를 기초로 보행자의 위치를 결정하고, 상기 소실점을 기준으로 보행자가 보는 길의 방향을 결정하는 단계; 상기 외곽선 정보를 통해 얻어진 보행영역내의 영상 중 장애물이 검출되었는지 여부를 판단하는 단계; 상기 장애물이 검출된 경우, 미리 설정된 거리별 상기 보행영역내 영상의 좌표를 이용하여 변환 테이블을 생성하는 단계; 상기 변환 테이블을 근거로 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 추정하는 단계; 및 상기 결정된 보행자의 위치 및 상기 길의 방향을 미리 정해진 보행안내정보에 적용시키고, 상기 추정된 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 미리 정해진 장애안내정보에 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 단계를 포함하는 것을 특징으로 한다.In addition, the walk guide method for the visually impaired according to another embodiment of the present invention, obtaining an image from the camera; Extracting vanishing point and outline information of a road using edge information detected in the acquired image; Determining a location of the pedestrian based on the outline information, and determining a direction of a road seen by the pedestrian based on the vanishing point; Determining whether an obstacle is detected among images in the walking area obtained through the outline information; When the obstacle is detected, generating a conversion table using coordinates of the image in the walking area for each predetermined distance; Estimating the position of the obstacle and the distance between the obstacle and the pedestrian based on the conversion table; And applying the determined position of the pedestrian and the direction of the road to predetermined pedestrian guidance information, and applying the estimated position of the obstacle and the distance between the obstacle and the pedestrian to predetermined obstacle guide information to convert the voice information. And providing the voice output unit.
상기 음성 출력부에 제공하는 단계는, 상기 미리 정해진 보행안내정보에 상 기 결정된 보행자의 위치 및 길의 방향을 적용시켜 완성된 문장을 음성정보로 변환하고, 상기 미리 정해진 장애안내정보에 상기 추정된 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 적용시켜 완성된 문장을 음성정보로 변환하는 것이 바람직하다.The providing to the voice output unit may convert the completed sentence into voice information by applying the position of the pedestrian and the direction of the road to the predetermined walking guidance information, and convert the estimated sentence into the predetermined disability guide information. It is preferable to convert the completed sentence into voice information by applying the position of the obstacle and the distance between the obstacle and the pedestrian.
한편, 본 발명의 실시예에 따른 시각장애인 보행 안내 시스템은, 영상을 촬영하는 카메라; 보행 안내를 위한 음성정보를 출력하는 음성 출력부; 및 상기 카메라로부터 영상을 획득하고, 획득된 영상내에서 검출된 에지 정보를 이용하여 소실점 및 길의 외곽선 정보를 추출하여, 상기 추출된 외곽선 정보를 기초로 결정된 보행자의 위치와 상기 추출된 소실점을 기준으로 결정된 보행자가 보는 길의 방향을 미리 정해진 보행 안내정보에 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 시각장애인 보행 안내 장치를 포함하는 것을 특징으로 한다.On the other hand, a visually impaired walking guidance system according to an embodiment of the present invention, the camera for taking an image; A voice output unit for outputting voice information for walking guidance; And acquiring an image from the camera, extracting vanishing point and road outline information using edge information detected in the obtained image, and based on the extracted pedestrian position and the extracted vanishing point based on the extracted outline information. It is characterized in that it comprises a visually impaired gait guide device for providing the converted voice information to the voice output unit by applying the direction of the road determined by the pedestrian determined to the predetermined gait guide information.
상기 시각장애인 보행 안내 장치는, 상기 외곽선 정보를 통해 얻어진 보행 영역내의 영상 중 장애물이 검출되었는지 여부를 판단하고, 그 판단결과 상기 장애물이 검출된 경우, 미리 설정된 거리별 상기 보행영역내 영상의 좌표를 이용하여 생성된 변환 테이블을 근거로 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 추정하고, 상기 추정된 상기 장애물의 위치 및 상기 장애물과 보행자와의 거리를 미리 정해진 장애안내정보에 적용시켜 변환된 음성정보를 상기 음성 출력부에 제공하는 것이 바람직하다.The walk guide apparatus for the visually impaired determines whether an obstacle is detected among the images in the walking area obtained through the outline information. When the obstacle is detected, the coordinates of the image in the walking area for each predetermined distance are determined. The position of the obstacle and the distance between the obstacle and the pedestrian are estimated based on the generated conversion table, and the estimated position of the obstacle and the distance between the obstacle and the pedestrian are applied to predetermined obstacle guide information. It is preferable to provide the voice information to the voice output unit.
본 발명의 실시예에 따르면 복잡한 배경정보를 가지는 실외의 환경에서도 단 일 카메라를 이용하여 시각장애인이 안전한 보행을 할 수 있도록 길에 대한 음성정보를 제공함으로써, 실외의 환경에서도 시각장애인에게 올바르고 안전한 보행을 안내해 줄 수 있는 효과가 있다.According to an embodiment of the present invention by providing a voice information on the road so that the visually impaired can walk safely using a single camera even in an outdoor environment having complex background information, it is correct and safe for the blind even in an outdoor environment There is an effect that can guide the walk.
또한, 본 발명의 실시예에 따르면 카메라로부터 획득된 실외 환경의 영상에서 보행영역을 선정하고 그 보행영역내에서 존재하는 장애물이 검출된 경우, 장애물의 위치 및 장애물과 보행자와의 거리를 알려줌으로써, 장애물과의 충돌사고를 미리 예방할 수 있어, 위험 상황에서 벗어날 수 있는 효과도 있다.In addition, according to an embodiment of the present invention by selecting a gait area in the image of the outdoor environment obtained from the camera and when the obstacle existing in the gait area is detected, by indicating the location of the obstacle and the distance between the obstacle and the pedestrian, The collision with the obstacles can be prevented in advance, so that it is possible to escape the dangerous situation.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따른 시각장애인 보행 안내 시스템을 설명하기 위한 도면이고, 도 2는 도 1에 도시된 시각장애인 보행 안내 시스템의 블록도이다.1 is a view illustrating a visually impaired walking guidance system according to an embodiment of the present invention, Figure 2 is a block diagram of the visually impaired walking guidance system shown in FIG.
도 1을 참조하면, 본 발명의 실시예에 따른 시각장애인 보행 안내 시스템은 단일의 카메라(10)와, 음성 입/출력부(20)와, 시각장애인에게 보행에 필요한 안내정보를 제공하는 시각장애인 보행 안내 장치(30)를 포함하여 구성된다. 시각장애인 보행 안내 장치(30)는 케이블(40)을 통해 카메라(10)로부터 촬영된 영상이 획득되나, 본 발명이 이에 한정되는 것은 아니고 무선통신방식을 통해 카메라(10)로부터 촬영된 영상이 획득될 수도 있다.Referring to FIG. 1, a visually impaired walking guidance system according to an embodiment of the present invention provides a
본 실시예에서, 보행자가 걸어갈 수 있는 전방의 영역을 보행영역(B)라 정의하고, 카메라(10)를 통해 획득된 전방의 영역을 보행자가 보는 시야영역(A)이라 정 의한다.In the present embodiment, the area in front of which the pedestrian can walk is defined as a walking area B, and the area in front of which is obtained through the
본 발명에 따른 시각장애인 보행 안내 시스템은, 카메라(10)로부터 촬영된 영상을 획득하고, 획득된 영상을 분석하여 보행에 필요한 정보를 추출하고, 이에 대한 결과를 음성정보로 변환하여 출력한다. 이때, 보행에 필요한 보행안내정보와,장애안내정보를 미리 설정된 음성변환형식에 맞게 음성으로 변환하는 TTS(Text To Speech) 엔진이 채택되며, 문자로 구성된 장애안내정보를 TTS 엔진을 이용하여 음성정보로 변환시킨다. 이와 같이 변환된 음성정보가 음성 출력부(21)를 통해 출력되어, 시각장애인이 보행중에 청취할 수 있다.The visually impaired walking guidance system according to the present invention obtains an image photographed from the
도 2를 참조하면, 음성 입/출력부(20)는 보행 안내를 위한 음성정보를 출력하는 음성 출력부(21)와, 음성을 입력받는 음성 입력부(22)이며, 음성 출력부(21)는 예컨대 헤드셋일 수 있고, 음성 입력부(22)는 예컨대 마이크일 수 있다.Referring to FIG. 2, the voice input /
시각장애인 보행 안내 장치(30)는 카메라(10)로부터 영상을 획득하고, 획득된 영상내에서 검출된 에지 정보를 이용하여 소실점과 길의 외곽선 정보를 추출하여 추출된 외곽선 정보를 기초로 보행자의 위치와, 소실점을 기준으로 결정된 보행자가 보는 길의 방향을 적용시킨 제 1 문장을 생성하여 생성된 제1 문장을 음성정보로 변환시켜 음성 출력부(21)를 통해 출력되도록 한다. 이때, 제 1 문장은 미리 구성되어 있는 템플릿 구조의 보행안내정보로, 예를 들면 보행안내정보는 "당신은 길의 [보행자의 위치]에서 진행하고 있습니다. 당신은 길의 [길의 방향] 방향을 바라보고 있습니다."일 수 있으며, 추출된 보행자의 위치와 길의 방향을 각각 적용시켜 완성된 문장이다.The visually impaired
또한, 시각장애인 보행 안내 장치(30)는 추출된 길의 외곽선 정보를 통해 얻어진 보행영역(B) 내의 영상 중 수직성분이 추출되었는지 여부에 따라 보행영역내 장애물이 존재하는지 여부를 판단한다. 수직성분이 추출된 경우, 보행영역내의 영상 중 장애물이 존재하는 경우로 판단하여 시각장애인 보행 안내 장치(30)는 미리 설정된 실제거리별 보행영역내 영상좌표를 이용하여 변환테이블을 생성하고, 생성된 변환테이블을 근거로 장애물의 위치 및 장애물과 보행자의 거리를 추정하여, 추정된 장애물의 위치 및 장애물과 보행자의 거리를 적용시킨 제 2 문장을 만들어 그 제 2 문장을 음성정보로 변환시켜 음성 출력부(21)를 통해 출력되도록 한다. 이때, 제 2 문장은 장애안내정보로, 보행안내정보와 같이 미리 구성되어 있는 템플릿 구조를 가진다. 예를 들면 장애안내정보는 "전방 [장애물의 위치] 시 방향에 장애물이 있습니다. 전방 [장애물과 보행자와의 거리]m 거리에 장애물이 있습니다"일 수 있으며, 추정된 장애물의 위치와, 장애물과 보행자와의 거리를 각각 적용시켜 완성된 문장이다.In addition, the visually impaired
장애물이 존재하는지 여부의 검출은 보행영역(B) 내에서 존재하는 장애물의 수직성분에 대한 특징을 검출하도록 한다. 여기에서, 검출대상은 수직성분이 강한 사람, 나무, 기둥 등을 대표적인 장애물로 선정하지만, 본 발명이 이에 한정되는 것은 아니다. 수직성분이 강한 부분을 검출하기 위해 수직방향의 가버필터를 적용하도록 하며, 인접한 수직 성분의 클러스터링을 통하여 최종 장애물의 위치를 검출하도록 한다.The detection of whether an obstacle exists is to detect a characteristic of the vertical component of the obstacle existing in the walking area B. Here, the detection target is selected as a representative obstacle, such as people, trees, pillars, etc. having a strong vertical component, but the present invention is not limited thereto. A vertical Gabor filter is applied to detect a strong portion of the vertical component, and the position of the final obstacle is detected through clustering of adjacent vertical components.
이와 같은 구성을 갖는 시각장애인 보행 안내 시스템의 시각장애인 보행 안 내 방법을 도 3 및 도 4를 참조하여 설명하면 다음과 같다.A visually impaired walking guide method of the visually impaired walking guidance system having such a configuration will be described with reference to FIGS. 3 and 4.
도 3은 본 발명의 실시예에 따른 시각장애인 보행 안내 방법을 설명하기 위한 동작 흐름도이고, 도 4는 도 3에 도시된 소실점 및 길의 외곽선 정보 추출 관련 서브루틴을 설명하기 위한 동작 흐름도이다.FIG. 3 is a flowchart illustrating a method for guiding a visually impaired person walking according to an embodiment of the present invention, and FIG. 4 is a flowchart illustrating a subroutine related to extraction of vanishing point and road outline information shown in FIG. 3.
도 3을 참조하면, 시각장애인 보행 안내 장치(30)는 카메라(10)로부터 영상을 획득한다(S100). 획득된 영상은 도 9의 (a)에 도시된 바와 같다.Referring to FIG. 3, the visually impaired
다음, 시각장애인 보행 안내 장치(30)는 획득된 영상 중 검출된 에지영상을 기초로 소실점 및 길의 외곽선 정보를 추출하기 위한 소실점 및 길의 외곽선 정보 추출 관련 서브루틴을 수행한다(도 4의 S200). 이때, 길의 외곽선 정보를 추출하기 위하여 확장형 체인코드를 사용하여 특정한 방향성을 가지는 직선성분을 추출하도록 한다. 확장형 체인코드는 3차원 형태의 길의 외곽선 형태가 2차원 형태의 영상에서 소실점의 방향으로 향하도록 나타나는 특징을 이용한 것이다. 결국 길의 외곽선 정보를 추출함으로써, 소실점을 추출하도록 한다.Next, the visually impaired
도 4를 참조하여 소실점 및 길의 외곽선 정보 추출 관련 서브루틴(S200)을 설명하면, 시각장애인 보행 안내 장치(30)는 카메라(10)로부터 획득된 영상을 그레이 영상으로 변환한다(S201).Referring to FIG. 4, a subroutine related to extraction of vanishing point and road outline information (S200) will be described. The visually impaired
다음, 시각장애인 보행 안내 장치(30)는 변환된 그레이 영상에서 에지 영상을 검출한다(S203). 에지 영상은 그레이 영상에서 검출된 윤곽선을 말하며, 도 9의 (b)에서 보는 바와 같다.Next, the visually impaired
다음, 시각장애인 보행 안내 장치(30)는 검출된 에지 영상에서 각 에지화소 들의 8방향으로 이웃하는 화소들에 대한 연결성을 찾는다(S205).Next, the visually impaired
즉, 시각장애인 보행 안내 장치(30)는 예컨대 8방향 체인코드를 이용하여 직선으로 형성된 모양을 추출하고, 이에 대한 각도를 계산하여 찾고자 하는 방향으로 연결된 직선을 검출하도록 한다. 도 5의 (a)에 도시된 바와 같이 8방향 체인코드 유닛을 에지 영상의 처음부터 가로방향으로 스캔하여 처음 발견되는 에지화소를 시작점으로 선정하고, 도 5의 (b)에 도시된 바와 같이 이웃하는 화소를 검색하고 연속적인 연결성을 찾아나간다.That is, the visually impaired
다음, 시각장애인 보행 안내 장치(30)는 찾은 연결성을 특정한 방향으로 연속적으로 관계되는 직선성분을 추출한다(S207).Next, the visually impaired
다음, 시각장애인 보행 안내 장치(30)는 도 9의 (c)에 도시된 바와 같이, 획득된 영상의 중심을 기준으로 양분한 각각의 영역에서 중심으로 향하는 직선성분을 추출한다(S209). 본 실시예에서는 직선성분 추출을 통해 소실점의 위치가 비교적 중심에 위치함을 고려하여 도 6에 도시된 바와 같이 영상을 좌우로 나누어 소실점을 향하는 직선성분을 추출하였다.Next, as shown in (c) of FIG. 9, the visually impaired
다음, 시각장애인 보행 안내 장치(30)는 추출된 직선성분 중에서 연속적으로 미리 정해진 길이 이상의 직선성분이 선택되어 표시되도록 한다(S211). 이때, 시각장애인 보행 안내 장치(30)는 중심 방향성분을 기준으로 허용각도범위를 벗어나는 직선성분은 제거하도록 하며, 허용각도범위내에 존재하는 두방향의 직선성분이 있을 경우에는 중심 방향각도에 보다 가까운 직선성분을 선택하도록 함이 바람직하다.Next, the visually impaired
다음, 시각장애인 보행 안내 장치(30)는 중심 방향각도에 대한 계산을 해야 하는데, 계산의 간결성을 고려하여 체인코드유닛의 8방향 성분에 대해 각도를 설정하고 연결성을 찾아낸 직선성분들을 누적하여 평균을 취한다(S213). 이때, 각도는 체인코드유닛의 0방향 성분을 시작으로 0도부터 360도의 성분을 부여하도록 한다. 최종적으로 검출된 화소들의 체인은 하나의 직선으로 기록하고 재 검색되지 않도록 한다. 하나의 직선을 검출한 이후에는 또 다시 시작점을 검색하도록 하며, 이때 이전에 검출된 직선에 속한 화소들은 검색대상에서 제외된다. 여기에서 결정해야 할 파라미터들은 기본단위길이, 허용각도의 범위, 검출하고자 하는 직선의 방향이다.Next, the visually impaired
다음, 시각장애인 보행 안내 장치(30)는 각각의 영역에서 평균 직선성분의 교차점을 소실점으로, 각각의 영역에서 평균 직선성분을 길의 외곽선 정보로 추출한다(S215).Next, the visually impaired
다시, 도 3에서 시각장애인 보행 안내 장치(30)는 추출된 길의 외곽선 정보와 소실점을 종합하여 도 9의 (d)에 도시된 바와 같은 보행영역(B)을 선정한다(S300).Again, in
다음, 시각장애인 보행 안내 장치(30)는 길의 방향과 보행자의 위치를 결정한다(S302). 여기에서, 시각장애인 보행 안내 장치(30)는 선정된 보행영역의 영상의 하단부분과 각각의 영역에서 평균 직선성분의 교점을 보행영역의 너비로 계산하고, 그 너비에서의 중심점을 길의 중심으로 계산한다. 이와 같이 계산된 길의 중심을 영상의 중심과 비교하여 보행자가 어느쪽으로 치우쳤는지를 판단하여 보행자의 위치가 결정되고, 소실점의 방향과 영상의 중심을 판단하여 소실점이 어느 방향을 보고 있는지를 파악하여 보행자가 보는 길의 방향이 결정된다.Next, the visually impaired
다음, 시각장애인 보행 안내 장치(30)는 보행영역(B) 내의 영상 중에서 장애물이 검출되었는지 여부를 판단한다(S304). 장애물이 검출된 경우는 영상 내에 수직성분이 추출된 경우가 해당된다.Next, the visually impaired
본 실시예에서는 보행영역(B)에 존재하는 장애물을 검출하기 위해서는 장애물이 가지는 특징정보를 추출해야 한다. 장애물은 수직성분의 특징을 강하게 가지는 사람, 기둥, 나무와 같은 물체를 대상으로 선정한다. 이때 수직성분이 강한 부분을 추출하기 위해 수직 방향의 가버필터를 적용하였다. 추출된 수직성분들의 묶음을 통해 장애물의 바닥면과 너비정보를 확정한다. 도 7은 가버필터의 커널을 도시한 도면으로, 도 7의 (a)와 (b)는 가버필터의 스케일을 나타내는 변수값이 각각 다르게 정해진 경우에 대한 각각의 필터 영상을 보여준다.In this embodiment, in order to detect an obstacle present in the walking area B, feature information of the obstacle must be extracted. Obstacles are selected for objects such as people, columns, and trees that have strong characteristics of vertical components. At this time, the Gabor filter in the vertical direction was applied to extract the strong vertical component. The bottom and width information of the obstacle is determined through the bundle of extracted vertical components. FIG. 7 is a diagram illustrating a kernel of a Gabor filter, and FIGS. 7A and 7B show respective filter images for a case where a variable value representing a scale of a Gabor filter is determined differently.
도 10은 장애물의 위치를 추정하는 과정을 표시한 도면으로, 도 10의 (a)는 카메라(10)로부터 획득된 영상을 도시한 도면이고, 도 10의 (b)는 도 10의 (a)에 도시된 영상 중 검출된 에지 영상을 도시한 도면이고, 도 10의 (c)는 에지 영상의 중심을 기준으로 양분한 각각의 영역에서 중심으로 향한 직선성분을 도시한 도면이며, 도 10의 (d)는 소실점과 길의 외곽선 정보를 이용하여 선정된 보행영역을 도시한 도면이고, 도 10의 (e)는 선정된 보행영역의 영상을 가버필터에 적용시켜 추출된 수직성분들을 도시한 도면이고, 도 10의 (f)는 도 10의 (e) 중 수직성분이 강한 부분을 도시한 도면이고, 도 10의 (g)는 도 10의 (f)를 클러스터링한 상태를 도시한 도면이며, 도 10의 (h)는 최종 장애물의 위치가 표시된 영상을 도시한 도면이 다.FIG. 10 is a diagram illustrating a process of estimating a position of an obstacle. FIG. 10A illustrates an image obtained from the
상기 S304 단계의 판단결과, 보행영역(B) 내의 영상 중 장애물이 검출되지 않은 경우, 시각장애인 보행 안내 장치(30)는 결정된 길의 방향과 보행자의 위치를 미리 정해진 보행안내정보에 적용시켜 만들어진 문장을 음성정보로 변환시켜 음성 출력부(21)로 출력되도록 제어한다(S306).As a result of the determination in step S304, when no obstacle is detected in the image in the walking area B, the visually impaired
상기 S304 단계의 판단결과, 보행영역(B) 내의 영상 중 장애물이 검출된 경우, 즉 영상 중 전방에 존재하는 장애물이 존재하는 경우 시각장애인 보행 안내 장치(30)는 미리 설정된 거리별로 위치한 보행영역내 영상좌표를 이용하여 변환테이블을 생성한다(S305).As a result of the determination in step S304, when an obstacle is detected in the image in the walking area B, that is, when there is an obstacle in front of the image, the visually impaired
다음, 시각장애인 보행 안내 장치(30)는 변환테이블을 이용하여 장애물의 위치 및 장애물과 보행자와의 거리를 추정한다(S307).Next, the visually impaired
더 설명하면, 시각장애인 보행 안내 장치(30)는 실제 거리별 영상의 좌표를 나타낸 변환테이블을 이용하여 영상에 투영된 장애물의 실제 거리를 추정한다. 실제로 3차원 정보에 대해서 단일 영상을 이용하는 경우 깊이 정보를 알 수 없지만, 이와 같이 길에 대한 소실점의 정보를 얻을 수 있는 경우에 대해서는 몇가지의 제한사항을 고려함으로써 깊이 정보를 알 수 있다. 그 제한사항은 길의 외곽선이 평행하며, 그 연장선이 영상에서 소실점으로 만난다는 점과 소실점의 위치가 영상의 중심에 근접하게 위치한다는 조건이다. 따라서 도 8과 같은 실제거리와 영상에서의 좌표에 대한 변환테이블을 이용하여 영상에 투영된 위치좌표의 실제거리를 추정할 수 있다.In more detail, the visually impaired
다음, 시각장애인 보행 안내 장치(30)는 추정된 장애물의 위치 및 장애물과 보행자와의 거리를 미리 정해진 장애안내정보에 적용시켜 만들어진 문장을 음성정보로 변환시켜 음성 출력부(21)로 출력되도록 제어하고(S309), 상술한 S306 단계로 프로세스를 이동한다.Next, the visually impaired
본 실시예에서는 영상을 통해 획득된 길의 정보 즉, 보행자의 위치 및 길의 방향과, 장애물의 정보 즉, 장애물의 위치 및 장애물과 보행자와의 거리를 보행자에게 알려주기 위해서, 새로운 문장 구성을 통한 음성변환과정이 필요하다. 문장을 구성하기 위해서 미리 정의된 템플릿 기반의 문장에 알맞은 단어를 입력하는 방식을 사용하도록 한다. 도 11은 현재 보행자가 걸어가고 있는 보행영역 내에서의 위치 및 시선의 정보와 전방에 존재하는 장애물을 검출한 후 그 위치에 대한 정보를 추출하여 미리 정의된 문장에 해당 단어를 입력하여 보행자에게 제공할 최종 문장으로 만든 결과를 보여준다.In this embodiment, a new sentence structure is used to inform the pedestrian of the information of the road, that is, the location and direction of the pedestrian, and the information of the obstacle, that is, the location of the obstacle and the distance between the obstacle and the pedestrian. Voice conversion process is required. In order to construct a sentence, a method of inputting a word suitable for a predetermined template-based sentence is used. 11 is to detect the position and gaze information in the walking area that the pedestrian is currently walking and obstacles present in the front and then extract the information about the position and input the corresponding word in a predefined sentence and provide it to the pedestrian Show the result of the final sentence you want to do.
이렇게 함으로써, 복잡한 배경을 가지는 실외의 환경에서도 시각장애인의 안전한 보행에 도움을 줄 수 있다.By doing so, it is possible to help the blind person to walk safely even in an outdoor environment having a complicated background.
본 실시예는 미리 설정된 주기, 예컨대 1분, 5분, 7분 등의 주기로 상술한 S100 단계부터 S309 단계까지 프로세스를 수행하여, 시각장애인의 보행 안정성을 더욱 높일 수 있다. The present embodiment can further improve the walking stability of the visually impaired by performing the process from the above-described step S100 to step S309 at a predetermined cycle, for example, 1 minute, 5 minutes, 7 minutes.
이상의 본 발명은 상기에 기술된 실시예들에 의해 한정되지 않고, 당업자들에 의해 다양한 변형 및 변경을 가져올 수 있으며, 이는 첨부된 청구항에서 정의되는 본 발명의 취지와 범위에 포함된다.The invention being thus described, it will be obvious that the same way may be varied in many ways. Such modifications are intended to be within the spirit and scope of the invention as defined by the appended claims.
도 1은 본 발명의 실시예에 따른 시각장애인 보행 안내 시스템을 설명하기 위한 도면.1 is a view for explaining a walking guidance system for the visually impaired according to an embodiment of the present invention.
도 2는 도 1에 도시된 시각장애인 보행 안내 시스템의 블록도.2 is a block diagram of the visually impaired walking guidance system shown in FIG.
도 3은 본 발명의 실시예에 따른 시각장애인 보행 안내 방법을 설명하기 위한 동작 흐름도.3 is an operation flowchart for explaining a walking guidance method for the visually impaired according to an embodiment of the present invention.
도 4는 도 3의 소실점 및 길의 외곽선 정보 추출 관련 서브루틴을 설명하기 위한 동작 흐름도.FIG. 4 is a flowchart illustrating a subroutine related to extraction of vanishing point and road outline information of FIG. 3.
도 5는 본 발명에서 사용되는 체인코드 및 직선성분 검출과정을 설명하기 위한 도면.5 is a view for explaining a chain code and a linear component detection process used in the present invention.
도 6은 본 발명에 적용되는 소실점 및 길의 외곽선을 구하기 위해 영상의 영역을 구분하여 적용한 도면.FIG. 6 is a diagram illustrating the application of a region of an image in order to obtain a vanishing point and an outline of a road applied to the present invention; FIG.
도 7은 본 발명에서 장애물 검출을 위해 사용되는 가버필터 커널을 도시한 도면.FIG. 7 illustrates a Gabor filter kernel used for obstacle detection in the present invention. FIG.
도 8은 본 발명에서 장애물의 거리 추정에 사용되는 실제거리와 영상에서의 위치에 대한 관계를 나타내는 도면.8 is a view showing the relationship between the actual distance and the position in the image used in the distance estimation of the obstacle in the present invention.
도 9는 카메라로부터 획득된 영상 중 보행영역에 대한 검출결과를 도시한 도면.9 is a diagram illustrating a detection result of a walking area in an image acquired from a camera.
도 10은 카메라로부터 획득된 영상 중 장애물 검출 결과를 도시한 도면.10 is a diagram illustrating an obstacle detection result among images acquired from a camera.
도 11은 본 발명에서 얻어진 결과를 통해 시각장애인에게 제공되어야 하는 음성정보를 문장의 형태로 보여주는 도면.11 is a view showing the voice information to be provided to the visually impaired in the form of sentences through the results obtained in the present invention.
<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
10 : 카메라 21 : 음성 출력부10: camera 21: audio output unit
22 : 음성 입력부 30 : 시각장애인 보행 안내 장치22: voice input unit 30: visually impaired walking guidance device
40 : 케이블40: cable
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090061690A KR101054025B1 (en) | 2009-07-07 | 2009-07-07 | Visually impaired walking guidance method and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090061690A KR101054025B1 (en) | 2009-07-07 | 2009-07-07 | Visually impaired walking guidance method and system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110004064A KR20110004064A (en) | 2011-01-13 |
KR101054025B1 true KR101054025B1 (en) | 2011-08-04 |
Family
ID=43611745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090061690A KR101054025B1 (en) | 2009-07-07 | 2009-07-07 | Visually impaired walking guidance method and system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101054025B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160028891A (en) | 2014-09-04 | 2016-03-14 | 김경연 | An objection recognition device for a blind person using a depth camera and a direction-detecting sensor |
KR101828042B1 (en) * | 2016-08-19 | 2018-03-22 | 주식회사 하오문 | System of informing emergency with data saving function |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102389361B (en) * | 2011-07-18 | 2014-06-25 | 浙江大学 | Blindman outdoor support system based on computer vision |
CN102657572B (en) * | 2012-03-22 | 2013-11-06 | 郑州科兴电子信息科技有限公司 | Electronic dot-matrix type intelligent image touch sensing device and sensing implementation method for the blind |
US9140554B2 (en) * | 2014-01-24 | 2015-09-22 | Microsoft Technology Licensing, Llc | Audio navigation assistance |
KR101542947B1 (en) * | 2014-06-27 | 2015-08-11 | 장혁 | Pose detection device and location-based supplemental service system |
KR101954989B1 (en) * | 2014-09-05 | 2019-03-08 | (주)엠에스라인이엔지 | Imformation provision apparatus for blind people |
KR101719292B1 (en) * | 2015-09-10 | 2017-03-23 | 한국과학기술연구원 | Appratus and method for predicting position in indoor using vanishing point of image of hallway |
KR20160090781A (en) | 2016-07-19 | 2016-08-01 | 주식회사 비에스엘 | Apparatus for Converting Video Signal to Sound Method for Converting Video Signal into Voice Signal for the Visually Impaired |
KR101914781B1 (en) * | 2018-03-19 | 2018-11-21 | 주식회사 코리아진텍 | Functional diapers |
KR102295277B1 (en) * | 2019-12-13 | 2021-08-30 | 동국대학교 산학협력단 | Smart stick provides voice information about obstacles detected by ultrasonic sensors and operating method thereof |
KR102304593B1 (en) * | 2019-12-31 | 2021-09-24 | 국민대학교산학협력단 | Crosswalk guide apparatus and method for pedestrians of the visually impaired |
KR102252352B1 (en) * | 2020-12-04 | 2021-05-17 | 주식회사 바토너스 | Method and apparatus for walking guide |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003256987A (en) | 2002-03-01 | 2003-09-12 | Nec Corp | Intersection signal guidance support system |
JP2006251596A (en) | 2005-03-14 | 2006-09-21 | Kyoto Institute Of Technology | Support device for visually handicapped person |
KR20080008705A (en) * | 2006-07-21 | 2008-01-24 | (주)바네트 | A street guidance information system for blind peoples that using image recognition technology |
-
2009
- 2009-07-07 KR KR1020090061690A patent/KR101054025B1/en not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003256987A (en) | 2002-03-01 | 2003-09-12 | Nec Corp | Intersection signal guidance support system |
JP2006251596A (en) | 2005-03-14 | 2006-09-21 | Kyoto Institute Of Technology | Support device for visually handicapped person |
KR20080008705A (en) * | 2006-07-21 | 2008-01-24 | (주)바네트 | A street guidance information system for blind peoples that using image recognition technology |
Non-Patent Citations (1)
Title |
---|
논문1* |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160028891A (en) | 2014-09-04 | 2016-03-14 | 김경연 | An objection recognition device for a blind person using a depth camera and a direction-detecting sensor |
KR101828042B1 (en) * | 2016-08-19 | 2018-03-22 | 주식회사 하오문 | System of informing emergency with data saving function |
Also Published As
Publication number | Publication date |
---|---|
KR20110004064A (en) | 2011-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101054025B1 (en) | Visually impaired walking guidance method and system | |
Tapu et al. | Wearable assistive devices for visually impaired: A state of the art survey | |
Jafri et al. | Visual and infrared sensor data-based obstacle detection for the visually impaired using the Google project tango tablet development kit and the unity engine | |
CN109730910B (en) | Visual auxiliary system for trip, auxiliary equipment, method and readable storage medium thereof | |
Khan et al. | KinDectect: Kinect detecting objects | |
Fernandes et al. | Stereo vision in blind navigation assistance | |
US6690451B1 (en) | Locating object using stereo vision | |
JP2006251596A (en) | Support device for visually handicapped person | |
Sáez et al. | Aerial obstacle detection with 3-D mobile devices | |
KR102284744B1 (en) | Wearable device using stereo camera and infrared sensor for the visually impaired | |
US20170003132A1 (en) | Method of constructing street guidance information database, and street guidance apparatus and method using street guidance information database | |
TWI474173B (en) | Assistance system and assistance method | |
Tian et al. | Dynamic crosswalk scene understanding for the visually impaired | |
KR20150097043A (en) | Smart System for a person who is visually impaired using eyeglasses with camera and a cane with control module | |
KR101187600B1 (en) | Speech Recognition Device and Speech Recognition Method using 3D Real-time Lip Feature Point based on Stereo Camera | |
Fei et al. | Review of machine vision-based electronic travel aids | |
Ali et al. | Blind navigation system for visually impaired using windowing-based mean on Microsoft Kinect camera | |
Saputra et al. | Obstacle avoidance for visually impaired using auto-adaptive thresholding on Kinect's depth image | |
EP2642463A1 (en) | Peripheral monitoring device for vehicle | |
Söveny et al. | Blind guide-A virtual eye for guiding indoor and outdoor movement | |
Bharati | LiDAR+ camera sensor data fusion on mobiles with ai-based virtual sensors to provide situational awareness for the visually impaired | |
Rahman et al. | An automated navigation system for blind people | |
WO2015198284A1 (en) | Reality description system and method | |
KR101997531B1 (en) | Obstacle avoiding system for a personal mobility and a method for avoiding an obstacle using the same | |
Zeng et al. | Range-IT: detection and multimodal presentation of indoor objects for visually impaired people |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20140709 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20150609 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20160627 Year of fee payment: 6 |
|
LAPS | Lapse due to unpaid annual fee |