KR20180097962A - Situation determining guide apparatus and method based image analysis - Google Patents

Situation determining guide apparatus and method based image analysis Download PDF

Info

Publication number
KR20180097962A
KR20180097962A KR1020170024810A KR20170024810A KR20180097962A KR 20180097962 A KR20180097962 A KR 20180097962A KR 1020170024810 A KR1020170024810 A KR 1020170024810A KR 20170024810 A KR20170024810 A KR 20170024810A KR 20180097962 A KR20180097962 A KR 20180097962A
Authority
KR
South Korea
Prior art keywords
user
information
image
event
analyzed
Prior art date
Application number
KR1020170024810A
Other languages
Korean (ko)
Inventor
양창모
김동칠
박성주
송재종
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020170024810A priority Critical patent/KR20180097962A/en
Publication of KR20180097962A publication Critical patent/KR20180097962A/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/01—Constructive details
    • A61H2201/0173—Means for preventing injuries
    • A61H2201/0184—Means for preventing injuries by raising an alarm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user

Abstract

The present invention relates to an image analysis-based situation determining guide device and method, which are capable of guiding a surrounding environment to a user by analyzing image information inputted from a camera for stability of a user, such as a visually impaired person or an old person, who is difficult to quickly grasp and cope with a surrounding environment. The image analysis-based situation determining guide device comprises: an image acquisition unit which obtains an image for each direction during walking according to a user selection; a control unit which divides an object from the acquired image, analyzes the size of the divided object, a distance from the object, the speed of the object, the movement direction of the object, and the type of the object, determines whether an event to guide the walking of the user is generated on the basis of the analyzed information, and analyzes the direction information of the user and the object to generate notification information for notifying the user of an analysis result when the event is generated; and an output unit which outputs the notification information generated by the control unit as voice or vibration.

Description

영상 분석 기반 상황 판단형 가이드 장치 및 방법{SITUATION DETERMINING GUIDE APPARATUS AND METHOD BASED IMAGE ANALYSIS}TECHNICAL FIELD [0001] The present invention relates to a situation-determining guide apparatus and method based on image analysis,

본 발명은 영상 분석 기반 상황 판단형 가이드 장치 및 방법에 관한 것으로서, 특히 시각 장애인이나 노인과 같이 주변 환경을 빠르게 파악하고 대응하기 어려운 사용자의 안정을 위해 카메라로부터 입력되는 영상 정보를 분석하여 사용자에게 주변 환경을 가이드하도록 하는 영상 분석 기반 상황 판단형 가이드 장치 및 방법에 관한 것이다.
The present invention relates to an image analysis based context-aware guide apparatus and method, and more particularly to a video image analysis apparatus and method for analyzing image information input from a camera, in order to quickly identify a surrounding environment, such as a visually impaired person or an elderly person, And more particularly, to an image analysis-based situation-determining guide apparatus and method for guiding the environment.

일반적으로, 시각장애인들은 외부의 환경에 대한 정보를 획득하기 어렵기 때문에 보행이 매우 제한되어 있으며, 장애물과 같은 위험한 요소들에 대해 적절한 대응을 하기가 어렵다.In general, walking is very limited because it is difficult for blind people to obtain information about the external environment, and it is difficult to respond appropriately to dangerous factors such as obstacles.

현재 시각장애인들의 안전한 보행을 위한 도구 장치 및 시스템들이 국내외에서 활발히 연구되고 있다.Currently, tools and systems for safe walking of the visually impaired are being actively researched at home and abroad.

종래의 시각장애인 보행 안내 시스템들은 초음파, 촉각, 레이저, GPS 등을 이용하여 시각장애인의 보행을 보조하기 위한 안내정보를 제공하였다.Conventional gait guidance systems provide guidance information to help the visually impaired to walk using ultrasonic, tactile, laser, and GPS.

초음파를 사용한 시각장애인 보행 안내 시스템은, 벨트의 형태로 구성된 초음파 센서 묶음을 착용하고 가방의 형태로 착용된 컴퓨터를 통해 각 방향에 대한 정보들을 분석하여 시각장애인에게 알려주도록 되어 있다. 이러한 초음파 센서를 이용한 시각장애인 보행 안내 시스템은 그 구현이 비교적 간단하며 계산량이 많지 않다는 장점이 있지만, 주변 장애물의 유무만을 판단할 수 있을 뿐, 물체가 가지는 질감, 색상에 대한 정보를 얻을 수 없고, 물체의 이동정보를 얻기에 제한이 많은 단점을 가지고 있다.The gait guide system using the ultrasonic wave is designed to inform the visually impaired by analyzing information about each direction through a computer worn in the form of a bag wearing a bundle of ultrasonic sensors formed in the form of a belt. The gait guide system using the ultrasonic sensor is advantageous in that it is relatively simple to implement and does not have a large amount of calculations. However, it is difficult to obtain information about the texture and color of the object, There are many limitations in obtaining movement information of an object.

초음파 센서를 사용하는 다른 형태의 시각장애인 보행 안내 시스템으로는 지팡이 형태로 되어 있는 길 안내 시스템이 있다. 이 길 안내 시스템은 일반 시각장애인용 안내 지팡이에 초음파 센서를 장착하여 장애물을 검출하고 위험하지 않은 방향으로 길을 안내하도록 되어 있다. 이와 같은 길 안내 시스템도 구조가 간단하고 적용하기가 쉽지만, 전방의 작은 물체나 가까이 있는 장애물만을 검출할 수 있기 때문에 감지 거리에 제한이 있는 단점을 가지고 있다.Another type of visually impaired pedestrian guidance system using ultrasonic sensors is a cane guidance system. The navigation system is equipped with an ultrasonic sensor on the guide cane for the general blind, detecting obstacles and guiding the road in a non-hazardous direction. Although such a guidance system is simple in structure and easy to apply, it has a disadvantage in that there is a limitation in detection distance because it can detect a small object in the front or a nearby obstacle.

레이저를 사용한 시각장애인 보행 안내 시스템은, 사용자가 레이저 센서 도구를 들고 좌우로 흔들어 주변에 존재하는 지역적인 정보를 획득할 수 있고, 시간적인 측면에서 계단, 낭떨어지와 같은 이동에 위험한 요소를 분석함에 따라 굴곡이 있거나 단일 카메라를 이용해 알 수 없는 거리정보를 획득할 수 있다는 장점이 있다. 하지만, 근접한 지역에 대해서만 적용이 가능하며 검출된 물체의 색상이나 질감에 대한 특징을 알 수 없는 단점을 가지고 있다.The laser-assisted gait guidance system allows the user to acquire local information around the user by swinging the laser sensor tool from side to side and analyzing the dangerous factors such as stairs and backlash in terms of time There is a merit that it is possible to acquire unknown distance information by using a single camera or with a curvature. However, it can be applied only to nearby areas, and it has disadvantages that the characteristics of the detected color or texture can not be known.

GPS를 이용한 시각장애인 보행 안내 시스템은, 미리 경험적으로 획득하여 저장된 지역 맵 정보를 이용하여 보행자에게 길을 안내하도록 하는 시스템으로, 목적지까지의 순차적인 길의 경로를 제공한다. 이 GPS를 이용한 시각장애인 보행 안내 시스템은 지역적 정보를 담고 있는 데이터베이스를 가지고 있으며, 음성변환기술과 음성인식기술을 통해 컴퓨터와 사람간의 의사소통이 가능하도록 하고, 특정 지역의 목적지에 대한 경로를 제공하여 편리성을 준다. 하지만, 보행자와 바로 인접한 요소들에 대한 위험성을 분석할 수 없는 단점을 가지고 있다.
The gait guide system for the visually impaired using GPS is a system for guiding the pedestrians along the route using the area map information previously obtained empirically and stored in advance, and provides a route of the sequential route to the destination. This GPS-based pedestrian guidance system has a database containing local information, and enables communication between the computer and the person through voice conversion technology and voice recognition technology, and provides a route to a destination in a specific area It gives convenience. However, it has a disadvantage that it can not analyze the risk for the elements immediately adjacent to the pedestrian.

따라서, 본 발명은 상기한 문제점을 해결하기 위한 것으로, 본 발명의 목적은, 시각 장애인 및 노인과 같이 주변 환경 정보를 빠르게 파악 및 대응하기 어려운 사용자의 안전을 위해, 보행 중 주변 영상정보를 획득한 후 획득된 영상정보를 기반으로 주변 환경 정보를 분석하고, 분석된 정보를 음성 혹은 진동과 같은 방법을 통해 사용자에게 전달함으로써, 사용자의 안전을 도모할 수 있도록 한 영상 분석 기반 상황 판단형 가이드 장치 및 방법을 제공함에 있다. SUMMARY OF THE INVENTION Accordingly, the present invention has been made keeping in mind the above problems occurring in the prior art, and it is an object of the present invention to provide a method and apparatus for acquiring peripheral image information during walking in order to secure a user, A situation-based guiding device based on an image analysis, which analyzes the surrounding environment information based on the acquired image information and transmits the analyzed information to the user through voice or vibration, Method.

한편, 본 발명의 다른 목적은, 상기한 목적을 달성할 수 있도록 하는 가이드 장치를 안경, 모자, 어깨 착용기기 형태로 구성함으로써, 시각 장애인이나 노인 등이 보행시 휴대가 용이하도록 한 영상 분석 기반 상황 판단형 가이드 장치 및 방법을 제공함에 있다.
It is another object of the present invention to provide an image analysis-based situation in which a visually handicapped person, an elderly person, or the like can easily carry on a walk by constituting a guide device for achieving the above- And a judgment type guide apparatus and method.

상기한 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 분석 기반 상황 판단형 가이드 장치는, 사용자의 선택에 따라 보행중 각 방향에 대한 영상을 획득하는 영상 획득부; 상기 획득한 영상으로부터 객체를 분할하고, 분할된 객체의 크기, 객체와의 거리, 객체의 속도, 객체의 이동방향 및 객체의 종류를 분석한 후, 분석된 정보를 기반으로 사용자의 보행을 가이드해야 할 이벤트가 발생하였는지를 판단하고, 이벤트가 발생된 경우, 사용자와 객체의 방향 정보를 분석하여 사용자에게 이를 통지하기 위한 알림 정보를 생성하는 제어부; 및 상기 제어부에서 생성된 알림 정보를 음성 또는 진동으로 출력하는 출력부를 포함할 수 있다. According to an aspect of the present invention, there is provided an image analysis-based situation determination type guide device including: an image acquisition unit for acquiring an image in each direction during a walk according to a user's selection; After the object is divided from the acquired image, the size of the divided object, the distance to the object, the speed of the object, the moving direction of the object and the type of the object are analyzed, and the user's walking is guided based on the analyzed information A controller for analyzing the direction information of the user and the object and generating notification information for notifying the user of the event when the event is generated; And an output unit for outputting the notification information generated by the control unit by voice or vibration.

상기 가이드 장치는 안경, 어깨 장착형 기기, 모자 중 적어도 하나의 형태로 적용될 수 있다. The guide device may be applied in the form of at least one of glasses, a shoulder-mounted device, and a cap.

상기 제어부는, 이벤트가 발생한 경우, 영상 획득부의 각도 및 상기 분할된 객체의 크기, 객체와의 거리, 객체의 속도, 객체의 이동방향 정보를 기반으로 이벤트가 발생한 방향을 분석한다. When the event occurs, the controller analyzes the direction of the event based on the angle of the image acquisition unit, the size of the divided object, the distance to the object, the speed of the object, and the direction information of the object.

한편, 본 발명의 다른 측면에 따른 영상 분석 기반 상황 판단형 가이드 방법은, 사용자의 선택에 따라 보행중 각 방향에 대한 영상을 획득하는 단계; 상기 획득한 영상으로부터 객체를 분할하고, 분할된 객체의 크기, 객체와의 거리, 객체의 속도, 객체의 이동방향 및 객체의 종류를 분석한 후, 분석된 정보를 기반으로 사용자의 보행을 가이드해야 할 이벤트가 발생하였는지를 판단하고, 이벤트가 발생된 경우, 사용자와 객체의 방향 정보를 분석하여 사용자에게 이를 통지하기 위한 알림 정보를 생성하는 단계; 및 상기 제어부에서 생성된 알림 정보를 출력하는 단계를 포함할 수 있다. According to another aspect of the present invention, there is provided an image analysis based context-based guidance method, comprising: acquiring an image for each direction during a walk according to a user's selection; After the object is divided from the acquired image, the size of the divided object, the distance to the object, the speed of the object, the moving direction of the object and the type of the object are analyzed, and the user's walking is guided based on the analyzed information Determining whether an event to be performed has occurred, generating notification information for notifying the user of the direction information of the user and the object when the event is generated; And outputting the notification information generated by the control unit.

상기 이벤트가 발생한 경우, 영상 획득부의 각도 및 상기 분할된 객체의 크기, 객체와의 거리, 객체의 속도, 객체의 이동방향 정보를 기반으로 이벤트가 발생한 방향을 분석한다. When the event occurs, the direction of the event is analyzed based on the angle of the image acquisition unit, the size of the divided object, the distance to the object, the speed of the object, and the direction information of the object.

상기 알림정보의 출력은, 음성 또는 진동을 통해 출력할 수 있다.
The output of the announcement information can be output through voice or vibration.

본 발명에 따르면, 시각 장애인 및 노인과 같이 주변 환경 정보를 빠르게 파악 및 대응하기 어려운 사용자의 안전을 위해, 보행 중 주변 영상정보를 획득한 후 획득된 영상정보를 기반으로 주변 환경 정보를 분석하고, 분석된 정보를 음성 혹은 진동과 같은 방법을 통해 사용자에게 전달함으로써, 시각 장애인 또는 노인과 같이 주변 환경 정보를 빠르게 파악하고 대응하기 어려운 사회적 약자의 생활안전에 기여하는 한편, 사회적 약자의 안전사고로 인해 발생되는 다양한 사회적 비용 절감 가능한 것이다. According to the present invention, for the safety of users who are unable to quickly grasp and cope with surrounding information such as the visually impaired and the elderly, the surrounding information is obtained based on the obtained image information after acquiring the surrounding image information while walking, By communicating the analyzed information to users through voice or vibration methods, it contributes to the safety of the socially vulnerable people who are unable to quickly identify and respond to environmental information such as the visually impaired or the elderly, It is possible to save various social costs.

또한, 본 발명에 따르면, 본 발명에 따른 가이드 장치를 안경, 모자, 어깨 착용기기 형태로 구성함으로써, 시각 장애인이나 노인 등이 보행시 휴대가 용이한 것이다.
Further, according to the present invention, since the guide device according to the present invention is configured in the form of glasses, hats, and shoulder wear devices, it is easy for a visually impaired person or an elderly person to carry on walking.

도 1은 본 발명에 따른 영상 분석 기반 상황 판단형 가이드 장치에 대한 블록 구성을 나타낸 도면.
도 2는 본 발명에 따른 영상 분석 기반 상황 판단형 가이드 방법에 대한 동작 플로우챠트를 나타낸 도면.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of a video-based condition-determining guide device according to the present invention; FIG.
FIG. 2 is a flowchart illustrating an operation of the image analysis-based situation determination type guide method according to the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the concept of the invention to those skilled in the art. And the present invention is defined by the description of the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. It is noted that " comprises, " or "comprising," as used herein, means the presence or absence of one or more other components, steps, operations, and / Do not exclude the addition.

이하, 본 발명에 따른 영상 분석 기반 상황 판단형 가이드 장치 및 방법에 대한 바람직한 실시예에 대하여 첨부한 도면을 참조하여 상세하게 설명하기로 한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of an image analysis-based situation determination type guide apparatus and method according to the present invention will be described in detail with reference to the accompanying drawings.

먼저, 본 발명의 구체적인 구성 및 동작을 설명하기에 앞서, 본 발명을 간단하게 요약해 보면, 본 발명은 시각 장애인 또는 노인과 같이 주변 환경 정보를 빠르게 파악하고 대응하기 어려운 사회적 약자의 안전을 위한 것으로서, 본 발명에 따른 영상 분석 기반 상황 판단형 기기를 안경형 또는 어깨 착용형 기기 형태로 제작하여 보행시 용이하게 이용할 수 있도록 한 것이다. 이러한 기기를 착용한 경우, 해당 기기는 카메라로부터 입력되는 영상정보를 분석하여 주변 환경 정보를 파악하고, 파악된 주변 환경 정보를 음성 혹은 진동과 같은 방법을 사용하여 사용자에게 제공하도록 한 것이다. 이러한 기기에 대한 구체적인 구성 및 동작에 대하여 살펴보자. BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description when taken in conjunction with the accompanying drawings, in which: FIG. , And the image analysis based condition determining device according to the present invention can be manufactured in the form of a spectacles type or a shoulder wearing type device so that it can be easily used when walking. When such a device is worn, the device analyzes the image information input from the camera, grasps the surrounding information, and provides the user with the information of the surrounding environment by using a method such as voice or vibration. Let's look at the specific configuration and operation of these devices.

도 1은 본 발명에 따른 영상 분석 기반 상황 판단형 가이드 장치에 대한 블록 구성을 나타낸 도면이다. FIG. 1 is a block diagram illustrating an image analysis based situation determination type guide apparatus according to the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 영상 분석 기반 상황 판단형 가이드 장치는, 구동 선택부(10), 영상 획득부(20), 제어부(30), 저장부(40) 및 출력부(50)를 포함할 수 있다. 이러한 구성은 상기한 바와 같이 안경이나, 어깨 등에 착용할 수 있도록 하나의 장치로 구성될 수 있다. 1, the image analysis-based situation determination type guide device according to the present invention includes a driving selection unit 10, an image acquisition unit 20, a control unit 30, a storage unit 40, and an output unit 50). Such a configuration may be constituted by one device so that it can be worn on glasses, a shoulder, or the like as described above.

상기 구동 선택부(10)는 본 발명에 따른 장치의 구동 및 종료를 사용자로부터 입력이 가능하도록 한 것이다. 사용자로부터 구동 선택부(10)를 통해 구동 신호가 선택된 경우, 해당 구동 선택 신호는 제어부(30)로 제공한다. The drive selection unit 10 allows the user to input the start and stop of the apparatus according to the present invention. When the drive signal is selected from the user through the drive selection unit 10, the drive selection signal is provided to the control unit 30. [

영상 획득부(20)는 구동 선택부(10)를 통해 사용자가 구동 선택신호를 입력한 경우, 주변 즉, 전방의 영상을 획득하여 획득한 영상을 제어부(30)로 제공한다. When the user inputs the drive selection signal through the drive selection unit 10, the image acquisition unit 20 acquires the image of the surroundings, that is, the forward image, and provides the image to the control unit 30.

제어부(30)는 상기 구동 선택부(10)으로부터 제공되는 사용자의 구동 선택신호에 따라 영상 획득부(20)를 통해 전방 영상의 촬영이 이루어지도록 영상 획득부(20)를 제어한다. The control unit 30 controls the image acquisition unit 20 to capture a forward image through the image acquisition unit 20 according to a drive selection signal provided from the drive selection unit 10. [

제어부(30)는 영상 획득부(20)를 통해 제공되는 획득 영상은 저장부(40)에 저장하고, 획득한 영상을 분석하여 분석 영상을 기반으로 사용자에게 가이드가 이루어져야 할 이벤트가 발행했는지를 판단한다. The control unit 30 stores the acquired image provided through the image acquisition unit 20 in the storage unit 40, analyzes the acquired image, and determines whether the user has issued an event to be guided based on the analyzed image do.

상기 이벤트 판단 결과, 이벤트가 발생되지 않은 경우, 제어부(30)는 상기와 같은 영상 분석 및 이벤트 발생 여부를 지속적으로 판단하고, 이벤트가 발생한 경우 제어부(30)는 사용자와 객체의 방향 정보를 분석하게 된다. As a result of the event determination, if no event is generated, the controller 30 continuously determines whether the image analysis and the event are generated, and when an event occurs, the controller 30 analyzes the direction information of the user and the object do.

제어부(30)는 이벤트가 발생하여 상기와 같이 사용자와 객체의 방향 정보가 분석되면, 출력부(50)로 이벤트 발생 및 객체의 방향을 알리는 알림 정보를 제공하여 사용작사 이를 확인할 수 있도록 한다. When the direction information of the user and the object is analyzed as described above, the control unit 30 provides the output unit 50 with notification information informing the occurrence of the event and the direction of the object so that the user can confirm the usage.

출력부(50)는 상기 제어부(30)에서 제공되는 알림 정보를 음성으로 출력하거나, 진동을 발생하여 사용자에게 피드백하는 것이다.The output unit 50 outputs the notification information provided by the control unit 30 by voice or generates a vibration and feeds back the information to the user.

이와 같이 구성된 본 발명에 따른 영상 분석 기반 상황 판단형 가이드 장치의 구체적인 동작에 대하여 살펴보자. Hereinafter, a specific operation of the image analysis based context-aware guide device according to the present invention will be described.

먼저, 사용자가 구동 선택부(10)를 통해 본 발명에 따른 장치의 구동을 위한 구동 선택신호가 선택되면, 해당 구동 선택신호는 제어부(30)로 제공된다. 여기서, 구동 선택부(10)는 사용자가 직접적으로 선택할 수 있는 스위치 형태로 구성될 수도 있고, 음성 인식을 통해 구동 및 종료를 선택할 수도 있을 것이다. 음성 인식 방법에 대해서는 이미 공지된 기술이기 때문에 상태 구성 및 동작 설명은 생략하기로 한다. First, when a drive selection signal for driving the apparatus according to the present invention is selected by the user through the drive selection unit 10, the drive selection signal is provided to the control unit 30. Here, the drive selection unit 10 may be configured as a switch type directly selectable by the user, or may select drive and termination through voice recognition. Since the speech recognition method is a known technique, the description of the state configuration and operation will be omitted.

제어부(30)는 상기 구동 선택부(10)으로부터 제공되는 사용자의 구동 선택신호에 따라 영상 획득부(20)를 통해 전방 영상의 촬영이 이루어지도록 영상 획득부(20)를 제어한다. The control unit 30 controls the image acquisition unit 20 to capture a forward image through the image acquisition unit 20 according to a drive selection signal provided from the drive selection unit 10. [

따라서, 영상 획득부(20)는 제어부(30)의 제어에 따라 구동되고, 구동에 따라 주변 즉, 전, 후, 좌, 우 방향의 영상을 획득하여 획득한 영상을 제어부(30)로 제공한다. 여기서, 영상 획득부(20)는 카메라 일 수 있으며, 카메라는 어떠한 종류의 카메라를 이용하여도 무방할 것이다. Accordingly, the image acquisition unit 20 is driven under the control of the control unit 30, and acquires the images of the surroundings, that is, the images in the front, back, left, and right directions, and provides the acquired images to the control unit 30 . Here, the image acquisition unit 20 may be a camera, and the camera may be any type of camera.

제어부(30)는 영상 획득부(20)를 통해 제공되는 획득 영상을 저장부(40)에 저장하고, 획득한 영상을 분석하여 분석 영상을 기반으로 사용자에게 가이드가 이루어져야 할 이벤트가 발행했는지를 판단한다. 여기서, 상기 획득한 영상의 분석은 사용자의 안전과 관련된 상황 판단을 수행하기 위한 것으로, 객체 분할(Object Segmentation), 객체의 크기 분석, 객체와의 거리 분석, 객체의 이동 속도 분석, 객체의 이동 방향 분석 및 객체의 종류 분석을 수행할 수 있다. 이와 같은 분석 방법들은 이미 공지된 기술로서, 상세 설명은 생략하기로 한다. 한편, 제어부(30)에서의 이벤트 판단은 상기 분석된 객체의 크기, 객체와의 거리, 객체의 속도, 객체의 이동 방향 및 객체의 종류 정보를 기반으로 판단할 수 있으며, 이러한 이벤트는 주변 환경 정보가 사용자의 안전과 관련이 있다고 판별되는 경우에 발생한다. The control unit 30 stores the acquired image provided through the image acquisition unit 20 in the storage unit 40 and analyzes the acquired image to determine whether the user has issued an event to be guided based on the analyzed image do. Here, the analysis of the acquired image is for performing a situation determination related to the safety of the user. The analysis includes an object segmentation, an object size analysis, a distance analysis to an object, a movement speed analysis of an object, Analysis and classification of objects can be performed. Such analytical methods are well known in the art and will not be described in detail. On the other hand, the event determination in the controller 30 can be performed based on the size of the analyzed object, the distance to the object, the speed of the object, the moving direction of the object, and the type information of the object. Is determined to be related to the safety of the user.

상기 이벤트 판단 결과, 이벤트가 발생되지 않은 경우, 제어부(30)는 상기와 같은 영상 분석 및 이벤트 발생 여부를 지속적으로 판단하고, 이벤트가 발생한 경우 제어부(30)는 사용자와 객체의 방향 정보를 분석하게 된다. 여기서, 카메라 각도 및 영상 객체 정보를 기반으로 이벤트가 발생한 방향을 분석하고, 이벤트 발생 방향은 사용자의 정면을 기준으로 전, 후, 좌, 우와 같은 기본 방향 정보 및 각도정보를 기반으로 표현할 수 있다. 여기서, 객체의 방향 정보는 저장부(40)에 저장된 이전 영상과의 비교에 따라 객체의 이동 방향을 분석할 수 있을 것이다. As a result of the event determination, if no event is generated, the controller 30 continuously determines whether the image analysis and the event are generated, and when an event occurs, the controller 30 analyzes the direction information of the user and the object do. Here, the direction of the event is analyzed based on the camera angle and the image object information, and the direction of the event generation can be expressed based on the basic direction information and angle information such as front, back, left, and right based on the front of the user. Here, the direction information of the object may be analyzed in accordance with the comparison with the previous image stored in the storage unit 40. FIG.

제어부(30)는 이벤트가 발생하여 상기와 같이 사용자와 객체의 방향 정보가 분석되면, 출력부(50)로 이벤트 발생 및 객체의 방향을 알리는 알림 정보를 제공하여 사용작사 이를 확인할 수 있도록 한다. When the direction information of the user and the object is analyzed as described above, the control unit 30 provides the output unit 50 with notification information informing the occurrence of the event and the direction of the object so that the user can confirm the usage.

출력부(50)는 음성 출력장치 즉, 스피커 또는 진동을 발생하는 진동 발생장치 일 수 있으며, 상기 제어부(30)에서 제공되는 알림 정보를 음성으로 출력하거나, 진동을 발생하여 사용자에게 피드백하는 것이다.
The output unit 50 may be a sound output device, that is, a speaker or a vibration generating device that generates vibration. The control unit 30 outputs the notification information provided by the control unit 30 by voice or generates vibration to feedback the user.

이하, 상기한 바와 같은 본 발명에 따른 영상 분석 기반 상황 판단형 가이드 장치의 동작과 상응하는 본 발명에 따른 영상 분석 기반 상황 판단형 가이드 방법에 대하여 도 2를 참조하여 단계적으로 살펴보기로 하자. Hereinafter, an image analysis-based situation determination type guide method according to the present invention corresponding to the operation of the image analysis-based situation determination type guide apparatus according to the present invention will be described in detail with reference to FIG.

도 2는 본 발명에 따른 영상 분석 기반 상황 판단형 가이드 방법에 대한 동작 플로우챠트를 나타낸 도면이다. FIG. 2 is a flowchart illustrating an operation of the image analysis based context-based guidance method according to the present invention.

도 2에 도시된 바와 같이, 먼저 사용자의 보행중 사용자 입력이 있는지를 판단한다(S201). 즉, 보행중 사용자에 의해 본 발명에 따른 영상 분석 기반 상황 판단형 가이드 장치의 구동을 위한 구동 선택신호가 입력되었는지를 판단한다. As shown in FIG. 2, it is determined whether there is a user input during the user's walking (S201). That is, it is determined whether a driving selection signal for driving the image analysis-based situation-determining guide device according to the present invention is input by the user during the walk.

판단 결과, 사용자에 의해 구동 선택신호가 입력된 경우, 안경이나 어깨 등에 장착할 수 있는 장치에 전,후,좌,우 방향의 영상을 촬영할 수 있는 카메라를 구동하여 각 방향의 영상을 획득한다(S202).As a result of the determination, if a driving selection signal is input by the user, a camera capable of capturing an image in front, back, left, and right directions is driven on a device that can be mounted on a spectacle or a shoulder, S202).

이와 같이 보행중 전, 후, 좌, 우측 방향의 영상이 획득되면, 획득한 영상을 분석한다(S203).When the images of the front, rear, left, and right directions are obtained, the acquired image is analyzed (S203).

영상 분석이 이루어지면, 분석 영상을 기반으로 사용자에게 가이드가 이루어져야 할 이벤트가 발행했는지를 판단한다(S204). 여기서, 상기 획득한 영상의 분석은 사용자의 안전과 관련된 상황 판단을 수행하기 위한 것으로, 객체 분할(Object Segmentation), 객체의 크기 분석, 객체와의 거리 분석, 객체의 이동 속도 분석, 객체의 이동 방향 분석 및 객체의 종류 분석을 수행할 수 있다. 이와 같은 분석 방법들은 이미 공지된 기술로서, 상세 설명은 생략하기로 한다. 한편, 제어부(30)에서의 이벤트 판단은 상기 분석된 객체의 크기, 객체와의 거리, 객체의 속도, 객체의 이동 방향 및 객체의 종류 정보를 기반으로 판단할 수 있으며, 이러한 이벤트는 주변 환경 정보가 사용자의 안전과 관련이 있다고 판별되는 경우에 발생한다. When the image analysis is performed, it is determined whether an event to be guided to the user is issued based on the analysis image (S204). Here, the analysis of the acquired image is for performing a situation determination related to the safety of the user. The analysis includes an object segmentation, an object size analysis, a distance analysis to an object, a movement speed analysis of an object, Analysis and classification of objects can be performed. Such analytical methods are well known in the art and will not be described in detail. On the other hand, the event determination in the controller 30 can be performed based on the size of the analyzed object, the distance to the object, the speed of the object, the moving direction of the object, and the type information of the object. Is determined to be related to the safety of the user.

상기 S204 단계에서의 이벤트 판단 결과, 이벤트가 발생되지 않은 경우, 상기 S202단계로 피드백되어 영상 분석 및 이벤트 발생 여부를 지속적으로 판단한다. As a result of the event determination in step S204, if no event is generated, the flow returns to step S202 to continuously determine whether the image analysis and the event are generated.

그러나, 상기 S204단계에 이벤트 판단 결과, 이벤트가 발생한 경우 사용자와 객체의 방향 정보를 분석하게 된다(S205). 여기서, 카메라 각도 및 영상 객체 정보를 기반으로 이벤트가 발생한 방향을 분석하고, 이벤트 발생 방향은 사용자의 정면을 기준으로 전, 후, 좌, 우와 같은 기본 방향 정보 및 각도정보를 기반으로 표현할 수 있다. 여기서, 객체의 방향 정보는 메모리에 저장된 이전 영상과의 비교에 따라 객체의 이동 방향을 분석할 수 있을 것이다. As a result of the event determination in step S204, when the event occurs, the direction information of the user and the object is analyzed (S205). Here, the direction of the event is analyzed based on the camera angle and the image object information, and the direction of the event generation can be expressed based on the basic direction information and angle information such as front, back, left, and right based on the front of the user. Here, the direction information of the object may be analyzed according to the comparison with the previous image stored in the memory.

이어, 상기 S205단계에서와 같이, 이벤트가 발생하여 사용자와 객체의 방향 정보가 분석되면, 이벤트 발생 및 객체의 방향을 사용자에게 통지하기 위한 피드백 정보 즉, 알림 정보를 생성한다(S206).When the direction information of the user and the object is analyzed as in the step S205, feedback information for notifying the user of the occurrence of the event and the direction of the object, that is, the notification information, is generated (S206).

이와 같이, 알림 정보가 생성되면, 음성 출력장치 즉, 스피커를 통해 알림 정보를 음성으로 출력하거나, 진동을 발생하는 진동 발생장치를 통해 진동으로 알림 정보를 출력하여 사용자에게 피드백하는 것이다(S207).
When the notification information is generated, the notification information is outputted as a voice through the voice output device, that is, the speaker, or the vibration information is output through the vibration generating device that generates the vibration, and the feedback information is output to the user (S207).

본 발명에 따른 영상 분석 기반 상황 판단형 가이드 장치 및 방법을 실시예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.The present invention is not limited to the specific embodiments, and various changes and modifications may be made without departing from the spirit and scope of the invention as defined in the appended claims. And various alternatives, modifications, and alterations can be made within the scope.

따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
Therefore, the embodiments described in the present invention and the accompanying drawings are intended to illustrate rather than limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and accompanying drawings . The scope of protection of the present invention should be construed according to the claims, and all technical ideas within the scope of equivalents should be interpreted as being included in the scope of the present invention.

10 : 구동 선택부
20 : 영상 획득부
30 : 제어부
40 : 저장부
50 : 출력부10:
20:
30:
40:
50: Output section

Claims (6)

사용자의 선택에 따라 보행중 각 방향에 대한 영상을 획득하는 영상 획득부;
상기 획득한 영상으로부터 객체를 분할하고, 분할된 객체의 크기, 객체와의 거리, 객체의 속도, 객체의 이동방향 및 객체의 종류를 분석한 후, 분석된 정보를 기반으로 사용자의 보행을 가이드해야 할 이벤트가 발생하였는지를 판단하고, 이벤트가 발생된 경우, 사용자와 객체의 방향 정보를 분석하여 사용자에게 이를 통지하기 위한 알림 정보를 생성하는 제어부; 및
상기 제어부에서 생성된 알림 정보를 음성 또는 진동으로 출력하는 출력부를 포함하는 것인 영상 분석 기반 상황 판단형 가이드 장치.
An image acquiring unit for acquiring an image for each direction during walking according to a user's selection;
After the object is divided from the acquired image, the size of the divided object, the distance to the object, the speed of the object, the moving direction of the object and the type of the object are analyzed, and the user's walking is guided based on the analyzed information A controller for analyzing the direction information of the user and the object and generating notification information for notifying the user of the event when the event is generated; And
And an output unit for outputting the notification information generated by the control unit by voice or vibration.
제1항에 있어서,
상기 가이드 장치는 안경, 어깨 장착형 기기, 모자 중 적어도 하나의 형태로 적용되는 것인 영상 분석 기반 상황 판단형 가이드 장치.
The method according to claim 1,
Wherein the guide device is applied in the form of at least one of glasses, shoulder-mounted devices, and caps.
제1항에 있어서,
상기 제어부는,
이벤트가 발생한 경우, 영상 획득부의 각도 및 상기 분할된 객체의 크기, 객체와의 거리, 객체의 속도, 객체의 이동방향 정보를 기반으로 이벤트가 발생한 방향을 분석하는 것인 영상 분석 기반 상황 판단형 가이드 장치.
The method according to claim 1,
Wherein,
An image analysis based situation judgment guide which analyzes an event occurrence direction based on an angle of an image acquisition unit and a size of the divided object, a distance to the object, a velocity of the object, Device.
사용자의 선택에 따라 보행중 각 방향에 대한 영상을 획득하는 단계;
상기 획득한 영상으로부터 객체를 분할하고, 분할된 객체의 크기, 객체와의 거리, 객체의 속도, 객체의 이동방향 및 객체의 종류를 분석한 후, 분석된 정보를 기반으로 사용자의 보행을 가이드해야 할 이벤트가 발생하였는지를 판단하고, 이벤트가 발생된 경우, 사용자와 객체의 방향 정보를 분석하여 사용자에게 이를 통지하기 위한 알림 정보를 생성하는 단계; 및
상기 제어부에서 생성된 알림 정보를 출력하는 단계를 포함하는 것인 영상 분석 기반 상황 판단형 가이드 방법.
Obtaining an image for each direction during walking according to a user's selection;
After the object is divided from the acquired image, the size of the divided object, the distance to the object, the speed of the object, the moving direction of the object and the type of the object are analyzed, and the user's walking is guided based on the analyzed information Determining whether an event to be performed has occurred, generating notification information for notifying the user of the direction information of the user and the object when the event is generated; And
And outputting the alert information generated by the control unit.
제4항에 있어서,
상기 이벤트가 발생한 경우, 영상 획득부의 각도 및 상기 분할된 객체의 크기, 객체와의 거리, 객체의 속도, 객체의 이동방향 정보를 기반으로 이벤트가 발생한 방향을 분석하는 것인 영상 분석 기반 상황 판단형 가이드 방법.
5. The method of claim 4,
Wherein the direction of the event is analyzed based on the angle of the image acquiring unit, the size of the divided object, the distance to the object, the speed of the object, and the direction information of the object when the event occurs, Guide method.
제4항에 있어서,
상기 알림정보의 출력은, 음성 또는 진동을 통해 출력하는 것인 영상 분석 기반 상황 판단형 가이드 장치. 5. The method of claim 4,
And the output of the announcement information is output through voice or vibration.
KR1020170024810A 2017-02-24 2017-02-24 Situation determining guide apparatus and method based image analysis KR20180097962A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170024810A KR20180097962A (en) 2017-02-24 2017-02-24 Situation determining guide apparatus and method based image analysis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170024810A KR20180097962A (en) 2017-02-24 2017-02-24 Situation determining guide apparatus and method based image analysis

Publications (1)

Publication Number Publication Date
KR20180097962A true KR20180097962A (en) 2018-09-03

Family

ID=63601082

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170024810A KR20180097962A (en) 2017-02-24 2017-02-24 Situation determining guide apparatus and method based image analysis

Country Status (1)

Country Link
KR (1) KR20180097962A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110269787A (en) * 2019-06-26 2019-09-24 青岛海尔科技有限公司 A kind of blind-guiding method, device and cap
KR102024111B1 (en) * 2018-11-16 2019-09-24 동국대학교 산학협력단 Smart stick for weak person using a microcomputer and an obstacle warning method of the smart stick
CN111060074A (en) * 2019-12-25 2020-04-24 深圳壹账通智能科技有限公司 Navigation method, device, computer equipment and medium based on computer vision
KR102234079B1 (en) * 2020-11-26 2021-03-31 (주)에스알포스트 The vision assistance device and method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102024111B1 (en) * 2018-11-16 2019-09-24 동국대학교 산학협력단 Smart stick for weak person using a microcomputer and an obstacle warning method of the smart stick
CN110269787A (en) * 2019-06-26 2019-09-24 青岛海尔科技有限公司 A kind of blind-guiding method, device and cap
CN111060074A (en) * 2019-12-25 2020-04-24 深圳壹账通智能科技有限公司 Navigation method, device, computer equipment and medium based on computer vision
WO2021128834A1 (en) * 2019-12-25 2021-07-01 深圳壹账通智能科技有限公司 Navigation method and apparatus based on computer vision, computer device, and medium
KR102234079B1 (en) * 2020-11-26 2021-03-31 (주)에스알포스트 The vision assistance device and method
KR20220073606A (en) * 2020-11-26 2022-06-03 (주) 에스알포스트 The vision assistance device and method capable of escalator object recognition
KR20220073607A (en) * 2020-11-26 2022-06-03 (주) 에스알포스트 The vision assistance device and method capable of stair object recognition

Similar Documents

Publication Publication Date Title
Poggi et al. A wearable mobility aid for the visually impaired based on embedded 3D vision and deep learning
US20200043368A1 (en) Personal navigation system
KR20180097962A (en) Situation determining guide apparatus and method based image analysis
KR101054025B1 (en) Visually impaired walking guidance method and system
KR20150097043A (en) Smart System for a person who is visually impaired using eyeglasses with camera and a cane with control module
CN107111317B (en) Moving body
Goldhammer et al. Early prediction of a pedestrian's trajectory at intersections
Patel et al. Multisensor-based object detection in indoor environment for visually impaired people
Kuribayashi et al. Linechaser: a smartphone-based navigation system for blind people to stand in lines
Hakim et al. Navigation system for visually impaired people based on RGB-D camera and ultrasonic sensor
Ilag et al. Design review of Smart Stick for the Blind Equipped with Obstacle Detection and Identification using Artificial Intelligence
Wei et al. A new vision and navigation research for a guide-dog robot system in urban system
Wei et al. A guide-dog robot system research for the visually impaired
Madake et al. A Qualitative and Quantitative Analysis of Research in Mobility Technologies for Visually Impaired People
US20200000391A1 (en) Operation aptitude judgment device and operation aptitude judgment method
Patel et al. Review of sensor-driven assistive device technologies for enhancing navigation for the visually impaired
JP7036329B1 (en) Worksite management system, worksite management method, and worksite management program
KR20160081589A (en) Front detection device of glasses type
Han et al. Fuzzy gaze control-based navigational assistance system for visually impaired people in a dynamic indoor environment
Chaudhary et al. State of art on wearable device to assist visually impaired person navigation in outdoor environment
Gaikwad et al. Ultrasonic smart cane indicating a safe free path to blind people
Kunapareddy et al. Smart Vision based Assistant for Visually Impaired
Wei et al. Smart rope and vision based guide-dog robot system for the visually impaired self-walking in urban system
KR102234079B1 (en) The vision assistance device and method
Yusro et al. Concept and design of SEES (Smart Environment Explorer Stick) for visually impaired person mobility assistance