KR20230105698A - AI vision navigation for the visually impaired - Google Patents

AI vision navigation for the visually impaired Download PDF

Info

Publication number
KR20230105698A
KR20230105698A KR1020220000183A KR20220000183A KR20230105698A KR 20230105698 A KR20230105698 A KR 20230105698A KR 1020220000183 A KR1020220000183 A KR 1020220000183A KR 20220000183 A KR20220000183 A KR 20220000183A KR 20230105698 A KR20230105698 A KR 20230105698A
Authority
KR
South Korea
Prior art keywords
road
analysis step
route
vision navigation
road environment
Prior art date
Application number
KR1020220000183A
Other languages
Korean (ko)
Inventor
신수용
이만희
Original Assignee
금오공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 금오공과대학교 산학협력단 filed Critical 금오공과대학교 산학협력단
Priority to KR1020220000183A priority Critical patent/KR20230105698A/en
Publication of KR20230105698A publication Critical patent/KR20230105698A/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A61H2003/063—Walking aids for blind persons with electronic detecting or guiding means with tactile perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/01—Constructive details
    • A61H2201/0173—Means for preventing injuries
    • A61H2201/0184—Means for preventing injuries by raising an alarm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5064—Position sensors

Abstract

본 발명은 시각 장애인을 위한 AI 비전 네비게이션에 관한 것으로, 보다 상세하게는 지도 데이터를 통해 제공되는 경로 안내와 함께 전방 및 후방의 도로 환경을 분석하여 시각 장애인에게 음성 및 진동으로 안내할 수 있는 시각 장애인을 위한 AI 비전 네비게이션에 관한 것이다.
또한, AI 프로그램을 이용한 정보 입력단계와 상기 정보 입력단계를 통해 입력된 도착지까지의 경로를 연산하여 경로를 안내하는 경로 안내단계와 전방 카메라를 통해 전방 도로를 촬영하고, 촬영된 이미지를 통해 전방의 도로 환경을 분석하는 전방 분석단계와 후방 카메라를 통해 후방 도로를 촬영하고, 촬영된 이미지를 통해 후방의 도로 환경을 분석하는 후방 분석단계와 상기 전방 분석단계 및 후방 분석단계를 통해 분석된 도로 환경 분석 결과를 사용자에게 알려주는 알림단계를 포함하는 것을 특징으로 한다.The present invention relates to an AI vision navigation for the visually impaired, and more particularly, to analyze the road environment in front and rear along with route guidance provided through map data to provide guidance to the visually impaired through voice and vibration. It is about AI vision navigation for people.
In addition, the information input step using the AI program and the route guidance step of guiding the route by calculating the route to the destination input through the information input step, and photographing the front road through the front camera, and photographing the front road through the photographed image. The front analysis step of analyzing the road environment, the rear analysis step of photographing the rear road through the rear camera and analyzing the rear road environment through the photographed image, and the analysis of the road environment analyzed through the front and rear analysis steps It is characterized in that it includes a notification step of notifying the user of the result.

Description

시각 장애인을 위한 AI 비전 네비게이션{AI vision navigation for the visually impaired}AI vision navigation for the visually impaired}

본 발명은 시각 장애인을 위한 AI 비전 네비게이션에 관한 것으로, 보다 상세하게는 지도 데이터를 통해 제공되는 경로 안내와 함께 전방 및 후방의 도로 환경을 분석하여 시각 장애인에게 음성 및 진동으로 안내할 수 있는 시각 장애인을 위한 AI 비전 네비게이션에 관한 것이다.The present invention relates to an AI vision navigation for the visually impaired, and more particularly, to analyze the road environment in front and rear along with route guidance provided through map data to provide guidance to the visually impaired through voice and vibration. It is about AI vision navigation for people.

일반적으로 시각 장애인은 지팡이나, 안내견의 도움을 받아 보행을 하고 있다.BACKGROUND OF THE INVENTION Generally, visually impaired people walk with the help of a cane or a guide dog.

하지만, 지팡이 및 안내견의 도움만으로는 수 많은 변수가 발생할 수 있는 도로 환경의 변화에 대응하여 보행하기에 어려운 문제점이 있었다.However, there is a problem in that it is difficult to walk in response to changes in the road environment in which numerous variables can occur only with the help of a cane and a guide dog.

이에 따라, 한국공개특허 제 10-2021-0059104호 "시각장애인용 스마트 지팡이"와 같이 GPS 정보와 카메라를 이용하여 목적지를 안내하고, 장애물에 따라 경고 알림을 발생시켜줄 수 있는 장치가 개발되고 있으나, 시각 장애인이 직접 경로를 입력하기에 어려움이 있었다.Accordingly, devices such as Korean Patent Publication No. 10-2021-0059104 "Smart Cane for the Visually Impaired" are being developed that can guide destinations using GPS information and cameras and generate warning notifications according to obstacles, It was difficult for the visually impaired to directly input the route.

또한, 전방 장애물 이외에 후방에서 다가오는 사람이나, 차량 등의 위험을 알려주기 어렵고, 음성 정보만으로 모든 정보를 알려주기에는 정보량이 너무 많은 문제점이 있었다.In addition, it is difficult to notify dangers of people or vehicles approaching from the rear other than front obstacles, and there is a problem in that the amount of information is too large to inform all information only with voice information.

한국공개특허 제 10-2021-0059104호 "시각장애인용 스마트 지팡이"Korean Patent Publication No. 10-2021-0059104 "Smart Cane for the Visually Impaired"

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위해 안출된 것으로서, 전방의 도로 환경과 후방의 도로 환경을 복합적으로 안내해주기 위한 시각 장애인을 위한 AI 비전 네비게이션을 제공하는 것이다.An object of the present invention has been made to solve the above-described problems, to provide an AI vision navigation for the visually impaired to provide complex guidance on the road environment in front and the road environment in the rear.

본 발명의 다른 목적은 전방의 도로 환경 정보와 후방의 도로 환경 정보를 다른 방법으로 안내해주기 위한 시각 장애인을 위한 AI 비전 네비게이션을 제공하는 것이다.Another object of the present invention is to provide an AI vision navigation for the visually impaired to guide the road environment information of the front and the road environment of the rear in different ways.

상기 목적을 달성하기 위해 본 발명에 따른 시각 장애인을 위한 AI 비전 네비게이션은 AI 프로그램을 이용한 정보 입력단계와 상기 정보 입력단계를 통해 입력된 도착지까지의 경로를 연산하여 경로를 안내하는 경로 안내단계와 전방 카메라를 통해 전방 도로를 촬영하고, 촬영된 이미지를 통해 전방의 도로 환경을 분석하는 전방 분석단계와 후방 카메라를 통해 후방 도로를 촬영하고, 촬영된 이미지를 통해 후방의 도로 환경을 분석하는 후방 분석단계와 상기 전방 분석단계 및 후방 분석단계를 통해 분석된 도로 환경 분석 결과를 사용자에게 알려주는 알림단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, the AI vision navigation for the visually impaired according to the present invention includes an information input step using an AI program and a route guidance step of guiding the route by calculating a route to the destination input through the information input step and forward A front analysis step of photographing the road ahead through the camera and analyzing the road environment in front through the photographed image, and a rear analysis step of photographing the rear road through the rear camera and analyzing the rear road environment through the photographed image and a notification step of notifying the user of the analysis result of the road environment analyzed through the front analysis step and the rear analysis step.

또한, 상기 경로 안내단계는 저장된 로드뷰 데이터를 바탕으로 3D 맵핑을 실시한 후 저장된 지도 데이터와의 경로상 차이점을 비교연산하여 차이나는 경로에 대해 알림단계를 통해 알려주도록 구성된 것을 특징으로 한다.In addition, the route guidance step is characterized in that it is configured to perform 3D mapping based on the stored road view data, compare and calculate differences in the route with the stored map data, and notify the difference route through the notification step.

또한, 상기 전방 분석단계는 실시간으로 촬영된 전방 도로 이미지에서 장애물을 검출하고, 장애물과의 거리를 연산하여 장애물과의 거리를 알림단계를 통해 알려주도록 구성된 것을 특징으로 한다.In addition, the forward analysis step is characterized in that it is configured to detect an obstacle from a front road image captured in real time, calculate a distance to the obstacle, and notify the distance to the obstacle through a notification step.

또한, 상기 전방 분석단계는 실시간으로 촬영된 전방 도로 이미지에서 신호등의 램프를 검출하여 신호등 신호 상황을 알림단계를 통해 알려주도록 구성된 것을 특징으로 한다.In addition, the forward analysis step is characterized in that it is configured to detect a lamp of a traffic light in a real-time photographed forward road image and notify a traffic light signal condition through an informing step.

또한, 상기 후방 분석단계는 실시간으로 촬영된 후방 도로 이미지에서 움직이는 물체를 검출하고, 움직이는 물체의 예상 경로를 연산하여 근접하는 물체의 좌,우 위치에 따라 알림단계를 통해 진동의 패턴을 달리하여 알려주도록 구성된 것을 특징으로 한다.In addition, the rear analysis step detects a moving object from the rear road image taken in real time, calculates an expected path of the moving object, and informs the user of the vibration pattern through a notification step according to the left and right positions of the approaching object. It is characterized in that it consists of a catalog.

또한, 상기 전방 분석단계 및 후방 분석단계는 전방 카메라와 후방 카메라를 통해 촬영된 이미지를 합성하여 360도 이미지를 생성한 후 사용자의 진행방향에 따라 변경되는 전방 및 후방 방향을 반영하여 도로 환경을 분석하도록 구성되는 것을 특징으로 한다.In addition, the front analysis step and the rear analysis step generate a 360-degree image by synthesizing images taken through the front camera and the rear camera, and then analyze the road environment by reflecting the front and rear directions that change according to the user's traveling direction. It is characterized in that it is configured to.

상술한 바와 같이, 본 발명에 따른 시각 장애인을 위한 AI 비전 네비게이션에 의하면, 스마트폰의 전방 카메라와 후방 카메라를 이용하여 전방의 도로 환경과 후방의 도로 환경을 360도 범위로 촬영하여 전방의 도로 환경 정보와 후방의 도로 환경 정보를 복합적으로 안내해줄 수 있는 효과가 있다.As described above, according to the AI vision navigation for the visually impaired according to the present invention, the front road environment and the rear road environment are photographed in a 360-degree range using the front and rear cameras of the smartphone to capture the front road environment. There is an effect of being able to guide information and road environment information in the rear in a complex way.

또한, 본 발명에 따른 시각 장애인을 위한 AI 비전 네비게이션에 의하면, 전방의 도로 환경 정보 분석결과를 음석으로 안내하고, 후방의 도로 환경 정보를 좌,우 위치에 따라 진동의 패턴을 달리하여 알려줌으로써, 다양한 정보를 한번에 안내할 수 있는 효과가 있다.In addition, according to the AI vision navigation for the visually impaired according to the present invention, the analysis result of the road environment information in the front is guided by sound, and the road environment information in the rear is informed by different patterns of vibration depending on the left and right positions, It has the effect of being able to guide various information at once.

도 1은 본 발명에 따른 시각 장애인을 위한 AI 비전 네비게이션의 동작을 도시한 흐름도.
도 2는 본 발명에 따른 시각 장애인을 위한 AI 비전 네비게이션의 다른 실시예에 따른 동작을 도시한 흐름도.1 is a flowchart illustrating the operation of AI vision navigation for the visually impaired according to the present invention.
2 is a flowchart illustrating an operation according to another embodiment of AI vision navigation for the visually impaired according to the present invention.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.Specific structural or functional descriptions of the embodiments according to the concept of the present invention disclosed in this specification are only illustrated for the purpose of explaining the embodiments according to the concept of the present invention, and the embodiments according to the concept of the present invention It can be embodied in various forms and is not limited to the embodiments described herein.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.Embodiments according to the concept of the present invention can apply various changes and have various forms, so the embodiments are illustrated in the drawings and described in detail in this specification. However, this is not intended to limit the embodiments according to the concept of the present invention to specific disclosure forms, and includes all changes, equivalents, or substitutes included in the spirit and technical scope of the present invention.

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명하면 다음과 같다.Hereinafter, a preferred embodiment of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명에 따른 시각 장애인을 위한 AI 비전 네비게이션의 동작을 도시한 흐름도이며, 도 2는 본 발명에 따른 시각 장애인을 위한 AI 비전 네비게이션의 다른 실시예에 따른 동작을 도시한 흐름도이다.1 is a flowchart illustrating the operation of AI vision navigation for the visually impaired according to the present invention, and FIG. 2 is a flowchart illustrating the operation of AI vision navigation for the visually impaired according to another embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 시각 장애인을 위한 AI 비전 네비게이션은 상용화된 어시스턴트(Assistant™), 빅스비(bixby™), 시리(Siri™)와 같은 스마트폰의 AI 비서 프로그램을 이용하여 사용자로부터 목적지 정보를 입력받는 정보 입력단계(S10)와 상기 정보 입력단계(S10)를 통해 입력된 도착지까지의 경로를 스마트폰 또는 서버에 저장된 지도 데이터를 이용하여 연산한 후 연산된 경로를 스마트폰의 스피커 또는 스마트폰과 연결된 이어폰을 통해 사용자에게 안내하는 경로 안내단계(S20)와 스마트폰의 전방 카메라를 통해 전방 도로를 촬영하고, 촬영된 이미지를 통해 전방의 도로 환경을 분석하는 전방 분석단계(S30)와 스마트폰의 후방 카메라를 통해 후방 도로를 촬영하고, 촬영된 이미지를 통해 후방의 도로 환경을 분석하는 후방 분석단계(S40)와 상기 전방 분석단계(S30) 및 후방 분석단계(S40)를 통해 분석된 도로 환경 분석 결과를 사용자에게 알려주는 알림단계(S50)를 포함하여 구성된다.As shown in FIG. 1, the AI vision navigation for the visually impaired according to the present invention uses a commercially available AI assistant program of a smartphone such as Assistant™, Bixby™, and Siri™. After calculating the route to the destination input through the information input step (S10) of receiving destination information from the user and the map data stored in the smartphone or server through the information input step (S10), the calculated route is smart A route guidance step (S20) of guiding the user through the speaker of the phone or earphones connected to the smartphone, and a forward analysis step of photographing the road ahead through the front camera of the smartphone and analyzing the road environment in front through the captured image. (S30) and the rear analysis step (S40) of photographing the rear road through the rear camera of the smartphone and analyzing the rear road environment through the photographed image, and the front analysis step (S30) and the rear analysis step (S40) It is configured to include a notification step (S50) informing the user of the road environment analysis result analyzed through.

이때, 상기 전방 분석단계(S30)의 전방 카메라는 스마트폰의 이동 방향과 스마트폰의 전면 또는 후면 카메라가 향하는 방향을 복합적으로 고려하여, 전면 카메라 또는 후면 카메라 중 전방을 향하는 카메라를 선택적으로 전방 카메라로 인식하여 도로 환경을 분석하게 된다.At this time, the front camera of the front analysis step (S30) considers the moving direction of the smartphone and the direction of the front or rear camera of the smartphone in combination, and selects a front facing camera from among the front camera and the rear camera. and analyzes the road environment.

또한, 상기 후방 분석단계(S40)의 후방 카메라도 스마트폰의 이동 방향과 스마트폰의 전면 또는 후면 카메라가 향하는 방향을 복합적으로 고려하여, 전면 카메라 또는 후면 카메라 중 후방을 향하는 카메라를 선택적으로 후방 카메라로 인식하여 도로 환경을 분석하게 된다.In addition, the rear camera of the rear analysis step (S40) also considers the moving direction of the smartphone and the direction of the front or rear camera of the smartphone in a complex manner, and selects a camera facing the rear among the front camera and the rear camera as a rear camera. and analyzes the road environment.

즉, 사용자가 스마트폰의 후면 카메라를 진행방향측으로 향하면서 보행할 경우, 상기 전방 분석단계(S30)는 스마트폰의 후면 카메라를 전방 카메라로 인식하여 후면 카메라를 통해 촬영된 이미지를 바탕으로 전방의 도로 환경을 분석하고, 상기 후방 분석단계(S40)는 스마트폰의 전면 카메라를 후방 카메라로 인식하여 전면 카메라를 통해 촬영된 이미지를 바탕으로 후방의 도로 환경을 분석하게 되는 것이다.That is, when the user walks while pointing the rear camera of the smartphone in the direction of travel, the front analysis step (S30) recognizes the rear camera of the smartphone as a front camera, and based on the image taken through the rear camera, The road environment is analyzed, and in the rear analysis step (S40), the front camera of the smartphone is recognized as a rear camera, and the rear road environment is analyzed based on the image captured through the front camera.

또한, 상기 전방 분석단계(S30)는 실시간으로 촬영된 전방 도로 이미지에서 장애물을 검출하고, 장애물과의 거리를 연산하여 장애물과의 거리를 알림단계(S50)를 통해 알려주도록 구성된다.In addition, the forward analysis step (S30) is configured to detect an obstacle in the front road image captured in real time, calculate the distance to the obstacle, and notify the distance to the obstacle through the notification step (S50).

이때, 상기 장애물은 움직이는 물체의 방향 및 속도를 바탕으로 예상 경로를 연산하여 근접하는 것으로 판단되는 이동물체도 포함하도록 구성될 수 있으며, 이동물체의 경우 별도의 추가 알림을 주도록 실시될 수 있다.In this case, the obstacle may be configured to include a moving object that is determined to be approaching by calculating an expected path based on the direction and speed of the moving object, and in the case of a moving object, a separate additional notification may be given.

예를 들면, "5미터 전방 2시 방향에서 근접하는 이동물체가 있습니다."와 같은 형태로 알림을 줄 수 있다.For example, a notification may be given in the form of "There is a moving object approaching from 2 o'clock 5 meters ahead."

이와 같은 전방의 장애물 또는 진행 방향으로 근접하는 이동물체의 알림은 일정 거리 내로 진입한 순서대로 음성을 통해 알려주도록 구성됨이 바람직하다.It is preferable to notify of obstacles ahead or moving objects approaching in the direction of travel through voices in the order in which they entered within a certain distance.

또한, 상기 전방 분석단계(S30)는 실시간으로 촬영된 전방 도로 이미지에서 신호등의 램프 및 색상을 검출하여 신호등 신호 상황(색상 및 점멸상태)을 알림단계(S50)를 통해 알려주도록 구성될 수 있다.In addition, the front analysis step (S30) may be configured to detect the lamp and color of the traffic light in the real-time photographed front road image and notify the traffic light signal condition (color and blinking state) through the notification step (S50).

또한, 상기 후방 분석단계(S40)는 실시간으로 촬영된 후방 도로 이미지에서 움직이는 물체를 검출하고, 움직이는 물체의 예상 경로를 연산하여 근접하는 물체에 대한 정보를 알림단계(S50)를 통해 알려주게 된다.In addition, the rearward analysis step (S40) detects a moving object from the rear road image taken in real time, calculates an expected path of the moving object, and informs information on a nearby object through a notification step (S50).

이때, 사용자를 기준으로 근접하는 물체의 좌,우 위치에 따라 알림단계(S50)를 통해 알려주는 진동의 패턴을 달리하여 알려주도록 구성될 수 있다.At this time, it may be configured to notify the user by changing the pattern of vibration that is notified through the notification step (S50) according to the left and right positions of objects approaching the user.

다른 실시예로써, 도 2에 도시된 바와 같이 상기 경로 안내단계(S20)는 저장된 로드뷰 데이터를 바탕으로 3D 맵핑을 실시한 후 저장된 지도 데이터와의 경로상 차이점을 비교연산하여 차이나는 경로 또는 로드뷰에서 확인되는 장애물 등에 대한 정보를 알림단계(S50)를 통해 알려주도록 구성될 수도 있다.As another embodiment, as shown in FIG. 2, in the route guidance step (S20), 3D mapping is performed based on the stored road view data, and then the difference between the route and the stored map data is compared and calculated to obtain a different route or road view. It may be configured to notify information about obstacles and the like identified in the notification step (S50).

또한, 상기 전방 분석단계(S30) 및 후방 분석단계(S40)는 전방 카메라와 후방 카메라를 통해 촬영된 이미지를 실시간으로 합성하여 360도 이미지를 생성하게 되며, 360도 이미지에서 사용자의 진행방향에 따라 변경되는 전방 및 후방 방향을 반영하여 도로 환경을 분석하도록 구성될 수 있다.In addition, in the front analysis step (S30) and the rear analysis step (S40), a 360-degree image is generated by synthesizing the images taken through the front camera and the rear camera in real time, and according to the user's moving direction in the 360-degree image It can be configured to analyze the road environment by reflecting the changing forward and backward directions.

이상과 같이 본 발명은 첨부된 도면을 참조하여 바람직한 실시예를 중심으로 기술되었지만 당업자라면 이러한 기재로부터 본 발명의 범주를 벗어남이 없이 많은 다양한 자명한 변형이 가능하다는 것은 명백하다. 따라서 본 발명의 범주는 이러한 많은 변형의 예들을 포함하도록 기술된 청구범위에 의해서 해석되어져야 한다.As described above, the present invention has been described with reference to the preferred embodiments with reference to the accompanying drawings, but it is clear that many and various obvious modifications are possible to those skilled in the art from this description without departing from the scope of the present invention. Accordingly, the scope of the present invention should be construed by the claims described to include examples of these many variations.

Claims (6)

AI 프로그램을 이용한 정보 입력단계와;
상기 정보 입력단계를 통해 입력된 도착지까지의 경로를 연산하여 경로를 안내하는 경로 안내단계와;
전방 카메라를 통해 전방 도로를 촬영하고, 촬영된 이미지를 통해 전방의 도로 환경을 분석하는 전방 분석단계와;
후방 카메라를 통해 후방 도로를 촬영하고, 촬영된 이미지를 통해 후방의 도로 환경을 분석하는 후방 분석단계와;
상기 전방 분석단계 및 후방 분석단계를 통해 분석된 도로 환경 분석 결과를 사용자에게 알려주는 알림단계를 포함하는 것을 특징으로 하는
시각 장애인을 위한 AI 비전 네비게이션.
Information input step using an AI program;
a route guidance step of guiding a route by calculating a route to the destination input through the information input step;
a forward analysis step of photographing the road ahead through the front camera and analyzing the road environment ahead through the photographed image;
A rear analysis step of photographing a rear road through a rear camera and analyzing a rear road environment through the photographed image;
And a notification step for informing the user of the analysis result of the road environment analyzed through the front analysis step and the rear analysis step.
AI vision navigation for blind people.
 제 1항에 있어서,
상기 경로 안내단계는
저장된 로드뷰 데이터를 바탕으로 3D 맵핑을 실시한 후 저장된 지도 데이터와의 경로상 차이점을 비교연산하여 차이나는 경로에 대해 알림단계를 통해 알려주도록 구성된 것을 특징으로 하는
시각 장애인을 위한 AI 비전 네비게이션.
According to claim 1,
The route guidance step is
Characterized in that, after performing 3D mapping based on the stored road view data, the differences in the route with the stored map data are compared and calculated to inform the difference route through a notification step.
AI vision navigation for blind people.
 제 1항에 있어서,
상기 전방 분석단계는
실시간으로 촬영된 전방 도로 이미지에서 장애물을 검출하고, 장애물과의 거리를 연산하여 장애물과의 거리를 알림단계를 통해 알려주도록 구성된 것을 특징으로 하는
시각 장애인을 위한 AI 비전 네비게이션.
According to claim 1,
The forward analysis step is
Characterized in that it is configured to detect an obstacle from a front road image taken in real time, calculate the distance to the obstacle, and notify the distance to the obstacle through a notification step
AI vision navigation for blind people.
 제 1항에 있어서,
상기 전방 분석단계는
실시간으로 촬영된 전방 도로 이미지에서 신호등의 램프를 검출하여 신호등 신호 상황을 알림단계를 통해 알려주도록 구성된 것을 특징으로 하는
시각 장애인을 위한 AI 비전 네비게이션.
According to claim 1,
The forward analysis step is
Characterized in that it is configured to detect the lamp of the traffic light in the front road image taken in real time and notify the traffic light signal situation through the notification step
AI vision navigation for blind people.
 제 1항에 있어서,
상기 후방 분석단계는
실시간으로 촬영된 후방 도로 이미지에서 움직이는 물체를 검출하고, 움직이는 물체의 예상 경로를 연산하여 근접하는 물체의 좌,우 위치에 따라 알림단계를 통해 진동의 패턴을 달리하여 알려주도록 구성된 것을 특징으로 하는
시각 장애인을 위한 AI 비전 네비게이션.
According to claim 1,
The backward analysis step is
Characterized in that it detects a moving object from the rear road image taken in real time, calculates an expected path of the moving object, and informs the pattern of vibration through a notification step according to the left and right positions of the approaching object.
AI vision navigation for blind people.
 제 1항에 있어서,
상기 전방 분석단계 및 후방 분석단계는
전방 카메라와 후방 카메라를 통해 촬영된 이미지를 합성하여 360도 이미지를 생성한 후 사용자의 진행방향에 따라 변경되는 전방 및 후방 방향을 반영하여 도로 환경을 분석하도록 구성되는 것을 특징으로 하는
시각 장애인을 위한 AI 비전 네비게이션.
According to claim 1,
The forward analysis step and the backward analysis step
Characterized in that it is configured to analyze the road environment by synthesizing images taken through the front camera and the rear camera to generate a 360-degree image and then reflecting the front and rear directions that change according to the user's traveling direction
AI vision navigation for blind people.
KR1020220000183A 2022-01-03 2022-01-03 AI vision navigation for the visually impaired KR20230105698A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220000183A KR20230105698A (en) 2022-01-03 2022-01-03 AI vision navigation for the visually impaired

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220000183A KR20230105698A (en) 2022-01-03 2022-01-03 AI vision navigation for the visually impaired

Publications (1)

Publication Number Publication Date
KR20230105698A true KR20230105698A (en) 2023-07-12

Family

ID=87163613

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220000183A KR20230105698A (en) 2022-01-03 2022-01-03 AI vision navigation for the visually impaired

Country Status (1)

Country Link
KR (1) KR20230105698A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210059104A (en) 2019-11-14 2021-05-25 울산과학대학교 산학협력단 Smart stick for blind

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210059104A (en) 2019-11-14 2021-05-25 울산과학대학교 산학협력단 Smart stick for blind

Similar Documents

Publication Publication Date Title
US10733462B2 (en) Travel assistance device and computer program
JP6648411B2 (en) Processing device, processing system, processing program and processing method
US9637118B2 (en) Processing apparatus, processing system, and processing method
JP4862774B2 (en) Driving support method and driving support device
US20200269759A1 (en) Superimposed-image display device and computer program
US20150332103A1 (en) Processing apparatus, computer program product, and processing method
US11511627B2 (en) Display device and computer program
JP4784572B2 (en) Driving support method and driving support device
US9410818B2 (en) Navigation device
JP6467798B2 (en) Image processing apparatus, three-dimensional object detection method, three-dimensional object detection program, and moving object control system
JP2009231938A (en) Surrounding monitoring device for vehicle
EP3627110B1 (en) Method for planning trajectory of vehicle
JP2015049221A (en) Route guide display system, method, and program
JP2007188354A (en) Forward solid object recognition system for vehicle
JP5994574B2 (en) Position guidance system, method and program
JP2016042226A (en) Traffic light detection device and traffic light detection method
JP2016074410A (en) Head-up display device and head-up display display method
KR20230105698A (en) AI vision navigation for the visually impaired
JP2017220030A (en) Travel information providing system and travel information providing program
WO2019123622A1 (en) Guiding device
US20220355815A1 (en) Systems and methods of assisting vehicle navigation
JP2007233430A (en) Driving support method and driving support device
JP2014178836A (en) External-to-vehicle environment recognition device
JP5935661B2 (en) Intersection guidance system, method and program
JP2021006805A (en) Display control device and display control program