KR20080008705A - A street guidance information system for blind peoples that using image recognition technology - Google Patents

A street guidance information system for blind peoples that using image recognition technology Download PDF

Info

Publication number
KR20080008705A
KR20080008705A KR1020060068268A KR20060068268A KR20080008705A KR 20080008705 A KR20080008705 A KR 20080008705A KR 1020060068268 A KR1020060068268 A KR 1020060068268A KR 20060068268 A KR20060068268 A KR 20060068268A KR 20080008705 A KR20080008705 A KR 20080008705A
Authority
KR
South Korea
Prior art keywords
frame
output
image
visually impaired
network
Prior art date
Application number
KR1020060068268A
Other languages
Korean (ko)
Inventor
김엄준
권혁만
한영진
한진호
Original Assignee
(주)바네트
한영진
권혁만
한진호
김엄준
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)바네트, 한영진, 권혁만, 한진호, 김엄준 filed Critical (주)바네트
Priority to KR1020060068268A priority Critical patent/KR20080008705A/en
Publication of KR20080008705A publication Critical patent/KR20080008705A/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Rehabilitation Therapy (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Traffic Control Systems (AREA)

Abstract

A street guidance information system for the blind using image recognition technology is provided to process image data on a real time basis and to notify a blind person of the direction or circumstances of a road. A street guidance information system for the blind using image recognition technology includes a central server, a bluetooth device(110) and a central processing device(130). The central server inputs and searches the load information of a starting point and an arriving point, and downloads when the information of the concerned load exists. The bluetooth device is carried by a blind person, includes a CCD camera and an ear stet and contains bluetooth technology. The central processing device is carried by the blind person, and is connected to the bluetooth device via a network or a wire to perceive and process the image.

Description

영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템{A Street Guidance Information System for Blind Peoples That Using Image Recognition Technology}A Street Guidance Information System for Blind Peoples That Using Image Recognition Technology}

도 1은 본 발명에 따른 시각 장애인이 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템을 장착한 도면이다.1 is a view showing a visually impaired road guide system using a visual recognition technology according to the present invention.

도 2는 본 발명에 따른 시각 장애인이 중앙 서버로부터 출발점부터 도착점까지의 영상 특징값을 다운로드 받아 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템에 저장하는 것을 나타내기 위한 블록도이다.FIG. 2 is a block diagram illustrating that a visually impaired person downloads image feature values from a central server to a starting point from a central server and stores the image feature values in a visually impaired road guide system using image recognition technology.

도 3은 본 발명에 따른 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템을 수행하기 위한 구성 블록도이다.3 is a block diagram illustrating a visually impaired road guidance system using image recognition technology according to the present invention.

도 4는 도 3의 블루투스 장치와 중앙처리장치와의 통신을 위한 구성 블록도이다.4 is a block diagram illustrating communication between the Bluetooth device and the CPU of FIG. 3.

도 5는 본 발명에 따른 도로 영상을 분석하기 위한 구성 블록도이다.5 is a configuration block diagram for analyzing a road image according to the present invention.

도 6은 본 발명에 따른 서버의 도로 정보를 검색하여 다운로드를 수행하기 위한 플로우챠트이다.6 is a flowchart for performing download by searching road information of a server according to the present invention.

도 7은 본 발명에 따른 영상을 분석하여 그 결과를 저장 또는 음성으로 알려주기 위한 플로우챠트이다.7 is a flowchart for analyzing an image according to the present invention and notifying the result by voice or storing.

최내원, 오해석, "실시간 칼라영상에서 객체추출 및 추적", 한국정보처리학회논문지B, The KIPS Transactions:PartB,1598-284X, 제10B권1호,pp.81-86, 2003Choi Nae-won, Oh Hae-seok, "Object Extraction and Tracking in Real-time Color Image", The KIPS Transactions: PartB, 1598-284X, Vol. 10B, pp.81-86, 2003

김동욱, "시각장애자의 보행을 유도하기 위한 초음파형 전자보행유도기의 개발에 관한 연구", A Study on the Development of a Ultrasonic Electronic Travel Aid for the Blind, 한국 과학 기술 정보 연구원, 3권4호, pp.227-232, 2002Kim, Dong-Wook, "A Study on the Development of Ultrasonic Electronic Walking Inducer to Induce Gait of the Visually Impaired," A Study on the Development of a Ultrasonic Electronic Travel Aid for the Blind, Korea Institute of Science and Technology Information, Vol. 3, No. 4, pp .227-232, 2002

임재봉, "시각 장애인용 유도 신호 장치", 한국통신학회 종합학술발표회 논문집, 97권, pp.98-104, 1997Lim, Jae-Bong, "Inductive Signal Device for the Visually Impaired", Proceedings of the Korean Institute of Communication Sciences Conference, Vol. 97, pp.98-104, 1997

이광복, "무선 주파수 인식 기술를 이용한 시각 장애인 위치 정보 제공 시스템", 특허 출원 번호 10-2005-0030998Lee, Kwang-Bok, "System for Providing Location Information for the Visually Impaired Using Radio Frequency Recognition Technology", Patent Application No. 10-2005-0030998

(주)모인밸리, "시각 장애인을 위한 위치정보 서비스 시스템 및 서비스 방법", 특허 출원 번호 10-2000-0056668Moin Valley, "Location information service system and service method for the visually impaired", Patent Application No. 10-2000-0056668

재단법인 포항산업과학연구원, "시각장애인 안내용 전자감지 지팡이", 특허 출원 번호 10-2000-0051226Pohang Institute of Industrial Science and Technology, "Electronic sensing wand for visually impaired persons", patent application number 10-2000-0051226

(주)나눅스, "시각 장애인을 위한 초음파 센서가 장착된 안경", 특허 출원 번호 10-2000-0062341NANUX Co., Ltd., "Eyeglasses with Ultrasonic Sensor for the Visually Impaired", Patent Application No. 10-2000-0062341

(주)유비테크놀로지스, "시각장애인 보행 음성 안내 시스템", 특허 출원 번호 10-2004-0096221UBI Technologies, Inc., "Vibration Voice Guidance System for the Visually Impaired," Patent Application No. 10-2004-0096221

정현채, 김백철, "시각장애인을 위한 길 안내 음성출력 시스템", 특허 출원 번호 20-2000-0008558Hyun Chae Jung, Baek Chul Kim, "Directional Voice Output System for the Visually Impaired", Patent Application No. 20-2000-0008558

차보영, 채현철, "시각장애인 유도신호용 주파수 제어 교통신호기", 특허 출원 번호 20-2002-0004797Cha Bo-young, Chae Hyun-chul, "Frequency Controlled Traffic Signal for Visually Impaired Induction Signal", Patent Application No. 20-2002-0004797

전병수, 전운용, "시각 장애인을 위한 물체감지 시스템", 특허 출원 번호 10-1999-0003840Jeon, Byeong-Soo, Jeon-Oun, "Object Detection System for the Visually Impaired", Patent Application No. 10-1999-0003840

에스케이텔레텍주식회사, "초음파센서를 이용한 시각장애인 안내방법 및 이를 구현하는 이동통신 단말기", 특허 출원 번호 10-2003-0000732 SK Teletech Co., Ltd., "Guidelines for the Visually Impaired Using Ultrasonic Sensors and Mobile Communication Devices Implementing the Same", Patent Application No. 10-2003-0000732

주식회사 한길핸디케어, "시각 장애인을 위한 유도 블록", 특허 출원 번호 20-2000-0026476Hangil Handycare Co., Ltd., "Induction Block for the Visually Impaired", Patent Application No. 20-2000-0026476

최흥태, "시각장애인 보행용 안내표시구의 제조방법", 특허 출원 번호 10-2004-0035654Choi Heung-tae, "Manufacturing method of the pedestrian guide for visually impaired", Patent Application No. 10-2004-0035654

주식회사 팬택앤큐리텔, "시각 장애인을 위한 보행 안내 장치 및 그 방법, 시각 장애인을 위한 보행 안내 기능을 갖는 휴대폰 및 개인휴대정보단말기", 특허 출원 번호 1020040057782Pantech & Curitel Co., Ltd., "Pedestrian guide device and method for the visually impaired, mobile phone and personal portable information terminal having a pedestrian guide function for the visually impaired", Patent Application No. 1020040057782

구본경, "신호음발생장치를 장착한 시각장애인용 지팡이", 특허 출원 번호 1020010027842Bon-Kyung Koo, "Wand for the visually impaired with a signal generator", patent application number 1020010027842

한국과학기술원, "시각 장애인의 실내/실외 보행을 위한 시각 정보를 청각 및 촉각 정보로 변환하는 보행 안내 장치 및 방법", 특허 출원 번호 1020040100557Korea Advanced Institute of Science and Technology, "Pedestrian guidance device and method for converting visual information for indoor / outdoor walking of visually impaired person into auditory and tactile information", Patent application No. 1020040100557

엘지전자 주식회사, "이동통신 단말기의 시각장애인용 길 안내 장치 및 방법", 특허 출원 번호 1020050019948LG Electronics Co., "Road guide device and method for visually impaired users of mobile communication terminal", patent application number 1020050019948

김원택, "안전 신호등", 특허 출원 번호 2020010028807Kim Won-taek, "Safety Traffic Light", Patent Application No. 2020010028807

김원택, 김지호, "깜박이 안전 신호등", 특허 출원 번호 2020010028962Kim Won-taek, Kim Ji-ho, "Blinking Safety Signal Light", Patent Application No. 2020010028962

박상준, 고유정, 조성열, "바코드패턴 및 리더기를 응용한 시각 장애인용 위치 및 시각정보 송출 장치", 특허 출원 번호 1020040065716Park, Sang-Joon, Yoo, Jung-Yeol, "A device for transmitting position and visual information for the visually impaired by applying barcode pattern and reader", Patent application number 1020040065716

유기호, 권대규, 윤명종, "촉각자극기와 지피에스를 이용한 시각장애인용 보행 안내 장치", 특허 출원 번호 1020030089236Yuho Ho, Kwon Dae-gyu, Yoon Myung-jong, "Pedestrian guide device for the visually impaired using tactile stimulator and GPS," patent application No. 1020030089236

정동근, 노세현, "시각장애인용 보행안내장치", 특허 출원 번호 1020040076563Chung, Dong-geun, Noh Hyun, "Pedestrian guide device for the visually impaired", patent application number 1020040076563

재단법인 포항산업과학연구원, "시각장애인용 보행 안내장치", 특허 출원 번호 1019990045992Pohang Institute of Industrial Science and Technology, "Pedestrian guide device for the visually impaired," Patent Application No. 1019990045992

김민석, "시각 장애인용 안내장치", 특허 출원 번호 1020020050981Minseok Kim, "Guide for the visually impaired", Patent Application No. 1020020050981

이인수, 양일용, 박광철, 고만규, "시각장애인용 보행안내장치", 특허 출원 번호 2020050005059Lee In-soo, Yang Il-yong, Park Kwang-cheol, Ko Man-kyu, "Pedestrian guide device for the visually impaired", patent application number 2020050005059

김선규, "시각장애인용 보행안내장치", 특허 출원 번호 2020060002165Kim Sun-kyu, "Pedestrian guide device for the visually impaired", Patent application number 2020060002165

박명숙, "시각 장애인용 장애물 감지 경보장치", 특허 출원 번호 1019990021050Park Myung-sook, "Obstacle detection alarm device for the visually impaired", patent application number 1019990021050

성창기업 주식회사, "시각장애인용 안내서비스 시스템 및 방법", 특허 출원 번호 1020030003751Sungchang Enterprise Co., Ltd., "Guideline service system and method for the visually impaired", Patent Application No. 1020030003751

엘지전자 주식회사, "이동단말기를 이용한 시각장애인용 장치", 특허 출원 번호 1020040079916LG Electronics Co., Ltd., "Device for the visually impaired using mobile terminal", patent application number 1020040079916

에스케이텔레콤주식회사, 국민대학교, "시각 장애인용 대화형 유도 신호 시스템 및 그 제어방법", 특허 출원 번호 1019960000845SK Telecom Co., Ltd., Kookmin University, "Interactive Guidance Signal System for the Visually Impaired and Its Control Method", Patent Application No. 1019960000845

한국산업기술대학교, 김영중, 김재희, 김정민, 정경진, 이규동, 지세시리아, "시각장애인용 안내장치", 특허 출원 번호 1020040111969Korea National University of Technology, Kim Young Joong, Kim Jae Hee, Kim Jung Min, Kyung Jin Jin, Kyu Dong Lee, Cice Syria, "Guide for the visually impaired", Patent Application No. 1020040111969

조승호, "양방향 무선통신을 이용한 시각 장애인용 위치정보 음성안내 시스템 및 그 방법", 특허 출원 번호 1020030048400Seung-Ho Cho, "Location Information Voice Guidance System and Method for the Visually Impaired Using Two-Way Wireless Communication", Patent Application No. 1020030048400

김민철, "방향성을 갖는 음향안내시스템", 특허 출원 번호 1020040017517Minchul Kim, "Directional Sound Guidance System", Patent Application No. 1020040017517

(주)하나텍, 최명희, "무선통신방식을 이용한 시·청각 장애인을 위한 양방향성 영상 안내장치", 특허 출원 번호 2020050016694Hantec Co., Ltd., Myung-Hee Choi, "Wi-Directional Video Guidance Device for the Visually and Hearing Impaired Persons," Patent Application No. 2020050016694

주식회사유진테크, "시각 장애인용 위치안내장치", 특허 출원 번호 2020050027791Eugene Tech Co., Ltd., "Location guide device for the visually impaired", patent application number 2020050027791

양철호, "시각 장애인용 시각 보조장치", 특허 출원 번호 1020010049787Cheol-Ho Yang, "Visual Aids for the Visually Impaired", Patent Application No. 1020010049787

이성환, "시각 장애인용 착용 가능 보행 안내 장치 및 방법", 특허 출원 번호 1020000027839Lee, Sung-Hwan, "Wearable walking guide device and method for the visually impaired", Patent Application No. 1020000027839

주식회사 팬택, "장착된 카메라를 통하여 입력된 영상에 관한 음성 데이터를 출력하는 휴대 단말기", 특허 출원 번호 1020040109862Pantech Co., Ltd., "Portable Terminal for Outputting Audio Data Regarding Image Input via Mounted Camera", Patent Application No. 1020040109862

기가시스네트(주), "시각정보를 청각 정보로 변환하는 방법 및 그 장치", 특허 출원 번호 1020020021389Gigasys Net, "Method and apparatus for converting visual information into auditory information", Patent Application No. 1020020021389

엘지전자 주식회사, "휴대용 단말기의 물체 감지 장치", 특허 출원 번호 1020010072753LG Electronics, Inc., "Object Detection Device for Portable Terminal", Patent Application No. 1020010072753

엘지전자 주식회사, "이동통신 단말기의 장애물 감지 장치 및 방법", 특허 출원 번호 1020040069682LG Electronics, Inc., "An Obstacle Detection Apparatus and Method for Mobile Communication Terminals", Patent Application No. 1020040069682

김경환, "시각장애자용 도보가이드 장치", 특허 출원 번호 2020040025331Kim, Kyung Hwan, "Walking guide device for the visually impaired", patent application number 2020040025331

엘지전자주식회사, "시각 장애자를 위한 이동통신 단말기", 특허 출원 번호 2020000036388LG Electronics, "Mobile Communication Terminal for the Visually Impaired", Patent Application No. 2020000036388

엄현덕, "길안내 시스템", 특허 출원 번호 2020050021028Uhm Hyun-deok, "Road Guidance System", Patent Application No. 2020050021028

(주)한길핸디케어, 고현주, "지능형 교통 정보 음성 안내 시스템", 특허 출원 번호 1020020009369Hangil Handycare Co., Ltd., Go Hyun-joo, "Intelligent Traffic Information Voice Guidance System", Patent Application No. 1020020009369

엘지전자 주식회사, "블루투스 기술을 이용한 지리정보 제공장치 및 그 방법", 특허 출원 번호 1020020005429LG Electronics Co., "Geographic Information Providing Device and Method Using Bluetooth Technology", Patent Application No. 1020020005429

엘지전자 주식회사, "카메라와 위성위치확인시스템을 이용한 이동 통신 단말기의 길 안내 방법", 특허 출원 번호 1020030022030LG Electronics Co., "Route guidance method of mobile communication terminal using camera and satellite positioning system", patent application number 1020030022030

주식회사 팬택앤큐리텔, "보행 보조 장치 및 방법", 특허 출원 번호 1020040110114Pantech & Curitel Co., Ltd., "Walking Aid Device and Method", Patent Application No. 1020040110114

주식회사 팬택, "이동 통신 단말기를 이용한 맹인 안내 서비스 방법", 특허 출원 번호 1020030089219Pantech Co., Ltd., "Blind Guidance Service Method Using Mobile Communication Terminal", Patent Application No. 1020030089219

김승호, 김재준, "맹인용 길안내 안전유도장치", 특허 출원 번호 1019990040225Kim Seung-ho, Kim Jae-jun, "Blind Guidance Safety Guidance Device", Patent Application No. 1019990040225

송종섭, "시각 장애인용 리더기", 특허 출원 번호 1020050038189Song Jong-sup, "Reader for the Visually Impaired", Patent Application No. 1020050038189

장긍덕, "맹인용 영상정보 인식 시스템 및 그 제어방법", 특허 출원 번호 1019990060482Jang, Euk-deok, "Blind Image Information Recognition System and Its Control Method", Patent Application No. 1019990060482

에스케이 텔레콤주식회사, "시각장애인용 길 안내장치", 특허 출원 번호 1020040023476SK Telecom Co., Ltd., "Guide for visually impaired", Patent Application No. 1020040023476

(주)유비테크놀로지스, "시각장애인 보행 음성 안내 시스템", 특허 출원 번호 1020040096221UBI Technologies, Inc., "Vibration Voice Information System for the Visually Impaired," Patent Application No. 1020040096221

기가시스네트(주), "시각정보를 청각 정보로 변환하는 방법 및 그 장치", 특허 출원 번호 1020020021389Gigasys Net, "Method and apparatus for converting visual information into auditory information", Patent Application No. 1020020021389

본 발명은 시각 장애인이 최초 도우미의 도움을 받아 입력한 출발점부터 도착점까지 CCD 카메라로 영상을 입력받고, 이 영상 데이터를 분석하여 에지, 기울기, 거리, 도로 방향, 위치, 신호등, 건널목 및 이정표 등의 특징값을 추출하여 최종 중앙 서버에 저장한다. 이후 시각 장애인이 같은 출발점부터 도착점까지 가고자 할 경우 영상 특징값을 중앙 서버에서 다운로드 받은 후, 출발점부터 도착점까지 실시간으로 CCD 카메라로 영상을 입력받아, 이 영상 데이터를 분석하여 나온 특징값을 다운받은 특징값과 비교하여 시각 장애인에게 음성으로 가야할 위치 및 위험 요소를 알려 줌으로써 시각 장애인이 도착점까지 안전하고, 편리하게 도착할 수 있도록 하는 시스템과 그 제어 방법에 관한 것이다.The present invention receives the image from the starting point to the arrival point from the visually impaired with the help of the first assistant with a CCD camera, and analyzes the image data, such as edge, slope, distance, road direction, location, traffic lights, crossings and milestones. Extract feature values and save them to the final central server. After that, when the visually impaired person wants to go from the same starting point to the arrival point, the image feature value is downloaded from the central server, and then the image is inputted from the starting point to the arrival point in real time by the CCD camera, and the feature value obtained by analyzing the image data is downloaded. The present invention relates to a system and a control method for allowing the visually impaired to arrive safely and conveniently to the arrival point by informing the visually impaired the position and the risk factors to go to the voice.

우리나라의 시각 장애인의 수는 2005년을 기준으로 19만여명에 달하며, 이들도 비장애인과 마찬가지로 교육, 종교, 여가, 쇼핑 등의 모든 활동에 자유롭게 참여할 수 있어야 함에도 불구하고, 자유롭게 활동할 수 있는 장소가 없고, 시설의 불편함과 아울러 안전하지 못하다.As of 2005, the number of blind people in Korea has reached 190,000. Even though they should be free to participate in all activities such as education, religion, leisure, shopping, etc. like the non-disabled, there is no place for free activities. In addition, the facilities are inconvenient and unsafe.

종래의 기술은 보도 블럭에 점자 블럭을 설치하여 시각 장애인들이 지팡이로 도로의 끝인지, 횡단보도인지, 계단인지등을 인지하도록 하였으며, 최근에 와서는 더욱 발달 되어 자성, 초음파 또는 무선신호를 이용하는 지능형 보행 안내 장치가 개발되었다. 이들에 대한 기술적 내용을 살펴보면 다음과 같다.The conventional technology is to install a braille block on the sidewalk block to visually impaired people to recognize whether the end of the road, pedestrian crossing, stairs, etc., and more recently has been developed more intelligent using magnetic, ultrasonic or radio signals A walking guidance device has been developed. The technical contents of these are as follows.

보도 블럭에 의한 시각 장애인의 도로 안내는 단지 점자 블럭에 의한 것으로부터 종래는 보도 블럭에 전파 발신기나 RFID태그 등의 인식기를 넣어 시각 장애인이 블럭을 벗어나려 할 경우 알려주거나, 횡단 보도, 계단 등임을 알려주도록 하고 있다.The road guidance of the visually impaired by the sidewalk block is only from the braille block, and conventionally, a reader such as a radio wave transmitter or an RFID tag is inserted into the sidewalk block to notify the visually impaired person when trying to leave the block, or a crosswalk or stairs. I'm telling you.

전자 감지 지팡이에 의한 시각 장애인의 도로 안내는 전자유도블럭이나 근거리 장애물을 감지하여 안내정보를 제공하는 전자감지 처리장치를 지팡이에 설치하여 이 지팡이에 설치된 전자감지 처리장치에 의해 주위 상황을 보다 자세하게 안내하도록 하고 있다.The road guide of the visually impaired by the electronic sensing cane detects an electromagnetic induction block or a short-range obstacle and installs an electronic sensing processing device in the cane to guide the surrounding situation in detail by the electronic sensing processing device installed in the cane. I'm trying to.

초음파 센서가 장착된 안경에 의한 시각 장애인의 도로 안내는 초음파 센서를 통해 전방의 장애물을 감지하여 안내하도록 하고 있다.Road guidance of the visually impaired by the glasses equipped with the ultrasonic sensor is to detect and guide the obstacle in front of the ultrasonic sensor.

종래 기술은 점자 블럭, 고주파, 초음파, 전자유도블럭 등을 사용함으로 인해서 모든 도로의 점자 블럭에 인식기 등을 설치해야 하거나, 시각 장애인의 위치를 알려주도록 하기 위한 수신기를 설치해야 하는 점들을 가지고 있다. 또한 GPS 를 이용한 도로 안내는 GPS 의 장애물 등의 탐지 오차 범위가 보행을 위한 오차 범 위를 넘어감으로써 실제 적용하기에는 어려운 문제점이 있다.The prior art has a point that must be installed in the braille block of all the roads by using a braille block, a high frequency, an ultrasonic wave, an electromagnetic induction block or the like, or a receiver for indicating the location of the visually impaired. In addition, road guidance using GPS has a problem that it is difficult to apply in practice because the detection error range of the GPS, such as obstacles exceed the error range for walking.

따라서 본 발명의 목적은 실시간으로 들어오는 영상 데이터를 실시간으로 처리하여 인식함으로 인해서 도로의 방향이나 도로의 상황을 즉시 시각 장애인에게 음성으로 알려주고, 시각 장애인이 가고자 하는 출발점부터 도착점까지 안전하고 편리하게 도착할 수 있도록 하는 방법을 제공함에 있다.Therefore, an object of the present invention is to process the video data received in real time in real time to recognize the direction of the road or the road situation by voice to the visually impaired, the visually impaired can arrive safely from the starting point to the arrival point To provide a way to do so.

상술한 목적을 달성하기 위하여 본 발명의 일 측면에 따르면, 중앙 서버에서 출발점과 도착점에 해당하는 영상 특징값을 검색한 후 다운로드 하여 메모리에 저장한다. CCD 카메라를 통해 도로의 영상이 입력 핸들에 저장되고, 이들 영상은 캡쳐부를 통하여 각 프레임별 영상 데이터가 프레임 전송 버퍼부에 저장된다. 제1 네트워크 감지부는 네트워크의 신호 전송 환경을 감지하여 그에 따른 신호를 프레임 전송 버퍼부에 전달하고, 프레임 전송 버퍼부는 캡쳐부에 의해서 저장된 영상 데이터를 출력한다. 제2 네트워크 감지부는 네트워크의 신호 수신 환경을 감지하여 그에 따른 신호를 프레임 수신 버퍼부에 전달하고, 프레임 수신 버퍼부는 네트워크로 전달된 영상을 각 프레임별로 하나는 비디오 디바이스에게 보내줄 비디오 출력 핸들에 전달하고, 다른 하나는 영상을 처리하여 인식하는 영상 처리부에 전달한다. 비디오 출력 핸들은 프레임 수신 버퍼부로부터 받은 영상을 비디오 디바이스에 출력하며, 영상 처리부는 영상을 분석하여 그 결과를 결과값 전송 버퍼부에 전달한다. 영상 분석 결과를 전달받은 결과값 전송 버퍼부는 제2 네트워크 감지부의 신호 전송 환경 감지 결과를 통보받아 네트워크로 출력한다. 제1 네트워크 감지부는 네 트워크의 수신 전송 환경을 감지하여 그에 따른 신호를 결과값 수신 버퍼부에 전달하고, 결과값 수신 버퍼부는 네트워크로 전달된 영상 분석 결과를 저장하여 음성 처리부에 전달한다. 음성 처리부는 영상 분석 결과에 따른 음성 데이터를 오디오 출력 핸들에 전달하고, 오디오 출력 핸들은 오디오 디바이스에 출력하여 음성으로 도로의 상태를 알려주는 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템을 제공한다.According to an aspect of the present invention in order to achieve the above object, the central server retrieves the image feature value corresponding to the starting point and the arrival point, and downloads and stores in the memory. Images of the road are stored in the input handle through the CCD camera, and these images are stored in the frame transfer buffer unit through the capture unit. The first network detector detects a signal transmission environment of the network and transmits the signal according to the frame transmission buffer unit, and the frame transmission buffer unit outputs the image data stored by the capture unit. The second network detector detects the signal reception environment of the network and transmits the signal according to the frame reception buffer unit, and the frame reception buffer unit transfers the image transmitted to the network to the video output handle to send one image to the video device for each frame. The other is processed and transferred to an image processing unit that recognizes the image. The video output handle outputs an image received from the frame receiving buffer unit to the video device, and the image processor analyzes the image and transmits the result to the result value transmitting buffer unit. The result value transmission buffer unit receiving the image analysis result is notified of the signal transmission environment detection result of the second network detection unit and outputs the result to the network. The first network sensor detects the reception transmission environment of the network and transmits the signal according to the result value receiving buffer unit, and the result value receiving buffer unit stores the image analysis result transmitted to the network and transmits the result to the voice processing unit. The voice processing unit delivers voice data according to the image analysis result to the audio output handle, and the audio output handle provides a visually impaired road guidance system using image recognition technology that notifies the state of the road by audio.

본 발명은 목적을 달성하기 위한 다른 실시예에 의하여, 중앙 서버에서 출발점과 도착점에 대한 영상 특징값 데이터를 다운로드 하여 저장하는 단계, 입력되는 영상 신호를 각 프레임별로 임시 저장하는 단계, 네트워크의 전송 환경을 감지하는 단계, 감지된 전송 환경에 따라 설정된 형태로 영상 신호를 전송하는 단계, 네트워크의 수신 환경을 감지하는 단계, 감지된 수신 환경에 따라 전송되는 영상 신호를 저장한 후 각 프레임별로 모니터를 통해 출력하는 단계, 저장된 영상 신호를 각 프레임별로 분석하는 단계, 감지된 전송 환경에 따라 설정된 형태로 영상 데이터의 분석 결과를 전송하는 단계, 감지된 수신 환경에 따라 전송되는 영상 분석 결과를 저장하는 단계, 저장된 영상 분석 결과에 따른 음성 데이터를 메모리에서 가져오는 단계, 가져온 음성 데이터를 오디오 디바이스에 출력하는 단계를 포함하여 이루어지는 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템을 제공한다.According to another embodiment of the present invention, there is provided a method of downloading and storing image feature value data of a starting point and an arrival point from a central server, temporarily storing an input image signal for each frame, and transmitting environment of a network. Detecting a signal, transmitting a video signal in a set form according to the detected transmission environment, detecting a reception environment of a network, storing a video signal transmitted according to the detected reception environment, and then monitoring each frame through a monitor. Outputting, analyzing the stored image signal for each frame, transmitting the analysis result of the image data in a form set according to the detected transmission environment, storing the image analysis result transmitted according to the detected reception environment, Importing voice data from memory according to the saved image analysis result, imported sound Including the step of outputting data to the audio device to provide a visually impaired road guidance system using an image recognition technology is made.

본 발명의 다른 측면에 따르면, 상기한 본 발명의 특징적인 방법을 수행하기 위하여 컴퓨터에 의해 실행될 수 있는 명령들로 이루어진 프로그램을 유형적으로 구현한, 컴퓨터로 읽을 수 있는 기록 매체가 제공된다.According to another aspect of the present invention, there is provided a computer readable recording medium tangibly embodying a program consisting of instructions executable by a computer in order to carry out the characteristic method described above.

본 발명의 또 다른 측면에 따르면, 중앙 서버에서 출발점과 도착점에 해당하는 영상 특징값 데이터를 다운로드 하여 메모리에 저장하는 다운로드 부; CCD 카메라 디바이스를 통하여 입력된 영상 신호를 저장하는 캡쳐부; 저장된 영상의 각 프레임별로 소정 크기로 분할하여 전송하는 프레임 전송 버퍼부; 네트워크를 통하여 인가되는 영상 신호를 수신 저장하였다가 소정 크기로 분할하여 출력하며 적어도 하나의 수신 버퍼를 포함하는 프레임 수신 버퍼부; 수신된 영상 신호를 각 프레임별로 화면으로 출력하는 비디오 디바이스; 수신된 영상을 각 프레임별로 분석하여 특징값을 추출하여 메모리에 저장된 데이터와 비교한 결과를 저장하는 영상 처리부; 영상 분석한 결과를 소정 크기로 분할하여 전송하는 결과값 전송 버퍼부; 네트워크를 통하여 인가되는 영상 분석 결과 신호를 수신 저장하며 적어도 하나의 수신 버퍼를 포함하는 결과값 수신 버퍼부; 저장된 결과값에 해당되는 음성 데이터를 메모리로부터 선택하여 음성 데이터를 저장하는 음성 처리부; 음성 데이터를 소리로 변환하여 출력하는 오디오 디바이스; 상기 비디오 입력 핸들의 교호로 수신하여 복수의 프레임 버퍼에 저장하였다가 복수의 프레임 전송 버퍼부에 의해서 출력하고, 프레임 수신 버퍼부의 출력을 교호로 수신하여 저장하였다가 그 출력을 교호로 상기 화면에 인가되는 복수의 출력 핸들 들을 포함하는 것과 영상 처리 기술에 의한 특징값을 추출하는 복수의 영상 처리부, 그리고 영상 처리에 의한 결과값을 복수의 결과값 전송 버퍼에 저장하였다가 결과값 전송 버퍼부에 의해서 출력하고, 결과값 수신 버퍼부의 출력을 교호로 수신하여 저장하였다가 그 출력을 교호로 상기 이어셋에 인가되는 음성 처리부를 특징으로 하는 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템 장치가 제공된다.According to another aspect of the invention, the download unit for downloading the image feature value data corresponding to the starting point and the arrival point from the central server to store in the memory; A capture unit which stores an image signal input through the CCD camera device; A frame transmission buffer unit for dividing the frame into a predetermined size for each frame of the stored image and transmitting the same; A frame receiving buffer unit which receives and stores an image signal applied through a network, divides the image signal into a predetermined size, and outputs the divided image signal; A video device for outputting the received video signal to the screen for each frame; An image processor configured to analyze the received image for each frame, extract feature values, and store a result of comparing the stored data with data stored in a memory; A result value transmission buffer for dividing the result of the image analysis into a predetermined size and transmitting the result; A result value reception buffer unit for receiving and storing an image analysis result signal applied through a network and including at least one reception buffer; A voice processor configured to select voice data corresponding to the stored result value from a memory and store the voice data; An audio device for converting voice data into sound and outputting the sound; The video input handle is alternately received and stored in a plurality of frame buffers and output by a plurality of frame transfer buffer units. The output of the frame receiving buffer unit is alternately received and stored, and the output is alternately applied to the screen. A plurality of image processing units including a plurality of output handles, a plurality of image processing units for extracting feature values by an image processing technique, and a result value obtained by image processing in a plurality of result transfer buffers and then output by a result transfer buffer In addition, there is provided an apparatus for visually impaired road guidance system using an image recognition technology, characterized in that an audio processing unit receives and stores alternately the output of the result value receiving buffer and alternately outputs the output to the earset.

이하, 본 발명에 따른 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템을 첨부도면을 참조하여 설명하면 다음과 같다. 그러나, 본 발명이 하기의 실시예에 의해 제한되거나 한정하는 것은 아니다.Hereinafter, a road guide system for the visually impaired using the image recognition technology according to the present invention will be described with reference to the accompanying drawings. However, the present invention is not limited or limited by the following examples.

도 1은 본 발명에 따른 시각 장애인이 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템의 제어 장치를 장착한 도면이고, 도 2는 중앙 서버로부터 출발점과 도착점에 대한 데이터를 검색하여 다운로드하는 구성 블록도이며, 도 3과 도 4는 입력된 영상 데이터에서부터 영상 인식을 통한 음성 데이터를 출력하는 구성을 나타낸 블록도이고, 도 5는 입력된 영상을 인식하기 위한 영상 인식 구성을 나타낸 블록도이며, 도 6은 중앙 서버에 저장된 데이터를 다운로드 하기 위한 플로우챠트이고, 도 7은 입력된 영상을 블루투스 장치에서 네트워크를 통해 전송하기 까지의 블루투스 장치의 플로우챠트이다. 도 8은 블루투스 장치로부터 네트워크를 통하여 영상 데이터를 받아 영상인식을 통한 결과를 네트워크를 통해 전송하기 까지의 중앙 처리 장치의 플로우챠트이고, 도 9는 중앙 처리 장치로부터 네트워크를 통하여 전송되어진 영상 인식 결과를 그에 따른 음성 데이터로 변환하여 출력하기 위한 플로우챠트이다.1 is a view showing a blind person equipped with a control device for a visually impaired road guidance system using a video recognition technology according to the present invention, Figure 2 is a block diagram of a configuration for retrieving and downloading data about the starting and destination points from a central server 3 and 4 are block diagrams illustrating a configuration of outputting audio data through image recognition from input image data, FIG. 5 is a block diagram illustrating an image recognition configuration for recognizing an input image, and FIG. FIG. 7 is a flowchart for downloading data stored in the central server, and FIG. 7 is a flowchart of the Bluetooth device from transmitting the input image through the network. FIG. 8 is a flowchart of a central processing unit until receiving image data from a Bluetooth device through a network and transmitting a result through image recognition through a network. FIG. 9 is a flowchart of an image recognition result transmitted from a central processing unit through a network. This is a flowchart for converting and outputting voice data.

본 발명에 따른 시각 장애인이 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템의 제어 장치의 구성은 도 1에 도시된 바와 같이, 시각 장애인(140)은 블루투스 장치(110)의 헤드셋(120)을 가지고 있고, 블루투스 장치(110)에 연결되어 있는 CCD 카메라(100)가 있으며, 시각 장애인(140)이 가지고 다니는 지팡이에는 중 앙 처리 장치(130)가 있다. 여기서, 시각 장애인(140)은 중앙 처리 장치(130)가 있는 지팡이(131)를 가지고 도보를 하게 되며, 이때 블루투스 장치(110)에 달린 CCD 카메라(100)로 영상이 입력된다. 입력된 영상은 블루투스 장치(110)에 의해서 중앙 처리 장치(130)에 전달되며, 이의 처리 결과를 블루투스 장치(110)가 받아서 결과에 해당하는 음성 데이터를 헤드셋(120)으로 출력하게 된다.As illustrated in FIG. 1, the visually impaired person 140 has a headset 120 of the Bluetooth device 110. , The CCD camera 100 is connected to the Bluetooth device 110, the cane carried by the blind 140 has a central processing unit (130). Here, the blind person 140 walks with the cane 131 having the central processing unit 130, and at this time, an image is input to the CCD camera 100 mounted on the Bluetooth device 110. The input image is transmitted to the central processing unit 130 by the Bluetooth device 110, the Bluetooth device 110 receives the result of the processing and outputs the audio data corresponding to the result to the headset 120.

그리고, 블루투스 장치(110) 내에는 도 4에서 도시된 바와 같이 CCD 카메라 디바이스(100), 비디오 입력 핸들(310), 캡쳐부(320), 프레임 전송 버퍼부(330), 제1 네트워크 감지부(200), 결과값 수신 버퍼부(430), 음성 처리부(420), 오디오 출력 핸들(410), 오디오 디바이스(120)로 이루어 지며, 중앙 처리 장치(130) 내에는 다운로드 부(700), 제2 네트워크 감지부(900), 프레임 수신 버퍼부(600), 비디오 출력 핸들(620), 비디오 디바이스(630), 영상 처리부(640), 결과값 전송 버퍼부(650)로 이루어져 일정의 네트워크(500)에 의해 블루투스 장치(110)와 중앙 처리 장치(130) 간의 통신이 이루어지는 것으로 구성된다.In the Bluetooth device 110, as illustrated in FIG. 4, the CCD camera device 100, the video input handle 310, the capture unit 320, the frame transfer buffer unit 330, and the first network sensor unit ( 200, the result value receiving buffer unit 430, the voice processing unit 420, the audio output handle 410, and the audio device 120. The central processing unit 130 includes a download unit 700 and a second unit. The network 500 includes a network detector 900, a frame receiving buffer 600, a video output handle 620, a video device 630, an image processor 640, and a result value transmitting buffer 650. By the communication between the Bluetooth device 110 and the central processing unit 130.

여기서, 비디오 입력 핸들(310)은 입력 정보부(311)와 입력 버퍼(312)로 구성되고, 캡쳐부(320)는 제1 내지 제N 프레임 버퍼(321-1, 321-2, ...)로 구성되며, 프레임 전송 버퍼부(330)는 제1 내지 제N 프레임 전송 버퍼(331-1, 331-2, ...)로 구성된다. 프레임 수신 버퍼부(610-1)는 제1 내지 제N 프레임 수신 버퍼(611-1, 611-2, ...)로 구성되고, 비디오 출력 핸들(620)은 비디오 출력 정보부(621-1)와 비디오 출력 버퍼(621-2)로 구성되며, 전처리(641), 특징값 추출(642) 그리고, 저장된 특징값(643)으로 구성된 영상 처리부(640)는 제1 내지 제N 영상 처리부(640- 1, 640-2, ...)로 구성된다. 결과값 전송 버퍼부(650)는 제1 내지 제N 영상 버퍼부(651-1, 651-2, ..., 651-N)로 구성되고, 결과값 수신 버퍼부(430)는 제1 내지 제 N 결과값 수신 버퍼(431-1, 431-2, ...)로 구성되며, 음성 처리부(420)는 비교 음성 처리(421-1)와 메모리(421-2)로 구성된다. 오디오 출력 핸들(410)은 오디오 출력 정보부(411)와 오디오 출력 버퍼(412)로 구성되고, 네트워크(500)는 전화교환망, ISDN(광대역 정보 통신망)등으로 구성할 수 있다.Here, the video input handle 310 is composed of an input information unit 311 and an input buffer 312, the capture unit 320 is the first to N-th frame buffer (321-1, 321-2, ...) The frame transmission buffer unit 330 includes first to Nth frame transmission buffers 331-1, 331-2,... The frame reception buffer unit 610-1 includes first to Nth frame reception buffers 611-1, 611-2,..., And the video output handle 620 is a video output information unit 621-1. And a video output buffer 621-2, the image processor 640 comprising a preprocessing 641, a feature value extraction 642, and a stored feature value 643. 1, 640-2, ...). The result value transfer buffer unit 650 includes first to Nth image buffer units 651-1, 651-2,..., 651 -N. The Nth result value reception buffers 431-1, 431-2,..., And the voice processing unit 420 are configured by the comparison voice processing 421-1 and the memory 421-2. The audio output handle 410 may include an audio output information unit 411 and an audio output buffer 412, and the network 500 may include a telephone exchange network, an ISDN (broadband information communication network), or the like.

상술한 바와 같이 구성되는 본 발명에 따른 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템의 구성을 보다 상세히 설명하면 다음과 같다.Referring to the configuration of the visually impaired road guide system using the image recognition technology according to the present invention configured as described above in more detail as follows.

도 2에 도시된 바와 같이, 시각 장애인(140)은 인터넷으로 중앙 서버(145)에 접속하여 출발점과 도착점(140)에 해당하는 도로 정보(142)를 검색하고, 검색 엔진(141)에 의하여 검색된 결과인 영상 특징값을 중앙 처리 장치(130)의 메모리(143)에 다운로드 한다.As shown in FIG. 2, the blind person 140 accesses the central server 145 through the Internet, searches for road information 142 corresponding to the starting point and the arrival point 140, and is searched by the search engine 141. The resulting image feature values are downloaded to the memory 143 of the central processing unit 130.

이어 도 3에 도시된 바와 같이, 블루투스 장치(110)의 비디오 입력 핸들(310) 내의 비디오 입력 정보부(311)는 CCD 카메라 디바이스(100)를 통해 입력되는 영상 신호를 계속적으로 감지하고, 입력되는 영상 신호를 캡쳐부(320) 내의 각 프레임 버퍼(321-1, 321-2, ...)에 일시 저장한다. 제1 네트워크 감지부(200)는 접속되는 네트워크(500)의 상황을 감지하여 그에 따른 감지 신호를 출력한다. 프레임 전송 버퍼부(330)는 제1 네트워크 감지부(200)에서 출력되는 감지신호에 의해 프레임 버퍼(321-1, 321-2, ...)에 있는 영상 프레임의 개수와 크기 만큼의 프레임 전송 버퍼(331-1, 331-2, ...)를 준비하여 저장한다.3, the video input information unit 311 in the video input handle 310 of the Bluetooth device 110 continuously detects an image signal input through the CCD camera device 100, and inputs the image. The signal is temporarily stored in the frame buffers 321-1, 321-2,... In the capture unit 320. The first network detector 200 detects a situation of the network 500 to be connected and outputs a detection signal accordingly. The frame transmission buffer unit 330 transmits the number and size of frames of the image frames in the frame buffers 321-1, 321-2, ... by the detection signal output from the first network detector 200. Buffers 331-1, 331-2, ... are prepared and stored.

그리고, 제2 네트워크 감지부(900)는 네트워크(500)를 감지하여 그에 따른 감지 신호를 출력하고, 프레임 수신 버퍼부(600)는 그 감지 신호에 따라 블루투스 장치(110)에 의해 전송되는 프레임 신호를 저장한다. 비디오 출력 핸들(620)의 비디오 출력 정보부(621-1)는 비디오 디바이스(630)를 통해 출력하도록 비디오 출력 버퍼(621-2)의 크기를 설정하고, 프레임 수신 버퍼부(600)에 저장된 프레임 신호를 크기가 설정된 비디오 출력 버퍼(621-2)에 저장하여 비디오 디바이스(630)를 통해 출력한다. 영상 처리부(640) 내의 영상 처리(640-1, 640-2, ..., 640-N)는 프레임 수신 버퍼부(600)에 저장된 각 프레임 신호를 전처리(641), 특징값 추출(642)을 통하여 특징값을 추출하고, 이때, 저장된 특징값(643)과 비교하여 그 값이 유효한지를 검사한다. 각 영상 처리(640-1, 640-2, ..., 640-N)에 의해서 추출된 특징값은 그 개수와 크기 만큼의 결과값 전송 버퍼부(650) 내의 결과값 전송 버퍼(651-1, 651-2, ..., 651-N)를 준비하여 저장한다. 제2 네트워크 감지부(900)는 접속되는 네트워크(500)의 상황을 감지하여 그에 따른 감지 신호를 출력한다. 결과값 전송 버퍼부(650)는 제2 네트워크 감지부(900)에서 출력되는 감지 신호에 의해 결과값 전송 버퍼(651-1, 651-2, ..., 651-N)에 저장되어 있는 결과값을 출력한다.In addition, the second network detection unit 900 detects the network 500 and outputs a detection signal according thereto, and the frame receiving buffer unit 600 transmits a frame signal transmitted by the Bluetooth device 110 according to the detection signal. Save it. The video output information unit 621-1 of the video output handle 620 sets the size of the video output buffer 621-2 to output through the video device 630, and the frame signal stored in the frame reception buffer unit 600. Is stored in the set video output buffer 621-2 and output through the video device 630. The image processing units 640-1, 640-2,..., 640 -N in the image processing unit 640 preprocess each frame signal stored in the frame receiving buffer unit 600, and extract feature values 642. By extracting the feature value through, and compares it with the stored feature value (643) to check whether the value is valid. The feature values extracted by each image processing (640-1, 640-2, ..., 640-N) are the result value transfer buffer 651-1 in the result value transfer buffer unit 650 by the number and size thereof. 651-2, ..., 651-N). The second network detection unit 900 detects the situation of the network 500 to be connected and outputs a detection signal accordingly. The result value transfer buffer unit 650 is a result stored in the result value transfer buffers 651-1, 651-2,..., 651 -N based on a detection signal output from the second network detector 900. Print the value.

그리고, 제1 네트워크 감지부(200)는 네트워크(500)를 감지하여 그에 따른 감지 신호를 출력하고, 결과값 수신 버퍼부(430)는 그 감지 신호에 따라 중앙 처리 장치(130)에 의해 전송되는 결과값 신호를 저장한다. 오디오 출력 핸들(410)의 오디오 출력 정보부(411)는 오디오 디바이스(400)를 통해 출력하도록 오디오 출력 버퍼(412)의 크기를 설정한다. 음성 처리부(420)의 비교 음성 처리(421-1)는 결과값 수신 버퍼(430) 내의 결과값 수신 버퍼(431-1, 431-2, ...)에 저장되어 있는 각각의 결과값과 음성 데이터(421-2)와 비교하여 결과값에 해당하는 음성 데이터를 선택하여 오디오 출력 핸들(410) 내의 오디오 출력 버퍼(412)에 저장한다. 오디오 출력 정보부(411)는 음성 처리부(420)에 의하여 오디오 출력 버퍼(412)에 저장된 음성 데이터를 오디오 디바이스(400)를 통해 출력한다.In addition, the first network detector 200 detects the network 500 and outputs a detection signal according thereto, and the result value receiving buffer unit 430 is transmitted by the central processing unit 130 according to the detection signal. Save the result signal. The audio output information unit 411 of the audio output handle 410 sets the size of the audio output buffer 412 to output through the audio device 400. The comparison speech processing 421-1 of the speech processing unit 420 performs the speech and the respective result values stored in the result receiving buffers 431-1, 431-2, ... in the result receiving buffer 430. Compared with the data 421-2, the voice data corresponding to the result value is selected and stored in the audio output buffer 412 in the audio output handle 410. The audio output information unit 411 outputs the voice data stored in the audio output buffer 412 by the audio processor 420 through the audio device 400.

여기서, 도 5에 도시된 바와 같이 도 4의 영상 처리부(640)에 입력된 영상 데이터에서 특징값은 전처리(641)에 의해 특징값을 추출할 수 있는 기반을 만들고, 이후 에지 추출(642-1)에 의해서 특징값을 추출할 수 있는 기반을 마련하고, 기울기 추출(642-2), 거리 추출(642-3), 높이 추출(642-4), 방향 추출(642-5) 등을 행함으로써 신호등, 건널목, 이정표 등의 특징값 추출(642-6)을 한다.Here, as shown in FIG. 5, the feature values from the image data input to the image processor 640 of FIG. 4 form a basis from which the feature values can be extracted by the preprocessing 641, and then edge extraction 642-1. ), The slope extraction 642-2, the distance extraction 642-3, the height extraction 642-4, the direction extraction 642-5, etc. Extract feature values (642-6) such as traffic lights, crosswalks, and milestones.

이와 같이 구성되어 동작 되는 본 발명에 따른 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템의 제어 방법을 첨부된 도면 도 6과 도 7을 참조하여 설명하면 다음과 같다.The control method of the visually impaired road guidance system using the image recognition technology according to the present invention configured and operated as described above will be described with reference to FIGS. 6 and 7.

먼저, 시각 장애인(140)은 중앙 서버(145)에 구축된 시스템에 접속하여 출발점 선택(S100), 도착점 선택(S101)을 차례로 행하고, 중앙 서버(145)에 같은 출발점과 도착점에 대한 데이터가 있는지를 검색(S102)한다. 같은 출발점과 도착점에 대한 데이터가 있을 경우 영상 특징값을 다운로드(S103, S104) 하여 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템의 메모리(S105)에 저장한다.First, the blind person 140 connects to the system built in the central server 145 and performs starting point selection (S100) and arrival point selection (S101) in sequence, and whether the central server 145 has data about the same starting point and arrival point. Search (S102). If there is data on the same starting point and arrival point, the image feature values are downloaded (S103, S104) and stored in the memory (S105) of the visually impaired road guidance system using image recognition technology.

이어, 비디오 입력 핸들(311)에 의해서 CCD 카메라(S200)로 입력된 영상 신호가 있는지를 계속적으로 감지(S201)하고, 비디오 신호가 입력되면 입력 버 퍼(312)에 비디오 신호를 일시 저장(S202)한다. 입력 버퍼(312)에 저장된 비디오 신호는 캡쳐부(320)에 의하여 각 프레임으로 분리되어 저장되고, 캡쳐된 프레임의 크기와 개수에 따라 프레임 전송 버퍼를 설정(S203)한다. 제1 네트워크 감지부(200)에 의해 네트워크(500) 상황을 감지(S204)한다. 제1 네트워크 감지부(200)의 감지 신호에 따라 설정된 전송 버퍼에 프레임 신호를 저장(S205)하고, 중앙 처리 장치와 네트워크가 연결되어 있는지(S206)를 감지하여 연결되어 있을 경우 전송 버퍼의 프레임 신호를 전송(S207) 한다.Subsequently, the video input handle 311 continuously detects whether there is an image signal input to the CCD camera S200 (S201), and when the video signal is input, temporarily stores the video signal in the input buffer 312 (S202). )do. The video signal stored in the input buffer 312 is separated and stored in each frame by the capture unit 320, and sets the frame transmission buffer according to the size and number of the captured frames (S203). The first network detection unit 200 detects the network 500 situation (S204). The frame signal is stored in the transmission buffer set according to the detection signal of the first network detection unit 200 (S205), and the frame signal of the transmission buffer is detected when the central processing unit and the network are connected (S206). To transmit (S207).

이어, 제2 네트워크 감지부(900)에 의한 네트워크(500) 상황을 감지(S300)하여, 제2 네트워크 감지부(900)의 감지 신호에 따라 전송되는 프레임 신호를 수신하기 위한 프레임 수신 버퍼부(600)의 크기와 개수를 설정(S301)하고, 설정된 프레임 수신 버퍼(610-1, 610-2, ...)에 수신된 프레임 신호를 저장(S302)한다. 프레임 수신 버퍼부(600) 내의 프레임 수신 버퍼(611-1, 611-2, ...)에 저장된 수신된 프레임 신호는 비디오 출력 핸들(620) 내의 비디오 출력 버퍼(621-2)에 저장(S303)하고, 저장된 비디오 출력 버퍼(621-2)의 프레임 신호를 비디오 디바이스(630)에 출력(S304)한다. 프레임 수신 버퍼부(600) 내의 프레임 수신 버퍼(611-1, 611-2, ...)에 저장된 수신된 프레임 신호는 영상 처리부(640)의 전처리(S305)를 거쳐 에지 추출(S306)을 하고, 추출한 에지 정보가 유용한 데이터인지를 판단(S307)한 후, 기울기 계산(S308), 거리 계산(S309), 높이 계산(S310), 방향 추출(S311)을 행한 결과의 특징값과 중앙 서버(145)로부터 다운로드 한 데이터(S312)와 어느 정도의 유사성을 가지고 있는지 비교(S313)하고, 현재의 상태가 출발점부터 도착점까지 도 로의 상황을 저장만 하는 단계인지를 판단하는 입력 모드(S314)인지를 비교한다. 입력 모드일 경우 추출된 특징값을 저장(S315)하고, 입력 모드가 아닐 경우에는 추출된 특징값을 결과값 전송 버퍼부(650)에 저장하고, 블루투스 장치와 네크워크(500)가 연결되어 있을 경우 결과값 전송 버퍼부(650)에 저장된 결과값을 전송한다. 제1 네트워크 감지부(200)에 의한 네트워크(500) 상황을 감지(S400)하여, 제1 네트워크 감지부(200)의 감지 신호에 따라 전송되는 결과값 신호를 수신하기 위한 결과값 수신 버퍼부(430)의 크기와 개수를 설정(S401)하고, 설정된 결과값 수신 버퍼(431-1, 431-2, ...)에 저장된 수신된 결과값(S402)은 음성 처리부(420) 내의 비교 음성 처리(421-1)에 의해 메모리(421-2)에 저장된 음성 데이터 중에서 결과값에 해당하는 음성 데이터(S403)를 오디오 출력 핸들(410) 내의 오디오 출력 버퍼(412)에 저장하여 오디오 디바이스(400)에 출력(S404)한다. 이후 추출된 특징값이 목적지에 도착한 것인지를 판단(S317)하여 목적지일 경우에는 중앙 서버(145)와 연결하여 출발점부터 도착점까지 저장된 특징값 정보들을 저장(S318)한다.Subsequently, the network 500 is detected by the second network detector 900 (S300), and a frame reception buffer unit for receiving a frame signal transmitted according to the detection signal of the second network detector 900 ( The size and the number of 600 are set (S301), and the received frame signal is stored in the set frame receiving buffers 610-1, 610-2, ... (S302). The received frame signal stored in the frame receiving buffers 611-1, 611-2, ... in the frame receiving buffer unit 600 is stored in the video output buffer 621-2 in the video output handle 620 (S303). The frame signal of the stored video output buffer 621-2 is output to the video device 630 (S304). The received frame signals stored in the frame receiving buffers 611-1, 611-2, ... in the frame receiving buffer unit 600 are subjected to edge extraction (S306) through preprocessing (S305) of the image processor 640. After determining whether the extracted edge information is useful data (S307), the characteristic value of the result of the slope calculation (S308), the distance calculation (S309), the height calculation (S310), and the direction extraction (S311) and the central server 145 Compared with the downloaded data (S312) from the S) how much similarity (S313), and compares whether the current state is the input mode (S314) to determine whether it is the step of storing only the state of the road from the starting point to the arrival point do. In the case of the input mode, the extracted feature value is stored (S315). In the case of the input mode, the extracted feature value is stored in the result value transmission buffer unit 650, and the Bluetooth device and the network 500 are connected. The result stored in the result transmission buffer 650 is transmitted. A result value receiving buffer unit for detecting a network 500 situation by the first network detector 200 (S400) and receiving a result value signal transmitted according to a detection signal of the first network detector 200 ( 430 sets the size and number (S401), and the received result value S402 stored in the set result value receiving buffers 431-1, 431-2, ... is compared with the speech processing in the speech processing unit 420. The audio device 400 stores the voice data S403 corresponding to the result value among the voice data stored in the memory 421-2 by the 421-1 in the audio output buffer 412 in the audio output handle 410. Output to (S404). Thereafter, it is determined whether the extracted feature value arrives at the destination (S317). In case of the destination, the extracted feature value is connected to the central server 145 to store the stored feature value information from the starting point to the arrival point (S318).

상술한 바와 같이 구성되어 동작하는 본 발명에 따른 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템 및 방법은 시각 장애인은 출발점과 도착점을 설정하여 해당하는 영상 특징값을 중앙 서버에서 다운로드 하여 메모리에 저장하고, 출발점을 출발하여 도착점까지 도로 영상을 CCD 카메라로 입력받아, 입력된 영상 데이터를 분석하여 특징값을 추출하고 결과값에 해당되는 음성 데이터를 선택하여 시각 장애인에게 알려준다.In the system and method for visually impaired road guide system and method using the image recognition technology according to the present invention configured and operated as described above, the visually impaired person sets a starting point and an arrival point, downloads a corresponding video feature value from a central server, and stores it in a memory. From the starting point to the arrival point, the road image is input to the CCD camera, the input image data is analyzed, the feature value is extracted, and the voice data corresponding to the result value is selected and informed to the visually impaired person.

본 발명에 따른 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템은 실시간으로 들어오는 영상을 분석하여 시각 장애인이 출발점부터 도착점까지 안전하게 도착할 수 있도록 하기 위한 시스템으로, 실시간으로 들어오는 영상 데이터를 즉시 분석하여 도로의 상황, 장애물 여부, 공사 여부, 방향의 제시, 신호등 알림, 건널목 알림 및 이정표 알림 등을 행함으로써 시각 장애인이 안전하게 도보를 할 수 있는 효과가 있다.The visually impaired road guidance system using the image recognition technology according to the present invention is a system for visually impaired people to safely arrive from the starting point to the arrival point by analyzing the incoming video in real time, the situation of the road by immediately analyzing the incoming video data in real time In addition, there is an effect that the blind person can walk safely by performing obstacles, whether there is construction, whether the direction is presented, traffic light notifications, crossing notices and milestones.

또한, 도로의 상황, 위험 여부 등을 시각 장애인에게 즉시 음성으로 알려줌으로써 시각 장애인이 바로 대처를 할 수 있는 효과가 있다.In addition, there is an effect that the visually impaired can immediately deal with the visually impaired by telling the visually impaired or the situation of the road.

해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Those skilled in the art will appreciate that various modifications and changes can be made in the present invention without departing from the spirit and scope of the invention as set forth in the claims below.

Claims (23)

영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템에 있어서,In the visually impaired road guidance system using image recognition technology, 출발점과 도착점의 도로 정보를 입력, 검색하여 해당하는 도로의 정보가 있을 경우 다운로드할 수 있는 중앙 서버와; 상기 시각 장애인에 의해서 휴대 되며 CCD 카메라와 이어셋이 있고, 블루투스 기술이 들어 있는 블루투스 장치와; 상기 시각 장애인에 의해서 휴대 되며 상기 블루투스 장치와 네트워크 또는 유선으로 연결되어 영상을 인식하여 처리할 수 있는 중앙 처리 장치로 구성하되;A central server capable of inputting and searching road information of a starting point and an arrival point and downloading the corresponding road information if there is information on the corresponding road; A Bluetooth device which is carried by the visually impaired and has a CCD camera and an earset and which contains Bluetooth technology; A central processing unit which is carried by the visually impaired and which is connected to the Bluetooth device by a network or a wire and can recognize and process an image; 상기 중앙 서버는;The central server; 상기 시각 장애인이 인터넷을 통하여 데이터를 저장하고, 입력, 검색할 수 있도록 하는 웹 사이트와 데이터베이스를 제공하며,Providing a web site and a database for the visually impaired to store, enter, and retrieve data through the Internet, 상기 시각 장애인용 휴대장치인 블루투스 장치는;The Bluetooth device which is a portable device for the visually impaired; CCD 카메라에 의해서 입력되는 영상 신호를 프레임 단위로 네트워크를 통하여 중앙 처리 장치에 무선 또는 유선으로 전송하며, 수신된 영상 인식 결과에 따른 음성 데이터를 음성 디바이스를 통한 출력을 제공하며,It transmits the video signal input by CCD camera to the central processing unit wirelessly or wired through the network on a frame-by-frame basis, and provides the audio data according to the received image recognition result through the voice device. 상기 시각 장애인용 휴대장치인 중앙 처리 장치는;The central processing unit is a portable device for the visually impaired; 상기 네트워크를 통하여 전송된 프레임 단위의 영상 신호를 수신하여 한쪽은 비디 오 디바이스를 통하여 출력하고, 다른 한쪽은 프레임 영상 신호를 기울기 추출, 거리 추출, 높이 추출, 방향 추출, 신호등 추출, 건널목 추출 및 이정표 추출 등의 영상 인식 처리하여 그 결과를 네트워크를 통하여 전송하도록 구성함을 특징으로 하는 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템.Receives a video signal in the unit of frame transmitted through the network and outputs one side through a video device, and the other side extracts the frame video signal from a slope extraction, a distance extraction, a height extraction, a direction extraction, a traffic light extraction, a crosswalk extraction, and a milestone. A visually impaired road guidance system using image recognition technology, characterized in that the image recognition processing such as extraction and transmits the result over a network. 제1항에 있어서,The method of claim 1, 상기 중앙 서버는 상기 시각 장애인이 출발점과 도착점의 도로 영상 특징값 데이터들을 인터넷을 통하여 저장하고, 저장된 데이터를 검색하여 필요한 데이터를 인터넷을 통하여 다운로드 하도록 구성된 중앙 서버 장치.The central server is configured to allow the visually impaired to store road image feature value data of a starting point and an arrival point through the Internet, retrieve the stored data, and download necessary data through the Internet. 제1항에 있어서,The method of claim 1, 상기 블루투스 장치는,The Bluetooth device, CCD 카메라에 의해서 입력되는 영상 신호를 일시 저장하는 비디오 입력 핸들;A video input handle for temporarily storing an image signal input by the CCD camera; 상기 네트워크의 신호 전송 상황을 감지하여 그에 따른 신호를 출력하는 제1 네트워크 감지부;A first network detector for detecting a signal transmission state of the network and outputting a signal accordingly; 상기 감지된 신호 전송 상황에 따라 상기 비디오 입력 핸들에 저장된 영상 신호를 저장하기 위한 프레임 버퍼의 크기 및 개수를 설정하고, 상기 설정된 프레임 버퍼에 영상 신호를 저장한 후 출력하기 위한 프레임 전송 버퍼부;A frame transmission buffer unit for setting the size and number of frame buffers for storing the image signals stored in the video input handle according to the detected signal transmission situation, and storing the image signals in the set frame buffer and outputting the image signals; 상기 네트워크의 신호 수신 상황에 따라 상기 네트워크를 통해 전송되는 결과값을 저장하기 위한 버퍼의 크기 및 개수를 설정하고, 상기 설정된 버퍼에 결과값을 저장하는 결과값 수신 버퍼부;A result value receiving buffer unit for setting a size and number of buffers for storing result values transmitted through the network according to a signal reception situation of the network and storing the result values in the set buffer; 상기 결과값 수신 버퍼부에서 출력되는 결과값을 메모리에 저장된 음성으로 대체하여 음성을 출력하기 위한 핸들에 저장하는 음성 처리부;A voice processor which replaces the result value output from the result value receiving buffer unit with a voice stored in a memory and stores the result value in a handle for outputting a voice; 상기 음성 처리부에 의해서 저장된 음성을 출력하기 위한 복수개의 오디오 출력 핸들을 포함하여 구성되는 블루투스 장치.And a plurality of audio output handles for outputting the voice stored by the voice processor. 제3항에 있어서,The method of claim 3, 상기 비디오 입력 핸들은 상기 입력되는 영상 신호의 정보를 감지하는 비디오 입력 정보부와, 입력 정보부에서 출력되는 영상 신호를 일시 저장하는 비디오 입력 버퍼로 구성되는 블루투스 장치.The video input handle includes a video input information unit for detecting information of the input video signal, and a video input buffer for temporarily storing the video signal output from the input information unit. 제3항에 있어서,The method of claim 3, 상기 프레임 전송 버퍼부는 상기 감지된 전송 상황에 따라 크기 및 개수가 설정되는 복수개의 프레임 전송 버퍼로 구성되는 블루투스 장치.The frame transmission buffer unit is composed of a plurality of frame transmission buffers of which size and number are set according to the detected transmission situation. 제3항에 있어서.The method of claim 3. 상기 결과값 수신 버퍼부는 상기 감지된 수신 상황에 따라 상기 네트워크를 통해 전송되는 결과값을 저장하기 위한 버퍼의 크기 및 개수를 설정하고, 상기 설정된 결과값을 저장하는 결과값 수신 버퍼부로 구성되는 블루투스 장치.The result value receiving buffer unit is configured to set the size and number of the buffer for storing the result value transmitted through the network in accordance with the detected reception situation, and the Bluetooth device configured as a result value receiving buffer unit for storing the set result value . 제3항에 있어서,The method of claim 3, 상기 결과값 수신 버퍼부에서 출력되는 결과값을 메모리에 저장된 음성 데이터로 대체하여 오디오 출력 핸들에 출력하여 주는 비교 음성 처리와 각 결과값에 따른 음성 데이터가 저장되어 있는 메모리로 구성되는 블루투스 장치.And a comparison voice process for replacing the result value output from the result value receiving buffer unit with voice data stored in a memory and outputting the result value to an audio output handle, and a memory in which voice data according to each result value is stored. 제3항에 있어서.The method of claim 3. 상기 오디오 출력 핸들은 상기 메모리에 저장된 음성 데이터로 대체되어 출력되는 오디오 신호를 스피커 또는 이어폰을 통해 출력하기 위한 출력 정보를 감지하는 출력 정보부와, 상기 감지된 출력 정보에 따라 설정된 크기의 오디오 신호를 저장한 후 상기 스피커 또는 이어폰을 통해 출력하는 출력 버퍼로 구성되는 블루투스 장치.The audio output handle may include an output information unit configured to detect output information for outputting an audio signal, which is replaced with voice data stored in the memory, through a speaker or earphone, and an audio signal having a size set according to the detected output information. Bluetooth device configured as an output buffer which is then output through the speaker or earphone. 제1항에 있어서,The method of claim 1, 상기 중앙 처리 장치는,The central processing unit, 상기 네트워크의 수신 상황을 감지하여 그에 따른 신호를 출력하는 제2 네트워크 감지부;A second network detector configured to detect a reception state of the network and output a signal according to the received situation; 상기 감지된 신호 수신 상황에 따라 네트워크를 통해 전송되는 프레임 신호를 저장하기 위한 프레임 수신 버퍼의 크기 및 개수를 설정하고, 상기 설정된 프레임 수신 버퍼에 프레임 신호를 저장하는 프레임 수신 버퍼부;A frame receiving buffer unit configured to set a size and number of a frame receiving buffer for storing frame signals transmitted through a network according to the detected signal reception situation, and to store frame signals in the set frame receiving buffer; 상기 프레임 수신 버퍼부에서 출력되는 프레임 신호를 저장하여 출력하기 위한 비디오 출력 핸들;A video output handle for storing and outputting a frame signal output from the frame receiving buffer unit; 상기 프레임 수신 버퍼부에서 출력되는 프레임 신호를 영상 인식 처리하여 특징값을 추출하고, 그 특징값을 저장된 도로 정보와 비교하여 결과값을 출력하는 영상 처리부;An image processor to image-recognize the frame signal output from the frame reception buffer unit, extract a feature value, and compare the feature value with stored road information and output a result value; 상기 감지된 신호 전송 상황에 따라 상기 영상 처리부에서 출력되는 결과값을 저장하기 위한 버퍼의 크기 및 개수를 설정하고, 상기 설정된 버퍼에 결과값을 자장한 후 출력하기 위한 결과값 전송 버퍼부를 포함하여 구성되는 중앙 처리 장치.And setting a size and number of buffers for storing result values output from the image processor according to the detected signal transmission situation, and including a result value transmission buffer unit for outputting the resultant values in the set buffer. Central processing unit. 제9항에 있어서,The method of claim 9, 상기 프레임 수신 버퍼부는 상기 감지된 수신 상황에 따라 크기 및 개수가 설정되는 복수개의 버퍼로 구성되는 중앙 처리 장치.And the frame receiving buffer unit comprises a plurality of buffers whose size and number are set according to the detected reception situation. 제9항에 있어서,The method of claim 9, 상기 비디오 출력 핸들은 상기 프레임 수신 버퍼부에서 출력되는 프레임 신호를 화면을 통해 출력하기 위한 출력 정보를 감지하는 비디오 출력 정보부와, 상기 감지된 출력 정보에 따라 설정된 크기의 비디오 신호를 저장한 후 상기 화면을 통해 출력하는 비디오 출력 버퍼로 구성되는 중앙 처리 장치.The video output handle may include a video output information unit configured to detect output information for outputting a frame signal output from the frame reception buffer unit through a screen, and a video signal having a size set according to the detected output information. Central processing unit consisting of a video output buffer to output through. 제9항에 있어서,The method of claim 9, 상기 영상 처리부는 상기 프레임 수신 버퍼부에서 출력되는 프레임 신호를 영상 인식 처리를 하기 위해 전처리 과정을 거치고, 이후 특징값을 추출하여 상기 시각 장애인이 상기 중앙 서버로부터 다운로드하여 저장한 특징값과 비교하여 그 결과를 결과값 전송 버퍼에 저장하도록 구성되는 중앙 처리 장치.The image processing unit performs a preprocessing process for image recognition processing of the frame signal output from the frame receiving buffer unit, and then extracts the feature value and compares it with the feature value downloaded and stored by the blind person from the central server. A central processing unit configured to store the result in a result transfer buffer. 제9항에 있어서,The method of claim 9, 상기 결과값 전송 버퍼부는 상기 감지된 전송 상황에 따라 크기 및 개수가 설정되는 복수개의 버퍼로 구성되는 중앙 처리 장치.And the result value transfer buffer unit comprises a plurality of buffers whose size and number are set according to the detected transmission situation. 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템의 제어 방법에 있어서,In the control method of the visually impaired road guidance system using image recognition technology, 입력되는 영상 신호를 임시 저장하는 단계;Temporarily storing an input video signal; 상기 네트워크의 전송 상황을 감지하는 단계;Detecting a transmission status of the network; 상기 감지된 전송 상황에 따라 상기 전송 버퍼의 크기 및 개수를 설정하는 단계;Setting a size and number of the transmission buffers according to the detected transmission situation; 상기 크기 및 개수가 설정된 전송 버퍼에 상기 오디오 신호를 저장하였다가 전송하는 단계;Storing and transmitting the audio signal in a transmission buffer in which the size and number are set; 상기 네트워크의 수신 상황을 감지하는 단계;Detecting a reception state of the network; 상기 감지된 수신 상황에 따라 상기 수신 버퍼의 크기 및 개수를 설정하는 단계;Setting a size and a number of the reception buffers according to the detected reception situation; 상기 크기 및 개수가 설정된 프레임 수신 버퍼에 상기 수신되는 프레임 신호를 저장하였다가 화면을 통해 출력하는 단계;Storing the received frame signal in a frame receiving buffer in which the size and number are set and outputting the same through a screen; 상기 크기 및 개수가 설정된 프레임 수신 버퍼에 상기 수신되는 프레임 신호를 저장하였다가 영상 인식 처리를 통해 특징값을 추출하는 단계;Storing the received frame signal in a frame receiving buffer in which the size and number are set and extracting feature values through image recognition processing; 상기 추출된 특징값을 중앙 서버에서 다운로드 하여 저장되어 있는 도로 정보와 비교하는 단계;Comparing the extracted feature values with road information stored in a central server; 상기 추출된 특징값과 상기 도로 정보와 비교한 결과값을 상기 크기 및 개수가 설정된 전송 버퍼에 저장하였다가 전송하는 단계;Storing and transmitting the resultant value of the extracted feature value and the road information in a transmission buffer in which the size and number are set; 상기 크기 및 개수가 설정된 결과값 수신 버퍼에 상기 수신되는 결과값을 저장하였다가 메모리에 저장되어 있는 음성 데이터 중에서 결과값에 해당하는 음성을 오디오 디바이스를 통해 출력하는 단계;Storing the received result value in a result value receiving buffer in which the size and number are set, and outputting a voice corresponding to the result value through an audio device among voice data stored in a memory; 제14항에 있어서,The method of claim 14, 상기 프레임 신호 전송 단계는 상기 감지된 전송 상황에 따라 상기 프레임 신호의 전송 크기 및 횟수를 설정하는 단계를 포함하는 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템의 제어 방법.The transmitting of the frame signal may include setting the transmission size and the number of times of the frame signal according to the detected transmission situation. 제14항에 있어서,The method of claim 14, 상기 전송 상황 및 수신 상황 감지 단계는 동기적으로 수행되는 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템의 제어 방법.The method of controlling the visually impaired road guidance system using image recognition technology, wherein the transmitting and receiving situation detection steps are performed synchronously. 상기 영상 인식 처리 단계는 각 프레임별로 스레드(Thread)에 의해 수행되는 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템의 제어 방법.The image recognition processing step is a control method of the visually impaired road guide system using an image recognition technology performed by a thread (Thread) for each frame. 상기 영상 인식 처리 단계는 각 프레임별로 전처리 과정을 거치고, 에지, 기울기, 거리, 높이 및 방향을 추출하여 특징값을 추출하는 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템의 제어 방법.The image recognition processing step is a pre-processing process for each frame, the control method of the visually impaired road guide system using image recognition technology to extract the feature value by extracting the edge, slope, distance, height and direction. 제15항 내지 제18항 중 어느 한 항에 기재된 방법을 수행하기 위하여 컴퓨터에 의해 실행될 수 있는 명령들로 이루어진 프로그램을 유형적으로 구현한, 컴퓨터로 읽을 수 있는 기록 매체.19. A computer readable recording medium tangibly embodying a program consisting of instructions executable by a computer to perform the method of any one of claims 15-18. 사용자 단말이 네트워크를 통해 결합되어 있는 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템에 있어서,In the visually impaired road guidance system using the image recognition technology that the user terminal is coupled via a network, 상기 사용자 단말은,The user terminal, 상기 네트워크를 통하여 인가되는 비디오 신호를 수신 저장하였다가 소정 크기로 분할하여 출력하며 적어도 하나의 프레임 수신 버퍼를 포함하는 프레임 수신 버퍼부;A frame receiving buffer unit which receives, stores and divides a video signal applied through the network into a predetermined size and includes at least one frame receiving buffer; 프레임 신호를 영상으로 변환하여 출력하는 비디오 디바이스;A video device for converting and outputting a frame signal into an image; 상기 프레임 수신 버퍼부의 출력을 교호로 수신하여 저장하였다가 그 출력을 상기 화면에 인가되는 복수의 출력 핸들;A plurality of output handles that alternately receive and store the output of the frame receiving buffer unit and apply the output to the screen; 상기 프레임 수신 버퍼부의 각 프레임을 영상 인식 처리하여 각 프레임별 특징값을 추출하는 영상 처리부;An image processor extracting a feature value of each frame by performing image recognition on each frame of the frame receiving buffer unit; 상기 중앙 서버로부터 출발점과 도착점에 해당하는 영상의 특징값 데이터를 메모리에 저장하여 상기 추출된 특징값과 비교할 수 있도록 하는 다운로드부;A download unit for storing feature value data of an image corresponding to a starting point and an arrival point from the central server in a memory and comparing the extracted feature value with the extracted feature value; 상기 네트워크를 통하여 인가되는 상기 영상 처리부에 의해 추출된 결과값을 수신 저장하였다가 소정 크기로 분할하여 출력하며 적어도 하나의 결과값 수신 버퍼를 포함하는 결과값 수신 버퍼부;A result value reception buffer unit which receives and stores the result value extracted by the image processing unit applied through the network and divides the result value into a predetermined size and includes at least one result value reception buffer; 상기 결과값 수신 버퍼부에 수신되어진 결과값에 해당하는 메모리에 저장되어 있는 음성데이터를 수신하여 저장하였다가 그 출력을 교호로 상기 스피커 또는 이어폰에 인가되는 복수의 출력 핸들들을 포함하는 것을 특징으로 하는 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템.And a plurality of output handles which receive and store voice data stored in a memory corresponding to a result value received in the result value reception buffer unit and alternately output the voice data to the speaker or the earphone. A visually impaired road guidance system using image recognition technology. 제20항에 있어서,The method of claim 20, 상기 복수의 프레임 출력 핸들들의 수신 및 저장 동작과 상기 복수의 음성 데이터 출력 핸들들의 출력 동작은 독립적으로 동작하는 별개의 스레드에 의해 수행되는 것을 특징으로 하는 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템.Receiving and storing the plurality of frame output handles and the output operation of the plurality of voice data output handles is performed by a separate thread operating independently, the visually impaired road guidance system using the image recognition technology. 제20항에 있어서,The method of claim 20, 상기 사용자 단말은 상기 네트워크 상황을 감시하여, 감시 결과에 기초하여 상기 프레임 수신 버퍼부 및 상기 결과값 수신 버퍼부에 포함되는 상기 수신 버퍼들의 크기 및 수를 제어하는 네트워크 감지부를 더 포함하는 것을 특징으로 하는 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템.The user terminal may further include a network detector configured to monitor the network situation and to control the size and number of the reception buffers included in the frame reception buffer unit and the result value reception buffer unit based on the monitoring result. Visually impaired road guidance system using image recognition technology. 제20항에 있어서,The method of claim 20, 상기 프레임 수신 버퍼부에 수신된 각 프레임의 전처리와 에지, 기울기, 거리, 높이, 방향, 신호등, 건널목 및 이정표의 인식 처리에 의해 특징값을 추출하여 상기 다운로드한 영상 특징값과 비교하고, 상기 특징값에 해당하는 음성 데이터를 오디오 디바이스에 의하여 스피커 및 이어폰으로 출력하는 것을 특징으로 하는 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템.The feature value is extracted by preprocessing each frame received in the frame receiving buffer unit and recognition processing of edge, slope, distance, height, direction, traffic light, crosswalk, and milestone, and compared with the downloaded image feature value. The visually impaired road guidance system using image recognition technology, characterized in that for outputting the audio data corresponding to the value to the speaker and earphone by the audio device.
KR1020060068268A 2006-07-21 2006-07-21 A street guidance information system for blind peoples that using image recognition technology KR20080008705A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060068268A KR20080008705A (en) 2006-07-21 2006-07-21 A street guidance information system for blind peoples that using image recognition technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060068268A KR20080008705A (en) 2006-07-21 2006-07-21 A street guidance information system for blind peoples that using image recognition technology

Publications (1)

Publication Number Publication Date
KR20080008705A true KR20080008705A (en) 2008-01-24

Family

ID=39221473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060068268A KR20080008705A (en) 2006-07-21 2006-07-21 A street guidance information system for blind peoples that using image recognition technology

Country Status (1)

Country Link
KR (1) KR20080008705A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101054025B1 (en) * 2009-07-07 2011-08-04 숭실대학교산학협력단 Visually impaired walking guidance method and system
KR200471699Y1 (en) * 2013-02-07 2014-03-13 경성대학교 산학협력단 A Route Guidance Map for the Mobility Handicapped
KR20160032961A (en) * 2014-09-17 2016-03-25 우석대학교 산학협력단 Voice road guide system for a person who is visually handicapped
KR20160113666A (en) * 2014-01-24 2016-09-30 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 Audio navigation assistance
WO2020116674A1 (en) * 2018-12-05 2020-06-11 전자부품연구원 Intelligent method and device for enhancing visual information for mobility-impaired person

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101054025B1 (en) * 2009-07-07 2011-08-04 숭실대학교산학협력단 Visually impaired walking guidance method and system
KR200471699Y1 (en) * 2013-02-07 2014-03-13 경성대학교 산학협력단 A Route Guidance Map for the Mobility Handicapped
KR20160113666A (en) * 2014-01-24 2016-09-30 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 Audio navigation assistance
KR20160032961A (en) * 2014-09-17 2016-03-25 우석대학교 산학협력단 Voice road guide system for a person who is visually handicapped
WO2020116674A1 (en) * 2018-12-05 2020-06-11 전자부품연구원 Intelligent method and device for enhancing visual information for mobility-impaired person

Similar Documents

Publication Publication Date Title
JP6525229B1 (en) Digital search security system, method and program
Kumar et al. RETRACTED ARTICLE: Intelligent face recognition and navigation system using neural learning for smart security in Internet of Things
JP4528295B2 (en) GUIDANCE ROBOT DEVICE AND GUIDANCE SYSTEM
CN100578149C (en) Information processor, portable apparatus and infomation processing method
JP2005059170A (en) Information collecting robot
JP2005037181A (en) Navigation device, server, navigation system, and navigation method
KR20080008705A (en) A street guidance information system for blind peoples that using image recognition technology
KR101954989B1 (en) Imformation provision apparatus for blind people
US20120327203A1 (en) Apparatus and method for providing guiding service in portable terminal
KR100846299B1 (en) System and method for offering traffic information
KR101847764B1 (en) Information gathering system for the visually impaired
KR20210012198A (en) Apparatus and method of speaking object location information for blind person
KR101197693B1 (en) Direction guide system for blind person
KR101268486B1 (en) Way guide system for blind people
JP4375879B2 (en) Walking support system and information recording medium for the visually impaired
Wei et al. [Retracted] Innovative Design of Intelligent Health Equipment for Helping the Blind in Smart City
KR20080076270A (en) System for guiding road a blind person
KR20090109436A (en) Walking guidance system for the blind
KR20190023017A (en) A navigation system for visually impaired person and method for navigating using the same
KR20070080298A (en) Guidance of the load apparatus for blind and control method thereof
JP2015521319A (en) Acoustic signal system for visually impaired people using GPS and smartphone applications
WO2020245991A1 (en) Road guidance system and mobile information terminal used in same
JP2012203646A (en) Flow-state discrimination device, flow-state discrimination method, flow-state discrimination program, and robot control system using the device, method and program
KR20090000115A (en) The blind people road-guide system and mathod used mobile rfid
WO2020188626A1 (en) Vision assistance device

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid