KR20190069720A - Object recognition and for the visually imparied pedestrian guidance system - Google Patents

Object recognition and for the visually imparied pedestrian guidance system Download PDF

Info

Publication number
KR20190069720A
KR20190069720A KR1020170169916A KR20170169916A KR20190069720A KR 20190069720 A KR20190069720 A KR 20190069720A KR 1020170169916 A KR1020170169916 A KR 1020170169916A KR 20170169916 A KR20170169916 A KR 20170169916A KR 20190069720 A KR20190069720 A KR 20190069720A
Authority
KR
South Korea
Prior art keywords
unit
information
communication unit
communication
image
Prior art date
Application number
KR1020170169916A
Other languages
Korean (ko)
Inventor
김민규
Original Assignee
김민규
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김민규 filed Critical 김민규
Priority to KR1020170169916A priority Critical patent/KR20190069720A/en
Publication of KR20190069720A publication Critical patent/KR20190069720A/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3629Guidance using speech or audio output, e.g. text-to-speech
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3652Guidance using non-audiovisual output, e.g. tactile, haptic or electric stimuli
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • A61H2003/063Walking aids for blind persons with electronic detecting or guiding means with tactile perception
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5007Control means thereof computer controlled
    • A61H2201/501Control means thereof computer controlled connected to external computer devices or networks
    • A61H2201/5012Control means thereof computer controlled connected to external computer devices or networks using the internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5023Interfaces to the user
    • A61H2201/5048Audio interfaces, e.g. voice or music controlled

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Vascular Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Rehabilitation Tools (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention relates to an apparatus for recognizing an object and guiding walking for a visually impaired person, which enables a visually impaired person to accurately and safely walk. The apparatus of the present invention comprises: a mounting unit including a GPS, an azimuth measuring unit, an image photographing unit, a tactile display unit, and a first communication unit; a body including a second communication unit, a third communication unit, a memory unit, a sound output unit, and a central processing unit; and a manipulation unit inputting a command to selectively output information.

Description

시각장애인을 위한 사물인식 및 보행안내 장치{OBJECT RECOGNITION AND FOR THE VISUALLY IMPARIED PEDESTRIAN GUIDANCE SYSTEM}[0001] OBJECTIVE RECOGNITION AND FOR THE VISUALLY IMPARIED PEDESTRIAN GUIDANCE SYSTEM [0002]

본 발명은 시각장애인이 전방의 사물을 인식하면서 목표지점을 정확하고 안전하게 보행할 수 있는 보행안내 장치에 관한 것으로, 더욱 상세하게는 전방의 영상을 획득하고, 이를 형상화하여 시각장애인이 피부를 통해 알 수 있으면서 통신망을 통해 서버에 저장된 정보와 획득한 영상을 비교하여 건물 및 사물의 정보를 시각장애인에게 알려 줌으로써, 정확한 위치를 찾아갈 수 있는 시각장애인을 위한 사물인식 및 보행안내 장치에 관한 것이다.The present invention relates to a gait guide device capable of precisely and safely walking a target point while recognizing an object in front of a visually impaired person. More particularly, the present invention relates to a gait guide device which acquires a forward image and shapes it, The present invention relates to an object recognizing apparatus and a walking guide apparatus for a visually impaired person who can ascertain a precise position by informing visually impaired persons of building and object information by comparing the information stored in the server and the acquired image through a communication network.

종래의 시각장애인용 보행안내 장치는 전방의 사물을 형상화하여 이를 시각장애인에게 인지시켰다. 즉, 사물의 형태만 알 수 있을 뿐, 그것이 생물인지 무생물 인지 알 수가 없었다. 가령, 마네킹이 전방에 놓여 있으면, 사람인지 마네킹인지 구분할 수가 없어서 도움 요청시 마네킹한테 가서 도움을 요청하는 어이없는 상황이 벌어지는 문제점이 발생한다. 또한, 시각장애인이 네비게이션을 이용하여 목표지점을 가더라도 목표지점 근처에 도착하면 네이게이션의 안내가 종료되어 목표지점이 어느 방향에 있는지 알 수가 없어서 다시 길을 헤매는 문제점이 발생한다.Conventional gait guidance devices for the visually impaired shape objects in front and perceive them to the visually impaired. In other words, we could only know the shape of an object, and we could not know whether it was inanimate or inanimate. For example, if the mannequin is in front of you, you can not tell whether it is a mannequin or a mannequin, so you have to go to the mannequin to ask for help. In addition, even if a visually impaired person reaches the target point by using navigation, when navigation reaches the target point, the guidance of the navigation ends and the user can not know the direction in which the target point is located.

게다가, 전방에 가는 줄과 같은 장애물이 나타나면 이를 탐지할 수가 없고, 탐지를 하더라도 어떤 장애물인지 알 수가 없어서 피해갈 수 없는 곤란한 상황이 벌어지기도 한다.In addition, if obstacles such as a thinning line appear in front of you, you can not detect it, and even if you do detect it, you may not know what obstacles are causing you to be in trouble.

본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로, 증강현실을 이용하되, 전방의 영상을 획득하고 통신망을 통해 위치정보서버에 접속하여 획득한 영상과 서버의 데이터를 비교하여 일치하는 상세한 정보를 시각장애인에게 알려줌으로써, 시각장애인이 정확한 위치를 찾아갈 수 있고, 사물의 정보를 인지할 수 있으며, 전방에 작은 장애물이 있더라도 이를 탐지할 수 있는 시각장애인을 위한 사물인식 및 보행안내 장치를 제공하는데 그목적이 있다.SUMMARY OF THE INVENTION The present invention has been conceived to solve the above-mentioned problems, and it is an object of the present invention to provide a method and system for acquiring detailed information By providing information to the visually impaired, the visually impaired can find the correct position, can recognize the information of the object, and can detect the presence of a small obstacle in front of the visually impaired person. It has its purpose.

본 발명의 목적은, GPS와, 방위측정부와, 전방을 촬영하는 영상촬영부와, 데이터를 입력받아 전기자극을 발생시켜 피부에 형상 또는 문자를 전달하는 촉각표출부와, 상기 GPS, 상기 방위측정부 및 상기 영상촬영부로부터 획득한 정보를 송신하는 제1통신부를 구비하는 장착부;와, 상기 제1통신부와 정보 또는 데이터를 송수신하는 제2통신부와, 통신망을 통해 위치정보서버에 접속하고 현재의 위치를 전송하여 상기 위치정보서버로부터 주변의 정보를 실시간으로 수신하는 제3통신부와, 도움을 요청하는 정보를 포함하는 메모리부와, 외부에 소리로 알려주는사운드출력부와, 상기 제2통신부로부터 수신된 정보를 처리하여 데이터를 생성하고 생성된 데이터를 상기 제2통신부로 송신하거나 생성된 데이터 또는 제3통신부로부터 수신된 정보를 처리하여 상기 사운드출력부로 송신하는 중앙처리부를 구비하는 본체; 및 상기 사운드출력부를 통해 상기 제2통신부로부터 수신된 정보, 상기 제3통신부로부터 수신된 정보 또는 상기 메모리부에 저장된 정보를 선택적으로 출력하도록 명령을 입력하는 조작부;를 포함하되, 상기 장착부를 시각장애인의 이마에 착용한 상태에서 시각장애인이 보행하면 상기 영상활영부에서 전방의 영상을 획득하고, 획득한 영상의 이미지를 상기 중앙처리부가 처리하여 이를 상기 촉각표출부를 통해 시각장애인이 전방의 사물을 인지하며, 상기 위치정보서버로부터 주변의 정보를 실시간으로 수신하여 목표지점을 정확하고 안전하게 안내하는 것을 특징으로 하는 시각장애인을 위한 사물인식 및 보행안내 장치에 의해 달성된다. An object of the present invention is to provide a tactile display device that includes a GPS, an orientation measurement section, an image capturing section that captures an image of the front, a tactile display section that receives data and generates electrical stimulation to transmit a shape or character to the skin, A second communication unit that transmits and receives information or data to and from the first communication unit; and a second communication unit that accesses the location information server through a communication network and transmits the information A third communication unit for transmitting surrounding information from the location information server in real time, a memory unit including information for requesting assistance, a sound output unit for informing the outside by sound, And transmits the generated data to the second communication unit, processes the generated data or the information received from the third communication unit, The body having a central processing unit for transmitting sound output portion; And an operation unit for inputting a command to selectively output information received from the second communication unit through the sound output unit, information received from the third communication unit, or information stored in the memory unit, The central processing unit processes the image of the acquired image to recognize the object in front of the visually impaired person through the tactile display unit, And receives the surrounding information from the location information server in real time to guide the target point accurately and safely.

또, 상기 본체는, 문자를 입력하는 문자입력부와, 상기 문자입력부에 의해 입력된 문자를 출력하는 디스플레이부를 더 포함할 수 있다.The main body may further include a character input unit for inputting characters and a display unit for outputting characters input by the character input unit.

또, 상기 장착부는, 상기 장착부로부터 전방의 1m 이내에 물체가 접근하거나 장애물에 접근하는 것을 알리는 근접감지부와, 상기 장착부로부터 전방의 1m 이내에 사물이 접근하거나 장애물에 접근했을 때 이를 촬영하여 사진정보를 획득하는 근접촬영부를 더 포함하되, 상기 근접촬영부로부터 획득한 사진정보를 상기 제1통신부를 통해 상기 본체로 전송하고, 상기 중앙처리부가 전송된 사진정보를 처리하여 데이터를 생성하며, 생성된 데이터를 상기 촉각표출부로 전송하여 장애물을 구분할 수 있다.The proximity sensing unit informs the driver that the object approaches or approaches the obstacle within 1 m ahead of the mounting unit, and when the object approaches or approaches the obstacle within 1 m from the mounting unit, Wherein the central processing unit processes the transmitted photograph information to generate data, and the generated data is transmitted to the main body through the first communication unit, To the tactile display unit to distinguish the obstacles.

또, 상기 장착부는, 전방의 열을 감지하는 열감지센서부를 더 포함하되, 상기 열감지센서부로부터 획득한 온도정보를 상기 제1통신부를 통해 상기 본체로 전송하고, 상기 중앙처리부가 상기 영상정보 및 상기 온도정보를 비교하여 데이터를 생성하며, 생성된 데이터를 상기 촉각표출부로 전송하여 전방의 사물이 생물 또는 무생물인지판별할 수 있다.In addition, the mounting portion may further include a thermal sensor portion for sensing a front heat, wherein temperature information acquired from the thermal sensor portion is transmitted to the main body through the first communication portion, And the temperature information are compared with each other to generate data, and the generated data is transmitted to the tactile display unit, so that it is possible to determine whether the object in front is biological or inanimate.

또, 상기 메모리부는, 장애인이 목적지를 용이하게 갈 수 있도록, 상기 촉각표출부 또는 상기 사운드출력부를 통해 이동경로를 알려주는 전자지도정보를 더 포함하되, 상기 위치정보서버로부터 정보를 수신할 수 없는 경우 상기 전자지도정보가 작동할 수 있다.The memory unit may further include electronic map information indicating a travel route through the tactile display unit or the sound output unit so that a disabled person can easily navigate to a destination, The electronic map information can be operated.

본 발명은 전방의 상황을 촉각표출부를 통해서 시각장애인에게 알려주어 전방의 사물을 구분하고, 증강현실을 이용하여 위치정보서버로부터 정보를 획득하여 시각장애인이 정확한 목표지점을 찾아갈 수 있으며, 사물의 정보 또한 알 수 있는 장점이 있다. 또한, 열감지센서부를 이용하여 도움 요청시 실제 사람 또는 마네킹 등과 같이 생물과 무생물을 구분하여 형상에만 의존하는 것을 보강함으로써, 시각장애인이 엉뚱한 곳으로 진행하는 것을 방지하는 효과가 있다. 게다가, 문자입력부로 문자를 입력하여 이를 디스플레이부를 통해서 의사를 전달함으로써, 소리로 의사전달이 어려운 시각장애인도 도움을 요청할 수 있는 장점이 있다. 그리고, 근접촬영부를 설치하여 전방에 작은 장애물이 나타나더라도 이를 촬영하여 알려줌으로써, 시각장애인이 용이하게 피해갈 수 있는 장점이 있다.The present invention can notify the visually impaired through the tactile display unit of the forward situation, distinguish the objects ahead, acquire information from the position information server using the augmented reality, There is also an advantage of knowing information. In addition, by using the heat detection sensor unit, when a request for assistance is made, it is possible to distinguish between inanimate objects and non-living objects such as a real person or a mannequin, thereby reinforcing the dependence on the shape only, thereby preventing the blind person from going to the wrong place. In addition, by inputting a character into a character input unit and communicating it through a display unit, a visually impaired person having difficulty communicating with a sound is also able to request help. Further, even if a small obstacle appears in front of a close-up photographing unit, it is photographed and informed, so that the visually impaired person can easily avoid the obstacle.

도 1은 본 발명의 실시 예에 따른 시각장애인을 위한 사물인식 및 보행안내 장치를 개략적으로 나타낸 사시도이다.
도 2는 본 발명에서 장착부를 개략적으로 나타낸 블록도이다.
도 3은 본 발명에서 본체를 개략적으로 나타낸 블록도이다.
도 4는 본 발명에서 조작부를 개략적으로 나타낸 블록도이다.
1 is a perspective view schematically showing an object recognizing apparatus and a walking guidance apparatus for a visually impaired person according to an embodiment of the present invention.
2 is a block diagram schematically showing a mounting portion in the present invention.
3 is a block diagram schematically showing the main body in the present invention.
4 is a block diagram schematically showing an operation unit in the present invention.

본 발명의 목적은, GPS(13)와, 방위측정부(12)와, 전방을 촬영하는 영상촬영부(14)와, 데이터를 입력받아 전기 자극을 발생시켜 피부에 형상 또는 문자를 전달하는 촉각표출부(11)와, 상기 GPS(13), 상기 방위측정부(12) 및 상기 영상촬영부(14)로부터 획득한 정보를 송신하는 제1통신부(18)를 구비하는 장착부(1);와, 상기 제1통신부(18)와 정보 또는 데이터를 송수신하는 제2통신부(21)와, 통신망(미도시)을 통해 위치정보서버(미도시)에 접속하고 현재의 위치를 전송하여 상기 위치정보서버로부터 주변의 정보를 실시간으로 수신하는 제3통신부(25)와, 도움을 요청하는 정보를 포함하는 메모리부(27)와, 외부에 소리로 알려주는 사운드출력부(26)와, 상기 제2통신부(21)로부터 수신된 정보를 처리하여 데이터를 생성하고 생성된 데이터를 상기 제2통신부(21)로 송신하거나 생성된 데이터 또는 제3통신부(25)로부터 수신된 정보를 처리하여 상기 사운드출력부(26)로 송신하는 중앙처리부(24)를 구비하는 본체(2); 및 상기 사운드출력부(26)를 통해 상기 제2통신부(21)로부터 수신된 정보, 상기 제3통신부(25)로부터 수신된 정보 또는 상기 메모리부(27)에 저장된 정보를 선택적으로 출력하도록 명령을 입력하는 조작부(3);를 포함하되, 상기 장착부(1)를 시각장애인의 이마에 착용한 상태에서 시각장애인이 보행하면 상기 영상촬영부(14)에서 전방의 영상을 획득하고, 획득한 영상의 이미지를 상기 중앙처리부(24)가 처리하여 이를 상기 촉각표출부(11)를 통해 시각장애인이 전방의 사물을 인지하며, 상기 위치정보서버로부터 주변의 정보를 실시간으로 수신하여 목표지점을 정확하고 안전하게 안내하는 것을 특징으로 하는 시각장애인을 위한 사물인식 및보행안내 장치에 의해 달성된다.An object of the present invention is to provide a tactile sensor which comprises a GPS (13), an azimuth measuring unit (12), an image capturing unit (14) (1) having a display unit (11), and a first communication unit (18) for transmitting information acquired from the GPS (13), the azimuth measurement unit (12) A second communication unit 21 for transmitting and receiving information or data to and from the first communication unit 18 and a position information server (not shown) via a communication network (not shown) A memory unit 27 including information for requesting assistance, a sound output unit 26 for informing the outside of the sound by sound, Processing the information received from the first communication unit 21 to generate data and transmitting the generated data to the second communication unit 21 Generated body (2) for processing the information received from the data or the third communication unit 25 includes a central processing unit 24 to be transmitted to the sound output section 26; And a command to selectively output information received from the second communication unit 21 through the sound output unit 26, information received from the third communication unit 25, or information stored in the memory unit 27 (1) is worn on the forehead of a visually impaired person, and when the visually impaired person is walking, the image capturing unit (14) acquires an image forward of the image capturing unit (14) The central processing unit 24 processes the image, recognizes the object ahead of the blind person through the tactile display unit 11, receives the surrounding information from the position information server in real time, and accurately and safely The present invention relates to an object recognition apparatus and a walking guidance apparatus for a visually impaired person.

또, 상기 본체(2)는, 문자를 입력하는 문자입력부(23)와, 상기 문자입력부(23)에 의해 입력된 문자를 출력하는 디스플레이부(22)를 더 포함할 수 있다.The main body 2 may further include a character input unit 23 for inputting characters and a display unit 22 for outputting the characters input by the character input unit 23.

또, 상기 장착부(1)는, 상기 장착부(1)로부터 전방의 1m 이내에 물체가 접근하거나 장애물에 접근하는 것을 알리는 근접감지부(16)와, 상기 장착부(1)로부터 전방의 1m 이내에 사물이 접근하거나 장애물에 접근했을 때 이를 촬영하여 사진정보를 획득하는 근접촬영부(17)를 더 포함하되, 상기 근접촬영부(17)로부터 획득한 사진정보를 상기 제1통신부(18)를 통해 상기 본체(2)로 전송하고, 상기 중앙처리부(24)가 전송된 사진정보를 처리하여 데이터를 생성하며, 생성된 데이터를 상기 촉각표출부(11)로 전송하여 장애물을 구분할 수 있다.The mounting portion 1 includes a proximity sensing portion 16 for notifying that an object approaches or approaches an obstacle within 1 m ahead of the mounting portion 1 and a proximity sensing portion 16 for sensing an object within 1 m ahead of the mounting portion 1 Further comprising a close-up photographing unit (17) for photographing the close-up photographing unit when the photographing unit approaches the obstacle or obtaining an image of the obstacle, 2, the central processing unit 24 processes the transmitted photograph information to generate data, and transmits the generated data to the tactile display unit 11 to identify obstacles.

또, 상기 장착부(1)는, 전방의 열을 감지하는 열감지센서부(15)를 더 포함하되, 상기 열감지센서부(15)로부터 획득한 온도정보를 상기 제1통신부(18)를 통해 상기 본체(2)로 전송하고, 상기 중앙처리부(24)가 상기 영상정보 및 상기 온도정보를 비교하여 데이터를 생성하며, 생성된 데이터를 상기 촉각표출부(11)로 전송하여 전방의 사물이 생물 또는 무생물인지 판별할 수 있다.The mounting part 1 further includes a heat sensing part 15 for sensing the front heat and the temperature information obtained from the heat sensing part 15 is transmitted through the first communication part 18 The central processing unit 24 compares the image information and the temperature information to generate data and transmits the generated data to the tactile display unit 11 so that the object in front Or inanimate matter.

또, 상기 본체(2)는, 장애인이 목적지를 용이하게 갈 수 있도록, 상기 촉각표출부(11) 또는 상기 사운드출력부(26)를 통해 이동경로를 알려주는 전자지도정보를 더 포함하되, 상기 위치정보서버로부터 정보를 수신할 수 없는 경우 상기 전자지도정보가 작동할 수 있다.The main body 2 further includes electronic map information indicating a travel route through the tactile display unit 11 or the sound output unit 26 so that a disabled person can easily reach a destination, If the information can not be received from the location information server, the electronic map information can be operated.

도 1은 본 발명의 실시 예에 따른 시각장애인을 위한 사물인식 및 보행안내 장치를 개략적으로 나타낸 사시도이다.1 is a perspective view schematically showing an object recognizing apparatus and a walking guidance apparatus for a visually impaired person according to an embodiment of the present invention.

도 2는 본 발명에서 장착부(1)를 개략적으로 나타낸 블록도이다.2 is a block diagram schematically showing the mounting portion 1 in the present invention.

도 3은 본 발명에서 본체(2)를 개략적으로 나타낸 블록도이다.3 is a block diagram schematically showing the main body 2 in the present invention.

도 4는 본 발명에서 조작부(3)를 개략적으로 나타낸 블록도이다.4 is a block diagram schematically showing the operation unit 3 in the present invention.

이하 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1 내지 도 4에 도시된 바와 같이, 본 발명의 실시 예에 따른 시각장애인을 위한 사물인식 및 보행안내 장치는, 장착부(1), 본체(2) 및 조작부(3)를 포함한다.1 to 4, the object recognition and gait guidance device for a visually impaired person according to an embodiment of the present invention includes a mounting portion 1, a main body 2, and an operation portion 3. [

장착부(1)는, 대략 밴드형태로, 벨크로 등의 탈착수단에 의해서 머리에 탈부착이 가능하고, GPS(13)(Global Positioning System), 방위측정부(12), 영상촬영부(14), 열감지센서부(15), 근접감지부(16), 근접촬영부(17),촉각표출부(11), 동작감지부(19) 및 제1통신부(18)를 포함한다.The mounting portion 1 is substantially in the form of a band and can be detachably attached to and detached from the head by a detachment means such as a Velcro or the like. The GPS 13 (Global Positioning System), the azimuth measuring portion 12, A proximity sensing unit 16, a close sensing unit 17, a tactile display unit 11, an operation sensing unit 19, and a first communication unit 18.

GPS(13)는, 시각장애인의 위치에 대한 정보를 획득하고, 획득한 정보를 제1통신부(18)를 통해 본체(2)로 전송한다. 이에 따른 상세한 설명은 후술한다.The GPS 13 acquires information on the position of the blind person and transmits the acquired information to the main body 2 through the first communication unit 18. [ A detailed description thereof will be described later.

방위측정부(12)는, 대략 8개의 방향 즉 동, 서, 남, 북, 북동, 북서, 남동, 남서를 감지하는 전자나침반 등이 사용되며, 시각장애인이 어느 방향을 향해 서있는지에 대한 정보를 획득하고, 획득한 정보를 제1통신부(18)를The azimuth measuring unit 12 uses approximately eight directions, namely, an electronic compass for detecting east, west, south, north, northeast, northwest, southeast, and southwest, And acquires the acquired information to the first communication unit 18

통해 본체(2)로 전송한다. 이에 따른 상세한 설명은 후술한다.To the main body (2). A detailed description thereof will be described later.

영상촬영부(14)는, 대략 640*320 픽셀(pixels)의 시모스(CMOS)센서를 사용한 카메라 등이 사용되며, 시각장애인의 전방을 촬영하여 영상정보를 획득하고, 획득한 정보를 제1통신부(18)를 통해 본체(2)로 전송한다. 여기서, 영상촬영부(14)는 주간에는 영상신호를 RGB신호로 분리하여 처리하고, 야간에는 적외선(IR)을 이용하여 그레이스케일로 처리하여 제1통신부(18)를 통해 본체(2)로 전송한다. 이는, 카메라의 특성상 광량이 적은 곳에서는 시모스센서의 작동이 느려져 영상이 번지므로 영상을 획득하기에 곤란하다. 따라서, 광량이 많은 주간에는 RGB신호로 분리하여 처리하고, 상대적으로 광량이 적은 야간에는 적외선(IR)을 이용하여 그레이스케일로 처리한다.이에 따른 기술은 이미 공지되고 널리 알려진 관계로 상세한 설명은 생략하기로 한다.A camera using a CMOS sensor of approximately 640 * 320 pixels is used as the image capturing unit 14, and the image of the front of the visually impaired is captured to acquire image information, To the main body (2) via the main body (18). Here, the image capturing unit 14 processes the image signal into RGB signals in the daytime and processes it in the gray scale using the infrared (IR) in the nighttime, and transmits them to the main body 2 through the first communication unit 18 do. This is because it is difficult to acquire an image because the operation of the SimoS sensor is slowed at a place where the light amount is small due to the characteristics of the camera, Therefore, the RGB signals are separated and processed in the daytime when the light amount is large, and are processed in the gray scale using the infrared (IR) in the nighttime when the light amount is relatively low. .

열감지센서부(15)는, 대략 전자열감지센서 등이 사용되고, 전방에 배치된 사물의 열을 감지하여 정보를 획득하며, 획득한 정보를 제1통신부(18)를 통해 본체(2)로 전송한다. 이는, 영상만으로 실제 사람과 인형 또는 마네킹을 구분하기 위해서 즉, 생물과 무생물을 구분하기 위해서 사용하는 것으로 이에 따른 설명은 후술한다.The heat detection sensor unit 15 uses a substantially electromagnetic heat sensor or the like and senses the heat of the object arranged in the front to acquire information and transmits the obtained information to the main body 2 via the first communication unit 18 send. This is used to distinguish real persons from dolls or mannequins, that is, to distinguish between inanimate objects and inanimate objects, by using images alone, and a description thereof will be described later.

근접감지부(16)는, 대략 초음파센서를 사용하며, 시각장애인에게 사람 또는 차량 등이 접근하거나 시각장애인이 장애물에 접근했을 경우에 장애물의 유무를 확인하는 정보를 획득하고, 획득한 정보를 제1통신부(18)를 통해서 본체(2)로 전송하여 사운드출력부(26)를 통해 경보음을 출력한다. 이때, 근접감지부(16)의 감지범위는 전방70cm 이내, 수평을 기준으로 경사각이 상부로 60°하부로 60°총 120°범위 내의 장애물을 감지한다. 이는, 시각장애인으로부터 70cm를 벗어난 장애물을 시각장애인이 지팡이로 인지할 경우에는 이를 피해서 가면 되지만, 지팡이로 인지되지 않고 장애물이 70cm 이내로 접근하는 경우에는 시각장애인이 장애물과 충돌할 수 있으므로, 70cm 이내로 접근하는 장애물에 대해서는 근접감지부(16)가 이를 감지하고, 사운드출력부(26)를 통해 경보음을 출력하여 시각장애인에게 알려준다.The proximity sensor 16 uses a roughly ultrasonic sensor and acquires information for confirming presence or absence of an obstacle when a person or a vehicle approaches the blind or a blind person approaches the obstacle, 1 communication unit 18 and outputs an alarm sound through the sound output unit 26. The sound output unit 26 outputs the alarm sound. At this time, the detection range of the proximity sensing unit 16 detects an obstacle within 70 cm forward, an inclination angle 60 ° upward from the horizontal, and 60 ° total 120 ° from the top. This is because if a visually impaired person recognizes an obstacle beyond 70cm from a visually impaired person as a staff member, he or she should avoid it. However, if the obstacle approaches within 70cm without being recognized as a cane, The proximity sensing unit 16 senses the obstacle and outputs a warning sound through the sound output unit 26 to inform the visually impaired.

근접촬영부(17)는, 대략 접사카메라 등이 사용되며, 근접감지부(16)와 연결되어 근접감지부(16)로부터 장애물이 감지됨과 동시에 작동한다. 이때, 근접촬영부(17)는 초점거리가 70cm 내로 정해져 있으며, 장애물을 촬영하여 사진을 획득하고, 획득한 사진을 제1통신부(18)를 통해 본체(2)로 전송한다. 이는, 시각장애인이 장애물을 피해가야 할 상황이 발생하는 경우 경보음만 가지고 장애물을 피해가기 곤란하므로, 장애물이 무엇인지 파악해야 한다. 그런데, 가는 줄의 장애물의 경우에는 영상촬영부(14)가 촬영해도 잘 나타나지 않을 수 있다. 예를 들면, 영상촬영부(14)의 경우에는 초점범위가 무한대로 설정되어 있기 때문에 가는 줄이 가까이 있으면 인식하지 못하는 경우가 발생할 수 있다. 따라서, 시각장애인이 장애물을 더욱 확실하게 구분하여 장애물을 용이하게 피해갈 수 있도록, 작은 장애물을 더욱 정밀하게 촬영할 수 있는 초점거리가 정해진 별도의 카메라를 장착하는 것이다.The close-up photographing unit 17 is connected to the proximity detecting unit 16 and operates simultaneously with the detection of the obstacle from the proximity detecting unit 16. [ At this time, the close-up photographing unit 17 has a focal length of 70 cm, captures an obstacle, acquires a photograph, and transmits the obtained photograph to the main body 2 through the first communication unit 18. This is because if a blind person has to avoid the obstacle, it is difficult to avoid the obstacle by only the alarm sound. However, in the case of an obstacle in a thin line, the image capturing unit 14 may not be able to be displayed even if it is photographed. For example, in the case of the image capturing unit 14, since the focus range is set to infinity, it may happen that the thin line is not recognized when it is close to the line. Therefore, a separate camera with a fixed focal length is provided so that a blind person can more easily distinguish obstacles and easily avoid obstacles.

촉각표출부(11)는, 시각장애인의 이마에 밀착되고, 데이터를 입력받아 촉각을 자극하는 전기신호가 출력된다. 이때 촉각표출부(11)는 사물의 형태를 형상화할 수 있도록, 대략 전기신호가 출력되는 512개의 포인트가 직사각형태로 분포되어 형성되고, 최대 300V/10mA 내외의 전기신호가 출력되며, 사물의 형태 또는 문자가 형상화시켜 시각장애인이 사물 또는 전방의 상황을 인식한다. 이에 따른 설명은 후술한다.The tactile display unit 11 is brought into close contact with the forehead of the visually impaired person and receives an electric signal and outputs an electric signal for stimulating the tactile sense. At this time, the tactile display unit 11 is formed by distributing a rectangular point of 512 points at which approximately electric signals are outputted so as to form a shape of an object, and electric signals of about 300 V / 10 mA or less are outputted, Or characters, so that the blind person recognizes the situation of the object or the front. A description thereof will be described later.

동작감지부(19)는, 전기의 사용량을 절감하기 위해서 시각장애인의 움직임이 없을 때에는 장착부(1)와 본체(2)가 전원절약모드로 전환된다. 이때, 전월절약모드로 전환되면, 장착부(1)에서는 동작감지부(19), 근접감지부(16)만 작동하고, 본체(2)는 제2통신부(21)만 작동하며, 나머지 구성은 작동이 멈추고 대기상태로 전환된다. 이에 따라, 전기 사용량을 절감함으로써 장시간 외출이 가능해진다. 이에 따른 설명은 후술한다.In order to reduce the amount of electricity used, the operation detecting section 19 switches the mounting section 1 and the main body 2 to the power saving mode when there is no movement of the blind person. At this time, when the mode is switched to the previous month saving mode, only the motion sensing unit 19 and the proximity sensing unit 16 operate in the mounting unit 1, the main body 2 operates only the second communication unit 21, Is stopped and is put into the standby state. As a result, it is possible to go out for a long time by reducing the amount of electricity used. A description thereof will be described later.

제1통신부(18)는, GPS(13), 방위측정부(12), 영상촬영부(14), 열감지센서부(15), 근접감지부(16) 및 근접촬영부(17)로부터 획득한 정보를 송신한다.The first communication unit 18 acquires from the GPS 13, the azimuth measuring unit 12, the image capturing unit 14, the heat sensing sensor unit 15, the proximity sensing unit 16 and the close- And transmits one information.

본체(2)는, 대략 직육면체로, 내부에 제2통신부(21), 제3통신부(25), 메모리부(27) 및 중앙처리부(24)를 구비하고, 외부에 문자입력부(23), 디스플레이부(22) 및 사운드출력부(26)를 포함한다.The main body 2 has a substantially rectangular parallelepiped shape and includes a second communication unit 21, a third communication unit 25, a memory unit 27 and a central processing unit 24 in the interior thereof. (22) and a sound output section (26).

제2통신부(21)는, 제1통신부(18)로부터 송신된 정보를 수신하고, 본체(2)에서 처리된 데이터를 제1통신부(18)로 송신한다. 이때, 제1통신부(18)와 제2통신부(21)는 무선 또는 유선으로 연결될 수 있다.The second communication unit 21 receives the information transmitted from the first communication unit 18 and transmits the data processed in the main body 2 to the first communication unit 18. [ At this time, the first communication unit 18 and the second communication unit 21 may be connected wirelessly or by wire.

제3통신부(25)는, 무선통신망(미도시)에 접속하고 무선통신망을 통해서 기 마련된 위치정보서버에 접속한다. 즉, 제3통신부(25)는 GPS(13) 및 방위측정부(12)로부터 획득한 정보를 위치정보서버로 전송하고, 위치정보서버에 저장된 데이터와 비교하여 주변의 정보를 실시간으로 수신한다. 또한, 영상촬영부(14)로부터 획득한 정보를 위치정보서버에 저장된 데이터와 비교하여 사물의 정보를 실시간으로 수신한다.The third communication unit 25 is connected to a wireless communication network (not shown) and connects to a location information server established via a wireless communication network. That is, the third communication unit 25 transmits the information acquired from the GPS 13 and the azimuth measurement unit 12 to the location information server, and compares it with the data stored in the location information server to receive surrounding information in real time. Also, the information obtained from the image capturing unit 14 is compared with the data stored in the location information server to receive information of objects in real time.

메모리부(27)는, 시각장애인이 도움을 요청하는 문자메시지정보, 음성메시지정보 및 전자지도정보가 저장된다. 가령, 전방에 돌발장애물이 나타날 경우 "장애물이 있습니다" 등의 음성메시지정보가 저장되어 있거나, 이를 촉각표출부(11)를 통해 알려주도록 문제메시지정보가 저장되어 있다. 또한, 제3통신부(25)가 위치정보서버로부터 정보를 수신하지 못하는 경우 전자지도정보를 실행하고, 여기에 GPS(13) 및 방위측정부(12)를 활용하여 장애인이 지금 어느 위치에 있는지 실시간으로 문자메시지 또는 음성으로 알려준다.The memory unit 27 stores text message information, voice message information, and electronic map information requested by a visually impaired person for assistance. For example, when an unexpected obstacle appears in the front, the voice message information such as "there is an obstacle" is stored, or the problem message information is stored so that the voice message information is notified through the tactile display unit 11. [ When the third communication unit 25 can not receive the information from the location information server, the electronic map information is executed. The GPS 13 and the azimuth measurement unit 12 are used to determine the present position of the disabled person As a text message or voice.

문자입력부(23)는, 대략 점자용 복수의 키패드를 구비하고, 시각장애인이 복수의 키패드를 이용하여 문자를 입력하거나 자료를 검색할 수 있다. 예를 들면, 음성으로 전달하기 어려운 시각장애인의 경우에는 상대방에게 의사전달이 어려움이 있다. 이때, 문자입력부(23)를 통해서 문자를 입력하면 디스플레이부(22)에서 문자가 출력되어 상대방에게 의사를 전달할 수 있다. 또한, 디스플레이부(22)에 출력된 문자는 음성으로 변환시켜 사운드출력부(26)를 통해 출력될 수 있다. 이에 따라, 음성으로 의사소통이 어려운 시각장애인이라도 문자입력부(23)를 통해서 상대방과 의사소통을 할 수 있다.The character input unit 23 has a plurality of keypads for braille, and a blind person can input characters or search for data using a plurality of keypads. For example, in the case of a visually impaired person who is difficult to deliver by voice, it is difficult to communicate to the other party. At this time, if a character is inputted through the character input unit 23, a character is outputted from the display unit 22 and the doctor can be transmitted to the other party. In addition, the characters output to the display unit 22 can be converted into voice and output through the sound output unit 26. Accordingly, even a visually impaired person who is difficult to communicate by voice can communicate with the other party through the character input unit 23.

디스플레이부(22)는, 시각장애인이 입력한 문자를 상대방에게 보여주는 곳으로, 문자입력부(23)로부터 입력된 문자가 출력된다. 이에 따라, 상대방에게 문자로 의사를 전달할 수 있다. 이때, 메시지가 제대로 작성되었는지 사운드출력부(26)를 통해서 시각장애인에게 알려줄 수도 있다.The display unit 22 is a place where the visually impaired person displays the inputted character to the other party, and the character input from the character input unit 23 is output. Accordingly, the doctor can be transmitted to the other party with a character. At this time, the blind person can be informed via the sound output unit 26 whether the message is properly written.

사운드출력부(26)는, 근접감지부(16)로부터 돌발 장애물을 발견하는 경우 경고음이 출력되거나, 문자입력부(23)로부터 입력된 문자를 음성으로 출력한다. 또한, 제3통신부(25)로부터 수신한 정보를 음성으로 출력할 수도 있다. 이때, 사운드출력부(26)를 대체하는 이어폰 단자부(미도시)가 본체(2)의 한 부분에 마련될 수 있다. 이에 따라, 시각장애인은 각종 정보를 사운드출력부(26) 또는 이어폰(미도시)을 통해 음성으로 알 수 있다.The sound output unit 26 outputs a warning sound when it detects an unexpected obstacle from the proximity sensing unit 16 or outputs a character input from the character input unit 23 by voice. Further, the information received from the third communication unit 25 may be output by voice. At this time, an earphone terminal unit (not shown) for replacing the sound output unit 26 may be provided at one portion of the main body 2. [ Accordingly, the visually impaired person can voices various kinds of information through the sound output unit 26 or the earphone (not shown).

중앙처리부(24)는, 제2통신부(21), 제3통신부(25), 메모리부(27) 및 사운드출력부(26)와 연결되고, 제2통신부(21), 제3통신부(25)로부터 수신된 정보와 문자입력부(23)로부터 입력된 명령을 처리한다. 예를 들면, 영상촬영부(14) 및 근접촬영부(17)에서 획득한 영상정보에서 사물의 형태를 촉각표출부(11)를 통해 전달할 수 있도록 영상정보를 처리하여 데이터를 생성한 후 제2통신부(21)로 송신한다. 또한, 열감지센서부(15)로부터 획득한 정보와 영상정보를 결합하여 실제 생물과 무생물 즉, 사람인지 마네킹인지를 구분하여 시각장애인에게 알려준다.또, 조작부(3)를 통해 입력된 명령을 처리하기도 한다. 이에 따른 설명은 후술한다. 조작부(3)는, 시각장애인이 짚고 다니는 대략 지팡이 형태로, 제4통신부(32) 및 키입력부(31)를 포함한다. 제4통신부(32)는, 키입력부(31)를 통해 입력된 명령을 제2통신부(21)로 송신한다. 키입력부(31)는, "도와주세요", "시각장애인입니다. 지나가겠습니다." 등의 상대방에게 간단하게 요청하는 음성 또는 문자가 본체(2)를 통해 출력되도록 복수의 키를 구비하여 명령을 입력하는 곳으로, 입력된 명령을 제4통신부(32)로 송신한다. 이에 따라, 시각장애인은 키입력부(31)를 통해 지나가면서 간단한 메시지를 출력하여 상대방에게 의사를 전달할 수 있다. 여기서, 본체(2)는 시각장애인이 한 손에 들고 휴대할 수도 있지만, 휴대성을 높이기 위해서 신체의 한 부분에 착용할 수도 있다. 또한, 본체(2)는 시각장애인이 음성으로 명령을 입력하도록, 본체(2)의 한 부분에 마이크(미도시)를 더 포함할 수 있다. 이때, 음성인식은 널리 공지되고 공공연히 실시되고 있는바 상세한 설명은 생략한다.The central processing unit 24 is connected to the second communication unit 21, the third communication unit 25, the memory unit 27 and the sound output unit 26 and includes a second communication unit 21, a third communication unit 25, And a command input from the character input unit 23. [0044] FIG. For example, the image processing unit 14 processes the image information so that the shape of the object can be transmitted through the tactile display unit 11 from the image information acquired by the image capturing unit 14 and the close-up photographing unit 17, To the communication unit (21). In addition, the information obtained from the heat sensing sensor unit 15 is combined with the image information to distinguish whether it is an inanimate object or inanimate object, that is, a human being or a mannequin. It is also said. A description thereof will be described later. The operation unit 3 includes a fourth communication unit 32 and a key input unit 31 in the form of a wand that the blind is aware of. The fourth communication unit 32 transmits the command input through the key input unit 31 to the second communication unit 21. [ The key input unit 31 is "Help", "Visually impaired, I will pass." And transmits the input command to the fourth communication unit 32 at a place where a command is inputted by providing a plurality of keys such that a voice or a character simply requesting the other party is outputted through the main body 2. [ Accordingly, the visually impaired person can output a simple message while passing through the key input unit 31 and deliver the message to the other party. Here, the main body 2 may be carried by a blind person in one hand, but it may be worn on a part of the body to improve portability. In addition, the main body 2 may further include a microphone (not shown) in a part of the main body 2 so that a blind person can input a command by voice. At this time, speech recognition is publicly known and widely known, and a detailed description thereof will be omitted.

상술한 제1통신부(18), 제2통신부(21) 및 제4통신부(32)는 근거리 통신을 이용하되, 대략 RF, 블루투스 및 적외선 등을 이용하고, 제3통신부(25)는 와이파이(Wi-Fi), 3G(3세대 이동통신), 2G(2세대 이동통신) 등을 이용한다. 또한, 장착부(1), 본체(2) 및 조작부(3)는 생활방수가 적용되어 우천시에도 사용이 가능하다.The third communication unit 25 uses the RF communication, the Bluetooth, and the infrared, while the first communication unit 18, the second communication unit 21, and the fourth communication unit 32 use the short- -Fi), 3G (third-generation mobile communication), and 2G (second-generation mobile communication). Further, the mounting portion 1, the main body 2, and the operating portion 3 can be used even in the case of rainy weather, because the waterproofing is applied.

한편, 장착부(1), 본체(2) 및 조작부(3)는 휴대기기이고, 이에 전원을 공급하는 배터리는 당업자에게는 자명한 구성이며, 또한 배터리는 공지되고 널리 실시되고 있는바 본 발명에서는 배터리의 설명을 생략하기로 한다.The mounting portion 1, the main body 2, and the operating portion 3 are portable devices. Batteries for supplying power thereto are self-evident to those skilled in the art, and batteries are well known and widely practiced. Description thereof will be omitted.

이하 첨부된 도면을 참조하여 본 발명에 실시 예에 따른 시각장애인을 위한 사물인식 및 보행안내 장치의 작동을 상세히 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, operations of an object recognition and gait guidance apparatus for a visually impaired person according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

먼저 시각장애인의 머리에 촉각표출부(11)가 이마에 밀착되도록 장착부(1)를 착용한다.First, the wearer 1 is put on the head of the visually impaired person so that the tactile display part 11 is brought into close contact with the forehead.

시각장애인이 장착부(1)를 착용한 상태에서 보행하면, 영상촬영부(14)에서 전방의 영상을 촬영하여 정보를 획득하고, GPS(13)에서 시각장애인의 위치에 대한 정보를 획득하고, 방위측정부(12)에서 시각장애인이 보고 있는 방향에 대한 정보를 획득한다. 그리고, 열감지센서부(15)에서 사물이 가지고 있는 열에 대한 정보를 획득하고, 근접감지부(16)에서 시각장애인으로부터 70cm 이내에 장애물이 진입하는지 실시간으로 감지하며, 동작감지부(19)에서 시각장애인이 움직이는지를 감지한다. 이때, 시각장애인이 앉거나 움직이지 않고 서 있는 경우에는 동작감지부(19)가 시각장애인의 활동이 없는 것으로 간주하고, 전원절약모드로 전환되어 동작감지부(19) 및 근접감지부(16) 및 제2통신부(21)를 제외한 구성들은 대기상태로 돌입한다. 여기서, 시각장애인의 전방 70cm 이내에 사물이 나타나면 근접감지부(16)에서 이를 감지하고 근접촬영부(17)에서 사진을 찍으며, 제1통신부(18)가 활성화되면서 근접감지부(16) 및 근접촬영부(17)에서 획득한 정보를 제1통신부(18)를 통해 제2통신부(21)로 전달한다. 제2통신부(21)가 제1통신부(18)로부터 정보가 수신하면 본체(2)의 나머지 구성들의 대기상태가 풀리면서 본체(2)가 제2통신부(21)로부터 수신된 정보를 처리하여 데이터를 생성한다. 즉, 사진이 촉각표출부(11)를 통해서 구체적인 형상을 알 수 있도록 데이터를 생성하여 촉각표출부(11)로 전송한다. 이때, 사운드출력부(26)에서 경보음이 1초 내지 2초 동안 울릴 수 있다. 여기서, 사운드출력부(26)에서 경보음을 생략하고 촉각표출부(11)를 통해서 경보를 알릴 수도 있다. 이는 시각장애인이 본체(2)의 세팅방법에 의해서 결정될 수 있다.When the blind person walks while wearing the mounting unit 1, the image capturing unit 14 acquires the information of the forward image, acquires information about the position of the blind person at the GPS 13, And acquires information on the direction in which the blind person is looking at the measurement unit 12. The proximity sensing unit 16 senses in real time whether or not an obstacle enters within 70 cm from the visually impaired person. The motion sensing unit 19 acquires the visual sense Detect if the disabled person is moving. At this time, if the blind person is sitting or does not move, the motion detection unit 19 regards that the blind person is not active and switches to the power saving mode to detect the motion detection unit 19 and the proximity detection unit 16, And the second communication unit 21 enter the standby state. When an object appears within 70 cm of a person with visual impairment, the proximity sensing unit 16 senses it and takes a picture at the close sensing unit 17. When the first communication unit 18 is activated, the proximity sensing unit 16, And transmits the acquired information to the second communication unit 21 through the first communication unit 18. [ When the second communication unit 21 receives information from the first communication unit 18, the main body 2 processes the information received from the second communication unit 21 while the standby state of the remaining components of the main body 2 is released, . That is, the data is generated and transmitted to the tactile display unit 11 so that the photograph can recognize the specific shape through the tactile display unit 11. At this time, the sound output unit 26 may sound an alarm for 1 second to 2 seconds. Here, the alarm output may be omitted from the sound output unit 26, and the alarm may be notified through the tactile display unit 11. [ This can be determined by the setting method of the main body 2 by the blind person.

시각장애인이 보행하면, 영상촬영부(14)에서 영상을 촬영하여 정보를 획득하고, 열감지센서부(15)에서 전방의 사물에 대한 열을 측정하여 정보를 획득하며, GPS(13) 및 방위측정부(12)에서 위치 및 방향에 대한 정보를 획득한다. 획득한 정보는 제1통신부(18)를 통해서 제2통신부(21)로 전달되고, 영상촬영부(14) 및 열감지센서부(15)에서 획득한 정보는 중앙처리부(24)에서 영상과 열을 비교하여 사물의 형태 및 생물과 무생물을 판별하여 데이터를 생성하고, GPS(13) 및 방위측정부(12)에서 획득한 정보는 제3통신부(25)를 통해서 위치정보서버에 전송된다.When the visually impaired person walks, the image capturing unit 14 captures an image to acquire information. The heat sensing unit 15 acquires information by measuring the heat of the object ahead, And obtains information on the position and the direction in the measurement unit 12. [ The acquired information is transmitted to the second communication unit 21 through the first communication unit 18 and the information acquired by the image capturing unit 14 and the thermal sensing unit 15 is transmitted from the central processing unit 24 to the second communication unit 21, And the information obtained by the GPS 13 and the azimuth measuring unit 12 is transmitted to the location information server through the third communication unit 25. [

중앙처리부(24)에서 처리된 데이터는 제2통신부(21)를 거쳐 제1통신부(18)로 전달되고, 제1통신부(18)로 전달된 데이터는 촉각표출부(11)로 전송되며, 전송된 데이터는 촉각표출부(11)에서 사물의 형태 또는 메시지로 표출되어 시각장애인에게 전달한다. 이에 따라, 시각장애인은 촉각표출부(11)를 통해 생물과 무생물을 구분하고, 사물의 형태를 판별할 수 있다. 만약, 열감지센서부(15)가 없다면, 시각장애인은 형상에만 의존하여 보행해야 한다. 즉, 시각장애인이 도움을 요청해야 할 경우, 마네킹이나 인형한테 다가가서 도움을 요청하는 일이 발생할 수 있으며, 특히 사람이 도어나 안전표지판 등의 장애물에 가려져 있는 경우에는 감지할 수 없는 문제점이 발생한다. 하지만, 본 발명은 열감지센서부(15)를 적용함으로써, 사람이 장애물에 가려져 있어도 장애물 너머에 체온을 감지할 수 있어서 사람들이 있는 방향을 쉽게 찾아낼 수 있으며, 특히 형상과 사물의 열을 복합하여 알려줌으로써, 실제 사람에게 다가가 도움을 요청할 수 있다. 따라서, 시각장애인이 마네킹이나 인형에게 다가가서 도움을 요청하는 상황을 방지할 수 있고, 장애물에 가려진 사람들이라도 체온을 감지하여 사람들을 손쉽게 찾아갈 수 있다.The data processed in the central processing unit 24 is transmitted to the first communication unit 18 via the second communication unit 21 and the data transmitted to the first communication unit 18 is transmitted to the tactile display unit 11, The data is displayed in the tactile display unit 11 in the form of an object or a message, and is delivered to the visually impaired. Accordingly, the visually impaired person can distinguish between inanimate objects and non-inanimate objects through the tactile display unit 11, and can determine the shape of objects. If there is no thermal sensor part 15, the visually impaired person must walk in dependence on the shape only. In other words, if a blind person needs to ask for help, it may happen that a mannequin or a doll is approached for help, especially when a person is covered by an obstacle such as a door or a safety sign. do. However, according to the present invention, by applying the heat sensing sensor unit 15, even when a person is covered by an obstacle, the body temperature can be detected beyond the obstacle so that the direction in which the person is present can be easily detected. You can reach the real person and ask for help. Therefore, it is possible to prevent situations where a blind person approaches a mannequin or a doll to ask for help, and people who are obstructed can easily detect people by sensing body temperature.

한편, 위치정보서버에 전송된 정보는 위치정보서버에 저장된 정보와 일치되는 정보를 찾아서 통신망을 통해 제3통신부(25)로 전달한다. 위치정보서버로부터 전달받은 정보는 시각장애인이 현재 장소와 보행하는 전방의 건물 등의 정보를 알려준다. 즉, 증강현실의 기능을 이용하여 전방에 무엇이 있는지 실시간으로 알려준다. 이때, 사물의 이미지 또는 바코드 등을 위치정보서버로 전송하고 이와 일치하는 정보를 본체(2)로 실시간으로 전달하여 사물의 정보를 알 수도 있다.On the other hand, the information transmitted to the location information server finds information corresponding to the information stored in the location information server and transmits the information to the third communication unit 25 through the communication network. The information received from the location information server informs the visually impaired about the current place and the building ahead. In other words, using the function of the augmented reality, it informs what is ahead in real time. At this time, an image of an object, a bar code, or the like may be transmitted to the location information server, and information corresponding to the object may be transmitted to the main body 2 in real time to obtain information on the object.

위치정보서버로부터 전달받은 정보는 중앙처리부(24)가 처리하여 데이터로 생성하고, 생성된 데이터는 촉각표출부(11) 또는 사운드출력부(26)를 통해 시각장애인에게 알려준다. 이때, 주변 사람들에게 피해가 가지 않도록 사운드출력부(26) 대신 이어폰 단자부에 꽂힌 이어폰을 통해서 음성으로 안내받을 수도 있다. 이에 따라, 시각장애인은 전방 몇 미터에 무슨 건물이 있는지 알 수 있다. 만약, 시각장애인이 건물 내부로 진입해야 하는 경우, 네비게이션을 이용하게 되면, 목표지점 근처에 도달했을 때 네비게이션은 안내를 종료한다. 이때, 시각장애인은 목표건물에 진입해야 하는데 목표건물의 방향을 알 수 없다. 즉, 등 뒤에 목표건물이 있으면 이를 찾을 수가 없어서 결국 지나가는 사람들의 도움을 받을 수밖에 없다. 하지만, 증강현실을 이용하게 되면, 시각장애인이 서있는 전방의 지역정보를 알려주기 때문에 전방에 무슨 건물이 있는지 알 수 있다. 따라서, 전방에 목표건물이 나타나지 않으면 시각장애인은 고개를 돌리거나 몸을 회전시켜 주변을 탐색하면 되므로 목표지점이 등 뒤에 있더라도 증강현실을 이용하여 목표지점을 정확하게 알 수 있다. 이에 따라, 위치정보서버에 접속하여 정보를 획득함으로써, 시각장애인은 원하는 목표지점을 정확하게 찾아갈 수 있다. 또한, 증강현실을 이용하여 상품에 대한 정보를 획득함으로써, 시각장애인은 상품이 무엇인지도 인지할 수 있다.The information received from the position information server is processed by the central processing unit 24 to generate data, and the generated data is notified to the visually impaired through the tactile display unit 11 or the sound output unit 26. At this time, instead of the sound output unit 26, the user may be informed through the earphone attached to the earphone terminal unit so as not to cause harm to the people around him. As a result, the visually impaired can know what building is in front of a few meters. If a visually impaired person has to enter the building, navigation will be used when navigation reaches the target location. At this time, the visually impaired must enter the target building, but the direction of the target building is unknown. In other words, if there is a target building behind the back, it can not be found, and eventually it will be helped by the passing people. However, when the augmented reality is used, the visually impaired person will be informed of the local information in front of him, so that he can know what the building is in front of him. Therefore, if the target building does not appear in front, the visually impaired person can turn his / her head or rotate the body to search the surrounding area. Therefore, even if the target point is behind the back, the augmented reality can be used to accurately recognize the target point. Thus, by acquiring information by accessing the location information server, the visually impaired person can accurately locate a desired target point. Further, by acquiring information on a product using the augmented reality, the visually impaired person can recognize what the product is.

여기서, 제3통신부(25), 통신망 또는 위치정보서버에 문제가 발생하여 위치정보서버로부터 정보를 받을 수 없는 경우에는 중앙처리부(24)는 메모리부(27)에 저장된 전자지도를 실행한다. 전자지도가 실행되면, GPS(13)와 방위측정부(12)를 이용하여 시각장애인이 진행하는 방향 및 전방의 지역정보를 획득할 수 있다. 따라서, 제3통신부(25), 통신망 또는 위치정보서버에 문제가 발생하더라도 시각장애인은 원하는 목표지점을 정확하게 찾아갈 수있다.Here, when the third communication unit 25, the communication network, or the location information server has a problem and can not receive information from the location information server, the central processing unit 24 executes the electronic map stored in the memory unit 27. [ When the electronic map is executed, the GPS 13 and the azimuth measurement unit 12 can be used to acquire the direction of the blind person and the area information in the forward direction. Therefore, even if a problem occurs in the third communication unit 25, the communication network, or the location information server, the visually impaired person can accurately locate a desired target point.

한편, 시각장애인은 문자입력부(23)를 통해서 명령을 입력하여 목표지점에 대한 안내을 받거나, 도움을 요청하는 메시지를 디스플레이부(22) 또는 사운드출력부(26)를 통해서 출력할 수 있다.On the other hand, the visually impaired person can input a command through the character input unit 23 to receive guidance on the target point, or output a message requesting help through the display unit 22 or the sound output unit 26.

이때, 문자입력부(23)를 통해서 도움을 요청할 수도 있지만, 간단한 도움요청 또는 길을 가기 위한 부탁메시지는 조작부(3)의 키입력부(31)를 통해서도 출력시킬 수도 있다. 이에 따라, 시각장애인이 길을 가다가 조작부(3) 즉, 지팡이에 사람이 탐지되면 조작부(3)의 키입력부(31)를 눌러서 전방에 있는 사람에게 시각장애인이 지나간다는 메시지를 출력시킬 수 있다.At this time, a help request may be requested through the character input unit 23, but a simple help request or a request message for making a route may be output through the key input unit 31 of the operation unit 3. [ Accordingly, when a person with visual impairment is on the way and presses the key input unit 31 of the operation unit 3 when a person is detected on the operation unit 3, that is, the cane, a message can be output to the person in front of the visually impaired person.

상술한 본 발명을 설명하는데 있어서, 그 실시 예가 상이하더라도 동일한 구성에 대해서는 동일한 참조번호를 사용하고, 필요에 따라 그 설명을 생략할 수 있다.In describing the present invention described above, the same reference numerals are used for the same configurations even if the embodiments are different, and the description thereof may be omitted if necessary.

이상과 같이, 본 발명에 대한 구체적인 설명은 첨부된 도면을 참조한 실시 예에 의해서 이루어졌지만, 상술한 실시 예는 본 발명의 바람직한 예를 들어 설명하였을 뿐이기 때문에 본 발명이 상기의 실시 예에만 국한되는 것으로 이해되어져서는 아니 된다. 따라서 상기에서 설명한 것 외에도 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람은 본 발명의 실시 예에 대한 설명만으로도 쉽게 상기 실시 예와 동일 범주 내의 다른 형태의 본 발명을 실시할 수 있거나, 본 발명과 균등한 영역의 발명을 실시할 수 있을 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. Shall not be construed as being understood. Therefore, those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. The present invention is not limited thereto.

1; 장착부
11; 촉각표출부
12; 방위측정부
13; GPS
14; 영상촬영부
15; 열감지센서부
16; 근접감지부
17; 근접촬영부
18; 제1통신부
19; 동작감지부
2; 본체
21; 제2통신부
22; 디스플레이부
23; 문자입력부
24; 중앙처리부
25; 제3통신부
26; 사운드출력부
27; 메모리부
3; 조작부
31; 키입력부
32; 제4통신부
One; Mounting portion
11; Tactile display unit
12; Azimuth measuring unit
13; GPS
14; The image-
15; The heat-
16; Proximity sensing unit
17; Closeup part
18; The first communication unit
19; The motion-
2; main body
21; The second communication section
22; Display portion
23; Character input section
24; Central processing unit
25; The third communication section
26; Sound output section
27; The memory unit
3; Control unit
31; Key input unit
32; The fourth communication section

Claims (5)

GPS와, 방위측정부와, 전방을 촬영하는 영상촬영부와, 데이터를 입력받아 전기자극을 발생시켜 피부에 형상 또는 문자를 전달하는 촉각표출부와, 상기 GPS, 상기 방위측정부 및 상기 영상촬영부로부터 획득한 정보를 송신하는 제1통신부를 구비하는 장착부;
상기 제1통신부와 정보 또는 데이터를 송수신하는 제2통신부와, 통신망을 통해 위치정보서버에 접속하고 현재의 위치를 전송하여 상기 위치정보서버로부터 주변의 정보를 실시간으로 수신하는 제3통신부와, 도움을 요청하는 정보가 저장되는 메모리부와, 외부에 소리로 알려주는 사운드출력부와, 상기 제2통신부로부터 수신된 정보를 처리하여 데이터를 생성하고 생성된 데이터를 상기 제2통신부로 송신하거나 상기 생성된 데이터 또는 제3통신부로 부터 수신된 정보를 처리하여 상기 사운드출력부로 송신하는 중앙처리부를 구비하는 본체; 및
상기 사운드출력부를 통해 상기 제2통신부로부터 수신된 정보, 상기 제3통신부로부터 수신된 정보 또는 상기 메모리부에 저장된 정보를 선택적으로 출력하도록 명령을 입력하는 조작부;를 포함하되,
상기 장착부를 시각장애인의 이마에 착용한 상태에서 시각장애인이 보행하면 상기 영상활영부에서 전방의 영상을 획득하고, 획득한 영상의 이미지를 상기 중앙처리부가 처리하여 이를 상기 촉각표출부를 통해 시각장애인이 전방의 사물을 인지하며, 상기 위치정보서버로부터 주변의 정보를 실시간으로 수신하여 목표지점을 정확하고 안전하게 안내하는 것을 특징으로 하는 시각장애인을 위한 사물인식 및 보행안내 장치.

A GPS, an azimuth measuring unit, an image capturing unit for capturing an image in front, a tactile display unit for receiving data and generating electric stimulation to transmit a shape or character to the skin, A first communication unit that transmits information acquired from the first communication unit;
A third communication unit for connecting to the position information server through a communication network and transmitting the current position and receiving peripheral information from the position information server in real time; A sound output unit for informing the outside of the sound by the sound, a data output unit for processing the information received from the second communication unit to transmit the generated data to the second communication unit, And a central processing unit for processing the received data or information received from the third communication unit and transmitting the processed data to the sound output unit. And
And an operation unit for inputting a command to selectively output information received from the second communication unit through the sound output unit, information received from the third communication unit, or information stored in the memory unit,
When the wearer walks in the forehead of the visually impaired, the image acquisition unit acquires an image in front of the vision unit, processes the image of the acquired image by the central processing unit, Recognizes an object in front of the object, and receives information of surrounding objects from the position information server in real time, thereby guiding the target point accurately and safely.

제 1 항에 있어서,
상기 본체는,
문자를 입력하는 문자입력부와, 상기 문자입력부에 의해 입력된 문자를 출력하는 디스플레이부를 더 포함하는 것을 특징으로 하는 시각장애인을 위한 사물인식 및 보행안내 장치.
The method according to claim 1,
The main body includes:
Further comprising a character input unit for inputting characters, and a display unit for outputting characters input by the character input unit.
제 1 항에 있어서,
상기 장착부는,
상기 장착부로부터 전방의 1m 이내에 물체가 접근하거나 장애물에 접근하는 것을 알리는 근접감지부와, 상기 장착부로부터 전방의 1m 이내에 사물이 접근하거나 장애물에 접근했을 때 이를 촬영하여 사진정보를 획득하는 근접촬영부를 더 포함하되,
상기 근접촬영부로부터 획득한 사진정보를 상기 제1통신부를 통해 상기 본체로 전송하고, 상기 중앙처리부가 전송된 사진정보를 처리하여 데이터를 생성하며, 생성된 데이터를 상기 촉각표출부로 전송하여 장애물을 구분하는것을 특징으로 하는 시각장애인을 위한 사물인식 및 보행안내 장치.
The method according to claim 1,
Wherein,
A proximity sensing unit for sensing an object approaching or approaching an obstacle within 1 m ahead of the mounting unit, and a close-up sensing unit for acquiring photograph information when the object approaches or obstacle approaches within 1 m from the mounting unit Including,
The central processing unit transmits the photograph information acquired from the close-up photographing unit to the main body through the first communication unit, the central processing unit processes the transmitted photograph information to generate data, transmits the generated data to the tactile display unit, Wherein the object recognizing and walking guide device for the visually impaired.
제 1 항에 있어서,
상기 장착부는,
전방의 열을 감지하는 열감지센서부를 더 포함하되,
상기 열감지센서부로부터 획득한 온도정보를 상기 제1통신부를 통해 상기 본체로 전송하고, 상기 중앙처리부가 상기 영상정보 및 상기 온도정보를 비교하여 데이터를 생성하며, 생성된 데이터를 상기 촉각표출부로 전송하여 전방의 사물이 생물 또는 무생물인지 판별하는 것을 특징으로 하는 시각장애인을 위한 사물인식 및 보행안내 장치.
The method according to claim 1,
Wherein,
Further comprising a heat sensing sensor unit for sensing heat in the front,
The temperature information acquired from the thermal sensor unit is transmitted to the main body through the first communication unit, the central processing unit compares the image information and the temperature information to generate data, and the generated data is transmitted to the tactile display unit And recognizes whether the object ahead is a living thing or an inanimate object.
제 1 항에 있어서,
상기 메모리부,
장애인이 목적지를 용이하게 갈 수 있도록 이동경로를 상기 촉각표출부 또는 상기 사운드출력부를 통해 알려주는 전자지도정보를 더 포함하되,
상기 위치정보서버로부터 정보를 수신할 수 없는 경우 상기 전자지도정보가 작동하는 것을 특징으로 하는 시각장애인을 위한 사물인식 및 보행안내 장치.
The method according to claim 1,
The memory unit,
Further comprising electronic map information for informing a movement path through the tactile display unit or the sound output unit so that the disabled person can easily go to the destination,
And the electronic map information is activated when information can not be received from the location information server.
KR1020170169916A 2017-12-12 2017-12-12 Object recognition and for the visually imparied pedestrian guidance system KR20190069720A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170169916A KR20190069720A (en) 2017-12-12 2017-12-12 Object recognition and for the visually imparied pedestrian guidance system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170169916A KR20190069720A (en) 2017-12-12 2017-12-12 Object recognition and for the visually imparied pedestrian guidance system

Publications (1)

Publication Number Publication Date
KR20190069720A true KR20190069720A (en) 2019-06-20

Family

ID=67103822

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170169916A KR20190069720A (en) 2017-12-12 2017-12-12 Object recognition and for the visually imparied pedestrian guidance system

Country Status (1)

Country Link
KR (1) KR20190069720A (en)

Similar Documents

Publication Publication Date Title
KR101646503B1 (en) Device, system and method for informing about 3D obstacle or information for blind person
EP3175630A1 (en) Wearable earpiece for providing social and environmental awareness
KR101715472B1 (en) Smart walking assistance device for the blind and Smart walking assistance system using the same
KR101106076B1 (en) System for announce blind persons including emotion information and method for announce using the same
KR101614156B1 (en) QR(Quick Response) code scanning system for blind person
US10062302B2 (en) Vision-assist systems for orientation and mobility training
Dunai et al. Obstacle detectors for visually impaired people
KR101847764B1 (en) Information gathering system for the visually impaired
JP2006251596A (en) Support device for visually handicapped person
KR20190069919A (en) Walking assistive device and system for visually impaired people
KR20160029909A (en) Imformation provision apparatus for blind people
KR20150069124A (en) Vision assist device and guide system for blind people using the same
KR20120088320A (en) Object recognition and for the visually impaired pedestrian guidance system
KR20130031423A (en) Sensor of object recognition and for the visually impaired pedestrian guidance system
US9996730B2 (en) Vision-assist systems adapted for inter-device communication session
KR20170101662A (en) Drone Apparatus for Assisting a Visually Handicapped Person and Method for Controlling the Same
Rahman et al. “BlindShoe”: an electronic guidance system for the visually impaired people
KR102081059B1 (en) Smartphone for supporting walking
CN115223698A (en) First-aid system, control method, and computer-readable storage medium
KR20190069720A (en) Object recognition and for the visually imparied pedestrian guidance system
JP2010198085A (en) Rehabilitation support system
JP2018074420A (en) Display device, display system, and control method for display device
KR101398880B1 (en) Wearable robot with humanoid function and control method of the same
JP2016138852A (en) Navigation system, navigation device, glass type device, and device cooperation method
Bolla et al. Object Detection in Computer Vision Using Machine Learning Algorithm For Visually Impaired People