KR20120088320A - Object recognition and for the visually impaired pedestrian guidance system - Google Patents

Object recognition and for the visually impaired pedestrian guidance system Download PDF

Info

Publication number
KR20120088320A
KR20120088320A KR1020110009590A KR20110009590A KR20120088320A KR 20120088320 A KR20120088320 A KR 20120088320A KR 1020110009590 A KR1020110009590 A KR 1020110009590A KR 20110009590 A KR20110009590 A KR 20110009590A KR 20120088320 A KR20120088320 A KR 20120088320A
Authority
KR
South Korea
Prior art keywords
unit
information
visually impaired
data
communication unit
Prior art date
Application number
KR1020110009590A
Other languages
Korean (ko)
Inventor
한상진
전동근
Original Assignee
한상진
전동근
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한상진, 전동근 filed Critical 한상진
Priority to KR1020110009590A priority Critical patent/KR20120088320A/en
Publication of KR20120088320A publication Critical patent/KR20120088320A/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • A61H2003/063Walking aids for blind persons with electronic detecting or guiding means with tactile perception

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Vascular Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Rehabilitation Tools (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

PURPOSE: An object-recognition and walking guide device for visually impaired people is provided to notify information obtained by comparing images obtained from the road and data from a location information server. CONSTITUTION: An object-recognition and walking guide device for visually impaired people comprises the following: a tactile sense expression unit(11) generating the electric stimulation for transferring shapes or characters to the skin of a user by the input of data; a first communications unit transmitting information obtained from a GPS, an orientation measuring unit(12), and an image photographing unit; a second communications unit transmitting and receiving the information or data with the first communications unit; a display unit(22) outputting characters inputted from a character input unit(23); a central processing unit generating data using the information from the second communications unit, and transmitting the obtained data to the second communications unit or a sound output unit; a third communications unit receiving information of the current location in real time; and a memory unit(27) for saving rescue request information.

Description

시각장애인을 위한 사물인식 및 보행안내 장치{Object recognition and for the visually impaired pedestrian guidance system}Object recognition and for the visually impaired pedestrian guidance system

본 발명은 시각장애인이 전방의 사물을 인식하면서 목표지점을 정확하고 안전하게 보행할 수 있는 보행안내 장치에 관한 것으로, 더욱 상세하게는 전방의 영상을 획득하고, 이를 형상화하여 시각장애인이 피부를 통해 알 수 있으면서 통신망을 통해 서버에 저장된 정보와 획득한 영상을 비교하여 건물 및 사물의 정보를 시각장애인에게 알려 줌으로써, 정확한 위치를 찾아갈 수 있는 시각장애인을 위한 사물인식 및 보행안내 장치에 관한 것이다.The present invention relates to a pedestrian guidance device that can visually improperly and safely walk a target point while recognizing an object in front. More specifically, the visually impaired person obtains an image of the front and shapes it so that the visually impaired person knows through the skin. The present invention relates to an object recognition and gait guide device for a visually impaired person who can find an accurate location by comparing information stored in a server with an image obtained through a communication network and informing a visually impaired person of the information of a building and an object.

종래의 시각장애인용 보행안내 장치는 전방의 사물을 형상화하여 이를 시각장애인에게 인지시켰다. 즉, 사물의 형태만 알 수 있을 뿐, 그것이 생물인지 무생물 인지 알 수가 없었다. 가령, 마네킹이 전방에 놓여 있으면, 사람인지 마네킹인지 구분할 수가 없어서 도움 요청시 마네킹한테 가서 도움을 요청하는 어이없는 상황이 벌어지는 문제점이 발생한다. 또한, 시각장애인이 네비게이션을 이용하여 목표지점을 가더라도 목표지점 근처에 도착하면 네이게이션의 안내가 종료되어 목표지점이 어느 방향에 있는지 알 수가 없어서 다시 길을 헤매는 문제점이 발생한다.Conventional walking guide device for the visually impaired to shape the object in front of the visually impaired. In other words, only the form of the thing can be known, it was not known whether it is a living thing or inanimate. For example, if a mannequin is placed in front of a person, it is impossible to distinguish whether it is a human or a mannequin. In addition, even when the visually impaired person arrives near the target point using the navigation, the guidance of the navigation is terminated because the visually impaired person does not know in which direction the target point is located, thus causing a problem of wandering again.

게다가, 전방에 가는 줄과 같은 장애물이 나타나면 이를 탐지할 수가 없고, 탐지를 하더라도 어떤 장애물인지 알 수가 없어서 피해갈 수 없는 곤란한 상황이 벌어지기도 한다.In addition, when obstacles such as strings appear in front, it is impossible to detect them, and even if a detection occurs, it is difficult to know which obstacles and cannot avoid them.

본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로, 증강현실을 이용하되, 전방의 영상을 획득하고 통신망을 통해 위치정보서버에 접속하여 획득한 영상과 서버의 데이터를 비교하여 일치하는 상세한 정보를 시각장애인에게 알려줌으로써, 시각장애인이 정확한 위치를 찾아갈 수 있고, 사물의 정보를 인지할 수 있으며, 전방에 작은 장애물이 있더라도 이를 탐지할 수 있는 시각장애인을 위한 사물인식 및 보행안내 장치를 제공하는데 그 목적이 있다.The present invention has been made to solve the above problems, using augmented reality, to obtain the image of the front and access the location information server through a communication network and compares the data obtained by comparing the data obtained from the server to obtain detailed information By notifying the visually impaired, the visually impaired person can find the exact location, can recognize the information of the object, and provides an object recognition and walking guidance device for the visually impaired that can detect even a small obstacle ahead. The purpose is.

본 발명의 목적은, GPS와, 방위측정부와, 전방을 촬영하는 영상촬영부와, 데이터를 입력받아 전기자극을 발생시켜 피부에 형상 또는 문자를 전달하는 촉각표출부와, 상기 GPS, 상기 방위측정부 및 상기 영상촬영부로부터 획득한 정보를 송신하는 제1통신부를 구비하는 장착부;와, 상기 제1통신부와 정보 또는 데이터를 송수신하는 제2통신부와, 통신망을 통해 위치정보서버에 접속하고 현재의 위치를 전송하여 상기 위치정보서버로부터 주변의 정보를 실시간으로 수신하는 제3통신부와, 도움을 요청하는 정보를 포함하는 메모리부와, 외부에 소리로 알려주는 사운드출력부와, 상기 제2통신부로부터 수신된 정보를 처리하여 데이터를 생성하고 생성된 데이터를 상기 제2통신부로 송신하거나 생성된 데이터 또는 제3통신부로부터 수신된 정보를 처리하여 상기 사운드출력부로 송신하는 중앙처리부를 구비하는 본체; 및 상기 사운드출력부를 통해 상기 제2통신부로부터 수신된 정보, 상기 제3통신부로부터 수신된 정보 또는 상기 메모리부에 저장된 정보를 선택적으로 출력하도록 명령을 입력하는 조작부;를 포함하되, 상기 장착부를 시각장애인의 이마에 착용한 상태에서 시각장애인이 보행하면 상기 영상활영부에서 전방의 영상을 획득하고, 획득한 영상의 이미지를 상기 중앙처리부가 처리하여 이를 상기 촉각표출부를 통해 시각장애인이 전방의 사물을 인지하며, 상기 위치정보서버로부터 주변의 정보를 실시간으로 수신하여 목표지점을 정확하고 안전하게 안내하는 것을 특징으로 하는 시각장애인을 위한 사물인식 및 보행안내 장치에 의해 달성된다.An object of the present invention is a GPS, azimuth measuring unit, an image photographing unit for photographing the front, a tactile display unit for receiving data and generating an electrical stimulus to transfer the shape or text to the skin, the GPS, the azimuth A mounting unit including a measuring unit and a first communication unit for transmitting information obtained from the image photographing unit; a second communication unit for transmitting and receiving information or data with the first communication unit; and a current communication unit connected to a location information server through a communication network. A third communication unit for receiving the information of the surroundings from the location information server in real time by transmitting a location of the memory unit; and a memory unit including information for requesting help; Data generated by processing the information received from the system and the generated data is transmitted to the second communication unit, or the generated data or information received from the third communication unit The body having a central processing unit for transmitting sound output portion; And an operation unit for inputting a command to selectively output information received from the second communication unit, information received from the third communication unit, or information stored in the memory unit through the sound output unit. When the visually impaired person walks while wearing the forehead, the imager acquires an image of the front, and the central processing unit processes the image of the acquired image and recognizes the object in front of the person through the tactile display. And it is achieved by the object recognition and walking guidance device for the visually impaired, characterized in that to receive the surrounding information in real time from the location information server to guide the target location accurately and safely.

또, 상기 본체는, 문자를 입력하는 문자입력부와, 상기 문자입력부에 의해 입력된 문자를 출력하는 디스플레이부를 더 포함할 수 있다.The main body may further include a character input unit for inputting a character and a display unit for outputting a character input by the character input unit.

또, 상기 장착부는, 상기 장착부로부터 전방의 1m 이내에 물체가 접근하거나 장애물에 접근하는 것을 알리는 근접감지부와, 상기 장착부로부터 전방의 1m 이내에 사물이 접근하거나 장애물에 접근했을 때 이를 촬영하여 사진정보를 획득하는 근접촬영부를 더 포함하되, 상기 근접촬영부로부터 획득한 사진정보를 상기 제1통신부를 통해 상기 본체로 전송하고, 상기 중앙처리부가 전송된 사진정보를 처리하여 데이터를 생성하며, 생성된 데이터를 상기 촉각표출부로 전송하여 장애물을 구분할 수 있다.The mounting unit may include a proximity sensing unit that indicates that an object approaches or approaches an obstacle within 1 m of the front of the mounting unit, and photographs information when the object approaches or approaches an obstacle within 1 m of the front of the mounting unit. The apparatus may further include a proximity photographing unit which acquires the photographic information obtained from the proximity photographing unit to the main body through the first communication unit, and generates data by processing the photographic information transmitted by the central processing unit. It can be transmitted to the tactile display to distinguish the obstacle.

또, 상기 장착부는, 전방의 열을 감지하는 열감지센서부를 더 포함하되, 상기 열감지센서부로부터 획득한 온도정보를 상기 제1통신부를 통해 상기 본체로 전송하고, 상기 중앙처리부가 상기 영상정보 및 상기 온도정보를 비교하여 데이터를 생성하며, 생성된 데이터를 상기 촉각표출부로 전송하여 전방의 사물이 생물 또는 무생물인지 판별할 수 있다.The mounting unit may further include a heat sensor unit for detecting heat in front of the unit, and transmits temperature information obtained from the heat sensor unit to the main body through the first communication unit, and the central processing unit transmits the image information. And generating the data by comparing the temperature information, and transmitting the generated data to the tactile display unit to determine whether the object in front is a living or non-living object.

또, 상기 메모리부는, 장애인이 목적지를 용이하게 갈 수 있도록, 상기 촉각표출부 또는 상기 사운드출력부를 통해 이동경로를 알려주는 전자지도정보를 더 포함하되, 상기 위치정보서버로부터 정보를 수신할 수 없는 경우 상기 전자지도정보가 작동할 수 있다.The memory unit may further include electronic map information indicating a moving path through the tactile display unit or the sound output unit so that the disabled person can easily reach the destination, but cannot receive information from the location information server. In this case, the electronic map information may operate.

본 발명은 전방의 상황을 촉각표출부를 통해서 시각장애인에게 알려주어 전방의 사물을 구분하고, 증강현실을 이용하여 위치정보서버로부터 정보를 획득하여 시각장애인이 정확한 목표지점을 찾아갈 수 있으며, 사물의 정보 또한 알 수 있는 장점이 있다. 또한, 열감지센서부를 이용하여 도움 요청시 실제 사람 또는 마네킹 등과 같이 생물과 무생물을 구분하여 형상에만 의존하는 것을 보강함으로써, 시각장애인이 엉뚱한 곳으로 진행하는 것을 방지하는 효과가 있다. 게다가, 문자입력부로 문자를 입력하여 이를 디스플레이부를 통해서 의사를 전달함으로써, 소리로 의사전달이 어려운 시각장애인도 도움을 요청할 수 있는 장점이 있다. 그리고, 근접촬영부를 설치하여 전방에 작은 장애물이 나타나더라도 이를 촬영하여 알려줌으로써, 시각장애인이 용이하게 피해갈 수 있는 장점이 있다.The present invention is to inform the visually impaired person through the tactile display unit in front of the situation to distinguish the object in front, and obtain information from the location information server using augmented reality, the visually impaired person can find the exact target point, Information also has advantages. In addition, by using the heat sensor to reinforce the dependence on the shape only by distinguishing living and non-living things, such as a real person or a mannequin when asking for help, there is an effect to prevent the blind person to go to the wrong place. In addition, by inputting a character to the character input unit to pass the doctor through the display unit, there is an advantage that even the visually impaired can difficult to ask for help. And, even if a small obstacle appears in front by installing a close-up photographing unit by taking notice of this, there is an advantage that the blind can easily avoid.

도 1은 본 발명의 실시 예에 따른 시각장애인을 위한 사물인식 및 보행안내 장치를 개략적으로 나타낸 사시도이다.
도 2는 본 발명에서 장착부를 개략적으로 나타낸 블록도이다.
도 3은 본 발명에서 본체를 개략적으로 나타낸 블록도이다.
도 4는 본 발명에서 조작부를 개략적으로 나타낸 블록도이다.
1 is a perspective view schematically showing an object recognition and walking guidance device for the blind according to an embodiment of the present invention.
Figure 2 is a block diagram schematically showing a mounting portion in the present invention.
3 is a block diagram schematically showing a main body in the present invention.
Figure 4 is a block diagram schematically showing an operation unit in the present invention.

본 발명의 목적은, GPS(13)와, 방위측정부(12)와, 전방을 촬영하는 영상촬영부(14)와, 데이터를 입력받아 전기자극을 발생시켜 피부에 형상 또는 문자를 전달하는 촉각표출부(11)와, 상기 GPS(13), 상기 방위측정부(12) 및 상기 영상촬영부(14)로부터 획득한 정보를 송신하는 제1통신부(18)를 구비하는 장착부(1);와, 상기 제1통신부(18)와 정보 또는 데이터를 송수신하는 제2통신부(21)와, 통신망(미도시)을 통해 위치정보서버(미도시)에 접속하고 현재의 위치를 전송하여 상기 위치정보서버로부터 주변의 정보를 실시간으로 수신하는 제3통신부(25)와, 도움을 요청하는 정보를 포함하는 메모리부(27)와, 외부에 소리로 알려주는 사운드출력부(26)와, 상기 제2통신부(21)로부터 수신된 정보를 처리하여 데이터를 생성하고 생성된 데이터를 상기 제2통신부(21)로 송신하거나 생성된 데이터 또는 제3통신부(25)로부터 수신된 정보를 처리하여 상기 사운드출력부(26)로 송신하는 중앙처리부(24)를 구비하는 본체(2); 및 상기 사운드출력부(26)를 통해 상기 제2통신부(21)로부터 수신된 정보, 상기 제3통신부(25)로부터 수신된 정보 또는 상기 메모리부(27)에 저장된 정보를 선택적으로 출력하도록 명령을 입력하는 조작부(3);를 포함하되, 상기 장착부(1)를 시각장애인의 이마에 착용한 상태에서 시각장애인이 보행하면 상기 영상촬영부(14)에서 전방의 영상을 획득하고, 획득한 영상의 이미지를 상기 중앙처리부(24)가 처리하여 이를 상기 촉각표출부(11)를 통해 시각장애인이 전방의 사물을 인지하며, 상기 위치정보서버로부터 주변의 정보를 실시간으로 수신하여 목표지점을 정확하고 안전하게 안내하는 것을 특징으로 하는 시각장애인을 위한 사물인식 및 보행안내 장치에 의해 달성된다.An object of the present invention, the GPS 13, the azimuth measuring unit 12, the image taking unit 14 for photographing the front, and the tactile sensation to transmit the shape or text to the skin by generating electrical stimulation by receiving data A mounting unit (1) having a display unit (11) and a first communication unit (18) for transmitting information obtained from the GPS (13), the azimuth measuring unit (12), and the image photographing unit (14); and And a second communication unit 21 for transmitting and receiving information or data to and from the first communication unit 18 and a location information server (not shown) through a communication network (not shown), and transmitting a current location to the location information server. A third communication unit 25 for receiving real-time information from the user in real time, a memory unit 27 including information for requesting help, a sound output unit 26 for notifying sound to the outside, and the second communication unit Process the information received from (21) to generate data and transmit the generated data to the second communication unit (21); Generated body (2) for processing the information received from the data or the third communication unit 25 includes a central processing unit 24 to be transmitted to the sound output section 26; And selectively outputting information received from the second communication unit 21 through the sound output unit 26, information received from the third communication unit 25, or information stored in the memory unit 27. Including the operation unit 3; If the visually impaired walking while wearing the mounting portion (1) on the forehead of the visually impaired, the image taking unit 14 to obtain an image of the front, and The central processing unit 24 processes an image, and the visually impaired person recognizes an object in front of the tactile display unit 11, and receives the surrounding information from the location information server in real time to accurately and safely. It is achieved by the object recognition and walking guidance device for the visually impaired, characterized in that guide.

또, 상기 본체(2)는, 문자를 입력하는 문자입력부(23)와, 상기 문자입력부(23)에 의해 입력된 문자를 출력하는 디스플레이부(22)를 더 포함할 수 있다.In addition, the main body 2 may further include a character input unit 23 for inputting a character and a display unit 22 for outputting a character input by the character input unit 23.

또, 상기 장착부(1)는, 상기 장착부(1)로부터 전방의 1m 이내에 물체가 접근하거나 장애물에 접근하는 것을 알리는 근접감지부(16)와, 상기 장착부(1)로부터 전방의 1m 이내에 사물이 접근하거나 장애물에 접근했을 때 이를 촬영하여 사진정보를 획득하는 근접촬영부(17)를 더 포함하되, 상기 근접촬영부(17)로부터 획득한 사진정보를 상기 제1통신부(18)를 통해 상기 본체(2)로 전송하고, 상기 중앙처리부(24)가 전송된 사진정보를 처리하여 데이터를 생성하며, 생성된 데이터를 상기 촉각표출부(11)로 전송하여 장애물을 구분할 수 있다.In addition, the mounting unit 1 is a proximity sensing unit 16 for notifying that the object is approaching or approaching an obstacle within 1m in front of the mounting unit 1, and the object is approaching within 1m in front of the mounting unit 1 Or a proximity photographing unit 17 which acquires photographic information by photographing when the obstacle approaches the obstacle, wherein the photographic information obtained from the proximity photographing unit 17 is photographed through the first communication unit 18. 2), the central processing unit 24 processes the transmitted photo information to generate data, and transmits the generated data to the tactile display unit 11 to identify obstacles.

또, 상기 장착부(1)는, 전방의 열을 감지하는 열감지센서부(15)를 더 포함하되, 상기 열감지센서부(15)로부터 획득한 온도정보를 상기 제1통신부(18)를 통해 상기 본체(2)로 전송하고, 상기 중앙처리부(24)가 상기 영상정보 및 상기 온도정보를 비교하여 데이터를 생성하며, 생성된 데이터를 상기 촉각표출부(11)로 전송하여 전방의 사물이 생물 또는 무생물인지 판별할 수 있다.The mounting unit 1 further includes a heat sensor unit 15 for detecting heat in front of the mounting unit 1 through temperature information obtained from the heat sensor unit 15 through the first communication unit 18. The central processing unit 24 generates the data by comparing the image information and the temperature information, and transmits the generated data to the tactile display unit 11 to transmit the object to the body 2. Or inanimate.

또, 상기 본체(2)는, 장애인이 목적지를 용이하게 갈 수 있도록, 상기 촉각표출부(11) 또는 상기 사운드출력부(26)를 통해 이동경로를 알려주는 전자지도정보를 더 포함하되, 상기 위치정보서버로부터 정보를 수신할 수 없는 경우 상기 전자지도정보가 작동할 수 있다.
In addition, the main body 2 further includes electronic map information informing the movement path through the tactile display 11 or the sound output unit 26 so that the disabled person can easily reach the destination. The electronic map information may operate when the information cannot be received from the location information server.

도 1은 본 발명의 실시 예에 따른 시각장애인을 위한 사물인식 및 보행안내 장치를 개략적으로 나타낸 사시도이다.1 is a perspective view schematically showing an object recognition and walking guidance device for the blind according to an embodiment of the present invention.

도 2는 본 발명에서 장착부(1)를 개략적으로 나타낸 블록도이다.2 is a block diagram schematically showing the mounting part 1 in the present invention.

도 3은 본 발명에서 본체(2)를 개략적으로 나타낸 블록도이다.3 is a block diagram schematically showing the main body 2 in the present invention.

도 4는 본 발명에서 조작부(3)를 개략적으로 나타낸 블록도이다.
4 is a block diagram schematically showing the operation unit 3 in the present invention.

이하 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1 내지 도 4에 도시된 바와 같이, 본 발명의 실시 예에 따른 시각장애인을 위한 사물인식 및 보행안내 장치는, 장착부(1), 본체(2) 및 조작부(3)를 포함한다.1 to 4, the object recognition and walking guide device for the visually impaired according to an embodiment of the present invention includes a mounting unit 1, a main body 2, and an operation unit 3.

장착부(1)는, 대략 밴드형태로, 벨크로 등의 탈착수단에 의해서 머리에 탈부착이 가능하고, GPS(13)(Global Positioning System), 방위측정부(12), 영상촬영부(14), 열감지센서부(15), 근접감지부(16), 근접촬영부(17), 촉각표출부(11), 동작감지부(19) 및 제1통신부(18)를 포함한다.The mounting portion 1 is in a band form, and can be attached to and detached from the head by a detachment means such as a Velcro, and includes a GPS 13 (Global Positioning System), an orientation measuring unit 12, an image photographing unit 14, a row The sensor 15 includes a proximity sensor 16, a proximity detector 16, a proximity photographing unit 17, a tactile display 11, a motion detector 19, and a first communication unit 18.

GPS(13)는, 시각장애인의 위치에 대한 정보를 획득하고, 획득한 정보를 제1통신부(18)를 통해 본체(2)로 전송한다. 이에 따른 상세한 설명은 후술한다.The GPS 13 acquires information on the location of the visually impaired person and transmits the obtained information to the main body 2 through the first communication unit 18. Detailed description thereof will be described later.

방위측정부(12)는, 대략 8개의 방향 즉 동, 서, 남, 북, 북동, 북서, 남동, 남서를 감지하는 전자나침반 등이 사용되며, 시각장애인이 어느 방향을 향해 서있는지에 대한 정보를 획득하고, 획득한 정보를 제1통신부(18)를 통해 본체(2)로 전송한다. 이에 따른 상세한 설명은 후술한다.The azimuth measuring unit 12 includes approximately eight directions, that is, an electronic compass for detecting east, west, south, north, northeast, northwest, southeast, and southwest, and information on which direction the visually impaired person stands in. And obtain the obtained information to the main body 2 through the first communication unit 18. Detailed description thereof will be described later.

영상촬영부(14)는, 대략 640*320 픽셀(pixels)의 시모스(CMOS)센서를 사용한 카메라 등이 사용되며, 시각장애인의 전방을 촬영하여 영상정보를 획득하고, 획득한 정보를 제1통신부(18)를 통해 본체(2)로 전송한다. 여기서, 영상촬영부(14)는 주간에는 영상신호를 RGB신호로 분리하여 처리하고, 야간에는 적외선(IR)을 이용하여 그레이스케일로 처리하여 제1통신부(18)를 통해 본체(2)로 전송한다. 이는, 카메라의 특성상 광량이 적은 곳에서는 시모스센서의 작동이 느려져 영상이 번지므로 영상을 획득하기에 곤란하다. 따라서, 광량이 많은 주간에는 RGB신호로 분리하여 처리하고, 상대적으로 광량이 적은 야간에는 적외선(IR)을 이용하여 그레이스케일로 처리한다. 이에 따른 기술은 이미 공지되고 널리 알려진 관계로 상세한 설명은 생략하기로 한다.The image capturing unit 14 is a camera using a CMOS sensor of about 640 * 320 pixels, and the like. The image capturing unit 14 acquires image information by photographing the front of a visually impaired person. It transmits to the main body 2 via 18. FIG. Here, the image capturing unit 14 processes the image signal into RGB signals during the day, and processes them in grayscale using infrared (IR) at night and transmits them to the main body 2 through the first communication unit 18. do. This is difficult to obtain an image because the operation of the CMOS sensor is slow in the place where the light amount is small due to the characteristics of the camera. Therefore, during the day with a large amount of light, it is separated and processed into RGB signals, and at night with a relatively low amount of light, infrared rays (IR) are used to process the grayscale. Accordingly, the description thereof will be omitted since it is already known and widely known.

열감지센서부(15)는, 대략 전자열감지센서 등이 사용되고, 전방에 배치된 사물의 열을 감지하여 정보를 획득하며, 획득한 정보를 제1통신부(18)를 통해 본체(2)로 전송한다. 이는, 영상만으로 실제 사람과 인형 또는 마네킹을 구분하기 위해서 즉, 생물과 무생물을 구분하기 위해서 사용하는 것으로 이에 따른 설명은 후술한다.The thermal sensor unit 15 is used, such as an electronic thermal sensor, and the like to obtain information by sensing the heat of an object disposed in front, and to obtain the obtained information to the main body 2 through the first communication unit 18. send. This is used to distinguish a real person from a doll or a mannequin using only an image, that is, to distinguish between living things and non-living things, which will be described later.

근접감지부(16)는, 대략 초음파센서를 사용하며, 시각장애인에게 사람 또는 차량 등이 접근하거나 시각장애인이 장애물에 접근했을 경우에 장애물의 유무를 확인하는 정보를 획득하고, 획득한 정보를 제1통신부(18)를 통해서 본체(2)로 전송하여 사운드출력부(26)를 통해 경보음을 출력한다. 이때, 근접감지부(16)의 감지범위는 전방 70cm 이내, 수평을 기준으로 경사각이 상부로 60°하부로 60°총 120°범위 내의 장애물을 감지한다. 이는, 시각장애인으로부터 70cm를 벗어난 장애물을 시각장애인이 지팡이로 인지할 경우에는 이를 피해서 가면 되지만, 지팡이로 인지되지 않고 장애물이 70cm 이내로 접근하는 경우에는 시각장애인이 장애물과 충돌할 수 있으므로, 70cm 이내로 접근하는 장애물에 대해서는 근접감지부(16)가 이를 감지하고, 사운드출력부(26)를 통해 경보음을 출력하여 시각장애인에게 알려준다.The proximity detecting unit 16 uses an ultrasonic sensor, and obtains information confirming the presence or absence of an obstacle when a person or a vehicle approaches the visually handicapped person or the visually handicapped person approaches an obstacle, and obtains the acquired information. 1 is transmitted to the main body 2 through the communication unit 18 and outputs an alarm sound through the sound output unit 26. At this time, the sensing range of the proximity sensing unit 16 detects an obstacle within a total range of 120 ° within 70 cm in front of the inclination angle of 60 ° up to 60 ° from the bottom. If the visually impaired person perceives an obstacle that is 70 cm away from the visually impaired person, avoid it. Proximity detection unit 16 detects this obstacle to the, and outputs an alarm sound through the sound output unit 26 to inform the visually impaired.

근접촬영부(17)는, 대략 접사카메라 등이 사용되며, 근접감지부(16)와 연결되어 근접감지부(16)로부터 장애물이 감지됨과 동시에 작동한다. 이때, 근접촬영부(17)는 초점거리가 70cm 내로 정해져 있으며, 장애물을 촬영하여 사진을 획득하고, 획득한 사진을 제1통신부(18)를 통해 본체(2)로 전송한다. 이는, 시각장애인이 장애물을 피해가야 할 상황이 발생하는 경우 경보음만 가지고 장애물을 피해가기 곤란하므로, 장애물이 무엇인지 파악해야 한다. 그런데, 가는 줄의 장애물의 경우에는 영상촬영부(14)가 촬영해도 잘 나타나지 않을 수 있다. 예를 들면, 영상촬영부(14)의 경우에는 초점범위가 무한대로 설정되어 있기 때문에 가는 줄이 가까이 있으면 인식하지 못하는 경우가 발생할 수 있다. 따라서, 시각장애인이 장애물을 더욱 확실하게 구분하여 장애물을 용이하게 피해갈 수 있도록, 작은 장애물을 더욱 정밀하게 촬영할 수 있는 초점거리가 정해진 별도의 카메라를 장착하는 것이다.The close-up photographing unit 17, a macro camera or the like is used, and is connected to the proximity detecting unit 16 to operate simultaneously with the obstacle is detected from the proximity detecting unit 16. In this case, the close-up photographing unit 17 has a focal length within 70 cm, captures obstacles to obtain a picture, and transmits the obtained picture to the main body 2 through the first communication unit 18. This is because it is difficult to avoid obstacles with only an alarm sound when a situation in which a visually impaired person needs to avoid obstacles occurs, so it is necessary to understand what obstacles are. However, in the case of an obstruction of a thin line, it may not appear well even when the image photographing unit 14 photographs. For example, in the case of the image capturing unit 14, since the focus range is set to infinity, it may not be recognized if a thin line is close. Therefore, a separate camera having a focal length for capturing small obstacles more precisely may be mounted so that the blind person can more clearly distinguish the obstacles and easily avoid the obstacles.

촉각표출부(11)는, 시각장애인의 이마에 밀착되고, 데이터를 입력받아 촉각을 자극하는 전기신호가 출력된다. 이때 촉각표출부(11)는 사물의 형태를 형상화할 수 있도록, 대략 전기신호가 출력되는 512개의 포인트가 직사각형태로 분포되어 형성되고, 최대 300V/10mA 내외의 전기신호가 출력되며, 사물의 형태 또는 문자가 형상화시켜 시각장애인이 사물 또는 전방의 상황을 인식한다. 이에 따른 설명은 후술한다.The tactile expression unit 11 is in close contact with the forehead of a visually impaired person, and receives an input of data to output an electrical signal for stimulating the tactile sense. In this case, the tactile display unit 11 is formed by distributing a rectangular shape in which approximately 512 points at which an electrical signal is output are distributed in a rectangular shape so that the shape of the object can be shaped. Or text is shaped so that the visually impaired person recognizes the object or the situation ahead. A description thereof will be described later.

동작감지부(19)는, 전기의 사용량을 절감하기 위해서 시각장애인의 움직임이 없을 때에는 장착부(1)와 본체(2)가 전원절약모드로 전환된다. 이때, 전월절약모드로 전환되면, 장착부(1)에서는 동작감지부(19), 근접감지부(16)만 작동하고, 본체(2)는 제2통신부(21)만 작동하며, 나머지 구성은 작동이 멈추고 대기상태로 전환된다. 이에 따라, 전기 사용량을 절감함으로써 장시간 외출이 가능해진다. 이에 따른 설명은 후술한다.The motion detection unit 19 switches the mounting unit 1 and the main body 2 to the power saving mode when there is no movement of the visually impaired in order to reduce the amount of electricity used. At this time, when the transfer to the month-saving mode, the mounting unit 1 operates only the operation detection unit 19, the proximity detection unit 16, the main body 2 operates only the second communication unit 21, the rest of the operation Will stop and go to standby. Accordingly, it is possible to go out for a long time by reducing the amount of electricity used. A description thereof will be described later.

제1통신부(18)는, GPS(13), 방위측정부(12), 영상촬영부(14), 열감지센서부(15), 근접감지부(16) 및 근접촬영부(17)로부터 획득한 정보를 송신한다.The first communication unit 18 is obtained from the GPS 13, the orientation measuring unit 12, the image photographing unit 14, the thermal sensor unit 15, the proximity detecting unit 16, and the proximity photographing unit 17. Send a piece of information.

본체(2)는, 대략 직육면체로, 내부에 제2통신부(21), 제3통신부(25), 메모리부(27) 및 중앙처리부(24)를 구비하고, 외부에 문자입력부(23), 디스플레이부(22) 및 사운드출력부(26)를 포함한다.The main body 2 is a substantially rectangular parallelepiped and includes a second communication unit 21, a third communication unit 25, a memory unit 27, and a central processing unit 24, and an external character input unit 23 and a display. A unit 22 and a sound output unit 26 is included.

제2통신부(21)는, 제1통신부(18)로부터 송신된 정보를 수신하고, 본체(2)에서 처리된 데이터를 제1통신부(18)로 송신한다. 이때, 제1통신부(18)와 제2통신부(21)는 무선 또는 유선으로 연결될 수 있다.The second communication unit 21 receives the information transmitted from the first communication unit 18, and transmits the data processed by the main body 2 to the first communication unit 18. In this case, the first communication unit 18 and the second communication unit 21 may be connected by wireless or wired.

제3통신부(25)는, 무선통신망(미도시)에 접속하고 무선통신망을 통해서 기 마련된 위치정보서버에 접속한다. 즉, 제3통신부(25)는 GPS(13) 및 방위측정부(12)로부터 획득한 정보를 위치정보서버로 전송하고, 위치정보서버에 저장된 데이터와 비교하여 주변의 정보를 실시간으로 수신한다. 또한, 영상촬영부(14)로부터 획득한 정보를 위치정보서버에 저장된 데이터와 비교하여 사물의 정보를 실시간으로 수신한다.The third communication unit 25 is connected to a wireless communication network (not shown) and connected to a location information server provided through the wireless communication network. That is, the third communication unit 25 transmits the information obtained from the GPS 13 and the orientation measuring unit 12 to the location information server, and compares the data stored in the location information server to receive the surrounding information in real time. In addition, the information obtained from the image photographing unit 14 is compared with the data stored in the location information server to receive the information of the object in real time.

메모리부(27)는, 시각장애인이 도움을 요청하는 문자메시지정보, 음성메시지정보 및 전자지도정보가 저장된다. 가령, 전방에 돌발장애물이 나타날 경우 "장애물이 있습니다" 등의 음성메시지정보가 저장되어 있거나, 이를 촉각표출부(11)를 통해 알려주도록 문제메시지정보가 저장되어 있다. 또한, 제3통신부(25)가 위치정보서버로부터 정보를 수신하지 못하는 경우 전자지도정보를 실행하고, 여기에 GPS(13) 및 방위측정부(12)를 활용하여 장애인이 지금 어느 위치에 있는지 실시간으로 문자메시지 또는 음성으로 알려준다.The memory unit 27 stores text message information, voice message information, and electronic map information for the visually impaired. For example, when a sudden obstacle appears in the front, voice message information such as "there is an obstacle" is stored, or the problem message information is stored so as to inform it through the tactile display unit 11. In addition, when the third communication unit 25 does not receive the information from the location information server, it executes the electronic map information, and by using the GPS 13 and the orientation measuring unit 12 in real time where the disabled person is now To text or voice.

문자입력부(23)는, 대략 점자용 복수의 키패드를 구비하고, 시각장애인이 복수의 키패드를 이용하여 문자를 입력하거나 자료를 검색할 수 있다. 예를 들면, 음성으로 전달하기 어려운 시각장애인의 경우에는 상대방에게 의사전달이 어려움이 있다. 이때, 문자입력부(23)를 통해서 문자를 입력하면 디스플레이부(22)에서 문자가 출력되어 상대방에게 의사를 전달할 수 있다. 또한, 디스플레이부(22)에 출력된 문자는 음성으로 변환시켜 사운드출력부(26)를 통해 출력될 수 있다. 이에 따라, 음성으로 의사소통이 어려운 시각장애인이라도 문자입력부(23)를 통해서 상대방과 의사소통을 할 수 있다.The character input unit 23 is provided with a plurality of keypads for the braille, and the visually impaired person can input characters or retrieve data using the plurality of keypads. For example, in the case of a visually impaired person who is difficult to transmit by voice, communication to the other party is difficult. In this case, when a character is input through the character input unit 23, the character is output from the display unit 22, and the intention may be transmitted to the other party. In addition, the text output to the display unit 22 may be converted into a voice and output through the sound output unit 26. Accordingly, even a visually impaired person who is difficult to communicate by voice can communicate with the other party through the character input unit 23.

디스플레이부(22)는, 시각장애인이 입력한 문자를 상대방에게 보여주는 곳으로, 문자입력부(23)로부터 입력된 문자가 출력된다. 이에 따라, 상대방에게 문자로 의사를 전달할 수 있다. 이때, 메시지가 제대로 작성되었는지 사운드출력부(26)를 통해서 시각장애인에게 알려줄 수도 있다.The display unit 22 is a place where the visually impaired character is displayed to the counterpart, and the character input from the character input unit 23 is output. Accordingly, the intention can be communicated to the other party by text. In this case, the sound output unit 26 may be notified to the visually impaired whether the message is properly written.

사운드출력부(26)는, 근접감지부(16)로부터 돌발 장애물을 발견하는 경우 경고음이 출력되거나, 문자입력부(23)로부터 입력된 문자를 음성으로 출력한다. 또한, 제3통신부(25)로부터 수신한 정보를 음성으로 출력할 수도 있다. 이때, 사운드출력부(26)를 대체하는 이어폰 단자부(미도시)가 본체(2)의 한 부분에 마련될 수 있다. 이에 따라, 시각장애인은 각종 정보를 사운드출력부(26) 또는 이어폰(미도시)을 통해 음성으로 알 수 있다.The sound output unit 26 outputs a warning sound when a sudden obstacle is detected from the proximity detecting unit 16 or a character input from the character input unit 23 as a voice. In addition, information received from the third communication unit 25 may be output as voice. In this case, an earphone terminal unit (not shown) that replaces the sound output unit 26 may be provided in one portion of the main body 2. Accordingly, the visually impaired person may know various information by voice through the sound output unit 26 or the earphone (not shown).

중앙처리부(24)는, 제2통신부(21), 제3통신부(25), 메모리부(27) 및 사운드출력부(26)와 연결되고, 제2통신부(21), 제3통신부(25)로부터 수신된 정보와 문자입력부(23)로부터 입력된 명령을 처리한다. 예를 들면, 영상촬영부(14) 및 근접촬영부(17)에서 획득한 영상정보에서 사물의 형태를 촉각표출부(11)를 통해 전달할 수 있도록 영상정보를 처리하여 데이터를 생성한 후 제2통신부(21)로 송신한다. 또한, 열감지센서부(15)로부터 획득한 정보와 영상정보를 결합하여 실제 생물과 무생물 즉, 사람인지 마네킹인지를 구분하여 시각장애인에게 알려준다. 또, 조작부(3)를 통해 입력된 명령을 처리하기도 한다. 이에 따른 설명은 후술한다.The central processing unit 24 is connected to the second communication unit 21, the third communication unit 25, the memory unit 27, and the sound output unit 26, and the second communication unit 21 and the third communication unit 25. Processes the information received from and the command input from the character input unit 23. For example, in the image information acquired by the image capturing unit 14 and the proximity capturing unit 17, the image information is processed to generate the data through the tactile display unit 11 so as to transmit the form of the object, and then the second data is generated. It transmits to the communication part 21. In addition, by combining the information obtained from the heat sensor unit 15 and the image information to distinguish the real and non-living, that is, human or mannequins and informs the visually impaired. Moreover, the command input via the operation part 3 may be processed. A description thereof will be described later.

조작부(3)는, 시각장애인이 짚고 다니는 대략 지팡이 형태로, 제4통신부(32) 및 키입력부(31)를 포함한다.The operation unit 3 includes a fourth communication unit 32 and a key input unit 31 in a substantially walking stick shape that a visually impaired person carries.

제4통신부(32)는, 키입력부(31)를 통해 입력된 명령을 제2통신부(21)로 송신한다.The fourth communication unit 32 transmits the command input via the key input unit 31 to the second communication unit 21.

키입력부(31)는, "도와주세요", "시각장애인입니다. 지나가겠습니다." 등의 상대방에게 간단하게 요청하는 음성 또는 문자가 본체(2)를 통해 출력되도록 복수의 키를 구비하여 명령을 입력하는 곳으로, 입력된 명령을 제4통신부(32)로 송신한다. 이에 따라, 시각장애인은 키입력부(31)를 통해 지나가면서 간단한 메시지를 출력하여 상대방에게 의사를 전달할 수 있다.Key input unit 31, "Help", "I am blind. I will pass." The voice or text that is simply requested to the other party is provided with a plurality of keys to output the command through the main body 2, and the input command is transmitted to the fourth communication unit 32. Accordingly, the visually impaired person may pass a doctor through the key input unit 31 by outputting a simple message.

여기서, 본체(2)는 시각장애인이 한 손에 들고 휴대할 수도 있지만, 휴대성을 높이기 위해서 신체의 한 부분에 착용할 수도 있다. 또한, 본체(2)는 시각장애인이 음성으로 명령을 입력하도록, 본체(2)의 한 부분에 마이크(미도시)를 더 포함할 수 있다. 이때, 음성인식은 널리 공지되고 공공연히 실시되고 있는바 상세한 설명은 생략한다.Here, the body 2 may be carried by a visually impaired person in one hand, but may be worn on a part of the body to increase portability. In addition, the main body 2 may further include a microphone (not shown) in a portion of the main body 2 so that a visually impaired user may input a command by voice. In this case, the voice recognition is well known and publicly performed bar detailed description thereof will be omitted.

상술한 제1통신부(18), 제2통신부(21) 및 제4통신부(32)는 근거리 통신을 이용하되, 대략 RF, 블루투스 및 적외선 등을 이용하고, 제3통신부(25)는 와이파이(Wi-Fi), 3G(3세대 이동통신), 2G(2세대 이동통신) 등을 이용한다. 또한, 장착부(1), 본체(2) 및 조작부(3)는 생활방수가 적용되어 우천시에도 사용이 가능하다.The first communication unit 18, the second communication unit 21, and the fourth communication unit 32 described above use near field communication, and use approximately RF, Bluetooth, and infrared rays, and the third communication unit 25 uses Wi-Fi (Wi). -Fi), 3G (3rd generation mobile communication), 2G (2nd generation mobile communication) and the like. In addition, the mounting portion 1, the main body 2 and the operation unit 3 is waterproof and can be used even in rainy weather.

한편, 장착부(1), 본체(2) 및 조작부(3)는 휴대기기이고, 이에 전원을 공급하는 배터리는 당업자에게는 자명한 구성이며, 또한 배터리는 공지되고 널리 실시되고 있는바 본 발명에서는 배터리의 설명을 생략하기로 한다.
On the other hand, the mounting unit 1, the main body 2 and the operation unit 3 is a portable device, the battery for supplying power to the skilled in the art will be obvious configuration, and the battery is known and widely practiced in the present invention the battery The description will be omitted.

이하 첨부된 도면을 참조하여 본 발명에 실시 예에 따른 시각장애인을 위한 사물인식 및 보행안내 장치의 작동을 상세히 설명하기로 한다.Hereinafter, with reference to the accompanying drawings will be described in detail the operation of the object recognition and gait guide device for the blind according to an embodiment of the present invention.

먼저 시각장애인의 머리에 촉각표출부(11)가 이마에 밀착되도록 장착부(1)를 착용한다.First, the wearing part 1 is worn so that the tactile expression 11 is closely attached to the forehead of the visually impaired head.

시각장애인이 장착부(1)를 착용한 상태에서 보행하면, 영상촬영부(14)에서 전방의 영상을 촬영하여 정보를 획득하고, GPS(13)에서 시각장애인의 위치에 대한 정보를 획득하고, 방위측정부(12)에서 시각장애인이 보고 있는 방향에 대한 정보를 획득한다. 그리고, 열감지센서부(15)에서 사물이 가지고 있는 열에 대한 정보를 획득하고, 근접감지부(16)에서 시각장애인으로부터 70cm 이내에 장애물이 진입하는지 실시간으로 감지하며, 동작감지부(19)에서 시각장애인이 움직이는지를 감지한다. 이때, 시각장애인이 앉거나 움직이지 않고 서 있는 경우에는 동작감지부(19)가 시각장애인의 활동이 없는 것으로 간주하고, 전원절약모드로 전환되어 동작감지부(19) 및 근접감지부(16) 및 제2통신부(21)를 제외한 구성들은 대기상태로 돌입한다. 여기서, 시각장애인의 전방 70cm 이내에 사물이 나타나면 근접감지부(16)에서 이를 감지하고 근접촬영부(17)에서 사진을 찍으며, 제1통신부(18)가 활성화 되면서 근접감지부(16) 및 근접촬영부(17)에서 획득한 정보를 제1통신부(18)를 통해 제2통신부(21)로 전달한다. 제2통신부(21)가 제1통신부(18)로부터 정보가 수신하면 본체(2)의 나머지 구성들의 대기상태가 풀리면서 본체(2)가 제2통신부(21)로부터 수신된 정보를 처리하여 데이터를 생성한다. 즉, 사진이 촉각표출부(11)를 통해서 구체적인 형상을 알 수 있도록 데이터를 생성하여 촉각표출부(11)로 전송한다. 이때, 사운드출력부(26)에서 경보음이 1초 내지 2초 동안 울릴 수 있다. 여기서, 사운드출력부(26)에서 경보음을 생략하고 촉각표출부(11)를 통해서 경보를 알릴 수도 있다. 이는 시각장애인이 본체(2)의 세팅방법에 의해서 결정될 수 있다.When the visually impaired person walks while wearing the mounting unit 1, the image photographing unit 14 captures an image of the front to obtain information, and acquires information on the position of the visually impaired person in the GPS 13, and the defense The measurement unit 12 acquires information on the direction of the visually impaired person. Then, the heat sensor 15 acquires information on the heat of the object, the proximity sensor 16 detects in real time whether an obstacle enters within 70 cm of the visually impaired, and the motion detector 19 Detect if the person with a disability is moving. At this time, when the visually impaired person is sitting or standing without moving, the motion detection unit 19 is considered that there is no activity of the visually impaired, and is switched to the power saving mode to the motion detection unit 19 and the proximity detection unit 16. Configurations other than the second communication unit 21 enters the standby state. Here, when an object appears within 70 cm in front of the visually impaired, the proximity detecting unit 16 detects it and takes a picture in the proximity photographing unit 17. The first communication unit 18 is activated while the proximity detecting unit 16 and the proximity photographing are taken. The information obtained by the unit 17 is transferred to the second communication unit 21 through the first communication unit 18. When the second communication unit 21 receives the information from the first communication unit 18, the standby state of the remaining components of the main body 2 is released, and the main body 2 processes the information received from the second communication unit 21 and the data. Create That is, the photograph generates data so as to know the specific shape through the tactile display 11 and transmits the data to the tactile display 11. At this time, the alarm sound in the sound output unit 26 may sound for 1 second to 2 seconds. Here, the alarm sound may be omitted from the sound output unit 26 and the alarm may be notified through the tactile display unit 11. This can be determined by the visually impaired setting method of the main body 2.

시각장애인이 보행하면, 영상촬영부(14)에서 영상을 촬영하여 정보를 획득하고, 열감지센서부(15)에서 전방의 사물에 대한 열을 측정하여 정보를 획득하며, GPS(13) 및 방위측정부(12)에서 위치 및 방향에 대한 정보를 획득한다. 획득한 정보는 제1통신부(18)를 통해서 제2통신부(21)로 전달되고, 영상촬영부(14) 및 열감지센서부(15)에서 획득한 정보는 중앙처리부(24)에서 영상과 열을 비교하여 사물의 형태 및 생물과 무생물을 판별하여 데이터를 생성하고, GPS(13) 및 방위측정부(12)에서 획득한 정보는 제3통신부(25)를 통해서 위치정보서버에 전송된다.When the visually impaired person walks, the image photographing unit 14 acquires information by capturing an image, and the thermal sensor unit 15 obtains information by measuring heat of an object in front of the GPS 13 and azimuth. The measurement unit 12 acquires information about the position and the direction. The obtained information is transmitted to the second communication unit 21 through the first communication unit 18, and the information obtained by the image photographing unit 14 and the thermal sensor unit 15 is transferred to the image and heat unit in the central processing unit 24. Compare and compare the shape and the creatures and non-living objects to generate data, and the information obtained from the GPS 13 and the orientation measuring unit 12 is transmitted to the location information server through the third communication unit (25).

중앙처리부(24)에서 처리된 데이터는 제2통신부(21)를 거쳐 제1통신부(18)로 전달되고, 제1통신부(18)로 전달된 데이터는 촉각표출부(11)로 전송되며, 전송된 데이터는 촉각표출부(11)에서 사물의 형태 또는 메시지로 표출되어 시각장애인에게 전달한다. 이에 따라, 시각장애인은 촉각표출부(11)를 통해 생물과 무생물을 구분하고, 사물의 형태를 판별할 수 있다. 만약, 열감지센서부(15)가 없다면, 시각장애인은 형상에만 의존하여 보행해야 한다. 즉, 시각장애인이 도움을 요청해야 할 경우, 마네킹이나 인형한테 다가가서 도움을 요청하는 일이 발생할 수 있으며, 특히 사람이 도어나 안전표지판 등의 장애물에 가려져 있는 경우에는 감지할 수 없는 문제점이 발생한다. 하지만, 본 발명은 열감지센서부(15)를 적용함으로써, 사람이 장애물에 가려져 있어도 장애물 너머에 체온을 감지할 수 있어서 사람들이 있는 방향을 쉽게 찾아낼 수 있으며, 특히 형상과 사물의 열을 복합하여 알려줌으로써, 실제 사람에게 다가가 도움을 요청할 수 있다. 따라서, 시각장애인이 마네킹이나 인형에게 다가가서 도움을 요청하는 상황을 방지할 수 있고, 장애물에 가려진 사람들이라도 체온을 감지하여 사람들을 손쉽게 찾아갈 수 있다.The data processed by the central processing unit 24 is transmitted to the first communication unit 18 via the second communication unit 21, and the data transmitted to the first communication unit 18 is transmitted to the tactile display unit 11 and transmitted. The data is expressed in the form or message of the thing in the tactile display unit 11 and transmitted to the visually impaired. Accordingly, the visually impaired person may distinguish between living and non-living objects through the tactile display unit 11 and determine the shape of the object. If there is no heat sensor 15, the visually impaired person should walk based only on the shape. In other words, when a blind person needs to ask for help, he may approach a mannequin or a doll and ask for help, especially if a person is obscured by an obstacle such as a door or safety sign. do. However, the present invention, by applying the heat sensor 15, it is possible to detect the body temperature over the obstacle even if a person is obstructed by the obstacle, it is easy to find the direction of people, in particular, the shape and the heat of the object In this way, you can reach out to real people and ask for help. Therefore, it is possible to prevent a blind person from approaching a mannequin or a doll and asking for help, and even people obscured by obstacles can easily detect people by detecting body temperature.

한편, 위치정보서버에 전송된 정보는 위치정보서버에 저장된 정보와 일치되는 정보를 찾아서 통신망을 통해 제3통신부(25)로 전달한다. 위치정보서버로부터 전달받은 정보는 시각장애인이 현재 장소와 보행하는 전방의 건물 등의 정보를 알려준다. 즉, 증강현실의 기능을 이용하여 전방에 무엇이 있는지 실시간으로 알려준다. 이때, 사물의 이미지 또는 바코드 등을 위치정보서버로 전송하고 이와 일치하는 정보를 본체(2)로 실시간으로 전달하여 사물의 정보를 알 수도 있다.Meanwhile, the information transmitted to the location information server finds information that matches the information stored in the location information server and transfers the information to the third communication unit 25 through the communication network. Information received from the location information server informs the blind, such as the current location and buildings in front of the walking. In other words, it uses the function of augmented reality to tell in real time what is ahead. At this time, the image or barcode of the thing may be transmitted to the location information server, and information corresponding to the information may be transmitted to the main body 2 in real time to know the information of the thing.

위치정보서버로부터 전달받은 정보는 중앙처리부(24)가 처리하여 데이터로 생성하고, 생성된 데이터는 촉각표출부(11) 또는 사운드출력부(26)를 통해 시각장애인에게 알려준다. 이때, 주변 사람들에게 피해가 가지 않도록 사운드출력부(26) 대신 이어폰 단자부에 꽂힌 이어폰을 통해서 음성으로 안내받을 수도 있다. 이에 따라, 시각장애인은 전방 몇 미터에 무슨 건물이 있는지 알 수 있다. 만약, 시각장애인이 건물 내부로 진입해야 하는 경우, 네비게이션을 이용하게 되면, 목표지점 근처에 도달했을 때 네비게이션은 안내를 종료한다. 이때, 시각장애인은 목표건물에 진입해야 하는데 목표건물의 방향을 알 수 없다. 즉, 등 뒤에 목표건물이 있으면 이를 찾을 수가 없어서 결국 지나가는 사람들의 도움을 받을 수밖에 없다. 하지만, 증강현실을 이용하게 되면, 시각장애인이 서있는 전방의 지역정보를 알려주기 때문에 전방에 무슨 건물이 있는지 알 수 있다. 따라서, 전방에 목표건물이 나타나지 않으면 시각장애인은 고개를 돌리거나 몸을 회전시켜 주변을 탐색하면 되므로 목표지점이 등 뒤에 있더라도 증강현실을 이용하여 목표지점을 정확하게 알 수 있다. 이에 따라, 위치정보서버에 접속하여 정보를 획득함으로써, 시각장애인은 원하는 목표지점을 정확하게 찾아갈 수 있다. 또한, 증강현실을 이용하여 상품에 대한 정보를 획득함으로써, 시각장애인은 상품이 무엇인지도 인지할 수 있다.The information received from the location information server is processed by the central processing unit 24 to generate data, and the generated data is notified to the visually impaired through the tactile display unit 11 or the sound output unit 26. At this time, the voice may be guided through the earphone plugged into the earphone terminal unit instead of the sound output unit 26 so as not to cause damage to the people around. As a result, the visually impaired person can know what building is several meters ahead. If the visually impaired person needs to enter the building, the navigation is terminated when the navigation is reached near the target point. At this time, the blind person should enter the target building but cannot know the direction of the target building. In other words, if there is a target building behind your back, you will not be able to find it, so you will have to help the people passing by. However, if you use augmented reality, you can see what building in front of the blind because it tells the local information ahead. Therefore, if the target building does not appear in front of the visually impaired person can turn the head or rotate the body to search the surroundings, even if the target point behind the back can be known exactly using the augmented reality. Accordingly, by accessing the location information server to obtain information, the visually impaired person can accurately find a desired target point. In addition, by acquiring information about a product using augmented reality, the visually impaired person may recognize what the product is.

여기서, 제3통신부(25), 통신망 또는 위치정보서버에 문제가 발생하여 위치정보서버로부터 정보를 받을 수 없는 경우에는 중앙처리부(24)는 메모리부(27)에 저장된 전자지도를 실행한다. 전자지도가 실행되면, GPS(13)와 방위측정부(12)를 이용하여 시각장애인이 진행하는 방향 및 전방의 지역정보를 획득할 수 있다. 따라서, 제3통신부(25), 통신망 또는 위치정보서버에 문제가 발생하더라도 시각장애인은 원하는 목표지점을 정확하게 찾아갈 수 있다.Here, when a problem occurs in the third communication unit 25, the communication network or the location information server and cannot receive information from the location information server, the central processing unit 24 executes the electronic map stored in the memory unit 27. When the electronic map is executed, the GPS 13 and the azimuth measuring unit 12 may be used to acquire the direction of the visually impaired person and the area information ahead. Therefore, even if a problem occurs in the third communication unit 25, the communication network or the location information server, the visually impaired person can accurately find the desired target point.

한편, 시각장애인은 문자입력부(23)를 통해서 명령을 입력하여 목표지점에 대한 안내을 받거나, 도움을 요청하는 메시지를 디스플레이부(22) 또는 사운드출력부(26)를 통해서 출력할 수 있다.On the other hand, the visually impaired person may input a command through the text input unit 23 to receive a guide to the target point or output a message requesting help through the display unit 22 or the sound output unit 26.

이때, 문자입력부(23)를 통해서 도움을 요청할 수도 있지만, 간단한 도움요청 또는 길을 가기 위한 부탁메시지는 조작부(3)의 키입력부(31)를 통해서도 출력시킬 수도 있다. 이에 따라, 시각장애인이 길을 가다가 조작부(3) 즉, 지팡이에 사람이 탐지되면 조작부(3)의 키입력부(31)를 눌러서 전방에 있는 사람에게 시각장애인이 지나간다는 메시지를 출력시킬 수 있다.
At this time, although the help may be requested through the character input unit 23, a simple help request or a request message for going the way may also be output through the key input unit 31 of the operation unit 3. Accordingly, when a visually impaired person is walking along the road and a person is detected by the manipulation unit 3, that is, a walking stick, the visually impaired person may be output to the person in front by pressing the key input unit 31 of the manipulation unit 3.

상술한 본 발명을 설명하는데 있어서, 그 실시 예가 상이하더라도 동일한 구성에 대해서는 동일한 참조번호를 사용하고, 필요에 따라 그 설명을 생략할 수 있다.
In describing the present invention described above, even if the embodiment is different, the same reference numerals are used for the same configuration, and the description may be omitted as necessary.

이상과 같이, 본 발명에 대한 구체적인 설명은 첨부된 도면을 참조한 실시 예에 의해서 이루어졌지만, 상술한 실시 예는 본 발명의 바람직한 예를 들어 설명하였을 뿐이기 때문에 본 발명이 상기의 실시 예에만 국한되는 것으로 이해되어져서는 아니 된다. 따라서 상기에서 설명한 것 외에도 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람은 본 발명의 실시 예에 대한 설명만으로도 쉽게 상기 실시 예와 동일 범주 내의 다른 형태의 본 발명을 실시할 수 있거나, 본 발명과 균등한 영역의 발명을 실시할 수 있을 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. Shall not be construed as being understood. Therefore, a person having ordinary knowledge in the technical field to which the present invention pertains may easily implement other forms of the present invention within the same scope as the above-described embodiments, or the present invention only by the description of the embodiments of the present invention. It will be possible to practice the invention in the same and equal range.

1; 장착부
11; 촉각표출부
12; 방위측정부
13; GPS
14; 영상촬영부
15; 열감지센서부
16; 근접감지부
17; 근접촬영부
18; 제1통신부
19; 동작감지부
2; 본체
21; 제2통신부
22; 디스플레이부
23; 문자입력부
24; 중앙처리부
25; 제3통신부
26; 사운드출력부
27; 메모리부
3; 조작부
31; 키입력부
32; 제4통신부
One; Mounting part
11; Tactile expression
12; Azimuth measuring unit
13; GPS
14; Filming department
15; Thermal sensor
16; Proximity Sensing Unit
17; Close-up
18; First Communication Department
19; Motion detector
2; main body
21; Second communication department
22; Display part
23; Character input section
24; Central Processing Unit
25; Third Department of Communications
26; Sound output
27; Memory
3; Control unit
31; Key input section
32; 4th Communication Department

Claims (5)

GPS와, 방위측정부와, 전방을 촬영하는 영상촬영부와, 데이터를 입력받아 전기자극을 발생시켜 피부에 형상 또는 문자를 전달하는 촉각표출부와, 상기 GPS, 상기 방위측정부 및 상기 영상촬영부로부터 획득한 정보를 송신하는 제1통신부를 구비하는 장착부;
상기 제1통신부와 정보 또는 데이터를 송수신하는 제2통신부와, 통신망을 통해 위치정보서버에 접속하고 현재의 위치를 전송하여 상기 위치정보서버로부터 주변의 정보를 실시간으로 수신하는 제3통신부와, 도움을 요청하는 정보가 저장되는 메모리부와, 외부에 소리로 알려주는 사운드출력부와, 상기 제2통신부로부터 수신된 정보를 처리하여 데이터를 생성하고 생성된 데이터를 상기 제2통신부로 송신하거나 상기 생성된 데이터 또는 제3통신부로부터 수신된 정보를 처리하여 상기 사운드출력부로 송신하는 중앙처리부를 구비하는 본체; 및
상기 사운드출력부를 통해 상기 제2통신부로부터 수신된 정보, 상기 제3통신부로부터 수신된 정보 또는 상기 메모리부에 저장된 정보를 선택적으로 출력하도록 명령을 입력하는 조작부;를 포함하되,
상기 장착부를 시각장애인의 이마에 착용한 상태에서 시각장애인이 보행하면 상기 영상활영부에서 전방의 영상을 획득하고, 획득한 영상의 이미지를 상기 중앙처리부가 처리하여 이를 상기 촉각표출부를 통해 시각장애인이 전방의 사물을 인지하며, 상기 위치정보서버로부터 주변의 정보를 실시간으로 수신하여 목표지점을 정확하고 안전하게 안내하는 것을 특징으로 하는 시각장애인을 위한 사물인식 및 보행안내 장치.
GPS, an azimuth measuring unit, an image photographing unit for photographing the front, a tactile display unit which receives data and generates an electrical stimulus to transmit a shape or a character to the skin, the GPS, the azimuth measuring unit and the image photographing unit A mounting unit having a first communication unit for transmitting information obtained from the unit;
A second communication unit for transmitting and receiving information or data to and from the first communication unit, a third communication unit for connecting to a location information server through a communication network and transmitting a current location to receive surrounding information in real time from the location information server; A memory unit storing information for requesting a request, a sound output unit notifying externally to sound, and processing the information received from the second communication unit to generate data, and transmitting the generated data to the second communication unit or generating the generated data. A main body having a central processing unit for processing the received data or information received from the third communication unit and transmitting the processed data or the information to the sound output unit; And
And an operation unit for inputting a command to selectively output information received from the second communication unit, information received from the third communication unit, or information stored in the memory unit through the sound output unit.
When the visually impaired person walks while wearing the mounting unit on the forehead of the visually impaired person, the image activator acquires an image of the front, and the central processing unit processes the image of the acquired image and the visually impaired person through the tactile display unit. The object recognition and walking guidance apparatus for visually impaired persons, which recognizes an object in front and guides a target point accurately and safely by receiving the surrounding information in real time from the location information server.
제 1 항에 있어서,
상기 본체는,
문자를 입력하는 문자입력부와, 상기 문자입력부에 의해 입력된 문자를 출력하는 디스플레이부를 더 포함하는 것을 특징으로 하는 시각장애인을 위한 사물인식 및 보행안내 장치.
The method of claim 1,
The main body includes:
And a text input unit for inputting a character, and a display unit for outputting a character input by the character input unit.
제 1 항에 있어서,
상기 장착부는,
상기 장착부로부터 전방의 1m 이내에 물체가 접근하거나 장애물에 접근하는 것을 알리는 근접감지부와, 상기 장착부로부터 전방의 1m 이내에 사물이 접근하거나 장애물에 접근했을 때 이를 촬영하여 사진정보를 획득하는 근접촬영부를 더 포함하되,
상기 근접촬영부로부터 획득한 사진정보를 상기 제1통신부를 통해 상기 본체로 전송하고, 상기 중앙처리부가 전송된 사진정보를 처리하여 데이터를 생성하며, 생성된 데이터를 상기 촉각표출부로 전송하여 장애물을 구분하는 것을 특징으로 하는 시각장애인을 위한 사물인식 및 보행안내 장치.
The method of claim 1,
The mounting portion,
A proximity detecting unit for notifying that an object approaches or approaches an obstacle within 1 m in front of the mounting unit, and a proximity photographing unit for photographing when an object approaches or approaches an obstacle within 1 m in front of the mounting unit. Including,
Photo information obtained from the proximity photographing unit is transmitted to the main body through the first communication unit, the central processing unit processes the photo information transmitted to generate data, and transmits the generated data to the tactile display unit to remove obstacles. Object recognition and walking guidance device for the visually impaired, characterized in that distinguishing.
제 1 항에 있어서,
상기 장착부는,
전방의 열을 감지하는 열감지센서부를 더 포함하되,
상기 열감지센서부로부터 획득한 온도정보를 상기 제1통신부를 통해 상기 본체로 전송하고, 상기 중앙처리부가 상기 영상정보 및 상기 온도정보를 비교하여 데이터를 생성하며, 생성된 데이터를 상기 촉각표출부로 전송하여 전방의 사물이 생물 또는 무생물인지 판별하는 것을 특징으로 하는 시각장애인을 위한 사물인식 및 보행안내 장치.
The method of claim 1,
The mounting portion,
Further comprising a heat sensor for sensing the heat of the front,
The temperature information obtained from the heat sensor unit is transmitted to the main body through the first communication unit, the central processing unit generates data by comparing the image information and the temperature information, and generates the generated data to the tactile display unit. Object recognition and walk guidance device for the visually impaired, characterized in that for transmitting whether the object in front of the living or non-living.
제 1 항에 있어서,
상기 메모리부,
장애인이 목적지를 용이하게 갈 수 있도록 이동경로를 상기 촉각표출부 또는 상기 사운드출력부를 통해 알려주는 전자지도정보를 더 포함하되,
상기 위치정보서버로부터 정보를 수신할 수 없는 경우 상기 전자지도정보가 작동하는 것을 특징으로 하는 시각장애인을 위한 사물인식 및 보행안내 장치.
The method of claim 1,
The memory unit,
Further comprising electronic map information informing the disabled through the tactile display unit or the sound output unit so that the disabled person can easily reach the destination,
The object recognition and walking guidance device for the visually impaired, characterized in that the electronic map information is operated when the information cannot be received from the location information server.
KR1020110009590A 2011-01-31 2011-01-31 Object recognition and for the visually impaired pedestrian guidance system KR20120088320A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110009590A KR20120088320A (en) 2011-01-31 2011-01-31 Object recognition and for the visually impaired pedestrian guidance system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110009590A KR20120088320A (en) 2011-01-31 2011-01-31 Object recognition and for the visually impaired pedestrian guidance system

Publications (1)

Publication Number Publication Date
KR20120088320A true KR20120088320A (en) 2012-08-08

Family

ID=46873625

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110009590A KR20120088320A (en) 2011-01-31 2011-01-31 Object recognition and for the visually impaired pedestrian guidance system

Country Status (1)

Country Link
KR (1) KR20120088320A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170003605A (en) * 2014-06-03 2017-01-09 메타이오 게엠베하 Method and system for presenting a digital information related to a real object
KR102009448B1 (en) 2018-06-15 2019-08-09 신한대학교 산학협력단 Apparatus for Providing Information of Things and Driving Method Thereof
US10748000B2 (en) 2015-02-06 2020-08-18 Samsung Electronics Co., Ltd. Method, electronic device, and recording medium for notifying of surrounding situation information
KR20220000373U (en) * 2020-08-04 2022-02-11 최재혁 Hat for the old or the weak
KR20230161107A (en) * 2022-05-18 2023-11-27 윤원호 Voice road guide device for a person who is visually handicapped

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170003605A (en) * 2014-06-03 2017-01-09 메타이오 게엠베하 Method and system for presenting a digital information related to a real object
US11030784B2 (en) 2014-06-03 2021-06-08 Apple Inc. Method and system for presenting a digital information related to a real object
US10748000B2 (en) 2015-02-06 2020-08-18 Samsung Electronics Co., Ltd. Method, electronic device, and recording medium for notifying of surrounding situation information
KR102009448B1 (en) 2018-06-15 2019-08-09 신한대학교 산학협력단 Apparatus for Providing Information of Things and Driving Method Thereof
KR20220000373U (en) * 2020-08-04 2022-02-11 최재혁 Hat for the old or the weak
KR20230161107A (en) * 2022-05-18 2023-11-27 윤원호 Voice road guide device for a person who is visually handicapped

Similar Documents

Publication Publication Date Title
US11744766B2 (en) Information processing apparatus and information processing method
US10024667B2 (en) Wearable earpiece for providing social and environmental awareness
US10380914B2 (en) Imaging gloves including wrist cameras and finger cameras
KR101106076B1 (en) System for announce blind persons including emotion information and method for announce using the same
KR101954989B1 (en) Imformation provision apparatus for blind people
Patel et al. Multisensor-based object detection in indoor environment for visually impaired people
KR20120088320A (en) Object recognition and for the visually impaired pedestrian guidance system
JP2006251596A (en) Support device for visually handicapped person
KR20190069919A (en) Walking assistive device and system for visually impaired people
KR101847764B1 (en) Information gathering system for the visually impaired
KR20130031423A (en) Sensor of object recognition and for the visually impaired pedestrian guidance system
KR101614156B1 (en) QR(Quick Response) code scanning system for blind person
KR20190111262A (en) Portable device for measuring distance from obstacle for blind person
US9996730B2 (en) Vision-assist systems adapted for inter-device communication session
Rahman et al. “BlindShoe”: an electronic guidance system for the visually impaired people
Somyat et al. NavTU: android navigation app for Thai people with visual impairments
Bharatia et al. Smart electronic stick for visually impaired using android application and google’s cloud vision
KR102081059B1 (en) Smartphone for supporting walking
JP2018074420A (en) Display device, display system, and control method for display device
KR20120059752A (en) Emotion recognition apparatus and system for announce blind persons, method for announce using the same and recording medium thereof
Shaikh et al. Smart Helmet for Visually Impaired
More et al. Virtual eye for visually blind people
KR20170040974A (en) System for protecting blind person using jacket for protecting upper body
KR20190069720A (en) Object recognition and for the visually imparied pedestrian guidance system
JP2022186346A (en) Remote support device, remote support method, remote support program, and remote support system

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
NORF Unpaid initial registration fee