KR20180079116A - System and method for providing information service for people with visually impairment - Google Patents

System and method for providing information service for people with visually impairment Download PDF

Info

Publication number
KR20180079116A
KR20180079116A KR1020160184514A KR20160184514A KR20180079116A KR 20180079116 A KR20180079116 A KR 20180079116A KR 1020160184514 A KR1020160184514 A KR 1020160184514A KR 20160184514 A KR20160184514 A KR 20160184514A KR 20180079116 A KR20180079116 A KR 20180079116A
Authority
KR
South Korea
Prior art keywords
mobile terminal
camera
remote terminal
earphone
visually impaired
Prior art date
Application number
KR1020160184514A
Other languages
Korean (ko)
Inventor
김영록
Original Assignee
김영록
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김영록 filed Critical 김영록
Priority to KR1020160184514A priority Critical patent/KR20180079116A/en
Publication of KR20180079116A publication Critical patent/KR20180079116A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/22Social work
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/068Sticks for blind persons
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00Non-optical adjuncts; Attachment thereof

Abstract

The present invention relates to a guide service providing method for a visually impaired person, including a step of collecting and analyzing information in real time from a camera, an earphone, and a walking stick interworking with a mobile terminal in a wired or wireless manner, a step of sending a call to a remote terminal from the mobile terminal via a guide service providing server for a visually impaired person providing a guide service for a visually impaired person, a step of transmitting the information collected in real time by the mobile terminal to the remote terminal via the guide service providing server for a visually impaired person when a communication channel is generated between the remote terminal and the mobile terminal, and a step of outputting a voice output by the remote terminal to the earphone when the guide service is started at the remote terminal.

Description

시각 장애인 안내 서비스 제공 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING INFORMATION SERVICE FOR PEOPLE WITH VISUALLY IMPAIRMENT}TECHNICAL FIELD The present invention relates to a system and a method for providing a visually impaired guide service,

본 발명은 시각 장애인 안내 서비스 제공 방법에 관한 것으로, 시각 장애를 가진 사람에게 음성으로 실시간으로 장애물 및 경로를 안내하는 서비스를 제공하는 방법에 관한 것이다.The present invention relates to a method of providing a visually impaired guide service, and more particularly, to a method of providing a service for guiding an obstacle and a route to a visually impaired person in real time by voice.

최근, 스마트 단말이 진화하면서 시각 장애인을 위한 애플리케이션 및 서비스도 개발 및 런칭되고 있으며, 스마트 단말과 연계하여 경로를 안내하거나 장애물을 알려주는 보조 기구도 연구중에 있다.Recently, as smart terminals evolve, applications and services for the visually impaired are also being developed and launched. In addition, assistive devices for guiding the route or reporting obstacles in connection with smart terminals are under study.

이때, 시각 장애인을 보조하는 방법은 지팡이를 통하여 네비게이션 서비스를 제공하거나, 이동 통신 단말과 연계된 로봇을 이용하는 방법이 이용되고 있다. 이와 관련하여, 선행기술인 한국공개특허 제2015-0081043호(2015.07.13 공개)와, 한국공개특허 제2015-0145429호(2015.12.30 공개)에는, 지능형 안내로봇은 안내정보솔루션을 내장하고 있어 시각장애인과 지능형 안내로봇이 대화형태로 공공 안내 서비스 또는 제어 서비스를 제공하는 구성과, 네비게이션 어플이 탑재되어 사용자에게 음성 방향정보를 제공하는 휴대단말기와 휴대단말기와 무선접속되어서 장애물을 감지하여 사용자에게 촉감신호를 통하여 장애물 정보와 방향을 제시하는 스마트지팡의 구성을 개시하고 있다.At this time, as a method of assisting the visually impaired, a navigation service is provided through a stick or a robot using a robot linked to a mobile communication terminal is used. In this regard, in the prior art Korean Laid-Open Patent No. 2015-0081043 (published on Jul. 13, 2015) and Korean Laid-Open Patent No. 2015-0145429 (published on December 30, 2015) A configuration in which a disabled person and an intelligent guide robot provide a public guide service or a control service in the form of a dialogue, a portable terminal equipped with a navigation application and providing voice direction information to the user, and a wireless terminal connected to the portable terminal, Discloses a configuration of a Smart Cane that presents obstacle information and direction through a signal.

다만, 안내로봇은 휴대성이 현저히 떨어지므로, 정작 시각 장애인이 외출하여 임의의 목적지로 가고자 하는 경우에는 도움을 줄 수 없으며, 촉감신호를 지팡이를 이용하여 주는 것은, 지팡이 자체로도 가능하므로 그 실효성이 낮다.However, since the guide robot remarkably deteriorates portability, it can not help when the visually impaired person goes out to an arbitrary destination, and it is also possible to use a stick to use a tactile signal, Is low.

본 발명의 일 실시예는, 시각 장애인을 안내하기 위하여 안경에 카메라를 구비하고, 카메라로 실시간 이미지 분석된 내용을 이어폰을 통하여 음성으로 출력하며, 보행 스틱에 진동 소자를 구비하여 진동으로 전방에 장애물이 존재하는지의 여부를 알려주고, 원격 단말과 연결되도록 하여 원격 상담사가 실시간으로 촬영된 영상 및 현재 위치를 파악하여 안내 서비스를 제공할 수 있도록 하는, 시각 장애인 안내 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.In an embodiment of the present invention, a camera is provided in glasses for guiding a visually impaired person, and the contents analyzed in real time by a camera are outputted as voice through an earphone, and a vibration device is provided on a walking stick, The remote counselor can be connected to the remote terminal so that the remote counselor can grasp the image and the current location photographed in real time to provide the guidance service. It should be understood, however, that the technical scope of the present invention is not limited to the above-described technical problems, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 시각 장애인의 안경에 위치하고, 시각 장애인이 바라보는 방향의 영역을 촬영하도록 구비되며, 실시간으로 데이터를 무선으로 전송하는 카메라, 카메라의 실시간 데이터를 수신하여 실시간으로 촬영된 프레임 내에 존재하는 장애물을 식별하고, 식별된 장애물에 대한 정보를 음성으로 변환하여 출력하고, 입력된 목표 지점에 대한 경로를 제공하되, 경로에 포함된 장애물은 실시간으로 음성으로 변환하여 출력하는 모바일 단말, 음성으로 출력된 데이터를 시각 장애인의 귀에 장착되어 귓속으로 직접 출력하고, 시각 장애인의 음성을 수집하여 모바일 단말로 전달하는 이어폰, 적어도 하나의 장애물 감지 센서 및 방향 센서가 구비되고, 적어도 하나의 장애물 감지 센서에 의해 감지된 장애물이 존재하는 경우, 진동으로 해당 방향의 장애물이 존재한다는 것을 출력하는 보행 스틱을 포함한다.As a technical means for achieving the above technical object, an embodiment of the present invention is a camera which is located in the glasses of the visually impaired and photographs an area in the direction that the visually impaired person views, And a control unit for receiving real-time data of the camera to identify obstacles existing in a frame photographed in real time, converting information on the identified obstacles into speech, outputting the speech, and providing a path to the input target point, An obstacle is a mobile terminal that converts the obstacle into a voice in real time and outputs the output data to the ear of a visually impaired person and directly outputs the data to the ear, A sensor and a direction sensor are provided, and at least one obstacle detection sensor And a gait stick outputting that an obstacle in the corresponding direction exists when the obstacle detected by the vibration is present.

본 발명의 다른 실시예는, 모바일 단말과 무선 또는 유선으로 연동된 카메라, 이어폰 및 보행 스틱으로부터 실시간으로 정보를 수집 및 분석하는 단계, 모바일 단말에서 시각 장애인 안내 서비스를 제공하는 시각 장애인 안내 서비스 제공 서버를 경유하여 원격 단말로의 호(Call) 발신을 실시하는 단계, 원격 단말과 모바일 단말의 통화 채널이 생성된 경우, 시각 장애인 안내 서비스 제공 서버를 경유하여 모바일 단말에서 실시간으로 수집된 정보를 원격 단말로 전송하는 단계, 원격 단말에서 안내 서비스가 시작되는 경우, 원격 단말에서 출력되는 음성을 이어폰으로 출력하는 단계를 포함한다.In another embodiment of the present invention, there is provided a method for providing a blind person guidance service providing server for providing a blind person guidance service in a mobile terminal, comprising the steps of: collecting and analyzing information in real time from a camera, earphone, Transmitting a call to the remote terminal via the blind party guidance service providing server when the remote terminal and the communication channel of the mobile terminal are generated, And outputting the voice output from the remote terminal to the earphone when the guidance service is started at the remote terminal.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 시각 장애인을 안내하기 위하여 안경에 카메라를 구비하고, 카메라로 실시간 이미지 분석된 내용을 이어폰을 통하여 음성으로 출력하며, 보행 스틱에 진동 소자를 구비하여 진동으로 전방에 장애물이 존재하는지의 여부를 알려주고, 원격 단말과 연결되도록 하여 원격 상담사가 실시간으로 촬영된 영상 및 현재 위치를 파악하여 안내 서비스를 제공할 수 있도록 한다.According to any one of the above-mentioned objects of the present invention, a camera is provided in glasses for guiding a visually impaired person, and the contents analyzed in real time by a camera are outputted as voice through earphones, and a gait The remote controller informs whether or not an obstacle is present in front of the remote controller, and is connected to the remote terminal so that the remote controller can provide the guidance service by grasping the image and the current position photographed in real time.

도 1은 본 발명의 일 실시예에 따른 시각 장애인 안내 서비스 제공 시스템을 설명하기 위한 구성도이다.
도 2는 도 1에 도시된 모바일 단말을 설명하기 위한 구성도이다.
도 3은 본 발명의 일 실시예에 따른 시각 장애인 안내 서비스가 구현되는 일 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 시각 장애인 안내 서비스가 구현되는 다른 실시예를 설명하기 위한 도면이다.
도 5는 본 발명이 일 실시예에 따른 시각 장애인 안내 서비스 제공 방법을 설명하기 위한 구성도이다.
1 is a block diagram illustrating a system for providing a visually impaired guide service according to an embodiment of the present invention.
2 is a block diagram illustrating a mobile terminal shown in FIG.
3 is a view for explaining an embodiment in which a visually impaired person guidance service according to an embodiment of the present invention is implemented.
4 is a view for explaining another embodiment in which a visually impaired person guidance service according to an embodiment of the present invention is implemented.
5 is a block diagram illustrating a method for providing a blind person guidance service according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "including" an element, it is to be understood that the element may include other elements as well as other elements, And does not preclude the presence or addition of one or more other features, integers, steps, operations, components, parts, or combinations thereof.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다. The terms "about "," substantially ", etc. used to the extent that they are used throughout the specification are used in their numerical value or in close proximity to their numerical values when the manufacturing and material tolerances inherent in the stated meanings are presented, Accurate or absolute numbers are used to help prevent unauthorized exploitation by unauthorized intruders of the referenced disclosure. The word " step (or step) "or" step "does not mean" step for. &Quot;

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다. In this specification, the term " part " includes a unit realized by hardware, a unit realized by software, and a unit realized by using both. Further, one unit may be implemented using two or more hardware, or two or more units may be implemented by one hardware.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다. In this specification, some of the operations or functions described as being performed by a terminal, a device, or a device may be performed instead in a server connected to the terminal, device, or device. Likewise, some of the operations or functions described as being performed by the server may also be performed in a terminal, device or device connected to the server.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Maching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.In this specification, some of the operations or functions described in the mapping or matching with the terminal are mapping or matching the unique number of the terminal, which is the identification data of the terminal, or the identification information of the individual . ≪ / RTI >

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 시각 장애인 안내 서비스 제공 시스템을 설명하기 위한 구성도이다. 도 1을 참조하면, 시각 장애인 안내 서비스 제공 시스템(1)은, 카메라(100), 이어폰(200), 보행 스틱(300), 모바일 단말(400), 시각 장애인 안내 제공 서버(600) 및 적어도 하나의 원격 단말(700)을 포함할 수 있다. 다만, 이러한 도 1의 시각 장애인 안내 서비스 제공 시스템(1)은 본 발명의 일 실시예에 불과하므로, 도 1을 통해 본 발명이 한정 해석되는 것은 아니다.1 is a block diagram illustrating a system for providing a visually impaired guide service according to an embodiment of the present invention. Referring to FIG. 1, a blind visitor guidance service providing system 1 includes a camera 100, an earphone 200, a walking stick 300, a mobile terminal 400, a blind person guidance providing server 600, The remote terminal 700 of FIG. However, since the system 1 for providing the visually impaired guide service of FIG. 1 is only an embodiment of the present invention, the present invention is not limited to FIG.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 500)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 카메라(100), 이어폰(200), 보행 스틱(300)은 네트워크(500)를 통하여 모바일 단말(400)과 연결될 수 있다. 그리고, 모바일 단말(400)은, 네트워크(500)를 통하여 시각 장애인 안내 서비스 제공 서버(600)와 연결될 수 있다. 또한, 시각 장애인 안내 서비스 제공 서버(600)는, 네트워크(500)를 통하여 모바일 단말(400), 적어도 하나의 원격 단말(700)과 연결될 수 있다. 그리고, 적어도 하나의 원격 단말(700)은 네트워크(500)를 통하여 시각 장애인 안내 서비스 제공 서버(600)와 연결될 수 있다. At this time, the respective components of FIG. 1 are generally connected through a network 500. For example, as shown in FIG. 1, the camera 100, the earphone 200, and the walking stick 300 may be connected to the mobile terminal 400 through the network 500. The mobile terminal 400 may be connected to the blind person guidance service providing server 600 through the network 500. The blind person guidance service providing server 600 may be connected to the mobile terminal 400 and at least one remote terminal 700 through the network 500. [ At least one remote terminal 700 may be connected to the blind people guidance service providing server 600 through the network 500.

여기서, 네트워크(500)는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(500)의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5rd Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다. 또한, 네트워크(500)는, 블루투스(Bluetooth) 네트워크, NFC 네트워크, RFID 네트워크 등을 포함한 근거리, 중거리 및 장거리 네트워크도 포함되나 이에 한정되지는 않는다. Here, the network 500 refers to a connection structure capable of exchanging information between nodes such as a plurality of terminals and servers. An example of such a network 500 is a 3rd Generation Partnership Project (3GPP) network, A 5th Generation Partnership Project (5GPP) network, a World Interoperability for Microwave Access (WIMAX) network, an Internet, a LAN (Local Area Network), a Wireless LAN (Local Area Network) Wide area network (PAN), a personal area network (PAN), a satellite broadcast network, an analog broadcast network, a DMB (Digital Multimedia Broadcasting) network, and the like. The network 500 also includes, but is not limited to, a short range, medium and long range network including a Bluetooth network, an NFC network, an RFID network, and the like.

도 1에 도시된 카메라(100), 이어폰(200), 보행 스틱(300), 모바일 단말(400), 시각 장애인 안내 제공 서버(600) 및 적어도 하나의 원격 단말(700)은 도 1에 도시된 것들로 한정 해석되는 것은 아니다.The camera 100, the earphone 200, the walking stick 300, the mobile terminal 400, the blind person guidance server 600, and the at least one remote terminal 700 shown in Fig. It is not intended to be construed as limiting.

카메라(100)는, 안경에 부착되어 촬영을 하고, 촬영된 영상을 모바일 단말(400)로 전송하는 장치일 수 있다. 그리고, 카메라(100)는, 무선 통신 채널을 통하여 모바일 단말(400)로 실시간으로 촬영된 영상을 실시간으로 모바일 단말(400)로 전송하는 장치일 수 있다. The camera 100 may be a device that attaches to glasses and captures an image, and transmits the captured image to the mobile terminal 400. [ The camera 100 may be a device that transmits an image captured in real time to the mobile terminal 400 through a wireless communication channel to the mobile terminal 400 in real time.

이어폰(200)은, 모바일 단말(400)을 통하여 형성된 채널로 음성 데이터를 출력하고, 입력된 음성 데이터를 수신하는 장치일 수 있다. 그리고, 이어폰(200)은, 무선 통신 채널을 통하여 모바일 단말(400)로 실시간으로 음성 데이터를 송수신하는 장치일 수 있다. 이때, 이어폰(200)은, 골진동을 통하여 데이터를 출력 및 입력받는 장치일 수도 있다.The earphone 200 may be a device that outputs voice data to a channel formed through the mobile terminal 400 and receives the input voice data. The earphone 200 may be a device that transmits and receives voice data in real time to the mobile terminal 400 through a wireless communication channel. At this time, the earphone 200 may be a device for outputting and receiving data through bone vibration.

보행 스틱(300)은, 적어도 하나의 장애물 감지 센서를 포함하는 장치일 수 있다. 그리고, 보행 스틱(300)은, 방향 센서, 속도 센서 및 자이로 센서를 포함하는 장치일 수 있다. 또한, 보행 스틱(300)은, 진동 장치를 포함하는 장치일 수 있다. 그리고, 보행 스틱(300)은, 보행 스틱(300)이 스윙되는 방향에 장애물이 존재하는 경우에는, 진동 장치가 진동되는 장치일 수 있다.The walking stick 300 may be an apparatus including at least one obstacle detection sensor. And, the walking stick 300 may be an apparatus including a direction sensor, a speed sensor, and a gyro sensor. Further, the walking stick 300 may be an apparatus including a vibration device. The walking stick 300 may be a device in which the vibration device vibrates when an obstacle exists in a direction in which the walking stick 300 swings.

모바일 단말(400)은, 카메라(100), 이어폰(200), 보행 스틱(300)과 연결되는 단말일 수 있다. 그리고, 모바일 단말(400)은, 시각 장애인 안내 서비스 제공 서버(600)를 통하여 적어도 하나의 원격 단말(700)과 연결되는 단말일 수 있다. 또한, 모바일 단말(400)은 적어도 하나의 원격 단말(700)과 호(Call) 발신을 통하여 연결되는 단말일 수 있다. 그리고, 모바일 단말(400)은, 카메라(100)로 촬영된 영상을 수신하고 이미지를 분석하여 이어폰(200)을 통하여 출력하는 단말일 수 있다. The mobile terminal 400 may be a terminal connected to the camera 100, the earphone 200, and the walking stick 300. The mobile terminal 400 may be a terminal connected to at least one remote terminal 700 through the blind person guidance service providing server 600. Also, the mobile terminal 400 may be a terminal connected to at least one remote terminal 700 through call origination. The mobile terminal 400 may be a terminal that receives an image photographed by the camera 100, analyzes the image, and outputs the image through the earphone 200.

여기서, 모바일 단말(400)은, 네트워크(500)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 모바일 단말(400)은, 네트워크(500)를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 모바일 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.Here, the mobile terminal 400 may be implemented as a computer that can access a remote server or terminal through the network 500. Here, the computer may include, for example, a notebook, a desktop, a laptop, and the like on which a WEB browser is installed. At this time, the mobile terminal 400 may be implemented as a terminal capable of connecting to a remote server or terminal through the network 500. The mobile terminal 400 is a wireless communication device that is guaranteed to be portable and mobility, for example, a navigation system, a personal communication system (PCS), a global system for mobile communications (GSM), a personal digital cellular (PDC) Handyphone System), PDA (Personal Digital Assistant), IMT (International Mobile Telecommunication) -2000, Code Division Multiple Access (CDMA) -2000, W-Code Division Multiple Access (W-CDMA), Wibro (Wireless Broadband Internet) A handheld based wireless communication device such as a smartphone, a smartpad, a tablet PC, and the like.

시각 장애인 안내 서비스 제공 서버(600)는 모바일 단말(400)과 연결되어 시각 장애인 안내 서비스를 제공하는 서버일 수 있다. 또한, 시각 장애인 안내 서비스 제공 서버(600)는, 모바일 단말(100)에서 카메라(100)를 통하여 촬영된 영상을 적어도 하나의 원격 단말(700)로 제공하는 서버일 수 있다. 또한, 시각 장애인 안내 서비스 제공 서버(600)는, 적어도 하나의 원격 단말(700)로 모바일 단말(400)의 위치를 전송하는 서버일 수 있다. 시각 장애인 안내 서비스 제공 서버(600)는, 네트워크(500)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.The blind person guidance service providing server 600 may be a server connected to the mobile terminal 400 to provide a blind person guidance service. In addition, the blind person guidance service providing server 600 may be a server that provides the image photographed by the mobile terminal 100 through the camera 100 to at least one remote terminal 700. [ In addition, the blind person guidance service providing server 600 may be a server that transmits the location of the mobile terminal 400 to at least one remote terminal 700. The visually impaired guide service providing server 600 may be implemented as a computer capable of connecting to a remote server or terminal through the network 500. [ Here, the computer may include, for example, a notebook, a desktop, a laptop, and the like on which a WEB browser is installed.

도 2는 도 1에 도시된 모바일 단말을 설명하기 위한 구성도이고, 도 3은 본 발명의 일 실시예에 따른 시각 장애인 안내 서비스가 구현되는 일 실시예를 설명하기 위한 도면이고, 도 4는 본 발명의 일 실시예에 따른 시각 장애인 안내 서비스가 구현되는 다른 실시예를 설명하기 위한 도면이다.FIG. 2 is a block diagram for explaining a mobile terminal shown in FIG. 1, FIG. 3 is a view for explaining an embodiment in which a visually impaired person guidance service according to an embodiment of the present invention is implemented, and FIG. FIG. 5 is a diagram illustrating another embodiment in which a visually impaired user guidance service according to an embodiment of the present invention is implemented.

도 2를 참조하면, 본 발명의 일 실시예에 따른 모바일 단말(400)은, 분석부(410), 발신부(420), 전송부(430) 및 출력부(440)를 포함할 수 있다.Referring to FIG. 2, the mobile terminal 400 according to an embodiment of the present invention may include an analysis unit 410, a transmission unit 420, a transmission unit 430, and an output unit 440.

본 발명의 일 실시예에 따른 시각 장애인 안내 서비스 제공 서버(300) 또는 시각 장애인 안내 서비스 제공 서버(300)와 연동되어 동작하는 다른 서버(미도시)가 모바일 단말(400) 및 적어도 하나의 원격 단말(700)로 시각 장애인 안내 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 모바일 단말(400) 및 적어도 하나의 원격 단말(700)은, 시각 장애인 안내 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 모바일 단말(400) 및 적어도 하나의 원격 단말(700)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다.(Not shown) operating in conjunction with the visually impaired guide service providing server 300 or the visually impaired guide service providing server 300 according to an embodiment of the present invention may be provided to the mobile terminal 400 and at least one remote terminal The mobile terminal 400 and the at least one remote terminal 700 may be connected to a blind person guidance service application, a program, an app page, a web page, Web pages, etc. can be installed or opened. In addition, the service program may be executed in the mobile terminal 400 and the at least one remote terminal 700 using a script executed in the web browser. Here, a web browser is a program that enables a WWW (World Wide Web) service, and is a program for receiving and displaying hypertext described in hypertext mark-up language (HTML), for example, Netscape (Netscape) An Explorer, chrome, and the like. Further, the application refers to an application on the terminal, for example, an app (app) running on a mobile terminal (smart phone).

이때, 네트워크(500)의 연결은, 카메라(100), 이어폰(200), 보행 스틱(300), 모바일 단말(400), 시각 장애인 안내 서비스 제공 서버(600) 및 적어도 하나의 원격 단말(700)이 네트워크(500)로 연결되어 있는 단말과 통신을 위해 통신 접점에 통신 객체를 생성하는 것을 의미한다. 시각 장애인 안내 서비스 제공 서버(300)는 통신 객체를 통해 서로 데이터를 교환할 수 있다.At this time, the connection of the network 500 is performed by the camera 100, the earphone 200, the walking stick 300, the mobile terminal 400, the visually impaired guidance service providing server 600 and the at least one remote terminal 700, Means creating a communication object at a communication contact for communication with a terminal connected to the network 500. The blind people guide service providing server 300 can exchange data with each other through a communication object.

분석부(410)는, 모바일 단말(400)과 무선 또는 유선으로 연동된 카메라(100), 이어폰(200) 및 보행 스틱(300)으로부터 실시간으로 정보를 수집 및 분석할 수 있다. 이때, 카메라(100)에서는 촬영되는 영상을 분석부(410)에서 분석하고, 분석된 결과를 이어폰(200)을 통하여 제공하여 시각 장애인이 실시간으로 전방에 무엇이 위치하고 있는지, 장애물은 없는지 등을 파악할 수 있다. 그리고, 카메라(100)는, 시각 장애인의 안경에 위치하고, 시각 장애인이 바라보는 방향의 영역을 촬영하도록 구비되며, 실시간으로 데이터를 무선으로 전송할 수 있다. 그리고, 이어폰(200)은, 음성으로 출력된 데이터를 시각 장애인의 귀에 장착되어 귓속으로 직접 출력하고, 시각 장애인의 음성을 수집하여 모바일 단말(400)로 전달할 수 있다.The analysis unit 410 can collect and analyze information in real time from the camera 100, the earphone 200, and the walking stick 300 that are wirelessly or wiredly connected to the mobile terminal 400. At this time, the camera 100 analyzes the image to be photographed by the analysis unit 410, and provides the analyzed result through the earphone 200, so that the visually impaired person can grasp what is located in front of the user in real time, have. The camera 100 is located in the eyeglasses of a visually impaired person and is provided to photograph an area in the direction that the visually impaired person views, and can transmit data wirelessly in real time. The earphone 200 can output the voice output to the ear of the visually impaired person and directly output it to the ear, and collect the voice of the visually impaired person and deliver it to the mobile terminal 400.

발신부(420)는 모바일 단말(400)에서 시각 장애인 안내 서비스를 제공하는 시각 장애인 안내 서비스 제공 서버(600)를 경유하여 원격 단말(700)로의 호(Call) 발신을 실시할 수 있다. 이때, 발신부(420)는, 시각 장애인 안내 서비스 제공 서버(600)를 경유하지 않을 수도 있는데, 이러한 경우에는 데이터 통신을 위한 채널이 별도로 설치될 수 있다.The transmitting unit 420 may transmit a call to the remote terminal 700 via the blind person guidance service providing server 600 providing the blind visually impaired guidance service at the mobile terminal 400. [ At this time, the transmitting unit 420 may not pass through the blind person guidance service providing server 600. In this case, a channel for data communication may be installed separately.

전송부(430)는, 원격 단말(700)과 모바일 단말(400)의 통화 채널이 생성된 경우, 시각 장애인 안내 서비스 제공 서버(600)를 경유하여 모바일 단말(400)에서 실시간으로 수집된 정보를 원격 단말(700)로 전송할 수 있다.The transmitting unit 430 transmits information collected in real time from the mobile terminal 400 via the blind person guidance service providing server 600 when a communication channel between the remote terminal 700 and the mobile terminal 400 is generated To the remote terminal 700.

출력부(440)는, 원격 단말(700)에서 안내 서비스가 시작되는 경우, 원격 단말(700)에서 출력되는 음성을 이어폰(200)으로 출력할 수 있다. 이때, 모바일 단말(400)은, 카메라(100)의 실시간 데이터를 수신하여 실시간으로 촬영된 프레임 내에 존재하는 장애물을 식별하고, 식별된 장애물에 대한 정보를 음성으로 변환하여 출력하고, 입력된 목표 지점에 대한 경로를 제공하되, 경로에 포함된 장애물은 실시간으로 음성으로 변환하여 출력할 수 있다.The output unit 440 can output the sound output from the remote terminal 700 to the earphone 200 when the guidance service is started at the remote terminal 700. [ At this time, the mobile terminal 400 receives real-time data of the camera 100, identifies obstacles existing in frames photographed in real time, converts information about the identified obstacles into speech and outputs the converted speech, The obstacle included in the route can be converted into speech in real time and output.

여기서, 보행 스틱(300)은, 적어도 하나의 장애물 감지 센서 및 방향 센서가 구비되고, 적어도 하나의 장애물 감지 센서에 의해 감지된 장애물이 존재하는 경우, 진동으로 해당 방향의 장애물이 존재한다는 것을 출력할 수 있다. 이때, 보행 스틱(300)은 모바일 단말(400)과 연동될 수도 있고, 모바일 단말(400)과 연동되지 않고 독립적으로 구동하는 기기일 수도 있다.Here, the walking stick 300 includes at least one obstacle detecting sensor and a direction sensor, and when there is an obstacle detected by at least one obstacle detecting sensor, it outputs that an obstacle in the corresponding direction exists due to vibration . At this time, the walking stick 300 may be interlocked with the mobile terminal 400, or may be a device that operates independently without interlocking with the mobile terminal 400.

한편, 시각 장애인 안내 서비스 제공 시스템(1)은, 시각 장애인 안내 서비스를 제공하는 시각 장애인 안내 서비스 제공 서버(600) 및 시각 장애인 안내 서비스 제공 서버(600)를 경유하여 데이터를 송수신하는 적어도 하나의 원격 단말(700)을 구비하는 경우를 설명한다. The blind person guidance service providing system 1 includes a blind person guidance service providing server 600 providing a blind person guidance service and at least one remote terminal for transmitting and receiving data via a blind person guidance service providing server 600 A case where the terminal 700 is provided will be described.

이때, 적어도 하나의 원격 단말(700)은 적어도 하나의 디스플레이를 포함할 수 있는데, 디스플레이의 화면은, 카메라(100)의 화면이 출력되어 카메라(100)의 화면을 공유하는 제 1 영역, 이어폰(200)을 통하여 입력된 목표 지점 또는 질문에 대한 검색을 실시하는 검색창이 존재하는 제 2 영역 및 모바일 단말(400)의 GPS를 통하여 수신된 시각 장애인의 현재 위치를 출력하거나, 목표 지점까지의 경로를 출력하는 지도가 존재하는 제 3 영역을 포함할 수 있다.At least one remote terminal 700 may include at least one display. The display may include a first area in which a screen of the camera 100 is output to share a screen of the camera 100, an earphone A second region in which a search window for searching for a target point or a query input is present through the input unit 200 and a current position of a blind person received via the GPS of the mobile terminal 400, And a third area in which an output map exists.

이때, 제 1 영역 내지 제 3 영역은 고정 레이아웃으로 디스플레이의 화면을 이룰 수 있다.At this time, the first area to the third area may form a display screen in a fixed layout.

또한, 모바일 단말(400)은, 카메라(100)를 통하여 실시간 촬영 데이터를 수신하고, 실시간 촬영 데이터에 포함된 적어도 하나의 객체 중 위치를 표시하는 표지판, 목표 지점을 나타내는 표지판, 및 목표 지점으로 가는 경로에 포함된 적어도 하나의 이동 지점을 나타내는 표지판이 존재하는 경우, 표지판을 음성으로 변환하여 이어폰(200)으로 출력할 수도 있다.In addition, the mobile terminal 400 receives real-time photographing data through the camera 100, and displays a sign indicating a position among at least one object included in the real-time photographing data, a sign indicating a target point, If there is a sign indicating at least one moving point included in the path, the sign may be converted into a voice and output to the earphone 200.

그리고, 보행 스틱(300)은, 보행 스틱(300)이 스윙될 때, 보행 스틱(300)의 대향되는 방향에 장애물이 감지된 경우, 장애물이 감지된 지점에서 진동을 출력할 수 있다. 이때, 보행 스틱(300)은, 이어폰(200)의 대체용으로 구동될 수 있다. 예를 들어, 이어폰(200)은, 원격 단말(700)로부터 수신된 음성을 출력하거나 모바일 단말(400)의 분석 결과를 출력하는 수단인데, 원격 단말(700)과의 통신이 호(Call) 수발신 등의 문제로 인하여 어려운 경우, 모바일 단말(400)은 보행 스틱(300)을 통하여 진동을 울림으로써 의미 전달을 하도록 한다. 이때, 진동 패턴이나 세기 등은 기 설정된 의미 - 진동의 의미 테이블이 이용될 수 있다. The walking stick 300 can output a vibration at a point where the obstacle is sensed when an obstacle is detected in the opposite direction of the walking stick 300 when the walking stick 300 is swung. At this time, the walking stick 300 can be driven for replacement of the earphone 200. For example, the earphone 200 is a means for outputting the voice received from the remote terminal 700 or outputting the analysis result of the mobile terminal 400. When the communication with the remote terminal 700 is a call reception / The mobile terminal 400 vibrates through the walking stick 300 to transmit the meaning. At this time, a predetermined semantic-vibration semantic table can be used as the vibration pattern and intensity.

그리고, 모바일 단말(400)로부터 적어도 하나의 원격 단말(700)에 대한 호(Call)가 발신된 경우, 호를 수신한 원격 단말(700)은 모바일 단말(400), 카메라(100) 및 이어폰(200)과 연동되고, 카메라(100)에서 촬영한 실시간 영상을 공유하고, 이어폰(200)을 통하여 음성 통화를 시작할 수 있다.When a call to at least one remote terminal 700 is originated from the mobile terminal 400, the remote terminal 700 receiving the call transmits the call to the mobile terminal 400, the camera 100 and the earphone 200, and can share a real-time image captured by the camera 100, and start a voice call through the earphone 200.

이하, 상술한 구성을 가지는 시각 장애인 안내 서비스를 도 3 및 도 4를 참조로 하여 설명하기로 한다. Hereinafter, the visually impaired person guidance service having the above-described configuration will be described with reference to FIGS. 3 and 4. FIG.

도 3을 참조하면, (a) 보행 스틱(300)은 시각 장애인이 전방에 장애물이 있는지의 여부를 확인하는 스틱인데, A 방향에 기둥이 있고, A 방향을 향하고 있는 경우, 초음파, 적외선 등의 감지 센서를 이용하여 시각 장애인에게 전방 몇 미터에 기둥이 있는지를 알려줄 수 있다. 이때, 보행 스틱(300)은 A 방향에 장애물이 있고, 보행 스틱(300)이 A 방향을 향하고 있을 경우, 즉시 진동으로 장애물일 있는 것을 알려주도록 하여 직관적으로 장애물이 있음을 파악하도록 한다. 3, (a) the walking stick 300 is a stick for confirming whether or not a blind person has an obstacle ahead, and when a pillar is present in the A direction and is oriented in the A direction, Using a sensor, you can tell the visually impaired how many meters ahead you are. At this time, if the walking stick 300 has an obstacle in the direction A and the walking stick 300 is pointing in the direction A, it is immediately noticed that the obstacle is present due to vibration so that the obstacle is detected intuitively.

또한, 카메라(100)는 보행 스틱(300)에도 포함될 수 있는데, 그 이유는 차의 보행 도로에 진입하는 것을 막기 위한 장애물과 같은 경우에는, 낮은 턱인 경우가 많아 안경에 장착될 경우 카메라(100)의 높이에 따라 장애물의 파악이 안되는 경우도 많을 수 있다. 따라서, 카메라(100)가 보행 스틱(300)에도 포함되는 경우에는, 보행 스틱(300)은 카메라(100)에서 촬영된 영상 중 장애물이 존재하는 경우 진동을 출력하고, 모바일 단말(400)에서는 음성으로 장애물이 있음을 알려줄 수 있다.The camera 100 may also be included in the walking stick 300 because it is often a low jaw when it is an obstacle to prevent entry into a walking path of a car, The obstacle can not be grasped depending on the height of the obstacle. Therefore, when the camera 100 is included in the walking stick 300, the walking stick 300 outputs vibration when an obstacle exists in the image captured by the camera 100, To indicate that there is an obstacle.

즉, 보행 스틱(300)에 존재하는 카메라(100)도 무선으로 모바일 단말(400)과 연결될 수 있고, 모바일 단말(400)에서 실시간으로 영상을 파악한 다음, 그 결과를 음성으로 변환하여 이어폰(200)을 통하여 알려줄 수 있다. That is, the camera 100 existing on the walking stick 300 can be wirelessly connected to the mobile terminal 400. The mobile terminal 400 can recognize the image in real time and then convert the result into voice, ).

이와 같은 경우에는, 카메라(100)가 안경 및 보행 스틱(300)이 장착이 되므로, 어떠한 높이의 장애물일지라도 늘 감지가 가능하며, 시각 장애인에게 보다 많은 정보를 제공할 수 있다.In such a case, since the camera 100 is equipped with the glasses and the walking stick 300, it is possible to detect any obstacle at any height and to provide more information to the visually impaired.

또한, 안내는 예를 들어, "10M 전방에 계단이 있습니다, 좌측 버스 정류장이 있으며 300번 버스를 탑승하시면 됩니다, 우측에서 차가 오고 있습니다(진동 함께), 횡단보도 건너 건물 1 층에 은행의 ATM이 있습니다, 현재 빨간불입니다, 왼쪽 승강장으로 내려가면 3호선을 이용할 수 있습니다, 현재 채소 코너이며, 옆 선반에 오이가 있습니다 등일 수 있다. 이에 따라, 동행하는 사람이나 안내견이 없이도 독립적으로 외출을 하거나 활동이 가능하고, 안내견 서비스를 아직 받지 못하는 사람에게 편의를 제공하고, 전문 상담원을 양성함으로써 일거리를 창출할 수 있으며, 국내 뿐 아니라 국제적으로 제공할 수 있는 발전 가능한 서비스가 될 수 있다.You can also get a guided tour, for example, "There is a stairway in front of 10m, there is a bus stop on the left, you can take the bus number 300, the car is coming from the right side (along with the vibration) Currently, it is a red light. If you go down to the left platform, you can use Route 3, it is now a vegetable corner, there is a cucumber on the side shelf, etc. Therefore, you can go out independently without a companion or guide dog, It is possible to provide convenience to people who have not yet received guide dog services, to create jobs by nurturing professional counselors, and to be a service that can be developed both locally and internationally.

(b) 또한, 모바일 단말(400)에서 음성 인식을 통하여 예를 들어 사당동에 우치한 사당동 주민센터까지의 경로를 제공할 수 있는데, 해당 경로까지의 방향 등을 네비게이션을 통하여 음성으로 출력할 수 있다. 이때, 자신의 현재 위치를 파악하여, 어느 방향으로 몇 미터 가야하는지도 알려줄 수 있으며, 각각의 경로에 포함된 장애물은 없는지, 턱은 없는지 등에 정보도 알려줄 수 있고, 물론 카메라(100) 및 보행 스틱(300)을 통해서 실시간 장애물(사람, 개, 차 등)을 알려줄 수도 있다.(b) It is also possible to provide a route from the mobile terminal 400 to the resident center in Sadang-dong, for example, in Sadang-dong through voice recognition, and output directions through the navigation to the corresponding route . At this time, it is possible to grasp the current position of the user, to indicate how many meters to go in which direction, to inform the user whether there are any obstacles included in each path, whether there is any obstacle, (Person, dog, car, etc.) through the robot 300.

(c) 그리고, 모바일 단말(400)은, 경로를 안내하는 도중에 실시간으로 위치한 장애물을 감지하는 경우, 감지된 장애물에 대한 정보 등을 음성으로 변환하여 이어폰(200)을 통하여 출력되도록 한다. 또는, 모바일 단말(400)은 사람이 존재하는 경우, 전방 또는 후방에 존재하는 사람에게 시각 장애인이 지나가고 있다는 것을 음성으로 출력하여 사람들이 미리 배려를 하도록 할 수도 있는데, 물론 이는 시각 장애인의 설정으로 변경될 수도 있다.(c) When the mobile terminal 400 senses an obstacle located in real time while guiding the route, the mobile terminal 400 converts information on the detected obstacle into voice, and outputs the voice to the earphone 200. Alternatively, if there is a person, the mobile terminal 400 may output a voice to the person in front of or behind the person to see that the person with visual impairment is passing through, .

(d) 또한, 모바일 단말(400)은, 현재 위치와 목적지로 가는 수단을 설정할 수 있고, 예를 들어 버스가 설정되었다고 가정하면, 버스 정류장까지 어떻게 가야하는지, 어디로 가야하는지 등의 정보를 이어폰(200)을 통하여 제공할 수 있다. (d) In addition, the mobile terminal 400 can set means for going to the current location and destination, for example, assuming that the bus is set up, information on how to go to the bus stop, 200).

또한, 모바일 단말(400)은, 사용자가 A 지점의 버스 정류장에 도착했다고 가정하면, 해당 A 지점에서 몇 번의 버스가 오는지를 알 수 없기 때문에, 해당 버스가 도착했는지, 도착하지 않았다면 몇 분 후에 도착하는지를 파악하여 이어폰(200)을 통하여 알려줄 수 있다. Further, assuming that the user arrives at the bus stop of the A-point, the mobile terminal 400 can not know how many buses are coming from the A-point, so that the mobile terminal 400 arrives in a few minutes And informs the user through the earphone 200.

그리고, 자신이 내려야 하는 정류장과 현재 정류장 또는 다음 정류장이 일치하는 경우, 이에 대한 정보도 검색을 통하여 수집한 후, 이어폰(200)을 통하여 알려줄 수 있다.If the current stop or the next stop is the same as the current stop, the information about the current stop or the next stop can be collected through the search and informed through the earphone 200.

또는, 원격 단말(700)과 모바일 단말(400)이 연결된 경우, 모바일 단말(400)의 위치와 현재 촬영된 영상을 원격 단말(700)에서 확인하고, 원격에서 사람이 음성으로 지원을 할 수도 있다.Alternatively, when the remote terminal 700 and the mobile terminal 400 are connected, the remote terminal 700 may confirm the location of the mobile terminal 400 and the currently photographed image, and a person may support the remote terminal 700 by voice .

도 4를 참조하면, 원격에 위치한 상담원의 화면은 다음과 같을 수 있다.Referring to FIG. 4, the screen of a remote agent may be as follows.

이때, 제 1 영역에는 카메라(100)를 통하여 전송되는 실시간 화면이 출력되고, 제 2 영역에는 안내를 위한 검색창이 위치할 수 있으며, 제 3 영역에는 시각 장애인의 현재 위치를 출력할 수 있다. 이를 통하여, 현재 상황을 보면서, 현재 위치를 파악하고, 이와 동시에 검색까지 동시에 함으로써 시각 장애인에게 실시간의 정보를 제공할 수 있도록 한다.At this time, a real-time image transmitted through the camera 100 may be output to the first area, a search window may be located in the second area, and the current location of the blind person may be output in the third area. Through this, it is possible to provide real-time information to the visually impaired by simultaneously grasping the present position while looking at the current situation.

본 발명의 일 실시예에 따른 시각 장애인 안내 서비스 제공 방법은, 시각 장애인은 카메라(100), 이어폰(200)이 달린 안경을 착용하고, 안경의 카메라(100)와 보행 스틱(300)은 모바일 단말(400)과 블루투스로 연결되어 안내 서비스를 제공할 수 있다. 그리고, 모바일 단말(400)은, 시각 장애인 안내 서비스 애플리케이션을 다운로드하고, 해당 애플리케이션을 통하여 원격 단말(700)과 연결될 수 있다. 또한, 애플리케이션을 통하여 원격 단말(700)은, 모바일 단말(400)과 연결되는 경우, 이동 통신망도 데이터 통신망과 함께 이용할 수 있다. 또한, 원격 단말(700)은, 언제 어디서나 애플리케이션을 통하여 현재 위치 정보를 파악하고, 지도 앱과 연동하여 확인을 할 수 있다. 그리고, 원격 단말(700)은 화면을 통하여 시시각각 보행자의 상황을 인지할 수 있고, 안내할 수 있다. 또한, 상담사는 영상 통화와 마찬가지로 안내를 할 수 있으며, 보행자는 이어폰(200)을 통하여 상담사의 안내를 받을 수 있다. 말로 설명할 수 없는 상황이나 긴급한 상황에서는 보행 스틱(300)으로 장애물 등의 확인을 할 수 있다.The method of providing a blind person guidance service according to an embodiment of the present invention is a method for providing a blind visually disabled person wearing glasses with a camera 100 and an earphone 200 and a camera 100 of a glasses and a walking stick 300, And may be connected to the mobile terminal 400 via Bluetooth to provide a guidance service. The mobile terminal 400 downloads the blind person guidance service application and can be connected to the remote terminal 700 through the application. In addition, when the remote terminal 700 is connected to the mobile terminal 400 through an application, the mobile communication network can be used together with the data communication network. In addition, the remote terminal 700 can grasp the current location information through the application anytime and anywhere, and can check the map information in conjunction with the map app. Then, the remote terminal 700 can recognize the situation of the pedestrian at every moment on the screen and guide it. In addition, the counselor can provide guidance in the same manner as the video call, and the pedestrian can receive the guidance of the counselor through the earphone 200. The obstacle can be checked with the walking stick 300 in situations that can not be explained by words or in an urgent situation.

이와 같은 도 2 내지 도 4의 시각 장애인 안내 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 시각 장애인 안내 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.2 to 4 can be easily deduced from the same or explained contents of the method of providing the blind visually impaired guide service through FIG. 1, and therefore, The description will be omitted.

도 5는 본 발명이 일 실시예에 따른 시각 장애인 안내 서비스 제공 방법을 설명하기 위한 구성도이다. 5 is a block diagram illustrating a method for providing a blind person guidance service according to an embodiment of the present invention.

도 5를 참조하면, 모바일 단말은, 모바일 단말과 무선 또는 유선으로 연동된 카메라, 이어폰 및 보행 스틱으로부터 실시간으로 정보를 수집 및 분석한다(S5100).Referring to FIG. 5, the mobile terminal collects and analyzes information in real time from a camera, an earphone, and a walking stick that are wirelessly or wiredly connected to the mobile terminal (S5100).

그리고, 모바일 단말은, 모바일 단말에서 시각 장애인 안내 서비스를 제공하는 시각 장애인 안내 서비스 제공 서버를 경유하여 원격 단말로의 호(Call) 발신을 실시한다(S5200).Then, the mobile terminal transmits a call to the remote terminal via the blind person guidance service providing server that provides the blind visually impaired guide service at the mobile terminal (S5200).

또한, 모바일 단말은, 원격 단말과 모바일 단말의 통화 채널이 생성된 경우, 시각 장애인 안내 서비스 제공 서버를 경유하여 모바일 단말에서 실시간으로 수집된 정보를 원격 단말로 전송한다(S5300).In addition, when a communication channel between the remote terminal and the mobile terminal is generated, the mobile terminal transmits information collected in real time from the mobile terminal to the remote terminal via the blind people guidance service providing server (S5300).

마지막으로, 모바일 단말은, 원격 단말에서 안내 서비스가 시작되는 경우, 원격 단말에서 출력되는 음성을 이어폰으로 출력한다(S5400).Finally, when the guidance service is started at the remote terminal, the mobile terminal outputs the voice output from the remote terminal to the earphone (S5400).

이와 같은 도 5의 시각 장애인 안내 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 시각 장애인 안내 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.The matters not described in relation to the method of providing the blind person guidance service of FIG. 5 can be easily derived from the same or described contents of the method of providing the blind person guidance service through FIGS. 1 to 4, The description will be omitted.

도 5를 통해 설명된 일 실시예에 따른 시각 장애인 안내 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.The method for providing the visually impaired guidance service according to the embodiment described with reference to FIG. 5 may also be implemented in the form of a recording medium including instructions executable by a computer, such as an application or a program module executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.

전술한 본 발명의 일 실시예에 따른 시각 장애인 안내 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 시각 장애인 안내 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.The method for providing a blind person guidance service according to an embodiment of the present invention may be executed by an application installed in a terminal (which may include a platform installed in a terminal or a program included in an operating system or the like) (I.e., a program) installed directly on the master terminal through an application providing server such as a user, an application store server, an application, or a web server related to the service. In this regard, the method for providing a visually impaired person guidance service according to an embodiment of the present invention is basically installed in a terminal or implemented as an application installed directly by a user (i.e., a program) And recorded on a recording medium.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

Claims (7)

시각 장애인 안내 서비스 제공 시스템에 있어서,
시각 장애인의 안경에 위치하고, 시각 장애인이 바라보는 방향의 영역을 촬영하도록 구비되며, 실시간으로 데이터를 무선으로 전송하는 카메라;
상기 카메라의 실시간 데이터를 수신하여 실시간으로 촬영된 프레임 내에 존재하는 장애물을 식별하고, 식별된 장애물에 대한 정보를 음성으로 변환하여 출력하고, 입력된 목표 지점에 대한 경로를 제공하되, 경로에 포함된 장애물은 실시간으로 음성으로 변환하여 출력하는 모바일 단말;
상기 음성으로 출력된 데이터를 시각 장애인의 귀에 장착되어 귓속으로 직접 출력하고, 상기 시각 장애인의 음성을 수집하여 상기 모바일 단말로 전달하는 이어폰;
적어도 하나의 장애물 감지 센서 및 방향 센서가 구비되고, 상기 적어도 하나의 장애물 감지 센서에 의해 감지된 장애물이 존재하는 경우, 진동으로 해당 방향의 장애물이 존재한다는 것을 출력하는 보행 스틱;
을 포함하는, 시각 장애인 안내 서비스 제공 시스템.
A blind person guidance service providing system comprising:
A camera which is located in the glasses of a visually impaired person and is provided to photograph an area in a direction in which the visually impaired person views the data and wirelessly transmits data in real time;
Receiving real-time data of the camera to identify obstacles existing in a frame photographed in real time, converting information about the identified obstacles into speech and outputting them, providing a path to the input target point, A mobile terminal for converting an obstacle into a voice in real time and outputting the voice;
An earphone attached to the ear of the visually impaired person and directly outputting the data output by the voice to the ear, collecting the voice of the visually impaired person and delivering the voice to the mobile terminal;
A walking stick having at least one obstacle detecting sensor and a direction sensor and outputting a signal indicating that an obstacle in the corresponding direction exists due to the vibration when the obstacle detected by the at least one obstacle detecting sensor exists;
And a service providing system for providing services to the visually impaired.
제 1 항에 있어서,
상기 시각 장애인 안내 서비스 제공 시스템은,
상기 시각 장애인 안내 서비스를 제공하는 시각 장애인 안내 서비스 제공 서버;
상기 시각 장애인 안내 서비스 제공 서버를 경유하여 데이터를 송수신하는 적어도 하나의 원격 단말;
을 더 포함하는 것인, 시각 장애인 안내 서비스 제공 시스템.
The method according to claim 1,
Wherein the visually impaired guide service providing system comprises:
A blind person guidance service providing server providing the blind person guidance service;
At least one remote terminal for transmitting and receiving data via the blind person guidance service providing server;
Wherein the system further comprises:
제 2 항에 있어서,
상기 적어도 하나의 원격 단말은 적어도 하나의 디스플레이를 포함하고,
상기 디스플레이의 화면은,
상기 카메라의 화면이 출력되어 상기 카메라의 화면을 공유하는 제 1 영역;
상기 이어폰을 통하여 입력된 목표 지점 또는 질문에 대한 검색을 실시하는 검색창이 존재하는 제 2 영역;
상기 모바일 단말의 GPS를 통하여 수신된 시각 장애인의 현재 위치를 출력하거나, 상기 목표 지점까지의 경로를 출력하는 지도가 존재하는 제 3 영역
을 포함하고,
상기 제 1 영역 내지 제 3 영역은 고정 레이아웃으로 상기 디스플레이의 화면을 이루는 것인, 시각 장애인 안내 서비스 제공 시스템.
3. The method of claim 2,
Wherein the at least one remote terminal comprises at least one display,
The screen of the display includes:
A first area for outputting a screen of the camera and sharing a screen of the camera;
A second area in which a search window for searching for a target point or a question inputted through the earphone is present;
A third region in which a map for outputting a current position of a blind person received via GPS of the mobile terminal or outputting a path to the target point exists,
/ RTI >
Wherein the first area to the third area form a screen of the display in a fixed layout.
제 1 항에 있어서,
상기 모바일 단말은, 상기 카메라를 통하여 실시간 촬영 데이터를 수신하고,
상기 실시간 촬영 데이터에 포함된 적어도 하나의 객체 중 위치를 표시하는 표지판, 상기 목표 지점을 나타내는 표지판, 및 목표 지점으로 가는 경로에 포함된 적어도 하나의 이동 지점을 나타내는 표지판이 존재하는 경우, 상기 표지판을 음성으로 변환하여 상기 이어폰으로 출력하는 것인, 시각 장애인 안내 서비스 제공 시스템.
The method according to claim 1,
The mobile terminal receives real-time photographic data through the camera,
When there is a sign indicating a location of at least one object included in the real time photographing data, a sign indicating the target location, and a sign indicating at least one moving location included in a route to the target location, And outputs the converted voice to the earphone.
제 1 항에 있어서,
상기 보행 스틱은, 상기 보행 스틱이 스윙될 때, 상기 보행 스틱의 대향되는 방향에 장애물이 감지된 경우, 상기 장애물이 감지된 지점에서 진동을 출력하는 것인, 시각 장애인 안내 서비스 제공 시스템.
The method according to claim 1,
Wherein the walking stick outputs a vibration at a point where the obstacle is sensed when an obstacle is sensed in an opposite direction of the walking stick when the walking stick is swung.
제 2 항에 있어서,
상기 모바일 단말로부터 상기 적어도 하나의 원격 단말에 대한 호(Call)가 발신된 경우, 상기 호를 수신한 원격 단말은 상기 모바일 단말, 카메라 및 이어폰과 연동되고, 상기 카메라에서 촬영한 실시간 영상을 공유하고, 상기 이어폰을 통하여 음성 통화를 시작하는 것인, 시각 장애인 안내 서비스 제공 시스템.
3. The method of claim 2,
When a call to the at least one remote terminal is transmitted from the mobile terminal, the remote terminal receiving the call interlocks with the mobile terminal, the camera and the earphone, and shares the real-time image captured by the camera , And starts a voice call through the earphone.
시각 장애인의 모바일 단말에서 실행되는 시각 장애인 안내 서비스 제공 방법에 있어서,
상기 모바일 단말과 무선 또는 유선으로 연동된 카메라, 이어폰 및 보행 스틱으로부터 실시간으로 정보를 수집 및 분석하는 단계;
상기 모바일 단말에서 시각 장애인 안내 서비스를 제공하는 시각 장애인 안내 서비스 제공 서버를 경유하여 원격 단말로의 호(Call) 발신을 실시하는 단계;
상기 원격 단말과 상기 모바일 단말의 통화 채널이 생성된 경우, 상기 시각 장애인 안내 서비스 제공 서버를 경유하여 상기 모바일 단말에서 실시간으로 수집된 정보를 상기 원격 단말로 전송하는 단계;
상기 원격 단말에서 안내 서비스가 시작되는 경우, 상기 원격 단말에서 출력되는 음성을 상기 이어폰으로 출력하는 단계;
를 포함하는, 시각 장애인 안내 서비스 제공 방법.
A method of providing a blind person guidance service to be executed in a mobile terminal of a blind person,
Collecting and analyzing information in real time from a camera, an earphone, and a walking stick that are wirelessly or wiredly connected to the mobile terminal;
Performing a call transmission to a remote terminal via a blind person guidance service providing server that provides a blind person guidance service at the mobile terminal;
Transmitting the information collected in real time from the mobile terminal to the remote terminal via the blind person guidance service providing server when a communication channel between the remote terminal and the mobile terminal is generated;
Outputting a voice output from the remote terminal to the earphone when the guidance service is started at the remote terminal;
The method comprising the steps of:
KR1020160184514A 2016-12-30 2016-12-30 System and method for providing information service for people with visually impairment KR20180079116A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160184514A KR20180079116A (en) 2016-12-30 2016-12-30 System and method for providing information service for people with visually impairment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160184514A KR20180079116A (en) 2016-12-30 2016-12-30 System and method for providing information service for people with visually impairment

Publications (1)

Publication Number Publication Date
KR20180079116A true KR20180079116A (en) 2018-07-10

Family

ID=62915527

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160184514A KR20180079116A (en) 2016-12-30 2016-12-30 System and method for providing information service for people with visually impairment

Country Status (1)

Country Link
KR (1) KR20180079116A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109931946A (en) * 2019-04-10 2019-06-25 福州大学 Blind visual range-finding navigation method based on Android intelligent
CN110448437A (en) * 2019-09-09 2019-11-15 兰州交通大学 A kind of blind-guiding stick of controllable crossing safety island lifting column
KR102113560B1 (en) * 2018-12-27 2020-05-21 한국기술교육대학교 산학협력단 Alarm unit for the blind
CN112451324A (en) * 2019-08-19 2021-03-09 北京超维度计算科技有限公司 Auxiliary system for visually impaired people
KR102225456B1 (en) * 2019-09-03 2021-03-09 삼육대학교산학협력단 Road mate system, and road mate service providing method
CN112870033A (en) * 2021-01-20 2021-06-01 江西理工大学南昌校区 Intelligent blind guiding helmet system for unstructured road and navigation method
KR20210124803A (en) * 2020-04-07 2021-10-15 주식회사 어뮤즈 Map information collection and analysis device for the disabled
KR102382978B1 (en) * 2020-11-27 2022-04-05 주식회사 피씨티 Method to Assist Low Vision Person
KR102407126B1 (en) * 2021-09-13 2022-06-08 김규석 Smart glasses system for the visually and hearing impaired with shape and color recognition cameras
KR102559789B1 (en) * 2023-01-30 2023-07-28 문경진 System for providing visual impairment support service using realtime streaming

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080076270A (en) * 2007-02-15 2008-08-20 골든키정보통신 주식회사 System for guiding road a blind person
KR20110020566A (en) * 2009-08-24 2011-03-03 성균관대학교산학협력단 Crosswalk guiding system for a blindperson
KR20110082225A (en) * 2010-01-11 2011-07-19 한국표준과학연구원 System for announce blind persons and method for announce using the same
KR20140012283A (en) * 2012-07-19 2014-02-03 동서대학교산학협력단 Walking stick for blind person
KR20150144510A (en) * 2014-06-17 2015-12-28 김태형 Glasses system for visually handicapped person

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080076270A (en) * 2007-02-15 2008-08-20 골든키정보통신 주식회사 System for guiding road a blind person
KR20110020566A (en) * 2009-08-24 2011-03-03 성균관대학교산학협력단 Crosswalk guiding system for a blindperson
KR20110082225A (en) * 2010-01-11 2011-07-19 한국표준과학연구원 System for announce blind persons and method for announce using the same
KR20140012283A (en) * 2012-07-19 2014-02-03 동서대학교산학협력단 Walking stick for blind person
KR20150144510A (en) * 2014-06-17 2015-12-28 김태형 Glasses system for visually handicapped person

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102113560B1 (en) * 2018-12-27 2020-05-21 한국기술교육대학교 산학협력단 Alarm unit for the blind
CN109931946A (en) * 2019-04-10 2019-06-25 福州大学 Blind visual range-finding navigation method based on Android intelligent
CN112451324A (en) * 2019-08-19 2021-03-09 北京超维度计算科技有限公司 Auxiliary system for visually impaired people
KR102225456B1 (en) * 2019-09-03 2021-03-09 삼육대학교산학협력단 Road mate system, and road mate service providing method
CN110448437A (en) * 2019-09-09 2019-11-15 兰州交通大学 A kind of blind-guiding stick of controllable crossing safety island lifting column
CN110448437B (en) * 2019-09-09 2024-03-12 兰州交通大学 Blind guiding stick capable of controlling lifting column of crosswalk safety island
KR20210124803A (en) * 2020-04-07 2021-10-15 주식회사 어뮤즈 Map information collection and analysis device for the disabled
KR102382978B1 (en) * 2020-11-27 2022-04-05 주식회사 피씨티 Method to Assist Low Vision Person
CN112870033A (en) * 2021-01-20 2021-06-01 江西理工大学南昌校区 Intelligent blind guiding helmet system for unstructured road and navigation method
KR102407126B1 (en) * 2021-09-13 2022-06-08 김규석 Smart glasses system for the visually and hearing impaired with shape and color recognition cameras
KR102559789B1 (en) * 2023-01-30 2023-07-28 문경진 System for providing visual impairment support service using realtime streaming

Similar Documents

Publication Publication Date Title
KR20180079116A (en) System and method for providing information service for people with visually impairment
US20220270512A1 (en) Augmented Reality Panorama Systems and Methods
Ivanov Indoor navigation system for visually impaired
Angin et al. A mobile-cloud collaborative traffic lights detector for blind navigation
KR101929875B1 (en) Method for providing voice guidance service for vision impairment using stream live broadcast in real time
US9980111B2 (en) Mobile terminal device, call-to-action system, call-to-action method, call-to-action program, and safety verification system
CN104219628B (en) A kind of blind person's information service method and system based on augmented reality and smart mobile phone
US20090109058A1 (en) Traffic information providing method and device and traffic information receiving method and device
JP5757576B2 (en) Imaging system and method for automatically imaging subject moving with portable terminal
Baranski et al. Field trials of a teleassistance system for the visually impaired
CN112149659B (en) Positioning method and device, electronic equipment and storage medium
Kutiyanawala et al. Teleassistance in accessible shopping for the blind
CN111611812B (en) Translation to Braille
KR102225456B1 (en) Road mate system, and road mate service providing method
JP2023182745A (en) Road guidance system and portable information terminal used for the same
KR101422217B1 (en) Method for providing number cognition service of vehicle
KR101954800B1 (en) Positioninng service system, method and providing service apparatus for location information, mobile in the system thereof
KR101260879B1 (en) Method for Search for Person using Moving Robot
Varpe et al. Visually impaired assistive system
Choraś et al. Innovative solutions for inclusion of totally blind people
CN112945237A (en) Hospital navigation system, diagnosis guide system, terminal and navigation system
KR20210157470A (en) Posture detection and video processing methods, devices, electronic devices and storage media
Baranski et al. Emphatic trials of a teleassistance system for the visually impaired
KR20210080140A (en) Indoor navigation method and system thereof
KR20200081026A (en) Server, device and method for providing augmented reality service

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2019101001970; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20190612

Effective date: 20200309