KR20180079116A - System and method for providing information service for people with visually impairment - Google Patents
System and method for providing information service for people with visually impairment Download PDFInfo
- Publication number
- KR20180079116A KR20180079116A KR1020160184514A KR20160184514A KR20180079116A KR 20180079116 A KR20180079116 A KR 20180079116A KR 1020160184514 A KR1020160184514 A KR 1020160184514A KR 20160184514 A KR20160184514 A KR 20160184514A KR 20180079116 A KR20180079116 A KR 20180079116A
- Authority
- KR
- South Korea
- Prior art keywords
- mobile terminal
- camera
- remote terminal
- earphone
- visually impaired
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/068—Sticks for blind persons
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C11/00—Non-optical adjuncts; Attachment thereof
Abstract
Description
본 발명은 시각 장애인 안내 서비스 제공 방법에 관한 것으로, 시각 장애를 가진 사람에게 음성으로 실시간으로 장애물 및 경로를 안내하는 서비스를 제공하는 방법에 관한 것이다.The present invention relates to a method of providing a visually impaired guide service, and more particularly, to a method of providing a service for guiding an obstacle and a route to a visually impaired person in real time by voice.
최근, 스마트 단말이 진화하면서 시각 장애인을 위한 애플리케이션 및 서비스도 개발 및 런칭되고 있으며, 스마트 단말과 연계하여 경로를 안내하거나 장애물을 알려주는 보조 기구도 연구중에 있다.Recently, as smart terminals evolve, applications and services for the visually impaired are also being developed and launched. In addition, assistive devices for guiding the route or reporting obstacles in connection with smart terminals are under study.
이때, 시각 장애인을 보조하는 방법은 지팡이를 통하여 네비게이션 서비스를 제공하거나, 이동 통신 단말과 연계된 로봇을 이용하는 방법이 이용되고 있다. 이와 관련하여, 선행기술인 한국공개특허 제2015-0081043호(2015.07.13 공개)와, 한국공개특허 제2015-0145429호(2015.12.30 공개)에는, 지능형 안내로봇은 안내정보솔루션을 내장하고 있어 시각장애인과 지능형 안내로봇이 대화형태로 공공 안내 서비스 또는 제어 서비스를 제공하는 구성과, 네비게이션 어플이 탑재되어 사용자에게 음성 방향정보를 제공하는 휴대단말기와 휴대단말기와 무선접속되어서 장애물을 감지하여 사용자에게 촉감신호를 통하여 장애물 정보와 방향을 제시하는 스마트지팡의 구성을 개시하고 있다.At this time, as a method of assisting the visually impaired, a navigation service is provided through a stick or a robot using a robot linked to a mobile communication terminal is used. In this regard, in the prior art Korean Laid-Open Patent No. 2015-0081043 (published on Jul. 13, 2015) and Korean Laid-Open Patent No. 2015-0145429 (published on December 30, 2015) A configuration in which a disabled person and an intelligent guide robot provide a public guide service or a control service in the form of a dialogue, a portable terminal equipped with a navigation application and providing voice direction information to the user, and a wireless terminal connected to the portable terminal, Discloses a configuration of a Smart Cane that presents obstacle information and direction through a signal.
다만, 안내로봇은 휴대성이 현저히 떨어지므로, 정작 시각 장애인이 외출하여 임의의 목적지로 가고자 하는 경우에는 도움을 줄 수 없으며, 촉감신호를 지팡이를 이용하여 주는 것은, 지팡이 자체로도 가능하므로 그 실효성이 낮다.However, since the guide robot remarkably deteriorates portability, it can not help when the visually impaired person goes out to an arbitrary destination, and it is also possible to use a stick to use a tactile signal, Is low.
본 발명의 일 실시예는, 시각 장애인을 안내하기 위하여 안경에 카메라를 구비하고, 카메라로 실시간 이미지 분석된 내용을 이어폰을 통하여 음성으로 출력하며, 보행 스틱에 진동 소자를 구비하여 진동으로 전방에 장애물이 존재하는지의 여부를 알려주고, 원격 단말과 연결되도록 하여 원격 상담사가 실시간으로 촬영된 영상 및 현재 위치를 파악하여 안내 서비스를 제공할 수 있도록 하는, 시각 장애인 안내 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.In an embodiment of the present invention, a camera is provided in glasses for guiding a visually impaired person, and the contents analyzed in real time by a camera are outputted as voice through an earphone, and a vibration device is provided on a walking stick, The remote counselor can be connected to the remote terminal so that the remote counselor can grasp the image and the current location photographed in real time to provide the guidance service. It should be understood, however, that the technical scope of the present invention is not limited to the above-described technical problems, and other technical problems may exist.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 시각 장애인의 안경에 위치하고, 시각 장애인이 바라보는 방향의 영역을 촬영하도록 구비되며, 실시간으로 데이터를 무선으로 전송하는 카메라, 카메라의 실시간 데이터를 수신하여 실시간으로 촬영된 프레임 내에 존재하는 장애물을 식별하고, 식별된 장애물에 대한 정보를 음성으로 변환하여 출력하고, 입력된 목표 지점에 대한 경로를 제공하되, 경로에 포함된 장애물은 실시간으로 음성으로 변환하여 출력하는 모바일 단말, 음성으로 출력된 데이터를 시각 장애인의 귀에 장착되어 귓속으로 직접 출력하고, 시각 장애인의 음성을 수집하여 모바일 단말로 전달하는 이어폰, 적어도 하나의 장애물 감지 센서 및 방향 센서가 구비되고, 적어도 하나의 장애물 감지 센서에 의해 감지된 장애물이 존재하는 경우, 진동으로 해당 방향의 장애물이 존재한다는 것을 출력하는 보행 스틱을 포함한다.As a technical means for achieving the above technical object, an embodiment of the present invention is a camera which is located in the glasses of the visually impaired and photographs an area in the direction that the visually impaired person views, And a control unit for receiving real-time data of the camera to identify obstacles existing in a frame photographed in real time, converting information on the identified obstacles into speech, outputting the speech, and providing a path to the input target point, An obstacle is a mobile terminal that converts the obstacle into a voice in real time and outputs the output data to the ear of a visually impaired person and directly outputs the data to the ear, A sensor and a direction sensor are provided, and at least one obstacle detection sensor And a gait stick outputting that an obstacle in the corresponding direction exists when the obstacle detected by the vibration is present.
본 발명의 다른 실시예는, 모바일 단말과 무선 또는 유선으로 연동된 카메라, 이어폰 및 보행 스틱으로부터 실시간으로 정보를 수집 및 분석하는 단계, 모바일 단말에서 시각 장애인 안내 서비스를 제공하는 시각 장애인 안내 서비스 제공 서버를 경유하여 원격 단말로의 호(Call) 발신을 실시하는 단계, 원격 단말과 모바일 단말의 통화 채널이 생성된 경우, 시각 장애인 안내 서비스 제공 서버를 경유하여 모바일 단말에서 실시간으로 수집된 정보를 원격 단말로 전송하는 단계, 원격 단말에서 안내 서비스가 시작되는 경우, 원격 단말에서 출력되는 음성을 이어폰으로 출력하는 단계를 포함한다.In another embodiment of the present invention, there is provided a method for providing a blind person guidance service providing server for providing a blind person guidance service in a mobile terminal, comprising the steps of: collecting and analyzing information in real time from a camera, earphone, Transmitting a call to the remote terminal via the blind party guidance service providing server when the remote terminal and the communication channel of the mobile terminal are generated, And outputting the voice output from the remote terminal to the earphone when the guidance service is started at the remote terminal.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 시각 장애인을 안내하기 위하여 안경에 카메라를 구비하고, 카메라로 실시간 이미지 분석된 내용을 이어폰을 통하여 음성으로 출력하며, 보행 스틱에 진동 소자를 구비하여 진동으로 전방에 장애물이 존재하는지의 여부를 알려주고, 원격 단말과 연결되도록 하여 원격 상담사가 실시간으로 촬영된 영상 및 현재 위치를 파악하여 안내 서비스를 제공할 수 있도록 한다.According to any one of the above-mentioned objects of the present invention, a camera is provided in glasses for guiding a visually impaired person, and the contents analyzed in real time by a camera are outputted as voice through earphones, and a gait The remote controller informs whether or not an obstacle is present in front of the remote controller, and is connected to the remote terminal so that the remote controller can provide the guidance service by grasping the image and the current position photographed in real time.
도 1은 본 발명의 일 실시예에 따른 시각 장애인 안내 서비스 제공 시스템을 설명하기 위한 구성도이다.
도 2는 도 1에 도시된 모바일 단말을 설명하기 위한 구성도이다.
도 3은 본 발명의 일 실시예에 따른 시각 장애인 안내 서비스가 구현되는 일 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 시각 장애인 안내 서비스가 구현되는 다른 실시예를 설명하기 위한 도면이다.
도 5는 본 발명이 일 실시예에 따른 시각 장애인 안내 서비스 제공 방법을 설명하기 위한 구성도이다.1 is a block diagram illustrating a system for providing a visually impaired guide service according to an embodiment of the present invention.
2 is a block diagram illustrating a mobile terminal shown in FIG.
3 is a view for explaining an embodiment in which a visually impaired person guidance service according to an embodiment of the present invention is implemented.
4 is a view for explaining another embodiment in which a visually impaired person guidance service according to an embodiment of the present invention is implemented.
5 is a block diagram illustrating a method for providing a blind person guidance service according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "including" an element, it is to be understood that the element may include other elements as well as other elements, And does not preclude the presence or addition of one or more other features, integers, steps, operations, components, parts, or combinations thereof.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다. The terms "about "," substantially ", etc. used to the extent that they are used throughout the specification are used in their numerical value or in close proximity to their numerical values when the manufacturing and material tolerances inherent in the stated meanings are presented, Accurate or absolute numbers are used to help prevent unauthorized exploitation by unauthorized intruders of the referenced disclosure. The word " step (or step) "or" step "does not mean" step for. &Quot;
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다. In this specification, the term " part " includes a unit realized by hardware, a unit realized by software, and a unit realized by using both. Further, one unit may be implemented using two or more hardware, or two or more units may be implemented by one hardware.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다. In this specification, some of the operations or functions described as being performed by a terminal, a device, or a device may be performed instead in a server connected to the terminal, device, or device. Likewise, some of the operations or functions described as being performed by the server may also be performed in a terminal, device or device connected to the server.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Maching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.In this specification, some of the operations or functions described in the mapping or matching with the terminal are mapping or matching the unique number of the terminal, which is the identification data of the terminal, or the identification information of the individual . ≪ / RTI >
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 시각 장애인 안내 서비스 제공 시스템을 설명하기 위한 구성도이다. 도 1을 참조하면, 시각 장애인 안내 서비스 제공 시스템(1)은, 카메라(100), 이어폰(200), 보행 스틱(300), 모바일 단말(400), 시각 장애인 안내 제공 서버(600) 및 적어도 하나의 원격 단말(700)을 포함할 수 있다. 다만, 이러한 도 1의 시각 장애인 안내 서비스 제공 시스템(1)은 본 발명의 일 실시예에 불과하므로, 도 1을 통해 본 발명이 한정 해석되는 것은 아니다.1 is a block diagram illustrating a system for providing a visually impaired guide service according to an embodiment of the present invention. Referring to FIG. 1, a blind visitor guidance service providing system 1 includes a
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 500)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 카메라(100), 이어폰(200), 보행 스틱(300)은 네트워크(500)를 통하여 모바일 단말(400)과 연결될 수 있다. 그리고, 모바일 단말(400)은, 네트워크(500)를 통하여 시각 장애인 안내 서비스 제공 서버(600)와 연결될 수 있다. 또한, 시각 장애인 안내 서비스 제공 서버(600)는, 네트워크(500)를 통하여 모바일 단말(400), 적어도 하나의 원격 단말(700)과 연결될 수 있다. 그리고, 적어도 하나의 원격 단말(700)은 네트워크(500)를 통하여 시각 장애인 안내 서비스 제공 서버(600)와 연결될 수 있다. At this time, the respective components of FIG. 1 are generally connected through a
여기서, 네트워크(500)는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(500)의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5rd Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다. 또한, 네트워크(500)는, 블루투스(Bluetooth) 네트워크, NFC 네트워크, RFID 네트워크 등을 포함한 근거리, 중거리 및 장거리 네트워크도 포함되나 이에 한정되지는 않는다. Here, the
도 1에 도시된 카메라(100), 이어폰(200), 보행 스틱(300), 모바일 단말(400), 시각 장애인 안내 제공 서버(600) 및 적어도 하나의 원격 단말(700)은 도 1에 도시된 것들로 한정 해석되는 것은 아니다.The
카메라(100)는, 안경에 부착되어 촬영을 하고, 촬영된 영상을 모바일 단말(400)로 전송하는 장치일 수 있다. 그리고, 카메라(100)는, 무선 통신 채널을 통하여 모바일 단말(400)로 실시간으로 촬영된 영상을 실시간으로 모바일 단말(400)로 전송하는 장치일 수 있다. The
이어폰(200)은, 모바일 단말(400)을 통하여 형성된 채널로 음성 데이터를 출력하고, 입력된 음성 데이터를 수신하는 장치일 수 있다. 그리고, 이어폰(200)은, 무선 통신 채널을 통하여 모바일 단말(400)로 실시간으로 음성 데이터를 송수신하는 장치일 수 있다. 이때, 이어폰(200)은, 골진동을 통하여 데이터를 출력 및 입력받는 장치일 수도 있다.The
보행 스틱(300)은, 적어도 하나의 장애물 감지 센서를 포함하는 장치일 수 있다. 그리고, 보행 스틱(300)은, 방향 센서, 속도 센서 및 자이로 센서를 포함하는 장치일 수 있다. 또한, 보행 스틱(300)은, 진동 장치를 포함하는 장치일 수 있다. 그리고, 보행 스틱(300)은, 보행 스틱(300)이 스윙되는 방향에 장애물이 존재하는 경우에는, 진동 장치가 진동되는 장치일 수 있다.The
모바일 단말(400)은, 카메라(100), 이어폰(200), 보행 스틱(300)과 연결되는 단말일 수 있다. 그리고, 모바일 단말(400)은, 시각 장애인 안내 서비스 제공 서버(600)를 통하여 적어도 하나의 원격 단말(700)과 연결되는 단말일 수 있다. 또한, 모바일 단말(400)은 적어도 하나의 원격 단말(700)과 호(Call) 발신을 통하여 연결되는 단말일 수 있다. 그리고, 모바일 단말(400)은, 카메라(100)로 촬영된 영상을 수신하고 이미지를 분석하여 이어폰(200)을 통하여 출력하는 단말일 수 있다. The
여기서, 모바일 단말(400)은, 네트워크(500)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 모바일 단말(400)은, 네트워크(500)를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 모바일 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.Here, the
시각 장애인 안내 서비스 제공 서버(600)는 모바일 단말(400)과 연결되어 시각 장애인 안내 서비스를 제공하는 서버일 수 있다. 또한, 시각 장애인 안내 서비스 제공 서버(600)는, 모바일 단말(100)에서 카메라(100)를 통하여 촬영된 영상을 적어도 하나의 원격 단말(700)로 제공하는 서버일 수 있다. 또한, 시각 장애인 안내 서비스 제공 서버(600)는, 적어도 하나의 원격 단말(700)로 모바일 단말(400)의 위치를 전송하는 서버일 수 있다. 시각 장애인 안내 서비스 제공 서버(600)는, 네트워크(500)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.The blind person guidance
도 2는 도 1에 도시된 모바일 단말을 설명하기 위한 구성도이고, 도 3은 본 발명의 일 실시예에 따른 시각 장애인 안내 서비스가 구현되는 일 실시예를 설명하기 위한 도면이고, 도 4는 본 발명의 일 실시예에 따른 시각 장애인 안내 서비스가 구현되는 다른 실시예를 설명하기 위한 도면이다.FIG. 2 is a block diagram for explaining a mobile terminal shown in FIG. 1, FIG. 3 is a view for explaining an embodiment in which a visually impaired person guidance service according to an embodiment of the present invention is implemented, and FIG. FIG. 5 is a diagram illustrating another embodiment in which a visually impaired user guidance service according to an embodiment of the present invention is implemented.
도 2를 참조하면, 본 발명의 일 실시예에 따른 모바일 단말(400)은, 분석부(410), 발신부(420), 전송부(430) 및 출력부(440)를 포함할 수 있다.Referring to FIG. 2, the
본 발명의 일 실시예에 따른 시각 장애인 안내 서비스 제공 서버(300) 또는 시각 장애인 안내 서비스 제공 서버(300)와 연동되어 동작하는 다른 서버(미도시)가 모바일 단말(400) 및 적어도 하나의 원격 단말(700)로 시각 장애인 안내 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 모바일 단말(400) 및 적어도 하나의 원격 단말(700)은, 시각 장애인 안내 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 모바일 단말(400) 및 적어도 하나의 원격 단말(700)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다.(Not shown) operating in conjunction with the visually impaired guide
이때, 네트워크(500)의 연결은, 카메라(100), 이어폰(200), 보행 스틱(300), 모바일 단말(400), 시각 장애인 안내 서비스 제공 서버(600) 및 적어도 하나의 원격 단말(700)이 네트워크(500)로 연결되어 있는 단말과 통신을 위해 통신 접점에 통신 객체를 생성하는 것을 의미한다. 시각 장애인 안내 서비스 제공 서버(300)는 통신 객체를 통해 서로 데이터를 교환할 수 있다.At this time, the connection of the
분석부(410)는, 모바일 단말(400)과 무선 또는 유선으로 연동된 카메라(100), 이어폰(200) 및 보행 스틱(300)으로부터 실시간으로 정보를 수집 및 분석할 수 있다. 이때, 카메라(100)에서는 촬영되는 영상을 분석부(410)에서 분석하고, 분석된 결과를 이어폰(200)을 통하여 제공하여 시각 장애인이 실시간으로 전방에 무엇이 위치하고 있는지, 장애물은 없는지 등을 파악할 수 있다. 그리고, 카메라(100)는, 시각 장애인의 안경에 위치하고, 시각 장애인이 바라보는 방향의 영역을 촬영하도록 구비되며, 실시간으로 데이터를 무선으로 전송할 수 있다. 그리고, 이어폰(200)은, 음성으로 출력된 데이터를 시각 장애인의 귀에 장착되어 귓속으로 직접 출력하고, 시각 장애인의 음성을 수집하여 모바일 단말(400)로 전달할 수 있다.The analysis unit 410 can collect and analyze information in real time from the
발신부(420)는 모바일 단말(400)에서 시각 장애인 안내 서비스를 제공하는 시각 장애인 안내 서비스 제공 서버(600)를 경유하여 원격 단말(700)로의 호(Call) 발신을 실시할 수 있다. 이때, 발신부(420)는, 시각 장애인 안내 서비스 제공 서버(600)를 경유하지 않을 수도 있는데, 이러한 경우에는 데이터 통신을 위한 채널이 별도로 설치될 수 있다.The transmitting unit 420 may transmit a call to the
전송부(430)는, 원격 단말(700)과 모바일 단말(400)의 통화 채널이 생성된 경우, 시각 장애인 안내 서비스 제공 서버(600)를 경유하여 모바일 단말(400)에서 실시간으로 수집된 정보를 원격 단말(700)로 전송할 수 있다.The transmitting unit 430 transmits information collected in real time from the
출력부(440)는, 원격 단말(700)에서 안내 서비스가 시작되는 경우, 원격 단말(700)에서 출력되는 음성을 이어폰(200)으로 출력할 수 있다. 이때, 모바일 단말(400)은, 카메라(100)의 실시간 데이터를 수신하여 실시간으로 촬영된 프레임 내에 존재하는 장애물을 식별하고, 식별된 장애물에 대한 정보를 음성으로 변환하여 출력하고, 입력된 목표 지점에 대한 경로를 제공하되, 경로에 포함된 장애물은 실시간으로 음성으로 변환하여 출력할 수 있다.The output unit 440 can output the sound output from the
여기서, 보행 스틱(300)은, 적어도 하나의 장애물 감지 센서 및 방향 센서가 구비되고, 적어도 하나의 장애물 감지 센서에 의해 감지된 장애물이 존재하는 경우, 진동으로 해당 방향의 장애물이 존재한다는 것을 출력할 수 있다. 이때, 보행 스틱(300)은 모바일 단말(400)과 연동될 수도 있고, 모바일 단말(400)과 연동되지 않고 독립적으로 구동하는 기기일 수도 있다.Here, the
한편, 시각 장애인 안내 서비스 제공 시스템(1)은, 시각 장애인 안내 서비스를 제공하는 시각 장애인 안내 서비스 제공 서버(600) 및 시각 장애인 안내 서비스 제공 서버(600)를 경유하여 데이터를 송수신하는 적어도 하나의 원격 단말(700)을 구비하는 경우를 설명한다. The blind person guidance service providing system 1 includes a blind person guidance
이때, 적어도 하나의 원격 단말(700)은 적어도 하나의 디스플레이를 포함할 수 있는데, 디스플레이의 화면은, 카메라(100)의 화면이 출력되어 카메라(100)의 화면을 공유하는 제 1 영역, 이어폰(200)을 통하여 입력된 목표 지점 또는 질문에 대한 검색을 실시하는 검색창이 존재하는 제 2 영역 및 모바일 단말(400)의 GPS를 통하여 수신된 시각 장애인의 현재 위치를 출력하거나, 목표 지점까지의 경로를 출력하는 지도가 존재하는 제 3 영역을 포함할 수 있다.At least one
이때, 제 1 영역 내지 제 3 영역은 고정 레이아웃으로 디스플레이의 화면을 이룰 수 있다.At this time, the first area to the third area may form a display screen in a fixed layout.
또한, 모바일 단말(400)은, 카메라(100)를 통하여 실시간 촬영 데이터를 수신하고, 실시간 촬영 데이터에 포함된 적어도 하나의 객체 중 위치를 표시하는 표지판, 목표 지점을 나타내는 표지판, 및 목표 지점으로 가는 경로에 포함된 적어도 하나의 이동 지점을 나타내는 표지판이 존재하는 경우, 표지판을 음성으로 변환하여 이어폰(200)으로 출력할 수도 있다.In addition, the
그리고, 보행 스틱(300)은, 보행 스틱(300)이 스윙될 때, 보행 스틱(300)의 대향되는 방향에 장애물이 감지된 경우, 장애물이 감지된 지점에서 진동을 출력할 수 있다. 이때, 보행 스틱(300)은, 이어폰(200)의 대체용으로 구동될 수 있다. 예를 들어, 이어폰(200)은, 원격 단말(700)로부터 수신된 음성을 출력하거나 모바일 단말(400)의 분석 결과를 출력하는 수단인데, 원격 단말(700)과의 통신이 호(Call) 수발신 등의 문제로 인하여 어려운 경우, 모바일 단말(400)은 보행 스틱(300)을 통하여 진동을 울림으로써 의미 전달을 하도록 한다. 이때, 진동 패턴이나 세기 등은 기 설정된 의미 - 진동의 의미 테이블이 이용될 수 있다. The
그리고, 모바일 단말(400)로부터 적어도 하나의 원격 단말(700)에 대한 호(Call)가 발신된 경우, 호를 수신한 원격 단말(700)은 모바일 단말(400), 카메라(100) 및 이어폰(200)과 연동되고, 카메라(100)에서 촬영한 실시간 영상을 공유하고, 이어폰(200)을 통하여 음성 통화를 시작할 수 있다.When a call to at least one
이하, 상술한 구성을 가지는 시각 장애인 안내 서비스를 도 3 및 도 4를 참조로 하여 설명하기로 한다. Hereinafter, the visually impaired person guidance service having the above-described configuration will be described with reference to FIGS. 3 and 4. FIG.
도 3을 참조하면, (a) 보행 스틱(300)은 시각 장애인이 전방에 장애물이 있는지의 여부를 확인하는 스틱인데, A 방향에 기둥이 있고, A 방향을 향하고 있는 경우, 초음파, 적외선 등의 감지 센서를 이용하여 시각 장애인에게 전방 몇 미터에 기둥이 있는지를 알려줄 수 있다. 이때, 보행 스틱(300)은 A 방향에 장애물이 있고, 보행 스틱(300)이 A 방향을 향하고 있을 경우, 즉시 진동으로 장애물일 있는 것을 알려주도록 하여 직관적으로 장애물이 있음을 파악하도록 한다. 3, (a) the
또한, 카메라(100)는 보행 스틱(300)에도 포함될 수 있는데, 그 이유는 차의 보행 도로에 진입하는 것을 막기 위한 장애물과 같은 경우에는, 낮은 턱인 경우가 많아 안경에 장착될 경우 카메라(100)의 높이에 따라 장애물의 파악이 안되는 경우도 많을 수 있다. 따라서, 카메라(100)가 보행 스틱(300)에도 포함되는 경우에는, 보행 스틱(300)은 카메라(100)에서 촬영된 영상 중 장애물이 존재하는 경우 진동을 출력하고, 모바일 단말(400)에서는 음성으로 장애물이 있음을 알려줄 수 있다.The
즉, 보행 스틱(300)에 존재하는 카메라(100)도 무선으로 모바일 단말(400)과 연결될 수 있고, 모바일 단말(400)에서 실시간으로 영상을 파악한 다음, 그 결과를 음성으로 변환하여 이어폰(200)을 통하여 알려줄 수 있다. That is, the
이와 같은 경우에는, 카메라(100)가 안경 및 보행 스틱(300)이 장착이 되므로, 어떠한 높이의 장애물일지라도 늘 감지가 가능하며, 시각 장애인에게 보다 많은 정보를 제공할 수 있다.In such a case, since the
또한, 안내는 예를 들어, "10M 전방에 계단이 있습니다, 좌측 버스 정류장이 있으며 300번 버스를 탑승하시면 됩니다, 우측에서 차가 오고 있습니다(진동 함께), 횡단보도 건너 건물 1 층에 은행의 ATM이 있습니다, 현재 빨간불입니다, 왼쪽 승강장으로 내려가면 3호선을 이용할 수 있습니다, 현재 채소 코너이며, 옆 선반에 오이가 있습니다 등일 수 있다. 이에 따라, 동행하는 사람이나 안내견이 없이도 독립적으로 외출을 하거나 활동이 가능하고, 안내견 서비스를 아직 받지 못하는 사람에게 편의를 제공하고, 전문 상담원을 양성함으로써 일거리를 창출할 수 있으며, 국내 뿐 아니라 국제적으로 제공할 수 있는 발전 가능한 서비스가 될 수 있다.You can also get a guided tour, for example, "There is a stairway in front of 10m, there is a bus stop on the left, you can take the
(b) 또한, 모바일 단말(400)에서 음성 인식을 통하여 예를 들어 사당동에 우치한 사당동 주민센터까지의 경로를 제공할 수 있는데, 해당 경로까지의 방향 등을 네비게이션을 통하여 음성으로 출력할 수 있다. 이때, 자신의 현재 위치를 파악하여, 어느 방향으로 몇 미터 가야하는지도 알려줄 수 있으며, 각각의 경로에 포함된 장애물은 없는지, 턱은 없는지 등에 정보도 알려줄 수 있고, 물론 카메라(100) 및 보행 스틱(300)을 통해서 실시간 장애물(사람, 개, 차 등)을 알려줄 수도 있다.(b) It is also possible to provide a route from the
(c) 그리고, 모바일 단말(400)은, 경로를 안내하는 도중에 실시간으로 위치한 장애물을 감지하는 경우, 감지된 장애물에 대한 정보 등을 음성으로 변환하여 이어폰(200)을 통하여 출력되도록 한다. 또는, 모바일 단말(400)은 사람이 존재하는 경우, 전방 또는 후방에 존재하는 사람에게 시각 장애인이 지나가고 있다는 것을 음성으로 출력하여 사람들이 미리 배려를 하도록 할 수도 있는데, 물론 이는 시각 장애인의 설정으로 변경될 수도 있다.(c) When the
(d) 또한, 모바일 단말(400)은, 현재 위치와 목적지로 가는 수단을 설정할 수 있고, 예를 들어 버스가 설정되었다고 가정하면, 버스 정류장까지 어떻게 가야하는지, 어디로 가야하는지 등의 정보를 이어폰(200)을 통하여 제공할 수 있다. (d) In addition, the
또한, 모바일 단말(400)은, 사용자가 A 지점의 버스 정류장에 도착했다고 가정하면, 해당 A 지점에서 몇 번의 버스가 오는지를 알 수 없기 때문에, 해당 버스가 도착했는지, 도착하지 않았다면 몇 분 후에 도착하는지를 파악하여 이어폰(200)을 통하여 알려줄 수 있다. Further, assuming that the user arrives at the bus stop of the A-point, the
그리고, 자신이 내려야 하는 정류장과 현재 정류장 또는 다음 정류장이 일치하는 경우, 이에 대한 정보도 검색을 통하여 수집한 후, 이어폰(200)을 통하여 알려줄 수 있다.If the current stop or the next stop is the same as the current stop, the information about the current stop or the next stop can be collected through the search and informed through the
또는, 원격 단말(700)과 모바일 단말(400)이 연결된 경우, 모바일 단말(400)의 위치와 현재 촬영된 영상을 원격 단말(700)에서 확인하고, 원격에서 사람이 음성으로 지원을 할 수도 있다.Alternatively, when the
도 4를 참조하면, 원격에 위치한 상담원의 화면은 다음과 같을 수 있다.Referring to FIG. 4, the screen of a remote agent may be as follows.
이때, 제 1 영역에는 카메라(100)를 통하여 전송되는 실시간 화면이 출력되고, 제 2 영역에는 안내를 위한 검색창이 위치할 수 있으며, 제 3 영역에는 시각 장애인의 현재 위치를 출력할 수 있다. 이를 통하여, 현재 상황을 보면서, 현재 위치를 파악하고, 이와 동시에 검색까지 동시에 함으로써 시각 장애인에게 실시간의 정보를 제공할 수 있도록 한다.At this time, a real-time image transmitted through the
본 발명의 일 실시예에 따른 시각 장애인 안내 서비스 제공 방법은, 시각 장애인은 카메라(100), 이어폰(200)이 달린 안경을 착용하고, 안경의 카메라(100)와 보행 스틱(300)은 모바일 단말(400)과 블루투스로 연결되어 안내 서비스를 제공할 수 있다. 그리고, 모바일 단말(400)은, 시각 장애인 안내 서비스 애플리케이션을 다운로드하고, 해당 애플리케이션을 통하여 원격 단말(700)과 연결될 수 있다. 또한, 애플리케이션을 통하여 원격 단말(700)은, 모바일 단말(400)과 연결되는 경우, 이동 통신망도 데이터 통신망과 함께 이용할 수 있다. 또한, 원격 단말(700)은, 언제 어디서나 애플리케이션을 통하여 현재 위치 정보를 파악하고, 지도 앱과 연동하여 확인을 할 수 있다. 그리고, 원격 단말(700)은 화면을 통하여 시시각각 보행자의 상황을 인지할 수 있고, 안내할 수 있다. 또한, 상담사는 영상 통화와 마찬가지로 안내를 할 수 있으며, 보행자는 이어폰(200)을 통하여 상담사의 안내를 받을 수 있다. 말로 설명할 수 없는 상황이나 긴급한 상황에서는 보행 스틱(300)으로 장애물 등의 확인을 할 수 있다.The method of providing a blind person guidance service according to an embodiment of the present invention is a method for providing a blind visually disabled person wearing glasses with a
이와 같은 도 2 내지 도 4의 시각 장애인 안내 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 시각 장애인 안내 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.2 to 4 can be easily deduced from the same or explained contents of the method of providing the blind visually impaired guide service through FIG. 1, and therefore, The description will be omitted.
도 5는 본 발명이 일 실시예에 따른 시각 장애인 안내 서비스 제공 방법을 설명하기 위한 구성도이다. 5 is a block diagram illustrating a method for providing a blind person guidance service according to an embodiment of the present invention.
도 5를 참조하면, 모바일 단말은, 모바일 단말과 무선 또는 유선으로 연동된 카메라, 이어폰 및 보행 스틱으로부터 실시간으로 정보를 수집 및 분석한다(S5100).Referring to FIG. 5, the mobile terminal collects and analyzes information in real time from a camera, an earphone, and a walking stick that are wirelessly or wiredly connected to the mobile terminal (S5100).
그리고, 모바일 단말은, 모바일 단말에서 시각 장애인 안내 서비스를 제공하는 시각 장애인 안내 서비스 제공 서버를 경유하여 원격 단말로의 호(Call) 발신을 실시한다(S5200).Then, the mobile terminal transmits a call to the remote terminal via the blind person guidance service providing server that provides the blind visually impaired guide service at the mobile terminal (S5200).
또한, 모바일 단말은, 원격 단말과 모바일 단말의 통화 채널이 생성된 경우, 시각 장애인 안내 서비스 제공 서버를 경유하여 모바일 단말에서 실시간으로 수집된 정보를 원격 단말로 전송한다(S5300).In addition, when a communication channel between the remote terminal and the mobile terminal is generated, the mobile terminal transmits information collected in real time from the mobile terminal to the remote terminal via the blind people guidance service providing server (S5300).
마지막으로, 모바일 단말은, 원격 단말에서 안내 서비스가 시작되는 경우, 원격 단말에서 출력되는 음성을 이어폰으로 출력한다(S5400).Finally, when the guidance service is started at the remote terminal, the mobile terminal outputs the voice output from the remote terminal to the earphone (S5400).
이와 같은 도 5의 시각 장애인 안내 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 시각 장애인 안내 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.The matters not described in relation to the method of providing the blind person guidance service of FIG. 5 can be easily derived from the same or described contents of the method of providing the blind person guidance service through FIGS. 1 to 4, The description will be omitted.
도 5를 통해 설명된 일 실시예에 따른 시각 장애인 안내 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.The method for providing the visually impaired guidance service according to the embodiment described with reference to FIG. 5 may also be implemented in the form of a recording medium including instructions executable by a computer, such as an application or a program module executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.
전술한 본 발명의 일 실시예에 따른 시각 장애인 안내 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 시각 장애인 안내 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.The method for providing a blind person guidance service according to an embodiment of the present invention may be executed by an application installed in a terminal (which may include a platform installed in a terminal or a program included in an operating system or the like) (I.e., a program) installed directly on the master terminal through an application providing server such as a user, an application store server, an application, or a web server related to the service. In this regard, the method for providing a visually impaired person guidance service according to an embodiment of the present invention is basically installed in a terminal or implemented as an application installed directly by a user (i.e., a program) And recorded on a recording medium.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.
Claims (7)
시각 장애인의 안경에 위치하고, 시각 장애인이 바라보는 방향의 영역을 촬영하도록 구비되며, 실시간으로 데이터를 무선으로 전송하는 카메라;
상기 카메라의 실시간 데이터를 수신하여 실시간으로 촬영된 프레임 내에 존재하는 장애물을 식별하고, 식별된 장애물에 대한 정보를 음성으로 변환하여 출력하고, 입력된 목표 지점에 대한 경로를 제공하되, 경로에 포함된 장애물은 실시간으로 음성으로 변환하여 출력하는 모바일 단말;
상기 음성으로 출력된 데이터를 시각 장애인의 귀에 장착되어 귓속으로 직접 출력하고, 상기 시각 장애인의 음성을 수집하여 상기 모바일 단말로 전달하는 이어폰;
적어도 하나의 장애물 감지 센서 및 방향 센서가 구비되고, 상기 적어도 하나의 장애물 감지 센서에 의해 감지된 장애물이 존재하는 경우, 진동으로 해당 방향의 장애물이 존재한다는 것을 출력하는 보행 스틱;
을 포함하는, 시각 장애인 안내 서비스 제공 시스템.
A blind person guidance service providing system comprising:
A camera which is located in the glasses of a visually impaired person and is provided to photograph an area in a direction in which the visually impaired person views the data and wirelessly transmits data in real time;
Receiving real-time data of the camera to identify obstacles existing in a frame photographed in real time, converting information about the identified obstacles into speech and outputting them, providing a path to the input target point, A mobile terminal for converting an obstacle into a voice in real time and outputting the voice;
An earphone attached to the ear of the visually impaired person and directly outputting the data output by the voice to the ear, collecting the voice of the visually impaired person and delivering the voice to the mobile terminal;
A walking stick having at least one obstacle detecting sensor and a direction sensor and outputting a signal indicating that an obstacle in the corresponding direction exists due to the vibration when the obstacle detected by the at least one obstacle detecting sensor exists;
And a service providing system for providing services to the visually impaired.
상기 시각 장애인 안내 서비스 제공 시스템은,
상기 시각 장애인 안내 서비스를 제공하는 시각 장애인 안내 서비스 제공 서버;
상기 시각 장애인 안내 서비스 제공 서버를 경유하여 데이터를 송수신하는 적어도 하나의 원격 단말;
을 더 포함하는 것인, 시각 장애인 안내 서비스 제공 시스템.
The method according to claim 1,
Wherein the visually impaired guide service providing system comprises:
A blind person guidance service providing server providing the blind person guidance service;
At least one remote terminal for transmitting and receiving data via the blind person guidance service providing server;
Wherein the system further comprises:
상기 적어도 하나의 원격 단말은 적어도 하나의 디스플레이를 포함하고,
상기 디스플레이의 화면은,
상기 카메라의 화면이 출력되어 상기 카메라의 화면을 공유하는 제 1 영역;
상기 이어폰을 통하여 입력된 목표 지점 또는 질문에 대한 검색을 실시하는 검색창이 존재하는 제 2 영역;
상기 모바일 단말의 GPS를 통하여 수신된 시각 장애인의 현재 위치를 출력하거나, 상기 목표 지점까지의 경로를 출력하는 지도가 존재하는 제 3 영역
을 포함하고,
상기 제 1 영역 내지 제 3 영역은 고정 레이아웃으로 상기 디스플레이의 화면을 이루는 것인, 시각 장애인 안내 서비스 제공 시스템.
3. The method of claim 2,
Wherein the at least one remote terminal comprises at least one display,
The screen of the display includes:
A first area for outputting a screen of the camera and sharing a screen of the camera;
A second area in which a search window for searching for a target point or a question inputted through the earphone is present;
A third region in which a map for outputting a current position of a blind person received via GPS of the mobile terminal or outputting a path to the target point exists,
/ RTI >
Wherein the first area to the third area form a screen of the display in a fixed layout.
상기 모바일 단말은, 상기 카메라를 통하여 실시간 촬영 데이터를 수신하고,
상기 실시간 촬영 데이터에 포함된 적어도 하나의 객체 중 위치를 표시하는 표지판, 상기 목표 지점을 나타내는 표지판, 및 목표 지점으로 가는 경로에 포함된 적어도 하나의 이동 지점을 나타내는 표지판이 존재하는 경우, 상기 표지판을 음성으로 변환하여 상기 이어폰으로 출력하는 것인, 시각 장애인 안내 서비스 제공 시스템.
The method according to claim 1,
The mobile terminal receives real-time photographic data through the camera,
When there is a sign indicating a location of at least one object included in the real time photographing data, a sign indicating the target location, and a sign indicating at least one moving location included in a route to the target location, And outputs the converted voice to the earphone.
상기 보행 스틱은, 상기 보행 스틱이 스윙될 때, 상기 보행 스틱의 대향되는 방향에 장애물이 감지된 경우, 상기 장애물이 감지된 지점에서 진동을 출력하는 것인, 시각 장애인 안내 서비스 제공 시스템.
The method according to claim 1,
Wherein the walking stick outputs a vibration at a point where the obstacle is sensed when an obstacle is sensed in an opposite direction of the walking stick when the walking stick is swung.
상기 모바일 단말로부터 상기 적어도 하나의 원격 단말에 대한 호(Call)가 발신된 경우, 상기 호를 수신한 원격 단말은 상기 모바일 단말, 카메라 및 이어폰과 연동되고, 상기 카메라에서 촬영한 실시간 영상을 공유하고, 상기 이어폰을 통하여 음성 통화를 시작하는 것인, 시각 장애인 안내 서비스 제공 시스템.
3. The method of claim 2,
When a call to the at least one remote terminal is transmitted from the mobile terminal, the remote terminal receiving the call interlocks with the mobile terminal, the camera and the earphone, and shares the real-time image captured by the camera , And starts a voice call through the earphone.
상기 모바일 단말과 무선 또는 유선으로 연동된 카메라, 이어폰 및 보행 스틱으로부터 실시간으로 정보를 수집 및 분석하는 단계;
상기 모바일 단말에서 시각 장애인 안내 서비스를 제공하는 시각 장애인 안내 서비스 제공 서버를 경유하여 원격 단말로의 호(Call) 발신을 실시하는 단계;
상기 원격 단말과 상기 모바일 단말의 통화 채널이 생성된 경우, 상기 시각 장애인 안내 서비스 제공 서버를 경유하여 상기 모바일 단말에서 실시간으로 수집된 정보를 상기 원격 단말로 전송하는 단계;
상기 원격 단말에서 안내 서비스가 시작되는 경우, 상기 원격 단말에서 출력되는 음성을 상기 이어폰으로 출력하는 단계;
를 포함하는, 시각 장애인 안내 서비스 제공 방법.A method of providing a blind person guidance service to be executed in a mobile terminal of a blind person,
Collecting and analyzing information in real time from a camera, an earphone, and a walking stick that are wirelessly or wiredly connected to the mobile terminal;
Performing a call transmission to a remote terminal via a blind person guidance service providing server that provides a blind person guidance service at the mobile terminal;
Transmitting the information collected in real time from the mobile terminal to the remote terminal via the blind person guidance service providing server when a communication channel between the remote terminal and the mobile terminal is generated;
Outputting a voice output from the remote terminal to the earphone when the guidance service is started at the remote terminal;
The method comprising the steps of:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160184514A KR20180079116A (en) | 2016-12-30 | 2016-12-30 | System and method for providing information service for people with visually impairment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160184514A KR20180079116A (en) | 2016-12-30 | 2016-12-30 | System and method for providing information service for people with visually impairment |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20180079116A true KR20180079116A (en) | 2018-07-10 |
Family
ID=62915527
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160184514A KR20180079116A (en) | 2016-12-30 | 2016-12-30 | System and method for providing information service for people with visually impairment |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20180079116A (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109931946A (en) * | 2019-04-10 | 2019-06-25 | 福州大学 | Blind visual range-finding navigation method based on Android intelligent |
CN110448437A (en) * | 2019-09-09 | 2019-11-15 | 兰州交通大学 | A kind of blind-guiding stick of controllable crossing safety island lifting column |
KR102113560B1 (en) * | 2018-12-27 | 2020-05-21 | 한국기술교육대학교 산학협력단 | Alarm unit for the blind |
CN112451324A (en) * | 2019-08-19 | 2021-03-09 | 北京超维度计算科技有限公司 | Auxiliary system for visually impaired people |
KR102225456B1 (en) * | 2019-09-03 | 2021-03-09 | 삼육대학교산학협력단 | Road mate system, and road mate service providing method |
CN112870033A (en) * | 2021-01-20 | 2021-06-01 | 江西理工大学南昌校区 | Intelligent blind guiding helmet system for unstructured road and navigation method |
KR20210124803A (en) * | 2020-04-07 | 2021-10-15 | 주식회사 어뮤즈 | Map information collection and analysis device for the disabled |
KR102382978B1 (en) * | 2020-11-27 | 2022-04-05 | 주식회사 피씨티 | Method to Assist Low Vision Person |
KR102407126B1 (en) * | 2021-09-13 | 2022-06-08 | 김규석 | Smart glasses system for the visually and hearing impaired with shape and color recognition cameras |
KR102559789B1 (en) * | 2023-01-30 | 2023-07-28 | 문경진 | System for providing visual impairment support service using realtime streaming |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20080076270A (en) * | 2007-02-15 | 2008-08-20 | 골든키정보통신 주식회사 | System for guiding road a blind person |
KR20110020566A (en) * | 2009-08-24 | 2011-03-03 | 성균관대학교산학협력단 | Crosswalk guiding system for a blindperson |
KR20110082225A (en) * | 2010-01-11 | 2011-07-19 | 한국표준과학연구원 | System for announce blind persons and method for announce using the same |
KR20140012283A (en) * | 2012-07-19 | 2014-02-03 | 동서대학교산학협력단 | Walking stick for blind person |
KR20150144510A (en) * | 2014-06-17 | 2015-12-28 | 김태형 | Glasses system for visually handicapped person |
-
2016
- 2016-12-30 KR KR1020160184514A patent/KR20180079116A/en active Search and Examination
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20080076270A (en) * | 2007-02-15 | 2008-08-20 | 골든키정보통신 주식회사 | System for guiding road a blind person |
KR20110020566A (en) * | 2009-08-24 | 2011-03-03 | 성균관대학교산학협력단 | Crosswalk guiding system for a blindperson |
KR20110082225A (en) * | 2010-01-11 | 2011-07-19 | 한국표준과학연구원 | System for announce blind persons and method for announce using the same |
KR20140012283A (en) * | 2012-07-19 | 2014-02-03 | 동서대학교산학협력단 | Walking stick for blind person |
KR20150144510A (en) * | 2014-06-17 | 2015-12-28 | 김태형 | Glasses system for visually handicapped person |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102113560B1 (en) * | 2018-12-27 | 2020-05-21 | 한국기술교육대학교 산학협력단 | Alarm unit for the blind |
CN109931946A (en) * | 2019-04-10 | 2019-06-25 | 福州大学 | Blind visual range-finding navigation method based on Android intelligent |
CN112451324A (en) * | 2019-08-19 | 2021-03-09 | 北京超维度计算科技有限公司 | Auxiliary system for visually impaired people |
KR102225456B1 (en) * | 2019-09-03 | 2021-03-09 | 삼육대학교산학협력단 | Road mate system, and road mate service providing method |
CN110448437A (en) * | 2019-09-09 | 2019-11-15 | 兰州交通大学 | A kind of blind-guiding stick of controllable crossing safety island lifting column |
CN110448437B (en) * | 2019-09-09 | 2024-03-12 | 兰州交通大学 | Blind guiding stick capable of controlling lifting column of crosswalk safety island |
KR20210124803A (en) * | 2020-04-07 | 2021-10-15 | 주식회사 어뮤즈 | Map information collection and analysis device for the disabled |
KR102382978B1 (en) * | 2020-11-27 | 2022-04-05 | 주식회사 피씨티 | Method to Assist Low Vision Person |
CN112870033A (en) * | 2021-01-20 | 2021-06-01 | 江西理工大学南昌校区 | Intelligent blind guiding helmet system for unstructured road and navigation method |
KR102407126B1 (en) * | 2021-09-13 | 2022-06-08 | 김규석 | Smart glasses system for the visually and hearing impaired with shape and color recognition cameras |
KR102559789B1 (en) * | 2023-01-30 | 2023-07-28 | 문경진 | System for providing visual impairment support service using realtime streaming |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20180079116A (en) | System and method for providing information service for people with visually impairment | |
US20220270512A1 (en) | Augmented Reality Panorama Systems and Methods | |
Ivanov | Indoor navigation system for visually impaired | |
Angin et al. | A mobile-cloud collaborative traffic lights detector for blind navigation | |
KR101929875B1 (en) | Method for providing voice guidance service for vision impairment using stream live broadcast in real time | |
US9980111B2 (en) | Mobile terminal device, call-to-action system, call-to-action method, call-to-action program, and safety verification system | |
CN104219628B (en) | A kind of blind person's information service method and system based on augmented reality and smart mobile phone | |
US20090109058A1 (en) | Traffic information providing method and device and traffic information receiving method and device | |
JP5757576B2 (en) | Imaging system and method for automatically imaging subject moving with portable terminal | |
Baranski et al. | Field trials of a teleassistance system for the visually impaired | |
CN112149659B (en) | Positioning method and device, electronic equipment and storage medium | |
Kutiyanawala et al. | Teleassistance in accessible shopping for the blind | |
CN111611812B (en) | Translation to Braille | |
KR102225456B1 (en) | Road mate system, and road mate service providing method | |
JP2023182745A (en) | Road guidance system and portable information terminal used for the same | |
KR101422217B1 (en) | Method for providing number cognition service of vehicle | |
KR101954800B1 (en) | Positioninng service system, method and providing service apparatus for location information, mobile in the system thereof | |
KR101260879B1 (en) | Method for Search for Person using Moving Robot | |
Varpe et al. | Visually impaired assistive system | |
Choraś et al. | Innovative solutions for inclusion of totally blind people | |
CN112945237A (en) | Hospital navigation system, diagnosis guide system, terminal and navigation system | |
KR20210157470A (en) | Posture detection and video processing methods, devices, electronic devices and storage media | |
Baranski et al. | Emphatic trials of a teleassistance system for the visually impaired | |
KR20210080140A (en) | Indoor navigation method and system thereof | |
KR20200081026A (en) | Server, device and method for providing augmented reality service |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E90F | Notification of reason for final refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
J201 | Request for trial against refusal decision | ||
J301 | Trial decision |
Free format text: TRIAL NUMBER: 2019101001970; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20190612 Effective date: 20200309 |