KR20160066354A - Wearabl teminal for visually handicapped person - Google Patents

Wearabl teminal for visually handicapped person Download PDF

Info

Publication number
KR20160066354A
KR20160066354A KR1020140170624A KR20140170624A KR20160066354A KR 20160066354 A KR20160066354 A KR 20160066354A KR 1020140170624 A KR1020140170624 A KR 1020140170624A KR 20140170624 A KR20140170624 A KR 20140170624A KR 20160066354 A KR20160066354 A KR 20160066354A
Authority
KR
South Korea
Prior art keywords
information
module
vibration
wearable terminal
guide
Prior art date
Application number
KR1020140170624A
Other languages
Korean (ko)
Other versions
KR101639233B1 (en
Inventor
오경제
양현무
정동윤
Original Assignee
오경제
양현무
정동윤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오경제, 양현무, 정동윤 filed Critical 오경제
Priority to KR1020140170624A priority Critical patent/KR101639233B1/en
Publication of KR20160066354A publication Critical patent/KR20160066354A/en
Application granted granted Critical
Publication of KR101639233B1 publication Critical patent/KR101639233B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3423Multimodal routing, i.e. combining two or more modes of transportation, where the modes can be any of, e.g. driving, walking, cycling, public transport
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/3608Destination input or retrieval using speech input, e.g. using speech recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3629Guidance using speech or audio output, e.g. text-to-speech
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3652Guidance using non-audiovisual output, e.g. tactile, haptic or electric stimuli

Abstract

The present invention relates to a wearable terminal for visually-handicapped users, comprising a rim, a bridge, an end piece, and legs. Provided is the wearable terminal for visually-handicapped users, comprising: a memory storing destination information and a navigation program; a vibration module installed in one of the two legs; a location information module generating current location information; and a control unit driving a navigation system, obtaining route information in accordance with the destination information, and controlling the vibration module to allow the same to offer guiding vibration to a user based on the route information and the location information. The present invention provides the wearable terminal for visually-handicapped users with a navigation feature required for visually-handicapped people who cannot read a map or see a displaying device.

Description

시각 장애인용 웨어러블 단말기{WEARABL TEMINAL FOR VISUALLY HANDICAPPED PERSON} [0001] WEARABLE TEMPERATURE FOR VISUALLY HANDICAPPED PERSON [0002]

본 발명은, 시각 장애인용 웨어러블 단말기에 관한 것이다.
The present invention relates to a wearable terminal for a visually impaired person.

보행자 네비게이션 시스템 (Pedestrian Navigation System)이란, 경로 찾기를 비롯하여 다양한 위치 기반 서비스(Location Based Service; LBS)를 보행자에게 제공하기 위해 다양한 위치 측정 기술을 이용하여 착용자의 정확한 위치 정보를 디지털 지도 상에 제공하는 시스템을 말한다.The pedestrian navigation system is a system that provides precise location information of a wearer on a digital map by using various position measurement techniques to provide a pedestrian with various location based services (LBS) System.

시각 장애인이나 고령자는 지도나 네비게이션을 시각적으로 확이한느 것이 불가능하다. 이와 같이 지도를 보거나 네비게이션을 활용하는 것이 어려운 사람들이 많이 있는데, 기존의 네비게이션이 차량 위주의 제품들이고, 걸어서 이동하는 경우 사용이 불편하며, 네비게이션 화면을 보면서 음성으로 지시를 받는 방법은 고령자 및 시각 장애인들에게 적용하기엔 용이하지 않다.It is impossible for the visually impaired or the elderly to visualize the map or navigation. There are many people who can not view the map or use the navigation system. However, the conventional navigation system is a vehicle-oriented product, and it is inconvenient to use when moving on foot. The method of receiving a voice instruction while viewing the navigation screen is a method It is not easy to apply to.

이에 화면을 볼 필요없이 길 안내를 받는 방법이 있다면 시각 장애인등의 취약층의 착용자들에게 매우 유용할 것이다.
If there is a way to get directions without seeing the screen, it will be very useful for wearers of the vulnerable such as the visually impaired.

본 발명은, 지도나 디스플레이부를 볼수 없는 시각 장애인에게 필요한 길찾기 기능을 구비한 시각 장애인용 웨어러블 단말기를 제공하기 위한 것이다.
The present invention is intended to provide a wearable terminal for a visually impaired person having a navigation function necessary for visually impaired persons who can not see a map or a display unit.

상술한 구성을 가지는 본 발명의 일실시예인, 림과, 브릿지, 앤드피스 및 다리를 포함하는 시각 장애인용 웨어러블 단말기는, 목적지 정보 및 네비게이션 프로그램를 저장하는 메모리; 양 다리에 각각 설치되는 진동 모듈; 현재 위치 정보를 생성하는 위치 정보 모듈; 및 상기 네비게이션 프로그램을 구동한 후, 상기 목적지 정보에 따라 경로 정보를 획득한 후, 이 경로 정보와 상기 위치 정보에 기초하여 가이드 진동을 부여하도록 상기 진동 모듈을 제어하는 제어부를 포함할 수 있다.A wearable terminal for a visually impaired person including a rim, a bridge, an endpiece, and a leg, which is one embodiment of the present invention having the above-described configuration, includes a memory for storing destination information and a navigation program; A vibration module installed on both legs; A location information module for generating current location information; And a control unit for controlling the vibration module to acquire route information according to the destination information after driving the navigation program, and to provide guide vibration based on the route information and the location information.

여기서, 상기 시각 장애인용 웨어러블 단말기는, 상기 다리의 귀걸림부에 설치된 음성 출력 모듈을 더 포함하고, 상기 제어부는, 상기 경로 정보와 상기 위치 정보에 기초한 가이드 음성 정보를 생성하고, 이를 상기 음성 출력 모듈을 통해 출력하도록 할 수 있다.The wearable terminal for a visually impaired person may further include an audio output module provided in a rim portion of the leg, and the control unit generates guide voice information based on the route information and the position information, As shown in FIG.

여기서, 상기 시각 장애인용 단말기는, 음성 출력 모듈을 더 포함하고, 상기 제어부는, 상기 통신부를 통해 수신되는 교통 정보와, 상기 현재 위치 정보를 이용하여 대중 교통 이용 안내 정보를 생성하여 이를 상기 음성 출력 모듈을 통해 출력하도록 할 수 있다.Here, the blind handset terminal may further include an audio output module, and the control unit may generate the public transportation usage guide information using the traffic information received through the communication unit and the current location information, And output it through the module.

여기서, 상기 대중 교통 이용 안내 정보는, 대기 시간 정보, 승차 안내 정보, 하차 안내 정보, 환승 안내 정보 중 적어도 하나를 포함할 수 있다.Here, the public transportation usage guide information may include at least one of waiting time information, riding guidance information, getting off guidance information, and transfer guide information.

여기서, 상기 제어부는, 상기 교통 정보에 포함되는 대중교통 경로 정보와 상기 현재 위치 정보를 연속적으로 비교하여, 상기 대중 교통 경로 정보와 상기 현재 위치가 매칭되지 않으면, 상기 음성 출력 모듈을 통해 알람 정보를 출력하도록할 수 있다.Here, the control unit continuously compares the public transportation route information included in the traffic information with the current location information, and if the public transportation route information does not match the current location, the controller outputs alarm information through the voice output module Can be output.

상기 시각 장애인용 웨어러블 단말기는, 상기 웨어러블 단말기의 앤드피스 양쪽에 설치되는 물체 감지 센서를 더 포함하고, 상기 제어부는, 상기 물체 감지 센서를 통해 획득되는 물체 감지 신호에 기초하여 물체와 착용자간의 거리 정보 및 방향 정보를 포함하는 물체 이동 신호를 생성하고, 상기 물체 이동 신호에 기초하여 상기 진동 모듈을 통해 출력하도록 제어할 수 있다.The wearable terminal for a visually impaired person may further include an object detection sensor installed on both ends of the wearable terminal, and the control unit may detect a distance between the object and the wearer based on the object detection signal obtained through the object detection sensor And direction information, and to output the object movement signal through the vibration module based on the object movement signal.

여기서, 상기 물체 이동 신호는 물체 이동 속도 정보를 포함할 수 있다.Here, the object moving signal may include object moving speed information.

여기서, 상기 제어부는, 상기 물체 속도 정보에 기초하여 경고 정보를 상기 음성 출력 모듈을 통해 출력하도록 제어할 수 있다.Here, the control unit may control to output warning information through the sound output module based on the object speed information.

여기서, 상기 시각 장애인용 웨어러블 단말기는, 상기 목적지 정보를 입력하기 위한 마이크를 더 포함하고, 상기 제어부는, 상기 마이크를 통해 입력되는 음성신호를 분석하여 상기 목적지 정보를 생성할 수 있다.Here, the wearable terminal for the visually impaired may further include a microphone for inputting the destination information, and the controller may generate the destination information by analyzing a voice signal inputted through the microphone.

여기서, 상기 진동 모듈은 제 1 내지 제 3 서브 진동 모듈을 포함하고, 상기 제 1 내지 제 3 서브 진동 모듈은, 상기 다리의 귀걸림부에 90도의 간격으로 이격 설치되어서, 착용자에게 이동 방향을 안내하도록 할 수 있다.
Here, the vibration module includes first to third sub-vibration modules, and the first to third sub-vibration modules are spaced apart from each other by an interval of 90 degrees to guide the movement direction of the wearer can do.

상술한 구성을 가지는 본 발명의 일실시예 따르면, 시각 장애인이 자신이 원하는 장소까지 도보로 이동하는 경우, 이들을 안전하게 가이드해 줄 수 있게 된다.According to one embodiment of the present invention having the above-described configuration, when a visually impaired person moves on foot to a desired location, the user can safely guide them.

또한, 본 발명의 일실시예에 따르면, 시각 장애인이 편리하게 대중 교통 수단을 이용할 수 있게 된다.
Further, according to the embodiment of the present invention, the visually impaired person can conveniently use the public transportation means.

도 1은, 본 발명의 일실시예인 시각 장애인용 웨어러블 단말기의 사시도.
도 2는, 본 발명의 일실시예인 시각 장애인용 웨어러블 단말기의 시각 장애인용 웨어러블 단말기의 블록 구성도.
도 3은, 본 발명의 일실시예인 시각 장애인용 웨어러블 단말기의 진동 모듈을 설명하기 위한 도면
도 4는, 본 발명의 일실시예인 시각 장애인용 웨어러블 단말기의 동작을 설명하기 위한 흐름도.
1 is a perspective view of a wearable terminal for a visually impaired person, which is an embodiment of the present invention.
2 is a block diagram of a wearable terminal for a visually impaired person of a wearable terminal for the visually impaired, which is an embodiment of the present invention.
3 is a view for explaining a vibration module of a wearable terminal for the visually impaired, which is an embodiment of the present invention;
FIG. 4 is a flowchart illustrating an operation of a wearable terminal for the visually impaired, which is an embodiment of the present invention. FIG.

이하, 본 발명의 바람직한 실시 예들을 첨부된 도면을 참고하여 더욱 상세히 설명한다. 본 발명의 실시 예들은 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 설명하는 실시 예들에 한정되는 것으로 해석되어서는 안 된다. 본 실시 예들은 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 상세하게 설명하기 위해서 제공되는 것이다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The embodiments of the present invention can be modified in various forms, and the scope of the present invention should not be construed as being limited to the embodiments described below. The embodiments are provided to explain the present invention to a person having ordinary skill in the art to which the present invention belongs.

도 1은, 본 발명의 일실시예인 시각 장애인용 웨어러블 단말기의 사시도이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예인 시각 장애인용 웨어러블 단말기(100)는 전체적으로 안경형상을 가지며, 림(10)과, 브릿지(20), 다리(30), 앤드피스(40), 목걸이(50) 및 케이싱(60)으로 구성될 수 있다. 1 is a perspective view of a wearable terminal for the visually impaired, which is an embodiment of the present invention. 1, the wearable terminal 100 for a visually impaired person has an eyeglass shape and includes a rim 10, a bridge 20, a leg 30, an end piece 40, A necklace 50, and a casing 60, as shown in Fig.

림(10)은 전체적으로 원형 또는 타원형, 또는 다각형의 형상을 가지며, 안경으로 따지면 렌즈가 부착되는 부분이다. 본 발명에서는, 시각 장애인용임을 고려하여 선팅 글라스가 상기 림(10)에 설치될 수 있다. The rim 10 has a circular, elliptical, or polygonal shape as a whole, and is a portion to which a lens is attached by glasses. In the present invention, a sunning glass can be installed on the rim 10 in consideration of being for the visually impaired.

브릿지(20)는 림(10)과 림(10)을 연결하고, 상기 시각 장애인용 웨어러블 단말기(100)를 착용자가 착용하였을 경우, 착용자의 코에 지지되는 구조를 갖게 된다. 본 발명에서는 상기 브릿지(20)에 물체 감지 센서(160)가 부착될 수 있다.The bridge 20 connects the rim 10 and the rim 10 and has a structure that is supported by the wearer's nose when the wearer wears the wearable terminal 100 for the visually impaired. In the present invention, the object sensing sensor 160 may be attached to the bridge 20.

다리(30)는, 앤드피스(40)를 통해 상기 림(10)의 일단과 연결되며, 착용자의 귀에 걸 수 있는 귀걸이부(31)를 포함할 수 있다. 상기 앤드피스(40)에는 물체 감지 센서(160)가 부착될 수 있으며, 양쪽으로 2개의 물체 감지 센서(160)를 통해 외부 물체의 위치 및 방향 뿐 아니라 이동 속도에 대한 정보를 얻을 수 있게 된다.The leg 30 may include an ear piece 31 connected to one end of the rim 10 through the end piece 40 and hung on the ear of the wearer. The object detection sensor 160 can be attached to the end piece 40 and information about the moving speed as well as the position and direction of the external object can be obtained through the two object detection sensors 160 on both sides.

또한, 귀걸이부(31)에는 복수개의 진동 모듈(120)이 이격 설치된다. 이에 따라, 진동 모듈(120)의 동작을 통해 착용자가 이동하여야 할 방향에 대한 안내가 가능하게 된다.In addition, a plurality of vibration modules 120 are spaced apart from each other in the earring portion 31. Accordingly, it is possible to guide the direction in which the wearer must move through the operation of the vibration module 120.

목걸이(50)는, 상기 다리(30)에 연결되어서 착용자의 목에 걸 수 있도록 구성될 수 있다. 이 목걸이(50)를 통해 시각 장애인용 웨어러블 단말기(100)가 떨어지는 것을 방지할 뿐 아니라, 시각 장애인용 웨어러블 단말기(100)를 착용하지 않은 경우, 보다 편리하게 걸고 다닐 수 도 있게 된다. The necklace 50 may be connected to the legs 30 so as to be hooked on the wearer's neck. The wearable terminal 100 for a visually impaired person can be prevented from falling through the necklace 50 and the wearable terminal 100 for the visually impaired can be conveniently walked on when the wearable terminal 100 is not worn.

목걸이(50)이 걸려 있는 케이싱(60)에는 배터리 및 기판이 내장된다. 기판에는 본 발명에 따른 위치 정보 모듈(130), 통신부(150), 제어부(180)가 실장된다. 이들의 기능 및 동작에 대해서는 도 2에서 보다 상세하게 설명하도록 한다.
The casing 60 in which the necklace 50 is caught includes a battery and a board. The position information module 130, the communication unit 150, and the control unit 180 according to the present invention are mounted on the substrate. These functions and operations will be described in more detail in Fig.

도 2는, 본 발명의 일실시예인 시각 장애인용 웨어러블 단말기(100)의 시각 장애인용 웨어러블 단말기(100)의 블록 구성도이다. 도시된 바와 같이, 본 발명의 일실시예인 시각 장애인용 웨어러블 단말기(100)는, 메모리(110), 진동 모듈(120), 위치 정보 모듈(130), 음성 출력 모듈(140), 통신부(150), 물체 감지 센서(160), 마이크(170) 및 제어부(180)를 포함하여 구성될 수 있다.FIG. 2 is a block diagram of a wearable terminal 100 for a visually impaired person in a wearable terminal 100 for the visually impaired, which is an embodiment of the present invention. The wearable terminal 100 for a visually impaired person according to an embodiment of the present invention includes a memory 110, a vibration module 120, a position information module 130, a voice output module 140, a communication unit 150, An object detection sensor 160, a microphone 170, and a control unit 180. [0035]

메모리(110)는 네비게이션 프로그램을 저장하기 위한 구성요소이다. 메모리는 제어부(180)에서의 동작을 실행하기 위한 프로그램을 저장할 뿐 아니라, 본 발명에서는 네비게이션 프로그램을 저장하며, 또한 마이크(170)를 통해 입력되는 목적지 정보를 저장하는 기능을 한다. 이러한 메모리(110)로는, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크(170)로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory)등이 이용될 수 있다.The memory 110 is a component for storing a navigation program. The memory not only stores the program for executing the operation in the controller 180 but also stores the navigation program and also stores the destination information inputted through the microphone 170 in the present invention. The memory 110 may be a flash memory type, a hard disk type, a multimedia card micro type 170, a card type memory (for example, SD or XD memory, etc.), a random access memory (RAM), a static random access memory (SRAM), a read-only memory (ROM), an electrically erasable programmable read-only memory (EEPROM), a programmable read- ) May be used.

진동 모듈(120)은 귀걸이부(31)에 설치되어서, 착용자에게 이동 방향을 촉감으로서 전달하는 기능을 한다. 여기서 진동 모듈(120)은 자가 느낄 수 있는 다양한 촉각 효과를 발생시키며, 후술하는 경고 정보에 대해서는 일반 이동 지시와는 상이한 촉감을 전달하게 된다. 이러한 진동 모듈(120)을 대신하여 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 부여할 수도 있다. 이러한 진동 모듈(120)의 배치 및 동작에 대해서는 도 3 및 도 4에서 보다 상세하게 설명하도록 한다.The vibration module 120 is installed on the earring portion 31 and functions to transmit the movement direction to the wearer as a tactile sense. Here, the vibration module 120 generates various tactile effects that can be sensed by the user, and transmits a tactile sensation different from the general movement instruction to the warning information described later. In place of the vibration module 120, a pin arrangement vertically moving with respect to the contact skin surface, a spraying force or suction force of the air through the injection port or the suction port, a touch on the skin surface, contact of an electrode, And various tactile effects such as an effect of reproducing a cold sensation using a heat absorbing or heatable element can be given. The arrangement and operation of the vibration module 120 will be described in more detail with reference to FIGS. 3 and 4. FIG.

위치 정보 모듈(130)은 현재의 위치 정보를 생성하기 위하여 케이싱(60) 내의 기판에 부착되는 구성요소이다. 이러한 위치 정보 모듈(130)로는 대표적으로 GPS 모듈이 이용될 수 있따.The position information module 130 is a component attached to the substrate in the casing 60 to generate current position information. As the location information module 130, a GPS module may be used.

음성 출력 모듈(140)은 착용자에게 청각으로 이동 방향에 대한 지시 정보를 출력하기 위한 구성요소이다. 음성 출력 모듈(140)을 통해 이동 방향에 대한 정보가 출력되면, 사용자는 이에 따라 이동 방향에 대한 가이드를 받을 수 있게 된다. 이러한 음성 출려 모듈은 다리(30)의 일측에 설치되어서, 착용자의 귀 근처에 설치될 수도 있고, 케이싱(60)으로부터 연결되는 이어폰 형태로 구현될 수도 있다.The voice output module 140 is a component for outputting instruction information for the direction of movement to the wearer by auditory sense. When the information on the moving direction is output through the audio output module 140, the user can receive the guide on the moving direction accordingly. The voice output module may be installed on one side of the legs 30, near the wearer's ear, or may be implemented as an earphone connected from the casing 60.

통신부(150)는 네트워크를 통해 서버와 무선통신을 하게 하는 구성요소이다. 이러한 통신부(150)로는 이동 통신 모듈, 인터넷 모듈, 근거리 통신 모듈등이 있다. 본 발명에서의 통신부(150)는, 외부 교통 서버로투버 교통 정보를 수신하는 기능을 한다. 여기서 교통 정보란 대중 교통 정보 시스템에서의 대중 교통 정보로서, 예컨대, 버스 정보, 지하철 정보등을 의미한다.The communication unit 150 is a component that enables wireless communication with a server via a network. The communication unit 150 includes a mobile communication module, an Internet module, and a short-range communication module. The communication unit 150 in the present invention functions to receive the traffic information from the external traffic server. Here, the traffic information is public transportation information in the public transportation information system, for example, bus information, subway information, and the like.

물체 감지 센서(160)는 외부의 물체를 감지하기 위한 구성요소로서, 도 1 에서는 양측의 앤드피스(40) 또는 브릿지(20)에 설치될 수도 있다. 본 발명에서 물체 감지 센서(160)는 착용자의 전방 또는 측방에 위치하고 이동하는 물체를 감지하여 물체 감지 신호를 생성하게 되고, 제어부(180)는, 상기 물체 감지 센서(160)를 통해 획득되는 물체 감지 신호에 기초하여 물체와 착용자간의 거리 정보 및 방향 정보를 포함하는 물체 이동 신호를 생성하게 된다. 이 때, 물체 이동 신호는 물치 이동 속도 정보를 포함하게 되며, 이러한 물체 이동 신호에 기초하여 제어부(180)는, 음성 출력 모듈(140) 및 진동 모듈(120)을 통해 경고 정보를 출력하게 된다. The object detecting sensor 160 is a component for detecting an external object, and may be installed in the end piece 40 or the bridge 20 on both sides in FIG. In the present invention, the object detection sensor 160 detects an object moving on the front or side of the wearer and generates an object detection signal. The controller 180 controls the object detection sensor 160 to detect an object And generates an object moving signal including distance information and direction information between the object and the wearer based on the signal. At this time, the object moving signal includes the moving speed information, and the controller 180 outputs the warning information through the sound output module 140 and the vibration module 120 based on the object moving signal.

이러한 물체 감지 센서(160)로서 초음파 센서, 적외선 센서, 레이저 센서 등이 이용될 수 있다.As such an object detection sensor 160, an ultrasonic sensor, an infrared sensor, a laser sensor, or the like can be used.

즉, 착용자의 주변에서 빠르게 움직이는 큰 물체(예컨대 오토바이, 자전거 또는 차량등)가 감지되면, 제어부(180)는, 진동 모듈(120) 및 음성 출력 모듈(140)을 통해 이를 착용자에게 알려 안전 사고를 미연에 방지하거나, 사고에 미리 대비할 수 있도록 한다.That is, when a large object (for example, a motorcycle, a bicycle, a vehicle, or the like) moving fast in the vicinity of the wearer is sensed, the control unit 180 notifies the wearer thereof through the vibration module 120 and the sound output module 140, Prevent in advance, or prepare for an accident in advance.

마이크(170)는 착용자의 음성을 수신하는 기능을 한다. 본 발명에서는 네비게이션기능을 수행하기 위한 목적지 입력 기능을 한다. 즉, 제어부(180)는, 마이크(170)를 통해 입력되는 음성신호를 분석하여 상기 목적지 정보를 생성하고, 이 목적지 정보는 메모리(110)에 저장된다.The microphone 170 functions to receive the voice of the wearer. In the present invention, a destination input function for performing a navigation function is provided. That is, the control unit 180 generates the destination information by analyzing the voice signal input through the microphone 170, and the destination information is stored in the memory 110.

제어부(180)는, 메모리(110)에 저장된 네비게이션 프로그램을 구동한 후, 마이크(170)를 통해 생성된 목적지 정보에 따라 경로 정보를 획득한 후, 이 경로 정보와 상기 위치 정보에 기초하여 가이드 진동을 부여하도록 상기 진동 모듈(120)을 제어하는 기능을 한다. 또한, 상기 경로 정보와 상기 위치 정보에 기초한 가이드 음성 정보를 생성하고, 이를 상기 음성 출력 모듈(140)을 통해 출력하도록 하는 기능을 한다. 더욱이, 착용자의 교통 편의성을 높이기 위하여, 상기 통신부(150)를 통해 수신되는 교통 정보와, 상기 현재 위치 정보를 이용하여 대중 교통 이용 안내 정보를 생성하여 이를 상기 음성 출력 모듈(140)을 통해 출력하도록 하는 기능을 하며, 여기서, 대중 교통 이용 안내 정보는 대기 시간 정보, 승차 안내 정보, 하차 안내 정보, 환승 안내 정보 중 적어도 하나를 포함할 수 있다.The control unit 180 drives the navigation program stored in the memory 110 and then acquires the route information according to the destination information generated through the microphone 170. Then, based on the route information and the position information, And the vibration module 120 is controlled so as to give a vibration signal. Also, it generates guide voice information based on the route information and the location information, and outputs the guide voice information through the voice output module 140. Further, in order to improve the convenience of transportation of the wearer, public transportation use guide information is generated using the traffic information received through the communication unit 150 and the current position information, and outputted through the voice output module 140 Here, the public transportation use guide information may include at least one of waiting time information, boarding guide information, getting off guide information, and transfer guide information.

또한, 제어부(180)는, 상기 교통 정보에 포함되는 대중교통 경로 정보와 상기 현재 위치 정보를 연속적으로 비교하여, 상기 대중 교통 경로 정보와 상기 현재 위치가 매칭되지 않으면, 상기 음성 출력 모듈(140)을 통해 알람 정보를 출력하도록 할 수 있다. The control unit 180 continuously compares the public transportation route information included in the traffic information with the current location information and if the public transportation route information does not match the current location, It is possible to output the alarm information via the alarm signal.

이하 제어부(180)의 동작에 대해서는 도 4를 통해 보다 상세하게 설명하도록 하다.Hereinafter, the operation of the control unit 180 will be described in detail with reference to FIG.

도 3은, 본 발명의 일실시예인 시각 장애인용 웨어러블 단말기의 진동 모듈을 설명하기 위한 도면이다. 도 3에 도시된 바와 같이, 시각 장애인용 웨어러블 단말기(100)의 진동 모듈(120)은 4개의 서브 진동 모듈(120-1~120-4)을 포함할 수 있으며, 각 진동 모듈(120)은 이동 방향 또는 외부 물체의 방향에 대응하는 위치에 배치되게 된다. 즉, 제 1 서브 진동 모듈(120-1)은 전방을 의미하며, 제 2 서브 진동 모듈(120-2)은 상방, 제 3 서브 진동 모듈(120-3)은 후방, 제 4 서브 진동 모듈(120-4)은 하방에 대응하게 구성된다. FIG. 3 is a view for explaining a vibration module of a wearable terminal for the visually impaired, which is an embodiment of the present invention. 3, the vibration module 120 of the wearable terminal 100 for the visually impaired may include four sub-vibration modules 120-1 to 120-4, It is arranged at a position corresponding to the moving direction or the direction of the external object. That is, the first sub-oscillation module 120-1 means forward, the second sub-oscillation module 120-2 is above, the third sub-oscillation module 120-3 is behind, and the fourth sub- 120-4 are configured to correspond to the downward direction.

또한, 이와 같은 진동 모듈(120)이 양쪽의 다리(30)부에 각각 설치되므로, 좌우 분리 진동이 가능하게 된다.In addition, since the vibration module 120 is installed on both legs 30, it is possible to separate left and right vibrations.

이상과 같이 구성됨으로써, 물체 감지 센서(160)로부터 획득되는 물체 감지 신호에 기초하여 물체위치가 전방인 경우, 제 1 서브 진동 모듈(120-1)이, 물체의 위치가 상방인 경우 제 2 서브 진동 모듈(120-2)이, 물체 위치가 후방인 경우, 제 3 서브 진동 모듈(120-3)이, 물체 위치가 하방인 경우, 제 4 서브 진동 모듈(120-4)이 동작하여 착용자가 어디에 외부 물체가 있는지를 인지하게 된다.When the position of the object is on the basis of the object detection signal obtained from the object detection sensor 160, the first sub-vibration module 120-1, when the position of the object is upward, In the case where the vibration module 120-2 is positioned rearward, the third sub-vibration module 120-3 operates when the object position is downward, and the fourth sub-vibration module 120-4 operates so that the wearer Where it knows if there is an external object.

또한 네비게이션 기능이 동작하는 경우, 좌우 방향 전환을 상기 진동 모듈(120)의 동작을 통해 착용자에게 알릴 수 있으며, 되돌아가야 하는 경우, 양쪽의 후방 진동 모듈, 즉 제 3 서브 진동 모듈(120-3)이 동작하여 U턴을 하도록 하게 할 수 있다.In addition, when the navigation function is operated, it is possible to notify the wearer of the change in the lateral direction through the operation of the vibration module 120, and when it is necessary to return, the rear vibration modules, i.e., the third sub- To make a U-turn.

이하에서는 상술한 구성을 가진 시각 장애인용 웨어러블 단말기(100)의 동작을 도 4의 흐름도를 통해 상세하게 설명하도록 한다.
Hereinafter, the operation of the wearable terminal 100 for a visually impaired person having the above-described configuration will be described in detail with reference to the flowchart of FIG.

도 4는, 본 발명의 일실시예인 시각 장애인용 웨어러블 단말기의 동작을 설명하기 위한 흐름도이다. 4 is a flowchart illustrating an operation of a wearable terminal for the visually impaired, which is an embodiment of the present invention.

도시된 바와 같이, 우선 착용자는 마이크(170)를 통해 목적지를 입력하게 된다(S11). 이와 함께 메모리(110)에 저장된 네비게이션 프로그램이 동작하게 되어서 위치 정보모듈로부터 현재 위치 정보를 획득하게 된다(S13). 그 다음, 목적지 정보에 따른 경로정보에 기초하여 방향 전환이 필요한지를 확인한다(S15). 방향전환이 필요하다고 판단되면, 도 3에서 설명한 바와 같이 진동 모듈(120)이 동작되어서 착용자에게 방향 전환을 알림(10)과 더불어서, 음성 출력 모듈(140)을 통해 방향 전환을 가이드하게 된다(S17,S23). 만약 방향 전환이 불필요하다면, 제어부(180)는, 물체 감지 센서(160)로부터 위험요소가 되는 외부 물체가 있는지를 확인한다(S19). 이 외부 물체가 감지되고, 이 외부 물체의 거리 정보 및 방향 정보를 포함하는 물체 이동 신호에 기초하여 이것이 위험하다고 판단되면, 진동 모듈(120) 및 음성 출력 모듈(140)을 다시 동작시켜 착용자에게 위험을 알린다(S17,S19). 이 때 진동 모듈(120)의 동작은 상기 방향 전환을 위한 진동 모듈(120)의 동작과는 상이하게 동작될 수 있다. 그 다음, 통신부(150)로부터 교통정보를 수신하는지를 확인한다(S21). 상기 네비게이션 프로그램은 단순히 이동 방향만을 알리는 것이 아니라, 몇번 버스를 어디서 타고, 어디서 내려야 하는지 등의 정보를 줄 수 있다. 이 때, 착용자가 타야할 버스에 관한 정보, 버스의 위치 정보등을 통신부(150)를 통해 수신하게 된다. 이에 따라, 음성 출력 모듈(140)에서 "101번 버스를 타시오, 10분뒤 도착예정'. "101번 버스 도착, 탑승하세요". "강남역에서 내리세요" , "다음 정거장에서 내리세요". "지하철로 환승하세요"와 같은 멘트가 출력되게 된다(S23).As shown in the figure, the wearer first inputs a destination via the microphone 170 (S11). At the same time, the navigation program stored in the memory 110 operates to acquire current location information from the location information module (S13). Then, it is checked whether direction switching is necessary based on the route information according to the destination information (S15). 3, the vibration module 120 is operated to guide the wearer of the change of direction through the voice output module 140 in addition to the notification of the change of direction (10) (S17 , S23). If the direction switching is not necessary, the control unit 180 determines whether there is an external object which is a dangerous element from the object detection sensor 160 (S19). When the external object is sensed and it is determined that the external object is dangerous based on the object movement signal including the distance information and the direction information of the external object, the vibration module 120 and the voice output module 140 are operated again, (S17, S19). At this time, the operation of the vibration module 120 may be operated differently from the operation of the vibration module 120 for the direction change. Next, it is confirmed whether traffic information is received from the communication unit 150 (S21). The navigation program can not only inform the moving direction but also give information such as where and how many times the bus should be taken. At this time, the wearer receives information on the bus to be loaded, information on the position of the bus, and the like through the communication unit 150. Accordingly, the voice output module 140 reads, "Take bus 101, arrive 10 minutes later." "Arrive at bus 101, please board." "Get off at Gangnam Station", "Get off at the next stop." Quot; turn on the subway "is output (S23).

본 상세한 설명에서는 그 설명의 편의를 위하여 S15, S19, S21 순으로 진행되었으나, 그 순서는 상관없이 또는 동시에 3가지 스텝이 진행될 수 있음이 이해되어야 할 것이다.It is to be understood that although the description has been made in the order of S15, S19 and S21 for the sake of convenience of explanation, it is to be understood that the order may be carried out in three steps, regardless of the order.

상술한 구성을 가지는 본 발명의 일실시예 따르면, 시각 장애인이 자신이 원하는 장소까지 도보로 이동하는 경우, 이들을 안전하게 가이드해 줄 수 있게 된다.According to one embodiment of the present invention having the above-described configuration, when a visually impaired person moves on foot to a desired location, the user can safely guide them.

또한, 본 발명의 일실시예에 따르면, 시각 장애인이 편리하게 대중 교통 수단을 이용할 수 있게 된다.
Further, according to the embodiment of the present invention, the visually impaired person can conveniently use the public transportation means.

상기와 같이 설명된 시각 장애인용 웨어러블 단말기는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
The above-described wearable terminal for a visually impaired person can not be limitedly applied to the configuration and method of the above-described embodiments, but the embodiments can be modified so that all or some of the embodiments are selectively combined .

10 : 림
20 : 브릿지
30 : 다리
31 : 귀걸이부
40 : 앤드피스
50 : 목걸이
60 : 케이싱
110 : 메모리
120 : 진동 모듈
130 : 위치 정보 모듈
140 : 음성 출력 모듈
150 : 통신부
160 : 물체 감지 센서
170 : 마이크
180 : 제어부
10: rim
20: Bridge
30: Bridge
31: Earring section
40: And Peace
50: Necklace
60: casing
110: Memory
120: Vibration module
130: Location information module
140: Audio output module
150:
160: Object detection sensor
170: microphone
180:

Claims (10)

림과, 브릿지, 앤드피스 및 다리를 포함하는 시각 장애인용 웨어러블 단말기로서,
목적지 정보 및 네비게이션 프로그램를 저장하는 메모리;
상기 다리에 각각 설치되는 진동 모듈;
현재 위치 정보를 생성하는 위치 정보 모듈; 및
상기 네비게이션 프로그램을 구동한 후, 상기 목적지 정보에 따라 경로 정보를 획득한 후, 이 경로 정보와 상기 위치 정보에 기초하여 가이드 진동을 부여하도록 상기 진동 모듈을 제어하는 제어부를 포함하는, 시각 장애인용 웨어러블 단말기.
A wearable terminal for a visually impaired person including a rim, a bridge, an end piece and a leg,
A memory for storing destination information and a navigation program;
A vibration module installed on each of the legs;
A location information module for generating current location information; And
And a controller for controlling the vibration module to acquire route information in accordance with the destination information after driving the navigation program and then to apply a guide vibration based on the route information and the position information, terminal.
제 1 항에 있어서,
상기 다리 중 귀걸림부에 설치된 음성 출력 모듈을 더 포함하고,
상기 제어부는
상기 경로 정보와 상기 위치 정보에 기초한 가이드 음성 정보를 생성하고, 이를 상기 음성 출력 모듈을 통해 출력하도록 하는, 시각 장애인용 웨어러블 단말기.
The method according to claim 1,
Further comprising: an audio output module provided on a rim portion of the leg,
The control unit
And generates guide voice information based on the route information and the position information, and outputs the guide voice information through the voice output module.
제 2 항에 있어서,
통신부를 더 포함하고,
상기 제어부는,
상기 통신부를 통해 수신되는 교통 정보와, 상기 현재 위치 정보를 이용하여 대중 교통 이용 안내 정보를 생성하여 이를 상기 음성 출력 모듈을 통해 출력하도록 하는, 시각 장애인용 웨어러블 단말기.
3. The method of claim 2,
Further comprising a communication unit,
Wherein,
Wherein the public access guide information is generated using the traffic information received through the communication unit and the current location information, and is output through the voice output module.
제 3 항에 있어서,
상기 대중 교통 이용 안내 정보는,
대기 시간 정보, 승차 안내 정보, 하차 안내 정보, 환승 안내 정보 중 적어도 하나를 포함하는, 시각 장애인용 웨어러블 단말기.
The method of claim 3,
The public transportation usage guide information may include,
Waiting time information, riding guidance information, getting off guidance information, and transfer guidance information.
제 3 항에 있어서,
상기 제어부는,
상기 교통 정보에 포함되는 대중교통 경로 정보와 상기 현재 위치 정보를 연속적으로 비교하여, 상기 대중 교통 경로 정보와 상기 현재 위치가 매칭되지 않으면, 상기 음성 출력 모듈을 통해 알람 정보를 출력하도록 하는, 시각 장애인용 웨어러블 단말기.
The method of claim 3,
Wherein,
And outputting alarm information through the voice output module if the public transportation route information and the current location do not match by continuously comparing the public transportation route information included in the traffic information and the current location information, Wearable terminal.
제 1 항에 있어서,
상기 웨어러블 단말기의 앤드피스 양쪽에 설치되는 물체 감지 센서를 더 포함하고,
상기 제어부는,
상기 물체 감지 센서를 통해 획득되는 물체 감지 신호에 기초하여 물체와 착용자간의 거리 정보 및 방향 정보를 포함하는 물체 이동 신호를 생성하고, 상기 물체 이동 신호에 기초하여 상기 진동 모듈을 통해 출력하도록 제어하는, 시각 장애인용 웨어러블 단말기.
The method according to claim 1,
Further comprising an object detection sensor installed on both sides of the wearable terminal,
Wherein,
And an object movement signal generating unit that generates an object movement signal including distance information and direction information between the object and the wearer based on the object detection signal obtained through the object detection sensor and outputs the object movement signal through the vibration module based on the object movement signal, Wearable terminal for the visually impaired.
제 6 항에 있어서,
상기 물체 이동 신호는 물체 이동 속도 정보를 포함하는, 시각 장애인용 웨어러블 단말기.
The method according to claim 6,
Wherein the object movement signal includes object movement speed information.
제 6 항에 있어서,
음성 출력 모듈을 더 포함하고,
상기 제어부는,
상기 물체 감지 신호에 기초하여 경고 정보를 상기 음성 출력 모듈을 통해 출력하도록 제어하는, 시각 장애인용 웨어러블 단말기.
The method according to claim 6,
Further comprising a voice output module,
Wherein,
And outputs warning information based on the object detection signal through the audio output module.
제 1 항에 있어서,
상기 목적지 정보를 입력하기 위한 마이크를 더 포함하고,
상기 제어부는,
상기 마이크를 통해 입력되는 음성신호를 분석하여 상기 목적지 정보를 생성하는, 시각 장애인용 웨어러블 단말기.
The method according to claim 1,
Further comprising a microphone for inputting the destination information,
Wherein,
And the destination information is generated by analyzing a voice signal input through the microphone.
제 1 항에 있어서,
상기 진동 모듈은 제 1 내지 제 4 서브 진동 모듈을 포함하고,
상기 제 1 내지 제 4 서브 진동 모듈은, 상기 다리의 귀걸림부에 소정 간격으로 이격 설치되어서, 착용자에게 이동 방향을 안내하도록 하는, 시각 장애인용 웨어러블 단말기.
The method according to claim 1,
Wherein the vibration module includes first to fourth sub-vibration modules,
Wherein the first to fourth sub-vibration modules are spaced apart from each other at a predetermined interval in a rim portion of the leg so as to guide the wearer in a moving direction.
KR1020140170624A 2014-12-02 2014-12-02 Wearabl teminal for visually handicapped person KR101639233B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140170624A KR101639233B1 (en) 2014-12-02 2014-12-02 Wearabl teminal for visually handicapped person

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140170624A KR101639233B1 (en) 2014-12-02 2014-12-02 Wearabl teminal for visually handicapped person

Publications (2)

Publication Number Publication Date
KR20160066354A true KR20160066354A (en) 2016-06-10
KR101639233B1 KR101639233B1 (en) 2016-07-13

Family

ID=56190683

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140170624A KR101639233B1 (en) 2014-12-02 2014-12-02 Wearabl teminal for visually handicapped person

Country Status (1)

Country Link
KR (1) KR101639233B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109199807A (en) * 2018-09-29 2019-01-15 艾炜伦 A kind of wearable device for early warning and navigation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002257581A (en) * 2001-03-02 2002-09-11 Denso Corp Portable guidance device
KR100563193B1 (en) * 2004-12-02 2006-03-22 한국과학기술원 Signal transformation method and guidance system providing auditory and tactile indoor/outdoor traveling information for the blind
KR200426384Y1 (en) * 2006-06-12 2006-09-19 김종만 The object detection system for the blind man
KR20140033009A (en) * 2011-02-24 2014-03-17 아이시스 이노베이션 리미티드 An optical device for the visually impaired

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002257581A (en) * 2001-03-02 2002-09-11 Denso Corp Portable guidance device
KR100563193B1 (en) * 2004-12-02 2006-03-22 한국과학기술원 Signal transformation method and guidance system providing auditory and tactile indoor/outdoor traveling information for the blind
KR200426384Y1 (en) * 2006-06-12 2006-09-19 김종만 The object detection system for the blind man
KR20140033009A (en) * 2011-02-24 2014-03-17 아이시스 이노베이션 리미티드 An optical device for the visually impaired

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109199807A (en) * 2018-09-29 2019-01-15 艾炜伦 A kind of wearable device for early warning and navigation

Also Published As

Publication number Publication date
KR101639233B1 (en) 2016-07-13

Similar Documents

Publication Publication Date Title
JP6522527B2 (en) Wearable smart device for hazard detection and warning based on image and audio data
US20200042098A1 (en) Wearable glasses and method of providing content using the same
KR102433291B1 (en) Method and wearable glasses for providing a content
US20170337800A1 (en) Somatosensory type notification alerts
KR102178109B1 (en) Terminal for providing emergency evacuation route information for indoor user, method for controlling the same, service server for providing emergency evacuation route information service for indoor user and method for controlling the same
JP6665790B2 (en) Navigation system, client terminal device, control method, storage medium, and program
KR101892190B1 (en) The smart glasses for a person who is visually impairedand using method thereof
KR20160001178A (en) Glass type terminal and control method thereof
KR102243903B1 (en) Comand and control system for supporting compound disasters accident
CN107028274A (en) A kind of helmet and the method that interaction is carried out using the helmet
KR101463986B1 (en) The Device to Help Blind Person by Using the Ultrasonic Pulse Echo And the Method for Controlling thereof
EP3254121B1 (en) Center of gravity shifting force device
KR20160066896A (en) Glasses style wearable terminal for hearing impaired person
JP6760898B2 (en) Information processing equipment and information processing system
CN116249604A (en) Robot control method, robot, and program
KR101639233B1 (en) Wearabl teminal for visually handicapped person
CN115427910B (en) Robot control method, robot, and program
KR102244768B1 (en) System and Method of Hearing Assistant System of Route Guidance Using Chatbot for Care of Elderly Based on Artificial Intelligence
KR101660905B1 (en) Navigatioin system and method for a blind person
KR101613022B1 (en) Wearable Haptic Apparatus and method of providing walking guidance information using the same
EP3893236A1 (en) Display light emission device, head-up display device, image display system, and helmet
JP6262177B2 (en) Wearable terminal, method and system
US20230350073A1 (en) Edge and generative ai-based sustainable gps navigated wearable device for blind and visually impaired people
CN115428470B (en) Robot control method, robot, program, and recording medium
JP2018041507A (en) Wearable terminal, method, and system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant