KR102516155B1 - 홈 오토메이션과 연동되는 음성인식 기반의 웨어러블 디바이스 - Google Patents
홈 오토메이션과 연동되는 음성인식 기반의 웨어러블 디바이스 Download PDFInfo
- Publication number
- KR102516155B1 KR102516155B1 KR1020220093632A KR20220093632A KR102516155B1 KR 102516155 B1 KR102516155 B1 KR 102516155B1 KR 1020220093632 A KR1020220093632 A KR 1020220093632A KR 20220093632 A KR20220093632 A KR 20220093632A KR 102516155 B1 KR102516155 B1 KR 102516155B1
- Authority
- KR
- South Korea
- Prior art keywords
- wearable device
- control
- unit
- signal
- camera
- Prior art date
Links
- 238000004891 communication Methods 0.000 claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000012015 optical character recognition Methods 0.000 claims description 10
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000005236 sound signal Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000001771 impaired effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 239000004984 smart glass Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 208000010415 Low Vision Diseases 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000004303 low vision Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
- G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Acoustics & Sound (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Vascular Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Artificial Intelligence (AREA)
- Animal Behavior & Ethology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Ophthalmology & Optometry (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 데이터를 연산 및 제어하는 제어부; 외부로부터 정보가 수신되어 상기 제어부로 데이터를 입력하는 정보입력부; 상기 제어부의 제어 신호에 따라 외부로 정보를 출력하는 정보출력부; 및 네트워크를 통해 외부의 기기와 통신하는 통신부;를 포함하고, 상기 통신부가 홈 오토메이션(Home Automation) 기기와 연동되어 상기 제어부에서 전달된 제어신호를 전송하도록 구성되어 사용자의 신체에 착용되는 웨어러블 디바이스에 관한 것이다.
Description
본 발명은 홈 오토메이션과 연동되는 음성인식 기반의 웨어러블 디바이스에 관한 것으로, 보다 상세히는 시각장애인의 신체에 착용되어 생활에 관련된 서비스를 제공할 수 있는 음성인식 기반의 웨어러블 디바이스에 관한 것이다.
일반적으로, 시각장애인은 맹인과 저시력자를 모두 포함하는 개념이다. 즉, 시각장애인은 빛을 완전히 볼 수 없는 전맹에서부터 사물을 어렴풋이 인식할 수 있는 저시력자까지 개인별로 다양한 임상적인 양상이 나타난다. 시각 장애는 단순히 개인의 시력이 정상적이지 않다는 문제에서 그치지 않고 주변 환경에 대처하는 능력의 저하로 이어지며, 시각장애인의 실외 활동에 대한 욕구와 동기 부여가 감퇴되고 개인의 삶의 질 저하로 직결된다.
이에 따라, 전맹 및 저시력자의 활동을 보조하기 위한 여러 가지 수단들이 종래에 강구된 바 있다. 그러나, 지팡이 형태의 보조 수단의 경우 사용자가 상시 휴대하기 불편하고 분실될 가능성이 크다는 한계가 있고, 사용자의 머리 전체를 둘러싸는 디바이스의 경우 부피가 크고 중량이 무거워 타인의 시선을 의식하거나 심미적인 이유로 일상생활에서 사용하기 어렵다는 한계가 있었다.
이에 따라, 한국등록특허공보 제10-2401233호(이하, '선행문헌'이라 함.)에서는 사용자가 상시 착용 가능하면서도 휴대성이 확보된 스마트 안경이 개시되어 있다. 도 1을 참조하면, 선행문헌의 전체 시스템은 카메라를 구비하는 스마트 안경(1), 시각장애인이 소지하는 스마트폰 등 스마트 단말(2), 스마트 단말(2)에 설치된 안내 앱, 및, 오프라인 매장 내를 안내하는 안내서버(3)로 구성된다. 또한, 스마트 안경(1)과 스마트 단말(2)은 블루투스 등 근거리 통신 기능을 통해 서로 연결되고, 안내서버(3)와 스마트 단말(2)은 유무선 등 네트워크(8)를 통해 서로 연결되도록 구성된다.
위 선행문헌의 스마트 안경과 같이 기존 제품들은 시각장애인이 흔히 착용하는 안경 등에 생활의 편의를 향상시킬 수 있는 기능들을 부가하여 서비스를 제공하도록 구성된다. 하지만 스마트 안경의 경우에 여러 기능을 부가하면, 무게감이 증가하고 안면에서 쉽게 이탈될 수 있는 문제가 있으며, 장치에 탑재된 배터리 성능의 한계로 인해 장시간 사용하기가 어려운 문제점으로 이어질 수 있다.
본 발명은 종래 기술의 문제점을 해결하기 위해 안출된 것으로, 본 발명은 이어셋(Earset) 등의 형태로 시각장애인의 신체에 착용되어 홈 오토메이션과 연동되는 음성인식 기반의 웨어러블 디바이스에 관한 것이다.
상기한 바와 같은 목적을 달성하기 위해 본 발명은, 사용자의 신체에 착용되는 웨어러블 디바이스에 있어서, 데이터를 연산 및 제어하는 제어부; 외부로부터 정보가 수신되어 상기 제어부로 데이터를 입력하는 정보입력부; 상기 제어부의 제어 신호에 따라 외부로 정보를 출력하는 정보출력부; 및 네트워크를 통해 외부의 기기와 통신하는 통신부;를 포함하고, 상기 통신부가 홈 오토메이션(Home Automation) 기기와 연동되어 상기 제어부에서 전달된 제어신호를 전송할 수 있다.
또한, 본 발명에 따른 웨어러블 디바이스는, 이어셋(Earset)으로 이루어져 사용자의 귀에 착용될 수 있다.
또한, 상기 정보입력부는, 외부의 정보를 측정하는 적어도 하나의 센서부, 음성신호가 입력되는 마이크 및, 외부를 촬영하여 영상데이터를 생성하는 카메라를 포함하고, 상기 정보출력부는, 음성신호가 출력되는 스피커를 포함할 수 있다.
또한, 본 발명에 따른 웨어러블 디바이스는, 상기 센서부, 마이크 및 카메라에 전력을 공급하는 배터리;를 더 포함하고, 상기 제어부는, 상기 입력된 데이터를 연산하여 제어신호를 생성하는 제어모듈, 데이터를 저장하는 데이터베이스, 상기 정보입력부에서 전달된 데이터 중 일부의 데이터를 선별하여 상기 제어모듈에 입력하는 선별모듈 및 상기 정보입력부를 On/Off 제어하는 전원모듈을 포함하며, 상기 전원모듈은, 상기 배터리에서 상기 센서부, 마이크 및 카메라에 공급되는 전력을 제어할 수 있다.
또한, 상기 센서부는, 접촉 시에 발생되는 신호를 감지하는 터치센서를 포함하되, 상기 제어부는, 상기 터치센서로부터 터치신호가 수신되면 상기 제어모듈이 상기 터치신호를 분석하여 상기 터치신호의 명령에 따라 상기 마이크가 On되도록 상기 전원모듈이 제어하고, 가동된 상기 마이크에서 음성신호가 수신되면 상기 제어모듈이 상기 음성신호를 분석하되 상기 터치신호의 명령에 의해 상기 마이크가 기 설정된 시간 경과 후에 Off되도록 상기 전원모듈이 제어하며, 분석된 상기 음성신호에 따른 제어신호를 생성할 수 있다.
또한, 본 발명에 따른 웨어러블 디바이스는, 분석된 상기 음성신호가 상기 홈 오토메이션 기기의 제어인 경우, 상기 제어부가 상기 통신부를 통해 외부로 제어신호를 송신할 수 있다.
또한, 상기 제어부는, 분석된 상기 음성신호에 대상탐색 명령이 포함되면 상기 카메라가 On되도록 상기 전원모듈이 제어하고, 가동된 상기 카메라에서 영상데이터가 수신되면 상기 제어모듈이 상기 영상데이터를 분석하여 대상의 일치여부를 판별하되, 일치한 대상이 탐색되거나 기 설정된 시간이 경과하면 상기 카메라가 Off되도록 상기 전원모듈이 제어하며, 상기 제어모듈이 제어신호를 생성할 수 있다.
또한, 상기 제어모듈은, Faster R-CNN 신경망이 탑재될 수 있다.
또한, 상기 제어부는, 분석된 상기 음성신호에 대상스캐닝 명령이 포함되면 상기 카메라가 On되도록 상기 전원모듈이 제어하고, 가동된 상기 카메라에서 영상데이터가 수신되면 상기 제어모듈이 상기 영상데이터를 분석하여 대상의 문자 또는 형상을 판독하되, 기 설정된 시간이 경과하면 상기 카메라가 Off되도록 상기 전원모듈이 제어하며, 상기 제어모듈이 판독된 문자 또는 형상을 음성으로 상기 스피커를 통해 출력하도록 제어신호를 생성할 수 있다.
또한, 상기 제어모듈은, 상기 영상데이터를 광학 문자인식을 통해 스캐닝할 수 있다.
또한, 상기 제어부는, 분석된 상기 음성신호에 대상탐색 명령이 포함되면 대상이 기 등록된 기기인지를 판별하고, 등록된 기기인 경우에 상기 통신부를 통해 대상의 위치를 수신하여 상기 스피커로 안내하고, 등록된 기기가 아닌 경우에는 상기 카메라를 통해 대상의 위치를 추적하여 음성신호를 상기 스피커로 출력할 수 있다.
또한, 상기 제어부는, 대상탐색 명령에 포함된 대상이 기 등록된 기기가 아닌 경우, 상기 카메라가 작동하여 촬영된 영상데이터를 분석하여 대상을 검색하고, 영상데이터에 대상이 검색되면 대상과의 거리를 연산하여 음성신호를 상기 스피커로 출력할 수 있다.
또한, 상기 센서부는, 본체의 자세를 측정하는 자이로센서 및 외부에 위치한 대상과의 거리를 측정하는 변위센서를 더 포함할 수 있다.
상술한 구성에 의한 본 발명에 따른 웨어러블 디바이스는, 시각장애인의 신체에 이어셋 형태로 착용되어 시각장애인이 말하는 음성에 따라 제어신호를 생성함에 따라 기 구축된 홈 오토메이션 기기와 연동하여 실내 제어가 가능한 장점이 있다.
아울러 본 발명에 따른 웨어러블 디바이스는, 터치센서를 이용한 터치신호, 마이크를 이용한 음성신호 및 카메라를 이용한 영상데이터이 순차적으로 이루어지되 전원모듈에 의해서 각각이 On/Off 제어됨에 따라 배터리의 소비량을 줄일 수 있어 보다 장시간 사용이 가능한 장점이 있다.
아울러 본 발명에 따른 웨어러블 디바이스는, 대상 탐색 시에 등록 유무에 따라 네트워크 또는 영상 분석을 통해 대상을 감지하면서 광학 문자인식(Optical Character Recognition, OCR)과 Faster R-CNN 신경망으로 영상의 문자를 음성으로 출력하고 영상 내의 사물을 보다 면밀하게 판별할 수 있는 장점이 있다.
도 1은 종래기술에 따른 스마트 안경을 이용한 시스템 구성도.
도 2는 본 발명에 따른 웨어러블 디바이스를 착용한 사용자를 도시한 도면.
도 3은 본 발명에 따른 웨어러블 디바이스를 이용한 시스템 구성도.
도 4는 본 발명에 따른 웨어러블 디바이스의 구성도.
도 5는 본 발명에 따른 웨어러블 디바이스의 제어 흐름도.
도 6은 본 발명에 따른 웨어러블 디바이스의 제어방법을 도시한 플로차트.
도 7은 본 발명에 따른 웨어러블 디바이스를 이용한 대상의 탐지과정을 도시한 플로차트.
도 8 및 도 9는 본 발명에 따른 웨어러블 디바이스를 이용한 사용자의 음성명령 인식 과정을 도시한 플로차트.
도 2는 본 발명에 따른 웨어러블 디바이스를 착용한 사용자를 도시한 도면.
도 3은 본 발명에 따른 웨어러블 디바이스를 이용한 시스템 구성도.
도 4는 본 발명에 따른 웨어러블 디바이스의 구성도.
도 5는 본 발명에 따른 웨어러블 디바이스의 제어 흐름도.
도 6은 본 발명에 따른 웨어러블 디바이스의 제어방법을 도시한 플로차트.
도 7은 본 발명에 따른 웨어러블 디바이스를 이용한 대상의 탐지과정을 도시한 플로차트.
도 8 및 도 9는 본 발명에 따른 웨어러블 디바이스를 이용한 사용자의 음성명령 인식 과정을 도시한 플로차트.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다.
도 2 및 도 3은 본 발명에 따른 웨어러블 디바이스에 관한 것으로, 도 2는 웨어러블 디바이스를 착용한 사용자를 도시한 도면을, 도 3은 웨어러블 디바이스를 이용한 시스템 구성도를 각각 나타낸다.
도 2를 참조하면, 본 발명에 따른 웨어러블 디바이스(10)는, 사용자의 신체에 착용될 수 있으며, 보다 바람직하게는 사용자의 귀와 가까운 머리에 착용될 수 있고, 이어셋(Earset) 등의 형태로 구성될 수 있다. 여기서 본 발명에 따른 웨어러블 디바이스(10)는 기술된 이어셋 이외에도 안경, 헤드셋 등 머리에 착용될 수 있는 다양한 형태로 구성될 수 있다. 스피커와 마이크를 포함하는 이어셋으로 구성된 웨어러블 디바이스(10)는 시각장애인이 착용하여, 시각장애인의 음성에 따라 다양한 기능을 수행하고 여러 정보들을 처리하도록 구성될 수 있으며, 관련 정보가 음성신호로 출력되어 시각장애인이 청취하도록 제공될 수 있다.
도 3을 참조하면, 본 발명에 따른 웨어러블 디바이스(10)는, 홈 오토메이션 기기(20), 이동형 단말(30) 또는 고정형 단말(40)과 네트워크(Network)를 통해 데이터 통신할 수 있다. 이때 상기 네트워크의 예로 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
상기 홈 오토메이션 기기(20)는, 사물인터넷(Internet of Things)이 접목된 실내 기기들과 컴퓨터 시스템을 활용하여 가정의 각종 설비들과 전자제품들을 제어하고 관리하는 가정의 자동화를 의미한다. 이때 홈 오토메이션의 도입으로 실내에서 하나의 컨트롤러을 통해 다수의 실내 기기들을 제어하는 것이 가능하며, 나아가 원격지에서 무선 네트워크로 통신하여 실내 기기들을 제어하는 것이 가능할 수 있다. 이때 상기 홈 오토메이션 기기(20)는 월패드(Wall pad) 형태로 실내 벽면에 부착되어 연결된 실내 기기들을 제어할 수 있으며, 상기 웨어러블 디바이스(10)와 통신하여 상기 웨어러블 디바이스(10)에서 전송된 제어신호를 기반으로 실내 기기들을 제어할 수도 있다. 또한 상기 홈 오토메이션 기기(20)는 연결된 실내 기기들에 대한 정보들을 상기 웨어러블 디바이스(10)로 송신하여, 상기 웨어러블 디바이스(10)를 착용한 사용자가 음성신호를 통해 해당 정보를 인식할 수도 있다. 아울러 상기 웨어러블 디바이스(10)는 상기 홈 오토메이션 기기(20)를 통해 연결된 실내 기기들의 위치 정보를 수신받을 수도 있다.
상기 이동형 단말(30)은 디지털방송용 단말기, 휴대폰, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC(tablet PC), 다른 웨어러블 디바이스(wearable device) 및 스마트 글라스(smart glass) 등으로 구현될 수 있다. 또한 상기 고정형 단말(40)은 데스크 탑 PC, 노트북 컴퓨터(laptop computer), 울트라북(ultrabook)과 같은 퍼스널 컴퓨터 등으로 구현될 수 있다. 그리고 상기 이동형 단말(30) 또는 고정형 단말(40)은 상술한 바와 같이 네트워크를 통해 본 발명에 따른 웨어러블 디바이스(10)와 연결되어 서로 데이터 통신할 수 있다.
도 4 및 도 5는 본 발명에 따른 웨어러블 디바이스에 관한 것으로, 도 4는 웨어러블 디바이스의 구성도를, 도 5는 웨어러블 디바이스의 제어 흐름도를 각각 나타낸다.
도 4를 참조하면, 본 발명에 따른 웨어러블 디바이스(10)는, 데이터를 연산 및 제어하는 제어부(100), 외부로부터 정보가 수신되어 상기 제어부(100)로 데이터를 입력하는 정보입력부(200), 상기 제어부(100)의 제어 신호에 따라 외부로 정보를 출력하는 정보출력부(300) 및 네트워크를 통해 외부의 기기와 통신하는 통신부(400)를 포함할 수 있다. 여기서 상기 통신부(400)는 상술한 바와 같이, 본체를 기준으로 외부에 배치된 홈 오토메이션 기기(20), 이동형 단말(30) 또는 고정형 단말(40)과 통신할 수 있으며, 상기 제어부(200)에서 전달된 제어신호를 외부로 전송하거나, 외부로부터 통신 신호를 수신하여 상기 제어부(200)로 전달할 수 있다.
상기 정보입력부(200)는 센서부(210), 마이크(220) 및 카메라(230)를 포함할 수 있다. 이때 상기 센서부(210)는 외부의 정보를 측정할 수 있으며, 자이로센서, GPS센서, 변위센서, 터치센서 또는 환경측정센서 등 다양한 센서를 포함할 수 있다. 그리고 상기 마이크(220)는 외부의 음성을 수신하여 음성신호를 생성하여 상기 제어부(100)로 전달할 수 있으며, 상기 카메라(230)는 외부를 촬영하여 영상데이터를 생성하여 상기 제어부(100)로 전달할 수 있다.
상기 정보출력부(300)는 음성신호가 출력되는 스피커(310)를 포함할 수 있으며, 사용자가 화상을 통해 정보를 파악하도록 디스플레이(320)를 더 포함할 수도 있다. 그리고 상기 스피커(310)는 상기 제어부(100)와 연결되어 상기 제어부(100)의 제어신호 신호에 따라 다양한 음성이 출력될 수 있으며, 상기 스피커(310)는 대기에 음향을 발생시키는 장치 뿐만 아니라 골전도 방식 등과 같이 사용자가 음성을 인식할 수 있는 수단으로 구성될 수도 있다.
도 5를 참조하면, 본 발명에 따른 웨어러블 디바이스(10)는 상기 정보입력부(200)에 전력을 공급하는 배터리(500)를 더 포함할 수 있다. 아울러 상기 제어부(100) 및 정보출력부(300) 또한 전력을 공급받을 수 있으며, 단일의 상기 배터리(500)가 상기 제어부(100), 정보입력부(200) 및 정보출력부(300)에 모두 전력을 공급하거나, 복수의 배터리(500)가 구비되어 각각에 연결될 수도 있다.
상기 제어부(100)는 제어모듈(110), 데이터베이스(120), 선별모듈(130) 및 전원모듈(140)을 포함할 수 있다. 이때 상기 제어모듈(110)은 데이터를 연산 및 제어하는 구성으로 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 아울러 상기 데이터베이스(120)는 복수의 기억장치로 구성되거나, 메타데이터로 구성된 메타 데이터베이스(Meta Database) 또는 그래프 데이터베이스(Graph Database, GDB)를 포함하여 상호연결성이 높은 데이터 세트를 보다 손쉽게 탐색하도록 구현될 수 있다. 상기 데이터베이스(120)는 상기 정보입력부(200)에서 전달된 데이터를 바로 저장하거나 상기 제어모듈(110)을 통해 가공된 데이터를 저장할 수 있다.
상기 선별모듈(130)은 상기 정보입력부(200)에서 전달된 데이터 중 일부의 데이터를 선별하여 상기 제어모듈(110)에 입력할 수 있다. 예거하자면 상기 제어모듈(110)에서 영상을 판독하는 과정인 경우에는, 상기 카메라(230)에서 촬영된 영상데이터는 상기 제어모듈(110)로 전달하고, 상기 센서부(210) 또는 마이크(220) 중 적어도 일부는 상기 데이터베이스(120)에 기록하거나 데이터 경량화를 위해 삭제할 수도 있다.
상기 전원모듈(140)은 상기 정보입력부(200)와 연결되어 전원 On/Off 제어할 수 있다. 이때 상기 전원모듈(140)은 상기 센서부(210), 마이크(220) 및 카메라(230)에 각각 연결될 수 있다. 그리고 상기 센서부(210)가 자이로센서(211), GPS센서(212), 변위센서(213) 등 다수의 센서로 구성된 경우에 상기 배터리(500)는 다수의 센서 중 적어도 일부의 센서에 각각 연결되어 On/Off 제어할 수 있다. 그리고 상기 전원모듈(140)은 상기 제어모듈(110)에서 전달된 제어 신호에 따라 상기 정보입력부(200)에 속하는 복수의 구성 중 일부의 구성만 가동하도록 제어할 수 있으며, 구성 간 서로 연관관계를 가짐에 따라 순차적으로 가동되도록 제어될 수 있다. 일 예로 상기 마이크(220)에서 입력된 음성신호에 의해서 상기 센서부(210)의 일부 센서 혹은 상기 카메라(230)가 가동되거나 소정시간만 작동되도록 제어될 수 있다. 상술한 바와 같이 상기 정보입력부(200)에서 수집된 정보들은 상기 제어모듈(110)을 통해 가공되어 통신부(400)를 통해 외부로 전송되거나, 스피커(310) 또는 디스플레이(320)를 통해 음성 또는 화상으로 출력될 수도 있다.
상기 제어모듈(110)은 Faster R-CNN 신경망 모델이 탑재되거나, 광학 문자인식(Optical Character Recognition, OCR)을 통해 스캐닝하는 기능이 포함될 수도 있다. 이때 상기 Faster R-CNN 신경망은 상기 카메라(230)에서 촬영되어 상기 제어모듈(110)로 입력된 영상데이터에 대해 객체를 검출하여 객체를 정의할 수 있는 것으로, 상기 제어모듈(110)은 Faster R-CNN 이외에도 R-CNN, Fast R-CNN 등 다양한 객체 검출 모델이 탑재될 수도 있다. 그리고 상기 광학 문자인식 기능은, 상기 카메라(230)에서 촬영된 영상데이터에서 문자나 도형 등을 추출하여 음성신호로 출력가능한 디지털 문자 데이터로 변환하는 것으로, 상기 광학 문자인식 기능을 가지는 별도의 센서를 상기 센서부(210)가 포함할 수도 있다. 이하, 상술한 구성들을 참조하여 본 발명에 따른 웨어러블 디바이스(10)의 세부 제어방법과 그 기능들을 보다 상세히 설명한다.
도 6 및 도 7은 본 발명에 따른 웨어러블 디바이스에 관한 것으로, 도 6은 웨어러블 디바이스의 제어방법을 도시한 플로차트를, 도 7은 웨어러블 디바이스를 이용한 대상의 탐지과정을 도시한 플로차트를 각각 나타낸다.
도 6을 참조하면, 본 발명에 따른 웨어러블 디바이스(10)는 홈 네트워크 연동단계(S100), 음석인식단계(S200), 제어데이터 전송단계(S300), 기기제어 안내단계(S400)를 포함하여 상기 홈 네트워크 기기(20)와 연동될 수 있다. 이때 상기 홈 네트워크 연동단계(S100)에서는, 상기 웨어러블 디바이스(10)와 상기 홈 네트워크 기기(20)와의 상호 식별정보 교환에 따라 연동하는 과정으로, 상호 접근이 허용된 기기인지를 판단하고 연동하는 과정일 수 있다. 여기서 상기 웨어러블 디바이스(10)의 통신부(400)가 접속 가능한 주변 기기들을 검색하여 기 등록된 홈 네트워크 기기(20)가 검색된 경우, 상기 제어부(100)는 상기 통신부(400)를 통해 단말기 식별정도를 전송하여 상호 연동되는 과정을 포함할 수 있다. 이후, 상기 음석인식단계(S200)에서는 상기 웨어러블 디바이스(10)의 마이크(220)에 사용자가 음성을 통해 상기 홈 네트워크 기기(20)를 제어하거나 상기 홈 네트워크 기기(20)의 상태정보에 대한 질의를 입력할 수 있다. 그리고 상기 제어부(100)는 상기 마이크(220)에 입력된 음성신호를 분석하여 입력된 내용을 분석하여 제어신호를 생성할 수 있다. 이후, 상기 제어데이터 전송단계(S300)에서는, 상기 제어부(100)에서 생성된 제어신호가 상기 통신부(400)를 통해 상기 홈 네트워크 기기(20)로 전송되는 것으로, 상기 홈 네트워크 기기(20)에서는 수신된 정보에 따라 실내제어를 하거나 실내 기기들의 상태정보를 수신할 수 있다. 그리고 상기 홈 네트워크 기기(20)는 상기 웨어러블 디바이스(10)로 제어완료에 대한 정보 혹은 실내 기기들의 상태정보를 전송해줄 수 있음에 따라, 상기 기기제어 안내단계(S400)에서 상기 웨어러블 디바이스(10)의 스피커(310)를 통해 사용자에게 수신된 정보를 안내해줄 수 있다.
도 7을 참조하면, 상기 웨어러블 디바이스(10)에 사용자가 홈 오토메이션 기기(20), 이동형 단말(30) 또는 고정형 단말(40) 중 적어도 하나에 대한 탐지요청 신호를 입력할 수 있다. 그리고 상기 웨어러블 디바이스(10)의 제어부(100)는 해당 탐지요청 신호에 해당하는 기기의 기등록여부를 판단할 수 있으며, 기 등록된 경우에는 상기 통신부(400)를 통해 통신기반 위치추적을 통해 해당 기기의 위치를 탐색하고, 기 등록되지 않은 경우에는 상기 카메라(230)를 통해 영상데이터 분석을 거쳐 대상을 검색할 수 있다.
상기 통신기반 위치추적에서 대상이 통신부(400)와 접속하면 상기 제어부(100)는 통신부(400)를 통해 위치정보 요청신호를 전송할 수 있으며, 위치정보신호가 수신된 경우에는 기기의 위치를 상기 스피커(310)를 통해 음성 출력할 수 있다. 그리고 상기 제어부(100)가 위치정보 요청신호를 전송하였으나 회신되지 않은 경우 혹은 상기 통신부(400)가 해당 기기와 접속되지 않는 경우에는 상기 카메라(230)를 통한 영상데이터 분석을 통해 대상을 검색할 수 있다.
상기 영상데이터 분석에서 상기 제어부(100)는 상기 카메라(320)에서 촬영된 영상데이터를 Faster R-CNN 모델 등을 이용하여 객체를 검출할 수 있으며, 사용자가 탐지요청한 기기와 매칭되는 객체가 검출된 경우에는 상기 센서부(210)의 변위센서 등을 이용하여 대상과의 거리를 연산하여 상기 스피커(310)를 통해 대상과의 거리 및 방위를 출력할 수 있다. 일 예로, 상기 스피커(310)에서는, "좌측 방향에 배치된 테이블 위에 검색된 기기가 놓여져 있습니다.", "전방 50cm에 테이블이 있습니다." 등의 메시지를 소정시간 간격으로 연속적으로 출력하여 상기 웨어러블 디바이스(10)를 착용한 사용자의 위치에 따라서 달라지는 상대위치를 안내할 수 있다. 또한 상기 제어부(100)는 상기 카메라(320)에서 객체가 검출되지 않은 경우에 "대상이 검색되지 않습니다." 등의 메시지를 출력하여 사용자가 지향하고 있는 방향을 전환할 수 있도록 안내할 수 있다.
도 8 및 도 9는 본 발명에 따른 웨어러블 디바이스에 관한 것으로, 도 8 및 도 9는 웨어러블 디바이스를 이용한 사용자의 음성명령 인식 과정을 도시한 플로차트를 각각 나타낸다.
도 8을 참조하면, 상기 센서부(210)는 접촉 시에 발생되는 신호를 감지하는 터치센서를 더 포함할 수 있다. 이때 상기 터치센서는 용량변화식, 전기전도도 변화식(저항변화식), 광량변화식 등 다양한 형태로 구현되어, 사용자의 손이나 도구가 접촉되면 신호가 입력되도록 구성될 수 있다. 그리고 상기 제어부(100)는, 상기 터치센서로부터 터치신호가 수신되면 상기 제어모듈(110)이 상기 터치신호를 분석하여 상기 터치신호의 명령에 따라 상기 마이크(220)가 On되도록 상기 전원모듈(140)이 제어하고, 가동된 상기 마이크(220)에서 음성신호가 수신되면 상기 제어모듈(110)이 상기 음성신호를 분석하되 상기 터치신호의 명령에 의해 상기 마이크(220)가 기 설정된 시간 경과 후에 Off되도록 상기 전원모듈(140)이 제어하며, 분석된 상기 음성신호에 따른 제어신호를 생성할 수 있다. 이때 상기 터치신호의 접촉시간에 따라 상기 마이크(220)의 가동 시간이 제어되거나, 상기 터치신호의 패턴에 따라 상기 마이크(220)의 가동 시간이 제어될 수 있다. 일 예로, 상기 터치신호의 접촉 시간이 늘어날수록 상기 마이크(220)의 가동 시간이 늘어날 수 있으며, 상기 터치신호가 다수 회 반복될수록 상기 마이크(220)의 가동 시간이 늘어날 수도 있다.
도 9를 참조하면, 상기 제어부(100)는, 분석된 상기 음성신호에 대상탐색 명령이 포함되면 상기 카메라(230)가 가동되도록 상기 전원모듈(140)이 제어하고, 가동된 상기 카메라(230)에서 영상데이터가 수신되면 상기 제어모듈(110)이 상기 영상데이터를 분석하여 대상의 일치여부를 판별하되, 일치한 대상이 탐색되거나 기 설정된 시간이 경과하면 상기 카메라(230)가 꺼지도록 상기 전원모듈(140)이 제어하며, 상기 제어모듈(110)이 제어신호를 생성할 수 있다. 또한 상기 제어부(100)는, 분석된 상기 음성신호에 대상스캐닝 명령이 포함되면 상기 카메라(230)가 가동되도록 상기 전원모듈(140)이 제어하고, 가동된 상기 카메라(230)에서 영상데이터가 수신되면 상기 제어모듈(110)이 상기 영상데이터를 분석하여 대상의 문자 또는 형상을 판독하되, 기 설정된 시간이 경과하면 상기 카메라(230)가 꺼지도록 상기 전원모듈(140)이 제어하며, 상기 제어모듈(110)이 판독된 문자 또는 형상을 음성으로 상기 스피커(310)를 통해 출력하도록 제어신호를 생성할 수 있다. 여기서 상기 제어부(100)는 상기 대상탐색 또는 대상스캐닝 명령을 수행할 시에 상술한 바와 같이 Faster R-CNN 모델을 통해 객체를 검출하거나 광학 문자인식(Optical Character Recognition, OCR)을 통해 디지털 문자를 생성할 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.
10 : 웨어러블 디바이스
20 : 홈 오토메이션 기기
30 : 이동형 단말
40 : 고정형 단말
100 : 제어부
110 : 제어모듈
120 : 데이터베이스
130 : 선별모듈
140 : 전원모듈
200 : 정보입력부
210 : 센서부
220 : 마이크
230 : 카메라
300 : 정보출력부
310 : 스피커
320 : 디스플레이
400 : 통신부
500 : 배터리
20 : 홈 오토메이션 기기
30 : 이동형 단말
40 : 고정형 단말
100 : 제어부
110 : 제어모듈
120 : 데이터베이스
130 : 선별모듈
140 : 전원모듈
200 : 정보입력부
210 : 센서부
220 : 마이크
230 : 카메라
300 : 정보출력부
310 : 스피커
320 : 디스플레이
400 : 통신부
500 : 배터리
Claims (13)
- 사용자의 신체에 착용되는 웨어러블 디바이스에 있어서,
데이터를 연산 및 제어하는 제어부;
외부로부터 정보가 수신되어 상기 제어부로 데이터를 입력하는 정보입력부;
상기 제어부의 제어 신호에 따라 외부로 정보를 출력하는 정보출력부; 및
네트워크를 통해 외부의 기기와 통신하는 통신부;
를 포함하고,
상기 통신부가 홈 오토메이션(Home Automation) 기기와 연동되어 상기 제어부에서 전달된 제어신호를 전송하며,
상기 정보입력부는,
외부의 정보를 측정하는 적어도 하나의 센서부, 음성신호가 입력되는 마이크 및, 외부를 촬영하여 영상데이터를 생성하는 카메라를 포함하고,
상기 정보출력부는,
음성신호가 출력되는 스피커를 포함하며,
상기 웨어러블 디바이스는,
상기 센서부, 마이크 및 카메라에 전력을 공급하는 배터리;
를 더 포함하고,
상기 제어부는,
상기 입력된 데이터를 연산하여 제어신호를 생성하는 제어모듈, 데이터를 저장하는 데이터베이스, 상기 정보입력부에서 전달된 데이터 중 일부의 데이터를 선별하여 상기 제어모듈에 입력하는 선별모듈 및 상기 정보입력부를 On/Off 제어하는 전원모듈을 포함하며,
상기 전원모듈은,
상기 배터리에서 상기 센서부, 마이크 및 카메라에 공급되는 전력을 제어하며,
상기 센서부는,
접촉 시에 발생되는 신호를 감지하는 터치센서를 포함하되,
상기 제어부는,
상기 터치센서로부터 터치신호가 수신되면 상기 제어모듈이 상기 터치신호를 분석하여 상기 터치신호의 명령에 따라 상기 마이크가 On되도록 상기 전원모듈이 제어하고,
가동된 상기 마이크에서 음성신호가 수신되면 상기 제어모듈이 상기 음성신호를 분석하되 상기 터치신호의 명령에 의해 상기 마이크가 기 설정된 시간 경과 후에 Off되도록 상기 전원모듈이 제어하며,
분석된 상기 음성신호에 따른 제어신호를 생성하는 것을 특징으로 하는 웨어러블 디바이스,
- 제1항에 있어서,
상기 웨어러블 디바이스는,
이어셋(Earset)으로 이루어져 사용자의 귀에 착용되는 것을 특징으로 하는 웨어러블 디바이스,
- 삭제
- 삭제
- 삭제
- 제1항에 있어서,
분석된 상기 음성신호가 상기 홈 오토메이션 기기의 제어인 경우,
상기 제어부가 상기 통신부를 통해 외부로 제어신호를 송신하는 것을 특징으로 하는 웨어러블 디바이스,
- 제1항에 있어서,
상기 제어부는,
분석된 상기 음성신호에 대상탐색 명령이 포함되면 상기 카메라가 On되도록 상기 전원모듈이 제어하고,
가동된 상기 카메라에서 영상데이터가 수신되면 상기 제어모듈이 상기 영상데이터를 분석하여 대상의 일치여부를 판별하되,
일치한 대상이 탐색되거나 기 설정된 시간이 경과하면 상기 카메라가 Off되도록 상기 전원모듈이 제어하며, 상기 제어모듈이 제어신호를 생성하는 것을 특징으로 하는 웨어러블 디바이스,
- 제7항에 있어서,
상기 제어모듈은,
Faster R-CNN 신경망이 탑재된 것을 특징으로 하는 웨어러블 디바이스.
- 제1항에 있어서,
상기 제어부는,
분석된 상기 음성신호에 대상스캐닝 명령이 포함되면 상기 카메라가 On되도록 상기 전원모듈이 제어하고,
가동된 상기 카메라에서 영상데이터가 수신되면 상기 제어모듈이 상기 영상데이터를 분석하여 대상의 문자 또는 형상을 판독하되,
기 설정된 시간이 경과하면 상기 카메라가 Off되도록 상기 전원모듈이 제어하며, 상기 제어모듈이 판독된 문자 또는 형상을 음성으로 상기 스피커를 통해 출력하도록 제어신호를 생성하는 것을 특징으로 하는 웨어러블 디바이스,
- 제9항에 있어서,
상기 제어모듈은,
상기 영상데이터를 광학 문자인식을 통해 스캐닝하는 것을 특징으로 하는 웨어러블 디바이스.
- 제1항에 있어서,
상기 제어부는,
분석된 상기 음성신호에 대상탐색 명령이 포함되면 대상이 기 등록된 기기인지를 판별하고,
등록된 기기인 경우에 상기 통신부를 통해 대상의 위치를 수신하여 상기 스피커로 안내하고,
등록된 기기가 아닌 경우에는 상기 카메라를 통해 대상의 위치를 추적하여 음성신호를 상기 스피커로 출력하는 것을 특징으로 하는 웨어러블 디바이스,
- 제11항에 있어서,
상기 제어부는,
대상탐색 명령에 포함된 대상이 기 등록된 기기가 아닌 경우,
상기 카메라가 작동하여 촬영된 영상데이터를 분석하여 대상을 검색하고,
영상데이터에 대상이 검색되면 대상과의 거리를 연산하여 음성신호를 상기 스피커로 출력하는 것을 특징으로 하는 웨어러블 디바이스.
- 제12항에 있어서,
상기 센서부는,
본체의 자세를 측정하는 자이로센서 및 외부에 위치한 대상과의 거리를 측정하는 변위센서를 더 포함하는 것을 특징으로 하는 웨어러블 디바이스.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220093632A KR102516155B1 (ko) | 2022-07-28 | 2022-07-28 | 홈 오토메이션과 연동되는 음성인식 기반의 웨어러블 디바이스 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220093632A KR102516155B1 (ko) | 2022-07-28 | 2022-07-28 | 홈 오토메이션과 연동되는 음성인식 기반의 웨어러블 디바이스 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102516155B1 true KR102516155B1 (ko) | 2023-03-30 |
Family
ID=85985973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220093632A KR102516155B1 (ko) | 2022-07-28 | 2022-07-28 | 홈 오토메이션과 연동되는 음성인식 기반의 웨어러블 디바이스 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102516155B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102256721B1 (ko) * | 2020-12-30 | 2021-05-27 | 주식회사 강한손 | 시각장애인의 자립 생활을 위한 웨어러블 디바이스 |
| KR102354055B1 (ko) * | 2015-07-23 | 2022-01-24 | 삼성전자 주식회사 | 광학사물인식 기반 전자 장치 및 그 전자 장치의 운용 방법 |
| KR102401233B1 (ko) | 2021-11-22 | 2022-05-24 | 이동민 | 시각 장애인용 스마트 안경을 이용한 오프라인 쇼핑 안내 시스템 |
| KR20220075980A (ko) | 2020-11-30 | 2022-06-08 | 한국전자통신연구원 | 상황 인지 인터페이스 기반의 인지 장애를 위한 착용형 보조 기기 및 이의 서비스 제공 방법 |
-
2022
- 2022-07-28 KR KR1020220093632A patent/KR102516155B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102354055B1 (ko) * | 2015-07-23 | 2022-01-24 | 삼성전자 주식회사 | 광학사물인식 기반 전자 장치 및 그 전자 장치의 운용 방법 |
| KR20220075980A (ko) | 2020-11-30 | 2022-06-08 | 한국전자통신연구원 | 상황 인지 인터페이스 기반의 인지 장애를 위한 착용형 보조 기기 및 이의 서비스 제공 방법 |
| KR102256721B1 (ko) * | 2020-12-30 | 2021-05-27 | 주식회사 강한손 | 시각장애인의 자립 생활을 위한 웨어러블 디바이스 |
| KR102401233B1 (ko) | 2021-11-22 | 2022-05-24 | 이동민 | 시각 장애인용 스마트 안경을 이용한 오프라인 쇼핑 안내 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10360907B2 (en) | Smart necklace with stereo vision and onboard processing | |
| US11030917B2 (en) | Wearable apparatus and method for monitoring posture | |
| US9629774B2 (en) | Smart necklace with stereo vision and onboard processing | |
| Zafar et al. | Assistive devices analysis for visually impaired persons: A review on taxonomy | |
| US9436887B2 (en) | Apparatus and method for automatic action selection based on image context | |
| US20150198455A1 (en) | Smart necklace with stereo vision and onboard processing | |
| US10019625B2 (en) | Wearable camera for reporting the time based on wrist-related trigger | |
| CN104983511A (zh) | 针对全盲视觉障碍者的语音帮助智能眼镜系统 | |
| WO2015081694A1 (zh) | 智能眼镜及其控制方法 | |
| CN104424353A (zh) | 行动支持设备、行动支持方法、程序和存储介质 | |
| US20220116701A1 (en) | Systems and methods for directing audio output of a wearable apparatus | |
| US20230005471A1 (en) | Responding to a user query based on captured images and audio | |
| KR102516155B1 (ko) | 홈 오토메이션과 연동되는 음성인식 기반의 웨어러블 디바이스 | |
| Merugu et al. | A review of some assistive tools and their limitations | |
| CN112002186A (zh) | 一种基于增强现实技术的信息无障碍系统及方法 | |
| US11493959B2 (en) | Wearable apparatus and methods for providing transcription and/or summary | |
| KR102570418B1 (ko) | 사용자 행동을 분석하는 웨어러블 디바이스 및 이를 이용한 대상인식방법 | |
| Merugu et al. | A review of some assistive tools and their limitations for visually impaired | |
| US20220311979A1 (en) | Wearable apparatus for projecting information | |
| Saha et al. | Vision maker: An audio visual and navigation aid for visually impaired person | |
| JP3239665U (ja) | 視覚障害のあるユーザーを支援するためのシステム | |
| EP3882894B1 (en) | Seeing aid for a visually impaired individual | |
| Shariff et al. | BLIND ASSISTANCE USING ARTIFICIAL INTELLIGENGE | |
| US20240062548A1 (en) | Converting spatial information to haptic and auditory feedback | |
| Agarwal et al. | Fread: a multimodal interface for audio assisted identification of everyday objects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |