KR20230009073A - 청각 장애인용 인포테인먼트 시스템 - Google Patents
청각 장애인용 인포테인먼트 시스템 Download PDFInfo
- Publication number
- KR20230009073A KR20230009073A KR1020210089678A KR20210089678A KR20230009073A KR 20230009073 A KR20230009073 A KR 20230009073A KR 1020210089678 A KR1020210089678 A KR 1020210089678A KR 20210089678 A KR20210089678 A KR 20210089678A KR 20230009073 A KR20230009073 A KR 20230009073A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- vibration
- driver
- processing unit
- smart band
- Prior art date
Links
- 208000032041 Hearing impaired Diseases 0.000 title claims abstract description 40
- 230000010365 information processing Effects 0.000 claims abstract description 46
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 210000000707 wrist Anatomy 0.000 claims abstract description 8
- 230000036760 body temperature Effects 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 11
- 230000002265 prevention Effects 0.000 claims description 4
- 239000003990 capacitor Substances 0.000 description 27
- 238000004891 communication Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 238000000034 method Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000005281 excited state Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 208000016354 hearing loss disease Diseases 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006479 redox reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3652—Guidance using non-audiovisual output, e.g. tactile, haptic or electric stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
- A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/683—Means for maintaining contact with the body
- A61B5/6831—Straps, bands or harnesses
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F11/00—Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
- A61F11/04—Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense, e.g. through the touch sense
- A61F11/045—Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense, e.g. through the touch sense using mechanical stimulation of nerves
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/16—Transforming into a non-visible representation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Physiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Cardiology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Neurology (AREA)
- Pathology (AREA)
- Otolaryngology (AREA)
- Signal Processing (AREA)
- Surgery (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Vascular Medicine (AREA)
- Pulmonology (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Psychology (AREA)
- Navigation (AREA)
Abstract
청각 장애인용 인포테인먼트 시스템은 위치기반정보를 토대로 목적지 경로안내를 시각정보 및 청각정보로 제공하는 자동차 네비게이션부와, 자동차 네비게이션부에서 제공되는 청각정보를 미리 설정된 진동제어신호로 변환하여 출력하는 정보 처리부와, 운전자의 손목에 착용되며 진동제어신호에 응답하여 목적지 경로안내에 대응되는 경로 진동알람을 출력하는 스마트 밴드를 포함하는 것을 특징으로 한다.
Description
본 발명은 청각 장애인용 운전보조 장치에 관한 것으로, 더 상세하게는 자동차 네비게이션과 연동되는 청각 장애인용 인포테인먼트 시스템에 관한 것이다.
운전자의 운전 환경은 많은 발전을 거듭해 오고 있다. 초기의 운전자와 현재의 운전자를 생각하면 현재의 운전자는 자동차 내부의 많은 전자기기의 도움을 받고 있다. 하지만 대부분 일반인을 대상으로 하는 전자기기들이다. 즉, 현실적으로 현재의 전자기기 운전정보는 청각장애인에게는 무용지물인 경우가 많다.
특히, 운전자는 목적지에 도착하기 위해 네비게이션의 도움을 받아 운전경로를 확인하며 운전을 한다. 몇 미터 앞 구간의 속도가 정해진 구간인지, 다음 사거리에서 우회전을 하는지 좌회전을 하는지, 고속도로에서는 다음 출구에서 나가야 하는지 등 운전자의 안전을 위한 여러 가지 정보를 소리를 통해서 듣고 시각을 통해서 확인하게 된다. 하지만 청각 장애인은 청각감각에 장애가 있는 상황이기 때문에 이를 대체할 것이 필요하다.
본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 자동차 네비게이션부에서 제공되는 청각정보를 경로 진동알람로 변환하여 출력하는 청각 장애인용 인포테인먼트 시스템을 제공한다.
또한, 주행영상 촬영부의 주행영상의 객체를 인식하여 추돌 진동알람을 출력하는 청각 장애인용 인포테인먼트 시스템을 제공한다.
상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 위치기반정보를 토대로 목적지 경로안내를 시각정보 및 청각정보로 제공하는 자동차 네비게이션부와, 자동차 네비게이션부에서 제공되는 청각정보를 미리 설정된 진동제어신호로 변환하여 출력하는 정보 처리부와, 운전자의 손목에 착용되며 진동제어신호에 응답하여 목적지 경로안내에 대응되는 경로 진동알람을 출력하는 스마트 밴드를 포함하는 청각 장애인용 인포테인먼트 시스템이 제공된다.
또한, 위치기반정보를 토대로 목적지 경로안내를 시각정보 및 청각정보로 제공하는 자동차 네비게이션부와, 자동차의 주행영상을 촬영하는 주행영상 촬영부와, 자동차 네비게이션부에서 제공되는 청각정보를 미리 설정된 진동제어신호로 변환하고, 주행영상의 객체를 인식하여 추돌방지신호를 출력하는 정보 처리부와, 운전자의 손목에 착용되며 진동제어신호에 응답하여 목적지 경로안내에 대응되는 경로 진동알람을 출력하고, 추돌방지신호에 응답하여 경고 진동알람을 출력하는 스마트 밴드를 포함하는 청각 장애인용 인포테인먼트 시스템이 제공된다.
또한, 본 발명에 포함되는 스마트 밴드는, 운전자의 맥박정보 및 체온정보에 따라 진동알람의 크기를 자동제어 하는 것을 특징으로 한다.
또한, 본 발명에 포함되는 스마트 밴드는, 운전자의 맥박정보 및 체온정보가 감지될 경우에만, 정보 처리부의 신호를 수신하는 것을 특징으로 한다.
본 발명의 실시예에 따른 청각 장애인용 인포테인먼트 시스템은 자동차 네비게이션부에서 제공되는 청각정보를 경로 진동알람로 변환하여 출력하여 청각 장애인에게 운전정보를 제공할 수 있다.
또한, 주행영상 촬영부의 주행영상의 객체를 인식하여 추돌 진동알람을 출력하여 청각 장애인에게 안전운전정보를 제공할 수 있다.
도 1은 청각 장애인용 인포테인먼트 시스템의 개념도
도 2는 본 발명의 일 실시예에 따른 청각 장애인용 인포테인먼트 시스템(1)의 구성도
도 3은 본 발명의 다른 실시예에 따른 청각 장애인용 인포테인먼트 시스템(2)의 구성도
도 2는 본 발명의 일 실시예에 따른 청각 장애인용 인포테인먼트 시스템(1)의 구성도
도 3은 본 발명의 다른 실시예에 따른 청각 장애인용 인포테인먼트 시스템(2)의 구성도
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.
도 1은 청각 장애인용 인포테인먼트 시스템의 개념도이다.
본 실시예에 따른 청각 장애인용 인포테인먼트 시스템은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.
도 1을 참조하면, 청각 장애인용 인포테인먼트 시스템은 자동차 네비게이션부(200)와, 정보 처리부(400)와, 스마트 밴드(600)를 포함하여 구성된다.
상기와 같이 구성되는 청각 장애인용 인포테인먼트 시스템의 주요동작을 살펴보면 다음과 같다.
자동차 네비게이션부(200)는 데시보드에 내장되어 있으며, 터치 스크린을 통해 목적지 경로안내를 제공하는 네비게이션과, 네비게이션 엔진의 하나인 T-MAP, 그리고 미러링 모듈의 하나인 유브릿지를 포함하여 구성된다.
즉, 자동차 네비게이션부(200)는 위치기반정보를 토대로 목적지 경로안내를 시각정보 및 청각정보로 제공한다.
정보 처리부(400)는 자동차 네비게이션부(200)와 USB 통신을 통해 데이터를 교환하도록 구성될 수 있다.
정보 처리부(400)의 운전정보 연동부는 각종 운전정보를 받을 수 있는 API를 제공하는 서버역할을 수행할 수 있다. 또한, 운전정보 연동부는 인증과정을 통한 허용된 애플리케이션과의 연동, 각종 운전 정보에 대한 Json 메시지 정의 및 구현할 수 있고, 각종 운전 정보를 수용할 수 있는 Json 형식 기반의 메시지를 정의하고, 각종 운전정보 메시지 해석기가 구축될 수 있다.
정보 처리부(400)의 연동 정보 데이터 관리부는 SQLite를 이용한 정보저장을 수행하고, 각종 운전정보 테이블(Table) 정의를 처리하고, 스마트 밴드 운동, 센서 정보 테이블 정의, 센서 정보 분석 기능을 처리하고, 테이블 관리 기능을 구현할 수 있다.
정보 처리부(400)의 스마트폰 UI부는 “Graph Widget“ 을 이용한 데이터 추이를 보여주는 UI를 구현하고, ”Animation Widget“ 을 이용한 정보 표현을 처리하며, 사용자 인터페이스 편의성을 고려한 ”UI navigation“을 구현한다.
정보 처리부(400)의 데이터베이스는 각 테이블을 저장하고, 별도의 네비게이션 엔진 및 지도 데이터를 저장할 수 있다.
정보 처리부(400)의 스마트 밴드 연동부는 BLE(Bluetooth Low Energy)기반의 통신 지원을 처리하고, BLE 기반 운동, 센서 정보 Service 정의 및 해석을 처리하고, BLE 기반 운동, 센서 정보 Characteristic 정의 및 해석을 처리하고, 운동, 센서 메시지 해석기 역할을 하며, Alert 기능을 이용한 운전정보 전송 기능을 지원한다.
기본적으로 정보 처리부(400)는 자동차 네비게이션부(200)에서 제공되는 청각정보를 미리 설정된 진동제어신호로 변환하여 출력할 수 있다.
스마트 밴드(600)는 운전자의 손목에 착용되며 정보 처리부(400)의 진동제어신호에 응답하여 목적지 경로안내에 대응되는 경로 진동알람을 출력한다. 스마트 밴드(600)와 정보 처리부(400)는 기본적으로 블루투스 통신을 통해 데이터를 교환하도록 구성될 수 있다.
스마트 밴드(600)는 운전자의 맥박정보 및 체온정보를 측정하는 모듈과, 관성센서가 내장될 수 있다. 스마트 밴드(600)는 운전자의 맥박정보 및 체온정보에 따라 진동알람의 크기를 자동제어 할 수 있다. 즉, 맥박이 기준값 이상 상승하면서 체온이 상승할 때, 운전자가 흥분한 상태로 해석하여 진동알람의 크기를 상대적으로 강하게 하여 정보전달을 원활하게 처리할 수 있다.
또한, 스마트 밴드(600)는 운전자의 맥박정보 및 체온정보가 감지될 경우에만, 정보 처리부(400)의 신호를 수신하는 기능을 수행할 수 있다. 즉, 운전자가 스마트 밴드(600)를 착용한 상태를 감지한 후 정보 처리부(400)로부터 데이터를 수신함으로서 정보 처리부(400) 및 스마트 밴드(600)의 불필요한 구동전력을 감소시킬 수 있다.
상술한 바와 같이 청각 장애인용 인포테인먼트 시스템은 네비게이션 엔진(T- map)과의 연동은 유브릿지에서 자동차 네비게이션에 네비게이션 엔진(T- map)을 연동시키는 기능을 처리한다.
즉, 유브릿지의 T- map 연동 기능을 이용해서 네비게이션에 필수적인 정보를 전달 받아서 스마트 밴드로 진동을 통해 정보를 전달하도록 구성될 수 있다.
스마트 밴드의 걷기와 심장 박동에 대한 기록과 관리 기능을 기본 제공하고, 이에 안전운전 관련 정보를 진동을 통해서 제공한다. 진동의 종류도 정보에 따라서 서로 다르게 설정해서 운전을 하면서 빠르게 상황을 인지 할 수 있도록 구현될 수 있다. 예를 들면, 좌회전은 짧은 진동 1회, 우회전은 짧은 진동 2회, 출구는 길게 진동을 통해 알려줄 수 있다. 여기에서 짧은 진동은 1초 미만, 길 진동은 1초 이상으로 구분될 수 있다.
또한, 청각 장애인용 인포테인먼트 시스템은 블랙박스, 즉 주행영상 촬영부의 촬영영상을 해석하여 전방추동방지 진동기능, 끼어들기 시 측면 자동차 감지 진동기능 등 안전 운전을 위해 추가된 장비들과의 연동을 통해서 청각 장애인이 더욱 더 안전한 운전을 할 수 있는 환경을 제공하도록 구성될 수 있다. 또한, 심장박동 정보의 패턴 분석을 통해 졸음방지 진동기능도 구현될 수 있다.
도 2는 본 발명의 일 실시예에 따른 청각 장애인용 인포테인먼트 시스템(1)의 구성도이다.
본 실시예에 따른 청각 장애인용 인포테인먼트 시스템(1)은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.
도 2를 참조하면, 청각 장애인용 인포테인먼트 시스템(1)은 자동차 네비게이션부(200)와, 정보 처리부(400)와, 스마트 밴드(600)와, 스마트폰(800)을 포함하여 구성된다.
상기와 같이 구성되는 청각 장애인용 인포테인먼트 시스템(1)의 주요동작을 살펴보면 다음과 같다.
자동차 네비게이션부(200)는 위치기반정보를 토대로 목적지 경로안내를 시각정보 및 청각정보로 제공한다.
정보 처리부(400)는 자동차 네비게이션부(200)에서 제공되는 청각정보를 미리 설정된 진동제어신호로 변환하여 출력한다. 본 실시예에서 자동차 네비게이션부(200)와 정보 처리부(400)는 USB 통신을 이용하여 데이터를 교환하도록 구성될 수 있다.
스마트 밴드(600)는 운전자의 손목에 착용되며 진동제어신호에 응답하여 목적지 경로안내에 대응되는 경로 진동알람을 출력하여 청각장애 운전자에게 경로안내 정보를 추가로 알려줄 수 있다. 본 실시예에서 정보 처리부(400)와 스마트 밴드(600)는 블루투스 통신방식을 이용하여 데이터를 교환하도록 구성될 수 있다.
한편, 스마트폰(800)은 정보 처리부(400)와 와이파이 통신으로 연결되어, 정보 처리부(400)가 스마트폰(800)을 통해 외부서버와 연결될 수 있는 기능을 수행할 수 있다.
또한, 스마트 밴드(600)는 운전자의 맥박정보 및 체온정보를 측정하는 모듈이 내장될 수 있다. 스마트 밴드(600)는 운전자의 맥박정보 및 체온정보에 따라 진동알람의 크기를 자동제어 할 수 있다. 즉, 맥박이 기준값 이상 상승하면서 체온이 상승할 때, 운전자가 흥분한 상태로 해석하여 진동알람의 크기를 상대적으로 강하게 하여 정보전달을 원활하게 처리할 수 있다.
또한, 스마트 밴드(600)는 운전자의 맥박정보 및 체온정보가 감지될 경우에만, 정보 처리부(400)의 신호를 수신하는 기능을 수행할 수 있다. 즉, 운전자가 스마트 밴드(600)를 착용한 상태를 감지한 후 정보 처리부(400)로부터 데이터를 수신함으로서 정보 처리부(400) 및 스마트 밴드(600)의 불필요한 구동전력을 감소시킬 수 있다.
도 3은 본 발명의 다른 실시예에 따른 청각 장애인용 인포테인먼트 시스템(2)의 구성도이다.
본 실시예에 따른 청각 장애인용 인포테인먼트 시스템(2)은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.
도 3을 참조하면, 청각 장애인용 인포테인먼트 시스템(2)은 자동차 네비게이션부(200)와, 정보 처리부(400)와, 스마트 밴드(600)와, 스마트폰(800)과, 헤드 마운트 디스플레이(300)와, 주행영상 촬영부(500)를 포함하여 구성된다.
즉, 도 3의 청각 장애인용 인포테인먼트 시스템(2)은 도 2의 청각 장애인용 인포테인먼트 시스템(1)에 헤드 마운트 디스플레이(300)와, 주행영상 촬영부(500)가 추가되어 구성된다.
상기와 같이 구성되는 청각 장애인용 인포테인먼트 시스템(2)의 주요동작을 살펴보면 다음과 같다.
자동차 네비게이션부(200)는 위치기반정보를 토대로 목적지 경로안내를 시각정보 및 청각정보로 제공한다.
주행영상 촬영부(500)는 자동차의 주행영상을 촬영하여 저장한다.
정보 처리부(400)는 자동차 네비게이션부(200)에서 제공되는 청각정보를 미리 설정된 진동제어신호로 변환하여 출력하고, 주행영상 촬영부(500)의 주행영상의 객체를 인식하여 추돌방지신호를 출력한다. 본 실시예에서 자동차 네비게이션부(200) 및 주행영상 촬영부(500)와 정보 처리부(400)는 USB 통신을 이용하여 데이터를 교환하도록 구성될 수 있다.
스마트 밴드(600)는 운전자의 손목에 착용되며 진동제어신호에 응답하여 목적지 경로안내에 대응되는 경로 진동알람을 출력하고, 추돌방지신호에 응답하여 경고 진동알람을 출력하여 청각장애 운전자에게 경로안내 정보를 추가로 알려줄 수 있다. 본 실시예에서 정보 처리부(400)와 스마트 밴드(600)는 블루투스 통신방식을 이용하여 데이터를 교환하도록 구성될 수 있다.
또한, 스마트폰(800)은 정보 처리부(400)와 와이파이 통신으로 연결되어, 정보 처리부(400)가 스마트폰(800)을 통해 외부서버와 연결될 수 있는 기능을 수행할 수 있다.
또한, 스마트 밴드(600)는 운전자의 맥박정보 및 체온정보를 측정하는 모듈이 내장될 수 있다. 스마트 밴드(600)는 운전자의 맥박정보 및 체온정보에 따라 진동알람의 크기를 자동제어 할 수 있다. 즉, 맥박이 기준값 이상 상승하면서 체온이 상승할 때, 운전자가 흥분한 상태로 해석하여 진동알람의 크기를 상대적으로 강하게 하여 정보전달을 원활하게 처리할 수 있다.
또한, 스마트 밴드(600)는 운전자의 맥박정보 및 체온정보가 감지될 경우에만, 정보 처리부(400)의 신호를 수신하는 기능을 수행할 수 있다. 즉, 운전자가 스마트 밴드(600)를 착용한 상태를 감지한 후 정보 처리부(400)로부터 데이터를 수신함으로서 정보 처리부(400) 및 스마트 밴드(600)의 불필요한 구동전력을 감소시킬 수 있다.
한편, 자동차 네비게이션부(200)의 안내음성과 스마트 밴드(600)의 진동의 시간차이가 발생할 경우, 운전자에게 혼란을 줄 수 있으므로 초기설정모드에서 자동차 네비게이션부(200)의 안내음성과 스마트 밴드(600)의 진동의 시간차이를 최소화시키는 설정을 진행할 수 있다.
정보 처리부(400)는 마이크와, 진동 감지부를 포함할 수 있는데,
초기설정모드에서 마이크는 자동차 네비게이션부(200)의 안내음성을 인식하고, 진동 감지부는 스마트 밴드(600)의 진동을 감지한다. 참고적으로, 초기설정모드에서의 스마트 밴드(600)의 진동은 미리 설정된 특정진동패턴이 출력된다.
즉, 정보 처리부(400)는 안내음성과 진동패턴의 시간차이를 소정의 횟수 검출한 후, 지연시간을 결정하고, 그 지연시간을 자동차 네비게이션부(200)로 전송한다. 이때, 자동차 네비게이션부(200)는 그 지연시간을 고려하여 정보 처리부(400)로 지연시간 만큼 더 빠른 청각정보를 제공함으로써 자동차 네비게이션부(200)의 안내음성과 스마트 밴드(600)의 진동의 시간차이를 최소화시킬 수 있다.
또한, 초기설정모드 이후 주기적으로 지연동기 트리밍 모드가 실행되는데, 지연동기 트리밍 모드에서는 소정의 시간동안 안내음성과 진동패턴의 시간차이를 파악한 후 지연보정값을 산출하고, 자동차 네비게이션부(200)에 지연보정값을 제공할 수 있다.
한편, 헤드 마운드 디스플레이(300)는 투명 디스플레이와, 좌측 전방 카메라와, 우측 전방 카메라와, 좌측 3D센서와, 우측 3D센서와, 위성모듈과, 통신모듈과, 9축 센서와, 좌측진동부와, 우측진동부와, 배터리와, 인식 카메라와, 제어부를 포함하여 구성된다.
투명 디스플레이는 투명한 재질의 디스플레이로써 증강현실안경의 렌즈를 구성한다. 따라서 사용자(운전자)가 전방을 주시한 상태에서 실제객체와 가상객체를 동시에 확인할 수 있다. 이때 투명 디스플레이는 렌즈 전체 또는 렌즈 일부에 탑재될 수 있다.
좌측 전방 카메라는 안경의 좌측에 탑재되어 전방의 실제영상정보를 획득한다. 또한, 우측 전방 카메라는 안경의 우측에 탑재되어 전방의 실제영상정보를 획득한다.
좌측 3D센서 및 우측 3D센서는 좌측 전방 카메라 및 우측 전방 카메라와 연동되어 전방의 3D영상을 촬영할 수 있도록 동작한다. 즉 촬영된 3D 영상은 내장된 메모리에 저장되거나 서버로 전송될 수 있다. 참고적으로 실시예에 따라 전방 카메라 및 3D센서가 하나씩 배치되어 실제영상정보를 획득하도록 구성될 수도 있을 것이다. 전방 카메라는 적외선 영역 및 가시광선 영역을 모두 촬영할 수 있도록 구성되는 것이 바람직하다.
위성모듈은 위성위치정보를 획득하기 위해 구비되고, 통신모듈은 와이파이(Wi-Fi) 통신모듈, 블루투스 통신모듈, 광대역(3G, 4G, LTE) 통신모듈이 탑재될 수 있다.
9축 센서는 가속도 3축, 관성 3축, 지자기 3축으로 총 9축의 값이 측정되기 때문에 9축 센서라고 지칭되며, 온도값에 대한 보정을 위해 온도센서가 추가로 구비될 수 있다. 9축 센서는 헤드 마운드 디스플레이(300)의 3차원적인 움직임을 감지하여 사용자의 응시방향, 이동방향, 기울기 등을 감지할 수 있다.
배터리는 헤드 마운드 디스플레이(300)에 구동전원을 공급할 수 있도록 구성되며 충전 가능한 리튬이온 배터리나, 의사 캐패시터로 구성될 수 있다.
참고적으로, 배터리는 복수의 의사 캐패시터(Pseudo Capacitor)로 구성될 수 있는데, 의사 캐패시터(Pseudo Capacitor)는 전극에서의 이차원적인 산화-환원 반응을 이용하므로 일반적인 캐패시터보다 우수한 축전용량을 가지며 수명이 상대적으로 긴 장점이 있다.
인식 카메라는 사용자의 눈동자의 움직임과, 눈동자의 응시방향, 눈의 크기변화를 감지한다. 인식 카메라는 좌측 및 우측에 각각 배치되는 것이 가장 바람직하며 어느 한 방향에만 배치될 수도 있다.
기본적으로 인식 카메라는 사용자의 눈이 위치한 방향으로 촬영되고 있으나, 투명 디스플레이에서 반사되는 눈의 영상을 촬영하여 눈동자의 움직임, 응시방향, 크기변화 등을 감지하도록 구성되고 운전자의 졸음, 전방 미주시 등을 파악하여 헤드 마운트 디스플레이(300)의 자체진동모듈로 경고할 수 있다.
또한, 헤드 마운트 디스플레이(300)는 진동제어신호 및 추돌방지신호에 응답하여 좌측 진동부 및 우측 진동부를 구동하여 경로 진동알람 및 경고 진동알람을 제공할 수 있다.
정보 처리부(400)는 헤드 마운트 디스플레이(300)의 진동알람과, 스마트 밴드(600)의 진동알람을 동기화시켜서 운전자에게 더욱 정확한 진동알람을 제공할 수 있도록 처리한다.
제어부는 투명 디스플레이, 좌측 전방 카메라, 우측 전방 카메라, 좌측 3D센서, 우측 3D센서, 좌측 진동부, 우측 진동부, 위성모듈, 통신모듈, 9축 센서, 배터리, 인식 카메라의 동작을 제어한다.
한편, 제어부는 충전전력의 크기에 따라 복수의 의사 캐패시터 중 적어도 어느 하나를 선택적으로 충전하도록 구성될 수 있다. 그 충전방식에 대해서 상세히 설명하면 다음과 같다.
복수의 의사 캐패시터가 3개 배치될 경우, 즉 제1 의사 캐패시터, 제2 의사 캐패시터 및 제3 의사 캐패시터가 배치된다고 가정한다. 이때 제1 의사 캐패시터의 충전용량이 가장 크고, 제2 의사 캐패시터의 충전용량은 제1 의사 캐패시터보다 작고, 제3 의사 캐패시터의 충전용량은 제2 의사 캐패시터보다 더 작다고 가정한다.
제어부는 제1 의사 캐패시터, 제2 의사 캐패시터 및 제3 의사 캐패시터의 충전량을 감지한 후, 충전량이 가장 높은 순서대로 구동전력을 공급한다.
예를 들면, 제1 의사 캐패시터의 충전량이 60%이고, 제2 의사 캐패시터의 충전량이 70%이고, 제3 의사 캐패시터의 충전량이 80%일 경우,
제3 의사 캐패시터의 전력을 우선으로 공급하다가, 충전량이 40%에 도달하면 제3 의사 캐패시터의 전력공급을 차단하고 제2 의사 캐패시터의 전력을 공급한다. 또한, 제2 의사 캐패시터의 충전량이 40%에 도달하면 제2 의사 캐패시터의 전력공급을 차단하고 제1 의사 캐패시터의 전력을 공급한다.
또한, 제1 내지 제3 의사 캐패시터의 충전량이 모두 40% 이하 일 경우, 제어부는 제1 내지 제3 의사 캐패시터를 병렬로 연결하여 구동전력을 공급한다.
한편, 헤드 마운드 디스플레이(300)는 운전자 전방의 제1 장애물(객체) 및 제2 장애물의 접근 거리뿐만 아니라, 헤드 마운드 디스플레이(300)의 카메라 영상정보를 바탕으로 충돌 가능성을 추가로 판단하여 표시하고 자체 진동할 수 있다.
이때, 영상정보에 의한 충돌 가능성 판단은, 제1 장애물 및 제2 장애물 각각의 움직임 정보(가속도, 예상궤적)를 기반으로 판단될 수 있다. 예를 들면, 제1 장애물과 제2 장애물이 근접한 상태가 아닐지라도 제1 장애물의 예상 궤적과 제2 장애물의 예상 궤적과, 각 장애물의 가속도 정보를 바탕으로 사전에 충돌 가능성을 경고하도록 동작할 수도 있을 것이다.
또한, 헤드 마운트 디스플레이(300)는 인식된 객체에 객체정보를 부여할 수 있는데, 각각의 객체정보는 객체 종류별로 미리 할당된 식별코드 및 각 객체의 중심영역에 대한 시간별 위치정보를 포함한다.
예를 들면, 화면의 영상에서 “보행자”이라는 객체가 인식될 경우, “보행자”에 미리 할당된 식별코드와, “보행자”의 중심영역의 위치(좌표)에 대한 시간별 위치정보가 전송된다.
참고적으로, 식별코드는 객체코드 및 부가코드를 포함하는데, 객체코드는 “보행자”이라는 형상에 부여된 코드이고, 부가코드는 “노약자”등과 같은 부가 데이터 정보를 코드화한 것으로 정의된다.
헤드 마운트 디스플레이(300)는 객체정보를 정보 처리부(400)에 제공하는데, 정보 처리부(400) 입장에서는 이미지 프로세싱작업을 직접 처리하지 않고도 헤드 마운트 디스플레이(300)로부터 전송되는 객체정보를 수신하여, “보행자”이라는 객체의 인식된 종류와, 그 이동위치를 파악함으로서 보행자의 수를 파악할 수 있다. 정보 처리부(400)는 헤드 마운트 디스플레이(300)의 객체정보를 바탕으로 주행영상 촬영부(500)의 촬영영상의 객체인식을 수행하여 객체 인식률을 향상시킬 수 있다.
본 발명의 실시예에 따른 청각 장애인용 인포테인먼트 시스템은 자동차 네비게이션부에서 제공되는 청각정보를 경로 진동알람로 변환하여 출력하여 청각 장애인에게 운전정보를 제공할 수 있다.
또한, 주행영상 촬영부의 주행영상의 객체를 인식하여 추돌 진동알람을 출력하여 청각 장애인에게 안전운전정보를 제공할 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
200 : 자동차 네비게이션부
300 : 헤드 마운트 디스플레이
400 : 정보 처리부
500 : 주행영상 촬영부
600 : 스마트 밴드
800 : 스마트폰
300 : 헤드 마운트 디스플레이
400 : 정보 처리부
500 : 주행영상 촬영부
600 : 스마트 밴드
800 : 스마트폰
Claims (4)
- 위치기반정보를 토대로 목적지 경로안내를 시각정보 및 청각정보로 제공하는 자동차 네비게이션부;
상기 자동차 네비게이션부에서 제공되는 청각정보를 미리 설정된 진동제어신호로 변환하여 출력하는 정보 처리부; 및
운전자의 손목에 착용되며 상기 진동제어신호에 응답하여 목적지 경로안내에 대응되는 경로 진동알람을 출력하는 스마트 밴드;
를 포함하는 청각 장애인용 인포테인먼트 시스템.
- 위치기반정보를 토대로 목적지 경로안내를 시각정보 및 청각정보로 제공하는 자동차 네비게이션부;
자동차의 주행영상을 촬영하는 주행영상 촬영부;
상기 자동차 네비게이션부에서 제공되는 청각정보를 미리 설정된 진동제어신호로 변환하고, 상기 주행영상의 객체를 인식하여 추돌방지신호를 출력하는 정보 처리부; 및
운전자의 손목에 착용되며 상기 진동제어신호에 응답하여 목적지 경로안내에 대응되는 경로 진동알람을 출력하고, 상기 추돌방지신호에 응답하여 경고 진동알람을 출력하는 스마트 밴드;
를 포함하는 청각 장애인용 인포테인먼트 시스템.
- 제1항 또는 제2항에 있어서,
상기 스마트 밴드는,
상기 운전자의 맥박정보 및 체온정보에 따라 진동알람의 크기를 자동제어 하는 것을 특징으로 하는 청각 장애인용 인포테인먼트 시스템.
- 제1항 또는 제2항에 있어서,
상기 스마트 밴드는,
상기 운전자의 맥박정보 및 체온정보가 감지될 경우에만, 상기 정보 처리부의 신호를 수신하는 것을 특징으로 하는 청각 장애인용 인포테인먼트 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210089678A KR102627392B1 (ko) | 2021-07-08 | 2021-07-08 | 청각 장애인용 인포테인먼트 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210089678A KR102627392B1 (ko) | 2021-07-08 | 2021-07-08 | 청각 장애인용 인포테인먼트 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230009073A true KR20230009073A (ko) | 2023-01-17 |
| KR102627392B1 KR102627392B1 (ko) | 2024-01-19 |
Family
ID=85111320
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210089678A KR102627392B1 (ko) | 2021-07-08 | 2021-07-08 | 청각 장애인용 인포테인먼트 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102627392B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101250952B1 (ko) * | 2012-07-23 | 2013-04-09 | 정윤석 | 시각장애인용 보행 네비게이션 시스템 |
| KR20180097976A (ko) * | 2017-02-24 | 2018-09-03 | 에스엘 주식회사 | 주변 영상 모니터링 장치 및 방법 |
| KR101985427B1 (ko) * | 2016-03-31 | 2019-06-03 | 주식회사 디젠 | 진동팔찌를 이용한 네비게이션 장치 |
| KR20210019667A (ko) | 2019-08-13 | 2021-02-23 | 이시완 | 진동 패턴을 이용한 길 안내 시스템 및 그 방법 |
-
2021
- 2021-07-08 KR KR1020210089678A patent/KR102627392B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101250952B1 (ko) * | 2012-07-23 | 2013-04-09 | 정윤석 | 시각장애인용 보행 네비게이션 시스템 |
| KR101985427B1 (ko) * | 2016-03-31 | 2019-06-03 | 주식회사 디젠 | 진동팔찌를 이용한 네비게이션 장치 |
| KR20180097976A (ko) * | 2017-02-24 | 2018-09-03 | 에스엘 주식회사 | 주변 영상 모니터링 장치 및 방법 |
| KR20210019667A (ko) | 2019-08-13 | 2021-02-23 | 이시완 | 진동 패턴을 이용한 길 안내 시스템 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102627392B1 (ko) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110167823B (zh) | 用于驾驶员监测的系统和方法 | |
| US10395116B2 (en) | Dynamically created and updated indoor positioning map | |
| US10643389B2 (en) | Mechanism to give holographic objects saliency in multiple spaces | |
| US9395543B2 (en) | Wearable behavior-based vision system | |
| EP2893867A1 (en) | Detecting visual inattention based on eye convergence | |
| US20130250078A1 (en) | Visual aid | |
| US20140160157A1 (en) | People-triggered holographic reminders | |
| US11169601B2 (en) | Methods and systems for determining teleoperating user intent via eye tracking | |
| CN109758167A (zh) | 驾驶员状态检测装置 | |
| US20210183343A1 (en) | Content Stabilization for Head-Mounted Displays | |
| WO2014085789A1 (en) | Direct hologram manipulation using imu | |
| US11900795B2 (en) | Pedestrian device and traffic safety assistance method | |
| US11110933B2 (en) | Driving support device, wearable device, driving support system, driving support method, and computer-readable recording medium | |
| CN109106563A (zh) | 一种基于深度学习算法的自动化导盲装置 | |
| JP2018116495A (ja) | ドライバ状態検出装置 | |
| JP2016091192A (ja) | 虚像表示装置、制御方法、プログラム、及び記憶媒体 | |
| KR20190111262A (ko) | 시각 장애인을 위한 장애물 거리 측정 단말기 | |
| KR20200082109A (ko) | 비주얼 데이터와 3D LiDAR 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템 | |
| US10642033B2 (en) | Image display device and image display method | |
| US11903647B2 (en) | Gaze detector, method for controlling gaze detector, method for detecting corneal reflection image position, and storage medium | |
| CN110803170B (zh) | 智能用户接口的驾驶辅助系统 | |
| KR20230009073A (ko) | 청각 장애인용 인포테인먼트 시스템 | |
| KR20180064894A (ko) | 차량용 hmd 장치 및 시스템 | |
| US20240027765A1 (en) | Control device, control method for head-mounted display device, and program | |
| Patil et al. | Navigator for Visually Impaired Person |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |