KR20210068761A - 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템 및 방법 - Google Patents
시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템 및 방법 Download PDFInfo
- Publication number
- KR20210068761A KR20210068761A KR1020190158157A KR20190158157A KR20210068761A KR 20210068761 A KR20210068761 A KR 20210068761A KR 1020190158157 A KR1020190158157 A KR 1020190158157A KR 20190158157 A KR20190158157 A KR 20190158157A KR 20210068761 A KR20210068761 A KR 20210068761A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- vehicle
- data
- visualization
- information object
- Prior art date
Links
- 230000001771 impaired effect Effects 0.000 title claims abstract description 43
- 238000013135 deep learning Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims description 21
- 238000012800 visualization Methods 0.000 claims abstract description 80
- 208000010415 Low Vision Diseases 0.000 claims abstract description 28
- 230000004303 low vision Effects 0.000 claims abstract description 28
- 230000000007 visual effect Effects 0.000 claims abstract description 24
- 230000036632 reaction speed Effects 0.000 claims abstract description 6
- 238000004092 self-diagnosis Methods 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 12
- 239000000446 fuel Substances 0.000 claims description 7
- 238000007726 management method Methods 0.000 claims description 7
- 238000013500 data storage Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 claims 1
- 229910052709 silver Inorganic materials 0.000 claims 1
- 239000004332 silver Substances 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 230000004438 eyesight Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000029257 vision disease Diseases 0.000 description 2
- 208000006992 Color Vision Defects Diseases 0.000 description 1
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 201000007254 color blindness Diseases 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/0057—Frequency analysis, spectral techniques or transforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/08—Predicting or avoiding probable or impending collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/14—Cruise control
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
Abstract
시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템을 개시한다. 실시예에 따른 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템은 저시력 시각장애인의 시력 특성에 따라 인지 가능한 시각화 객체로 차량에서 수집된 정보를 변환하여 제공함으로써, 저시력 시각장애인들도 자율주행 차량을 거부감 없이 이용할 수 있도록 한다. 또한, 차량주행정보를 정보의 종류에 따라 시각화 데이터와 청각화 데이터 또는 시청각 데이터로 분류하여 출력함으로써, 차량에서 수집된 출력 정보를 차량 탑승자가 더욱 직관적이고 쉽게 인식할 수 있도록 하고, 탑승자의 반응속도에 따라 차량 상태정보의 최적 출력 형태를 파악하게 되어, 정보 출력 및 전달 효율을 향상 시킬 수 있다.
Description
자율주행 차량의 시각화 시스템 및 방법에 관한 것으로 구체적으로, 자율주행 차량의 다양한 주행 정보를 시각장애인이 인식 가능한 시각 정보로 변환하여 제공하는 딥러닝(deep learning)기반 시각화 시스템 및 방법에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
자율주행차(self-driving car)는 운전자가 핸들과 가속페달, 브레이크 등을 조작하지 않아도 정밀한 지도, 위성항법시스템(GPS) 등 차량의 각종 센서로 상황을 파악해 스스로 목적지까지 찾아가는 자동차를 말한다. 엄밀한 의미에서 사람이 타지 않은 상태에서 움직이는 무인자동차(driverless cars)와 다르지만 실제론 혼용되고 있다. 자율주행 자동차가 실현되기 위해선 수십 가지의 기술이 필요하다. 예를 들어, 차간 거리를 자동으로 유지해 주는 HDA 기술, 차선이탈 경보 시스템(LDWS), 차선유지 지원 시스템(LKAS), 후측방 경보 시스템(BSD), 어드밴스드 스마트 크루즈 컨트롤(ASCC), 자동 긴급제동 시스템(AEB) 등이 자율주행 차량에 필수적인 시스템이다. 자율주행 차량의 기술단계는 자동브레이크, 자동속도조절 등 운전 보조기능을 지원하는 1단계에서 완전 자율주행, 사람이 타지 않고도 움직이는 무인 주행차의 5단계로 나누어진다.
완전한 자율주행 차량의 탑승자는 직접 운전을 하지 않기 때문에, 차량 사고 전후의 상황을 인식하기 어렵고, 차량의 세부적인 상태정보도 인식하기 어려워 차량 점검을 소홀히 할 가능성도 있다. 자율주행 차량에서는 탑승자에게 차량 상태정보와 주행정보를 더욱 자세하고 자주 알려줘야 할 필요가 있다. 종래 자율주행 차량은 차량의 주행 정보, 세부 상태정보 및 자가진단 데이터를 시각 데이터로 전환하여 운전자에게 제공한다.
하지만, 종래 자율주행 차량의 시각화 정보는 시각장애인이나 시력이 약한 사용자가 쉽게 확인 하기 어려운 형태가 대부분이다. 이는 시각장애인이나 시력이 약한 노약자 등이 자율주행 차량을 적극적으로 이용할 수 없게 하는 결정적인 요인으로 작용할 수 있다.
실시예에 따른 자율주행 차량의 시각화 시스템 및 방법은 차량의 센서 데이터와 자가진단 데이터를 차량 내부에 저장하고, 자율주행 차량의 주행 정보 및 차량 상태정보를 시각장애인이나 시력이 약한 사용자도 인식 가능한 시각화 객체로 출력하여 시각장애인 또한 완전하게 자율주행 차량을 이용할 수 있도록 한다.
아울러, 차량의 주행정보나 상태정보 중 청각적 정보로 변환할 데이터와 시각화 정보로 변환할 데이터를 구분하여 차량 정보와 주행상황 및 탑승자의 신체 정보에 따라 출력함으로써, 시각 또는 청각에 장애가 있는 사용자도 자율주행 차량을 이용할 수 있도록 한다.
실시예에 따른 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템은 자율주행 차량에 탑승한 저시력 시각장애인의 시력 특성을 파악하여, 시력특성정보에 따라 자율주행 차량의 조도 및 색, 크기, 명암을 포함하는 시각화 정보객체의 세부정보를 설정하는 설정모듈; 연료와 배터리 잔량을 포함하는 차량상태정보 및 차량 내부통신시스템, 주행시스템을 포함하는 자율주행차량 운용 시스템 각각의 자가 진단 데이터를 센싱하고, RPM, 속도, 속도변화량을 포함하는 주행데이터를 감지하는 센서모듈; 센서모듈에서 감지된 차량 상태정보, 차량의 자가진단 데이터 및 주행데이터를 수집하여 저장하고, 차량과 통신하는 외부 서버를 포함하는 통신 객체로부터 수신한 메시지 및 진단된 차량 상태 및 변환될 정보객체의 포맷을 저장하는 데이터 저장관리모듈; 및 차량 상태정보, 차량 자가진단 데이터 및 주행데이터를 저시력 시각장애인이 인지 가능한 시각화 정보객체로 변환하여 자율주행 시각화 정보를 생성하는 정보객체 생성모듈; 을 포함한다.
다른 실시예에 따른 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템의 정보 생성 방법은 설정모듈은 자율주행 차량에 탑승한 저시력 시각장애인의 시력 특성을 파악하여, 시력특성정보에 따라 자율주행 차량의 조도 및 색, 크기, 명암을 포함하는 시각화 정보객체의 세부정보를 설정하는 제1단계; 센서모듈은 연료와 배터리 잔량을 포함하는 차량상태정보 및 차량 내부통신시스템, 주행시스템을 포함하는 자율주행차량 운용 시스템 각각의 자가 진단 데이터를 센싱하고, RPM, 속도, 속도변화량을 포함하는 주행데이터를 감지하는 제2단계; 데이터 저장관리모듈은 센서모듈에서 감지된 차량 상태정보, 차량의 자가진단 데이터 및 주행데이터를 수집하여 저장하고, 차량과 통신하는 외부 서버를 포함하는 통신 객체로부터 수신한 메시지 및 진단된 차량 상태 및 변환될 정보객체의 포맷을 저장하는 제3단계; 및 정보객체 생성모듈은 차량 상태정보, 차량 자가진단 데이터 및 주행데이터를 저시력 시각장애인이 인지 가능한 시각화 정보객체로 변환하여 자율주행 시각화 정보를 생성하는 제4단계; 를 포함한다.
이상에서와 같은 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템은 저시력 시각장애인의 시력 특성에 따라 인지 가능한 시각화 객체로 차량에서 수집된 정보를 변환하여 제공함으로써, 저시력 시각장애인들도 자율주행 차량을 거부감 없이 이용할 수 있도록 한다. 또한, 차량주행정보를 정보의 종류에 따라 시각화 데이터와 청각화 데이터 또는 시청각 데이터로 분류하여 출력함으로써, 차량에서 수집된 출력 정보를 차량 탑승자가 더욱 직관적이고 쉽게 인식할 수 있도록 하고, 탑승자의 반응속도에 따라 차량 상태정보의 최적 출력 형태를 파악하게 되어, 정보 출력 및 전달 효율을 향상 시킬 수 있다.
아울러, 실시예에서는 시각화된 정보객체와 청각화된 정보객체를 모두 제공 가능하기 때문에, 시력이 약한 사용자 또는 청력이 약한 사용자가 자신이 주로 이용하는 출력정보의 형태를 설정하고 설정된 정보 형태로 출력되는 비중을 높여 청력이나 시력이 약한 노약자 등도 자율주행 차량을 적극적으로 이용할 수 있도록 한다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 실시예에 따른 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템의 데이터 처리 구성을 나타낸 도면
도 2는 실시예에 따른 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템 시각화 객체의 예
도 3은 실시예에 따른 판단모듈(400)의 데이터 처리구성
도 4는 실시예에 따른 정보객체 생성모듈(500)의 데이터 처리 블록
도 5는 실시예에 따른 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템의 데이터 처리과정을 나타낸 도면
도 2는 실시예에 따른 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템 시각화 객체의 예
도 3은 실시예에 따른 판단모듈(400)의 데이터 처리구성
도 4는 실시예에 따른 정보객체 생성모듈(500)의 데이터 처리 블록
도 5는 실시예에 따른 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템의 데이터 처리과정을 나타낸 도면
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 실시예에 따른 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템의 데이터 처리 구성을 나타낸 도면이다.
도 1을 참조하면, 실시예에 따른 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템은 설정모듈(100), 센서모듈(200), 저장관리모듈(300), 판단모듈(400) 및 정보객체 생성모듈(500)을 포함하여 구성될 수 있다. 본 명세서에서 사용되는 '모듈' 이라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다.
설정모듈(100)은 자율주행 차량에 탑승한 저시력 시각장애인을 포함하는 시각장애인의 시력 특성을 파악하여, 시력 정보에 따라 자율주행 차량의 조도 및 색, 크기, 명암, 을 포함하는 정보객체의 세부정보를 설정한다.
시각장애인은 전맹 시각장애인과 저시력 시각장애인으로 구분되고, 저시력 시각장애인은 전체 시각장애인 중 80% 정도를 차지한다. 저시력 시각장애인들은 전맹이 아니기 때문에, 시각을 통해 사물의 대략적인 윤곽과 객체 존재 여부를 인지 할 수 있다. 다만, 저시력 시각장애인들은 개인의 시력 특성에 따라 인지 가능한 시각화 객체의 종류가 다르다. 구체적으로, 색맹도 저시력 시각장애에 포함되고, 저시력 장애의 특성에 따라 조도에 의해 객체의 시각화 인식률이 달라지는 경우도 있다. 구체적으로, 조도가 높은 경우에만 시각화 객체를 인지 할 수 있는 시각장애인이 있는가 하면, 조도가 낮은 경우에만 시각화 객체를 인지 할 수 있는 시각장애인도 있다.
설정모듈(100)은 전술한 바와 같이 자율주행 차량에 탑승한 시각장애인 각각의 시력특성을 파악하고, 시각 특성에 따라 시각장애인이 인지 가능한 시각화 객체의 종류를 설정한다. 예컨대, 실시예에 따른 시각화 객체 예를 나타낸 도 2에 도시된 바와 같이, 시각장애인이 모든 객체를 흑백으로만 인식 가능한 경우, 실시예에서는 자율주행 차량에서 생성하는 시각화 객체의 대비율을 매우 높게 설정하거나, 흑백 처리된 시각화 정보객체를 생성하여 탑승자에게 제공한다. 또한, 설정 모듈(100)은 출력되는 시각화 정보객체 및 청각적 정보객체의 크기, 색, 포맷 등을 탑승자의 시력특성을 포함하는 생체정보를 기반으로 설정한다.
센서모듈(200)은 연료, 배터리 잔량을 포함하는 차량상태정보 및 차량 내부통신시스템, 주행시스템을 포함하는 자율주행차량 운용 시스템 각각의 자가 진단 데이터를 센싱하고, RPM, 속도, 속도변화량을 포함하는 주행데이터를 감지한다.
저장관리모듈(300)은 센서모듈(200)에서 감지된 차량 상태정보, 차량의 자가진단 데이터 및 주행데이터를 수집하여 저장하고, 차량과 통신하는 외부 서버를 포함하는 통신 객체로부터 수신한 메시지, 차량 상태 및 변환될 정보객체의 포맷을 저장한다. 실시예에 따른 시각화 정보 객체는 시각장애인의 시력특성에 따라 파악 가능한 시각화 객체로서 다양한 포맷으로 생성될 수 있다. 예컨대, 저시력 시각장애인이 인지 가능한 흑백과 경계선으로 구성된 제1정보객체, 시각장애인이 인지 가능한 색으로만 구성된 제2정보객체; 및 빛의 세기와 밝기를 영역별로 다르게 구성하는 제3정보객체; 등을 포함할 수 있다. 또한, 흰색, 회색, 검정색의 명도 차이로만 시각화하는 정보 객체 및 3차원 정보 객체도 포함될 수 있다.
판단모듈(400)은 차량 상태정보, 자가진단데이터 및 주행데이터 중 시각화 정보 객체로 변환할 데이터와, 청각적 정보 객체로 변환할 데이터 및 시청각 정보 객체로 변환할 데이터를 분리한다. 예컨대, 판단모듈(400)은 주행정보나 차량 상태정보를 자율주행 차량 탑승자에게 쉽게 인식시키기 위해, 수집된 정보의 종류에 따른 최적 정보 객체 포맷을 판단한다.
구체적으로, 판단모듈(400)은 차량 상태정보, 자가진단데이터 및 주행데이터 중 차량의 위험상태를 나타내는 위험상태 알림 정보는 시청각 데이터로 변환할 수 있다. 또한, 문 열림, 방향지시등 켜짐 등의 차량 상태 정보는 청각적 데이터로 전환되는 것이 사용자가 정보를 인식하기에 용이하고, 차량 주변에 존재하는 객체정보는 시각화 데이터로 전환하는 것이 사용자가 정보를 인식하는데 더욱 도움이 되므로, 판단모듈(400)은 차량으로부터 수집된 정보의 종류와 출력 포맷의 인지 용이성에 대한 연관관계를 기반으로 수집된 차량 정보의 변환 포맷을 판단할 수 있다.
정보객체 생성모듈(500)은 차량 상태정보, 차량 자가진단 데이터 및 주행데이터를 저시력 시각장애인이 인지 가능한 정보 객체로 변환하여 자율주행 시각화 정보를 생성한다. 또한, 실시예에서 정보객체 생성모듈(500)은 주행데이터를 포함하는 차량정보가 시청각 정보 객체 또는 청각적 정보객체로 변환하도록 판단되는 경우, 이에 대응하는 시청각 정보 객체 및 청각적 정보객체를 생성하여 출력한다.
도 3은 실시예에 따른 판단모듈(400)의 데이터 처리구성을 나타낸 도면이다.
도 3을 참조하면, 실시예에 따른 판단모듈(400)은 주행상황 분석부(410), 분류부(430) 및 시각화 정보객체 포맷 매칭부(450)를 포함하여 구성될 수 있다.
주행상황 분석부(410)는 자율주행 차량의 위치 정보와 주변 객체 정보에 따라 주행상황을 분석한다. 예컨대, 주행상황 분석부(410)는 차량이 정체된 도로의 정체 정도와 차량 주변 장애물의 밀도, 개수 등을 파악할 수 있다.
분류부(450)는 수집된 차량 상태정보와 주행정보 중 출력 해야 할 정보를 파악하고, 출력해야 할 정보 중 시각화할 데이터, 청각화할 데이터 및 시청각화할 데이터를 분류한다. 예컨대, 분류부(450)는 연료 및 배터리가 일정 수준 미만이 되거나, 차량 주변에 이동물체가 갑자기 나타난 경우 등의 위험상황 메시지는 시청각화할 데이터로 분류할 수 있고, 문 열림, 창문 열림 등의 차량 상태 정보는 청각화 해야 할 정보로 분류 할 수 있다.
실시예에서 분류부(430)은 딥러닝을 통해 차량정보 출력 포맷 분류 이후, 시각화 또는 청각화된 정보가 출력되었을 때 사용자 반응 속도 및 인지 속도를 파악하여 차량에서 수집된 정보의 최적 출력 형태를 피드백 할 수 있다. 예컨대, 갑자기 차량주변으로 나타난 이동물체에 대한 출력정보를 시청각 정보객체로 제공한 경우, 차량 탑승자의 반응속도나 제어 속도가 더 빠른 것으로 산출되면, 차량 주변 객체에 대한 출력 정보는 시청각화 정보로 변환하여 출력하도록 피드백 할 수 있다.
시각화 정보객체 포맷 매칭부(450)는 분석된 주행상황과 차량 상태정보에 따라 시각화할 정보를 추출하고, 추출된 정보객체가 변환될 시각화 포맷을 파악한다. 예컨대, 시각화 정보객체 포맷 매칭부(430)는 차량에 탑승한 시각장애인의 시력 특성 정보를 고려하여 시각화 정보객체 포맷을 출력해야 하는 정보에 매칭한다. 구체적으로, 차량에 탑승한 시각장애인이 적록색맹인 경우, 흑백으로 구성된 시각화 정보객체 포맷을 매칭하고, 특정 시각장애인이 3차원 객체만 인지 가능한 경우, 시각화로 출력 해야 할 정보에 3차원 정보객체 포맷을 매칭한다.
도 4는 실시예에 따른 정보객체 생성모듈(500)의 데이터 처리 블록을 나타낸다.
도 4를 참조하면, 실시예에 따른 시각화 정보객체 생성부(510)는 차량에 탑승한 시각 장애인의 시력특성에 따라 매칭된 시각화 정보객체 포맷에 따라 시각화 정보객체를 생성한다. 예컨대, 시각화 정보 객체 생성부(510)는 차량에 탑승한 저시력 시각장애인이 인지 가능한 시각화 객체로 차량에서 수집된 정보를 변환하여 출력한다. 실시예에서는 흑백 정보객체, 3차원 정보객체, 특정 색으로만 구성된 정보 객체 등의 다양한 포맷으로 시각화 정보객체를 생성할 수 있다.
시청각 정보객체 생성부(520)는 차량에서 수집된 정보를 시청각 정보 객체로 변환하여 출력하도록 한다. 실시예에서 시청각 정보객체는 시각화된 출력정보와 청각화된 출력정보를 동시에 출력하거나, 두 정보를 시간차를 두고 출력하여 차량에 탑승한 사용자가 차량에서 수집된 정보를 더욱 직관적을 인지할 수 있도록 한다. 실시예에서 시청각 정보객체 생성부(250)는 청각장애인이 탑승한 경우에는 시각화 정보의 출력 비중을 높게 조정하고, 청력에 주로 의존하는 탑승객이 승차한 경우에는 청각화 정보의 출력 비중을 높게 조정하여 시청각 정보 객체를 생성하고 이를 출력할 수 있다. 또한, 시각화 정보객체와 청각화 정보 객체의 최적 출력 시점을 차량정보에 따라 다르게 산출하여 정보를 출력할 수 있다.
이하에서는 방법에 대해서 차례로 설명한다. 실시예에 따른 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템의 작용(기능)은 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 방법의 기능과 본질적으로 같은 것이므로 도 1 내지 도 4와 중복되는 설명은 생략하도록 한다.
도 5는 실시예에 따른 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템의 데이터 처리과정을 나타낸 도면이다.
도 5를 참조하면, S510 단계에서는 설정모듈에서 자율주행 차량에 탑승한 저시력 시각장애인을 포함하는 시각장애인의 시력 특성을 파악하여, 시력 정보에 따라 자율주행 차량의 조도 및 색, 크기, 명암, 을 포함하는 정보객체의 세부정보를 설정한다.
S520 단계에서는 센서모듈에서 연료, 배터리 잔량을 포함하는 차량상태정보 및 차량 내부통신시스템, 주행시스템을 포함하는 자율주행차량 운용 시스템 각각의 자가 진단 데이터를 센싱하고, RPM, 속도, 속도변화량을 포함하는 주행데이터를 감지한다.
S530 단계에서는 데이터 저장관리모듈에서 센서모듈에서 감지된 차량 상태정보, 차량의 자가진단 데이터 및 주행데이터를 수집하여 저장하고, 차량과 통신하는 외부 서버를 포함하는 통신 객체로부터 수신한 메시지 및 진단된 차량 상태 및 변환될 정보객체의 포맷을 저장한다.
S540 단계에서는 차량 상태정보, 차량 자가진단 데이터 및 주행데이터를 저시력 시각장애인이 인지 가능한 정보 객체로 변환하여 자율주행 시각화 정보를 생성하고, S550 단계에서는 생성된 객체를 출력한다.
이상에서와 같은 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템은 저시력 시각장애인의 시력 특성에 따라 인지 가능한 시각화 객체로 차량에서 수집된 정보를 변환하여 제공함으로써, 저시력 시각장애인들도 자율주행 차량을 거부감 없이 이용할 수 있도록 한다. 또한, 차량주행정보를 정보의 종류에 따라 시각화 데이터와 청각화 데이터 또는 시청각 데이터로 분류하여 출력함으로써, 출력 정보를 차량 탑승자가 더욱 직관적이고 쉽게 인식할 수 있도록 하고, 탑승자의 반응속도에 따라 차량 상태정보의 최적 출력 형태를 파악하게 되어, 정보 출력 효율을 향상 시킬 수 있다.
아울러, 실시예에서는 시각화된 정보객체와 청각화된 정보객체를 모두 제공 가능하기 때문에, 시력이 약한 사용자 또는 청력이 약한 사용자가 자신이 주로 이용하는 출력정보의 형태를 설정하고 설정된 정보 형태로 출력되는 비중을 높여 청력이나 시력이 약한 노약자 등도 자율주행 차량을 적극적으로 이용할 수 있도록 한다.
개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시예에 한정되지 않는다.
Claims (10)
- 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템에 있어서,
자율주행 차량에 탑승한 저시력 시각장애인의 시력 특성을 파악하여, 상기 시력특성정보에 따라 자율주행 차량의 조도 및 색, 크기, 명암을 포함하는 시각화 정보객체의 세부정보를 설정하는 설정모듈;
연료와 배터리 잔량을 포함하는 차량상태정보 및 차량 내부통신시스템, 주행시스템을 포함하는 자율주행차량 운용 시스템 각각의 자가 진단 데이터를 센싱하고, RPM, 속도, 속도변화량을 포함하는 주행데이터를 감지하는 센서모듈;
상기 센서모듈에서 감지된 차량 상태정보, 차량의 자가진단 데이터 및 주행데이터를 수집하여 저장하고, 차량과 통신하는 외부 서버를 포함하는 통신 객체로부터 수신한 메시지 및 진단된 차량 상태 및 변환될 정보객체의 포맷을 저장하는 데이터 저장관리모듈; 및
차량 상태정보, 차량 자가진단 데이터 및 주행데이터를 저시력 시각장애인이 인지 가능한 시각화 정보객체로 변환하여 자율주행 시각화 정보를 생성하는 정보객체 생성모듈; 을 포함하는 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템.
- 제 1항에 있어서, 상기 시각화 정보객체는
상기 시각장애인이의 시력특성에 따라 파악 가능한 시각화 객체로서, 흑백과 경계선으로 구성된 제1정보객체,
차량에 탑승한 시각장애인이 인지 가능한 색으로만 구성된 제2정보객체; 및
빛의 세기와 밝기를 영역별로 다르게 구성하는 제3정보객체; 를 포함하는 것을 특징으로 하는 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템.
- 제 1항에 있어서, 상기 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템은
차량 상태정보, 자가진단데이터 및 주행데이터 중 시각화 정보 객체로 변환할 데이터와, 청각적 정보 객체로 변환할 데이터 및 시청각 정보 객체로 변환할 데이터를 분리하는 판단모듈;을 더 포함하는 것을 특징으로 하는 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템.
- 제 3항에 있어서, 상기 판단모듈; 은
차량 상태정보, 자가진단데이터 및 주행데이터 중 차량의 위험상태를 나타내는 위험상태 알림 정보는 시청각 데이터로 변환하는 것을 특징으로 하는 딥러닝 기반 자율주행차량 시각화 시스템.
- 제 4항에 있어서, 상기 시청각데이터는
차량 상태정보, 자가진단데이터 및 주행데이터 중 차량의 위험상태를 나타내는 위험상태 알림 정보를 자율주행 차량에 탑승한 시각장애인이 인지 가능한 시각화 정보객체와 위험상태 알림 정보를 소리로 알리는 청각적 정보객체를 포함하고, 상기 시청각 데이터에 포함되는 시각화 정보객체와 청각적 정보객체가 시간차를 두고 출력되거나 동시에 출력되는 것을 특징으로 하는 딥러닝 기반 자율주행차량 시각화 시스템.
- 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템의 정보 생성 방법에 있어서,
설정모듈은 자율주행 차량에 탑승한 저시력 시각장애인의 시력 특성을 파악하여, 상기 시력특성정보에 따라 자율주행 차량의 조도 및 색, 크기, 명암을 포함하는 시각화 정보객체의 세부정보를 설정하는 제1단계;
센서모듈은 연료와 배터리 잔량을 포함하는 차량상태정보 및 차량 내부통신시스템, 주행시스템을 포함하는 자율주행차량 운용 시스템 각각의 자가 진단 데이터를 센싱하고, RPM, 속도, 속도변화량을 포함하는 주행데이터를 감지하는 제2단계;
데이터 저장관리모듈은 상기 센서모듈에서 감지된 차량 상태정보, 차량의 자가진단 데이터 및 주행데이터를 수집하여 저장하고, 차량과 통신하는 외부 서버를 포함하는 통신 객체로부터 수신한 메시지 및 진단된 차량 상태 및 변환될 정보객체의 포맷을 저장하는 제3단계; 및
정보객체 생성모듈은 차량 상태정보, 차량 자가진단 데이터 및 주행데이터를 저시력 시각장애인이 인지 가능한 시각화 정보객체로 변환하여 자율주행 시각화 정보를 생성하는 제4단계; 을 포함하는 정보 생성 방법.
- 제 6항에 있어서, 상기 제4단계; 는
판단모듈에서 차량 상태정보, 자가진단데이터 및 주행데이터 중 시각화 정보 객체로 변환할 데이터와, 청각적 정보 객체로 변환할 데이터 및 시청각 정보 객체로 변환할 데이터를 분리하는 4-1 단계; 를 포함하는 것을 특징으로 하는 정보 생성 방법.
- 제 7항에 있어서, 상기 제 4-1단계; 는
상기 시각화 정보객체와 청각적 정보객체 및 시청각 정보객체의 출력시점과 탑승자의 반응속도에 따라 차량에서 수집된 정보의 최적 출력 정보 객체 포맷을 설정하는 것을 특징으로 하는 정보 생성 방법.
- 제 7항에 있어서, 상기 제4-1단계;는
자율주행 차량 탑승자의 시력 특성 및 청력 특성에 따라 시청각 출력 데이터에 포함되는 시각화 데이터와 청각화 데이터의 비율을 조정하는 것을 특징으로 하는 정보 생성 방법.
- 제 7항에 있어서, 상기 4-1 단계; 는
생성된 시청각 정보 객체를 출력하는 경우, 수집된 차량정보의 종류와 주행정보에 따라 시각화 정보객체의 출력 시점과 청각적 정보객체의 출력 시점을 산출하는 것을 특징으로 하는 정보 생성 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190158157A KR102270011B1 (ko) | 2019-12-02 | 2019-12-02 | 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190158157A KR102270011B1 (ko) | 2019-12-02 | 2019-12-02 | 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210068761A true KR20210068761A (ko) | 2021-06-10 |
| KR102270011B1 KR102270011B1 (ko) | 2021-06-28 |
Family
ID=76378018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190158157A KR102270011B1 (ko) | 2019-12-02 | 2019-12-02 | 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102270011B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11492005B1 (en) * | 2021-08-24 | 2022-11-08 | GM Global Technology Operations LLC | Systems and methods for communicating with vision and hearing impaired vehicle occupants |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170119970A (ko) * | 2016-04-20 | 2017-10-30 | 가천대학교 산학협력단 | 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체 |
| KR20180026243A (ko) * | 2016-09-02 | 2018-03-12 | 엘지전자 주식회사 | 자율 주행 차량 및 그 제어방법 |
| KR20180051977A (ko) * | 2016-11-09 | 2018-05-17 | 엘지전자 주식회사 | 차량용 사용자 인터페이스 장치 및 차량 |
| KR20180052077A (ko) * | 2016-11-09 | 2018-05-17 | 한국전자통신연구원 | 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법 |
| KR20180066618A (ko) | 2016-12-09 | 2018-06-19 | (주)엠아이테크 | 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치 |
| JP2019021306A (ja) * | 2017-07-18 | 2019-02-07 | トヨタ自動車株式会社 | 色盲のための拡張現実車両支援 |
| KR20190117419A (ko) | 2019-09-27 | 2019-10-16 | 엘지전자 주식회사 | 자율주행 차량의 컨텐츠 제공 방법 및 이를 위한 장치 |
-
2019
- 2019-12-02 KR KR1020190158157A patent/KR102270011B1/ko active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170119970A (ko) * | 2016-04-20 | 2017-10-30 | 가천대학교 산학협력단 | 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체 |
| KR20180026243A (ko) * | 2016-09-02 | 2018-03-12 | 엘지전자 주식회사 | 자율 주행 차량 및 그 제어방법 |
| KR20180051977A (ko) * | 2016-11-09 | 2018-05-17 | 엘지전자 주식회사 | 차량용 사용자 인터페이스 장치 및 차량 |
| KR20180052077A (ko) * | 2016-11-09 | 2018-05-17 | 한국전자통신연구원 | 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법 |
| KR20180066618A (ko) | 2016-12-09 | 2018-06-19 | (주)엠아이테크 | 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치 |
| JP2019021306A (ja) * | 2017-07-18 | 2019-02-07 | トヨタ自動車株式会社 | 色盲のための拡張現実車両支援 |
| KR20190117419A (ko) | 2019-09-27 | 2019-10-16 | 엘지전자 주식회사 | 자율주행 차량의 컨텐츠 제공 방법 및 이를 위한 장치 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11492005B1 (en) * | 2021-08-24 | 2022-11-08 | GM Global Technology Operations LLC | Systems and methods for communicating with vision and hearing impaired vehicle occupants |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102270011B1 (ko) | 2021-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10365648B2 (en) | Methods of customizing self-driving motor vehicles | |
| CN108028015B (zh) | 信息处理装置、信息处理方法和存储介质 | |
| KR102368812B1 (ko) | 차량 운전 보조 방법 및 차량 | |
| EP3470276A1 (en) | Vehicle control device and vehicle comprising the same | |
| US9650056B2 (en) | Method for controlling a driver assistance system | |
| KR102227489B1 (ko) | 음원 시각화 장치 및 방법 | |
| EP3675121A2 (en) | Two-way in-vehicle virtual personal assistant | |
| US20180307967A1 (en) | Detecting dangerous driving situations by parsing a scene graph of radar detections | |
| KR20170016174A (ko) | 운전자 보조 장치 및 그 제어방법 | |
| US20170355379A1 (en) | Driving support device | |
| EP3763573A1 (en) | Method for communicating information in vehicle and system for communicating information for motorcycle | |
| US10741076B2 (en) | Cognitively filtered and recipient-actualized vehicle horn activation | |
| US20180348751A1 (en) | Partially Autonomous Vehicle Passenger Control in Difficult Scenario | |
| WO2018168121A1 (ja) | 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム | |
| JP6075577B2 (ja) | 運転支援装置 | |
| KR102331882B1 (ko) | 음성 인식 기반의 차량 제어 방법 및 장치 | |
| KR102270011B1 (ko) | 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템 및 방법 | |
| KR20190133358A (ko) | 청각장애인을 위한 차량의 경보시스템 및 그 제어방법 | |
| US11492005B1 (en) | Systems and methods for communicating with vision and hearing impaired vehicle occupants | |
| US20230067615A1 (en) | Systems and methods for communicating with vision and hearing impaired vehicle occupants | |
| KR101850857B1 (ko) | 디스플레이 장치 및 이를 포함하는 차량 | |
| JP7390329B2 (ja) | 認識度指数設定装置 | |
| WO2021241261A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び、学習方法 | |
| JP7320928B2 (ja) | 運転評価装置及び運転評価方法 | |
| KR102366874B1 (ko) | 고령 운전자를 위한 후방 경보 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |