KR101732263B1 - 차량 운전 보조장치 및 이를 포함하는 차량 - Google Patents
차량 운전 보조장치 및 이를 포함하는 차량 Download PDFInfo
- Publication number
- KR101732263B1 KR101732263B1 KR1020150111879A KR20150111879A KR101732263B1 KR 101732263 B1 KR101732263 B1 KR 101732263B1 KR 1020150111879 A KR1020150111879 A KR 1020150111879A KR 20150111879 A KR20150111879 A KR 20150111879A KR 101732263 B1 KR101732263 B1 KR 101732263B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- driving
- function
- driving assistant
- image
- Prior art date
Links
- 230000006870 function Effects 0.000 claims abstract description 243
- 230000002093 peripheral effect Effects 0.000 claims abstract description 8
- 238000012544 monitoring process Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 21
- 230000002265 prevention Effects 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 35
- 230000008859 change Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 239000000446 fuel Substances 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 239000013589 supplement Substances 0.000 description 4
- 239000000725 suspension Substances 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000004378 air conditioning Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000002803 fossil fuel Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/02—Rear-view mirror arrangements
- B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
- B60R1/081—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors avoiding blind spots, e.g. by using a side-by-side association of mirrors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/10—Path keeping
- B60Y2300/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2400/00—Special features of vehicle units
- B60Y2400/92—Driver displays
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
실시예에 따른 차량 운전 보조장치는 운전 보조기능(ADAS, advanced driver assistance systems)을 갖는 차량에 구비된 차량 운전 보조장치로서, 상기 차량의 주변 영상을 촬영하는 카메라; 상기 운전 보조기능 작동시, 상기 차량의 주변 영상을 상기 운전 보조기능 관련 영상으로 포함시켜 운전 보조기능 작동이력을 생성하는 프로세서; 상기 운전 보조기능 작동이력을 저장하는 메모리; 및 상기 운전 보조기능 관련 영상을 표시하는 디스플레이부를 포함한다.
Description
본 발명은 차량에 구비되는 차량 운전 보조장치, 그 제어 방법 및 이를 포함하는 차량에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다.
한편, 차량을 이용하는 사용자의 편의를 위해, 각 종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위한 다양한 장치 등이 개발되고 있다.
최근 각 종 센서와 전자 장비들의 개발로 사용자 운전을 보조하여, 주행 안전성 및 편의 등을 향상시키는 운전 주행 보조기능을 구비한 차량이 주목 받고 있다.
예컨대, 차량의 차선 이탈을 경고하거나 유지시켜주는 기능, 급정거 브레이크 기능 및 사각지대경고 기능 등 다양한 운전 보조기능들이 개발되고, 차량에 적용되고 있다.
그러나 기존 운전자들은 이러한 운전 보조기능에 대한 불신을 갖거나 운전 보조기능에 대한 이해가 부족하여 차량에 구비된 기능을 제대로 사용하지 못하는 문제가 발생하고 있다.
또한, 운전 보조기능을 사용한다 하더라도, 운전 보조기능이 작동 방식을 정확하게 이해하기 어려워, 기능을 오용하거나 기능에 대한 설정 미숙 문제로, 최대한의 효과를 얻기 어려운 문제가 있다.
다른 측면에서, 운전 보조기능은 오히려 운전자의 운전 기술 학습을 방해하는 문제도 있다. 예컨대, 운전자가 운전 보조기능에 과다하게 의존하게 되어, 보조기능이 작동하기 않는 상황에 적절한 운전 조작을 하지 못해 오히려 운전자의 안전을 해치는 문제가 발생할 수도 있다.
실시예는 전술한 문제점을 해결하기 위하여, 사용자에게 운전 주행 보조기능 작동에 대한 직관적인 이해 돕고, 사용자의 안전운전기술을 향상시킬 수 있는 차량 운전 보조장치 및 이를 포함하는 차량을 제공하고자 한다.
실시예에 따른 차량 운전 보조장치는 운전 보조기능(ADAS, advanced driver assistance systems)을 갖는 차량에 구비된 차량 운전 보조장치로서, 상기 차량의 주변 영상을 촬영하는 카메라; 상기 운전 보조기능 작동시, 상기 차량의 주변 영상을 상기 운전 보조기능 관련 영상으로 포함시켜 운전 보조기능 작동이력을 생성하는 프로세서; 상기 운전 보조기능 작동이력을 저장하는 메모리; 및 상기 운전 보조기능 관련 영상을 표시하는 디스플레이부를 포함하는 것을 특징으로 한다.
이때, 차량 운전 보조장치는 상기 프로세서는 운전 보조기능이 작동한 시간, 상기 작동한 시간에서 차량의 위치, 작동 전후 촬영된 영상 및 관련 센서 정보를 포함하여 운전 보조기능 작동이력을 생성할 수 있다.
또한, 상기 프로세서는 상기 운전 보조기능 작동이력을 펙터로 사용자의 안전 주행 점수를 산출할 수 있다.
또한, 상기 프로세서는 상기 운전 보조기능 작동시, 상기 운전 보조기능 관련 영상을 실시간으로 제공할 수 있다.
또한, 상기 운전 보조기능 관련 영상은 작동한 운전 보조기능을 확인할 수 있는 시야의 영상 및 뷰 포인트 전환 영상 중 적어도 하나인 차량 운전 보조장치.
또한, 상기 프로세서는 사용자 검색에 따라 상기 운전 보조기능 작동이력을 추출하여 제공할 수 있다.
또한, 상기 운전 보조기능은 사각지대감시기능(BSD, blind spot detection), 차선 이탈 방지 기능(LKAS, Lane Keeping Assist System), 차선 이탈 경고 기능(LDWS, Lane Departure Warning System) 및 자동 긴급제동(AEB, Autonomous Emergency Braking) 중 적어도 하나 이상을 포함할 수 있다.
또한, 상기 자동 긴급제동 기능이 작동된 경우, 상기 프로세서는 각 자동 긴급제동이 작동된 시간, 작동한 시간에서 차량 위치, 작동된 시점 전후에서 촬영된 전방 영상, 전방 차량과의 거리, 제동 거리, 사용자 브레이크 입력 정도 및 브레이크 답력을 포함시켜 자동 긴급제동 작동이력을 생성할 수 있다.
또한, 상기 차선 이탈 방지 기능이 작동된 경우, 상기 프로세서는 상기 차선 이탈 방지 기능이 작동된 시각, 상기 시각에서 차량 위치, 상기 작동된 시점 전후에서 촬영된 측방 영상, 상기 차선과의 거리 및 스티어링 각도 중 적어도 하나 이상을 포함시켜 운전 보조기능 작동이력을 생성할 수 있다.
또한, 상기 사각지대감시기능이 작동된 경우, 상기 프로세서는 사각지대감시기능이 작동된 시각, 상기 시각에서 차량 위치, 상기 작동된 시점 전후에서 촬영된 사각지대 촬영 영상 및 타차량과의 거리 중 적어도 하나 이상을 포함시켜 운전 보조기능 작동이력을 생성할 수 있다.
또한, 상기 운전 보조기능 작동이력에는 상기 운전 보조기능 작동과 관련되는 차량 주행기록이 더 포함될 수 있다.
또한, 상기 프로세서는 상기 운전 보조기능 작동이력에 따라서 운전 보조기능 설정 값을 보정할 수 있다.
또한, 상기 프로세서는 사용자의 기간 검색 입력에 따라 상기 운전 보조기능 작동이력을 추출하고, 상기 운전 보조기능 작동이력에 따라 운전 보조기능 작동 위치 및 운전 보조기능 작동 위치에 대응되는 이동 기록을 포함하는 지도와, 운전 보조기능 작동 내역을 상기 디스플레이부에 표시할 수 있다.
실시예는 전술한 차량 운전 보조 장치를 포함하는 차량을 제공한다.
실시예에 따른 차량 운전 보조장치는 운전 보조기능 작동이력을 생성하고 사용자에게 제공하여 운전 보조기능에 대한 직관적인 이해를 돕고, 이에 대한 활용도를 향상시킬 수 있다.
또한, 실시예에 따른 차량 운전 보조장치는 운전 보조기능에 따른 안전 주행 점수를 제공하여 운전자의 안전 주행 흥미를 유발할 수 있고, 이를 통해 주행에 안전을 확보할 수 있다.
도 1은 본 발명의 실시예에 따른 차량 운전 보조장치를 구비하는 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량 운전 보조장치를 구비한 차량의 평면을 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 차량 운전 보조장치를 구비하는 차량의 내관을 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 차량 운전 보조장치의 블록도를 나타낸다.
도 5는 전방 차량 뒤에서 주행 중 자동 긴급제동 기능이 작동하는 차량에 모습을 나타낸다.
도 6은 본 발명의 실시예에 따른, 자동 긴급제동 기능 관련영상을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 자동 긴급제동 기능 관련영상을 설명하기 위한 뷰 포인트 전환 영상을 나타낸다.
도 8은 차선에 인접한 차량에서 차선 이탈 방지 기능/차선 이탈 경고 기능이 작동하는 차량에 모습을 나타낸다.
도 9와 10은 본 발명의 실시예에 따른, 차선 이탈 방지 기능 관련영상을 설명하기 위한 도면이다.
도 11은 사각지대감시 기능이 작동하는 차량에 모습을 나타낸다.
도 12 내지 14는 본 발명의 실시예에 따른, 사각지대감시기능 관련영상을 표시하는 모습을 나타내는 도면들이다.
도 15는 본 발명의 실시예에 따른, 운전 점수와 관련된 차량 주행 상태를 나타내는 도면이다.
도 16은 본 발명의 실시예에 따른, 운전 보조기능 작동이력 표시 화면을 나타내는 도면이다.
도 17은 본 발명의 실시예에 따른, 안전 주행 점수 표시 화면을 나타내는 도면이다.
도 18은 본 발명의 실시예에 따른 차량 추종성에 따른 안전 주행 점수를 나타내는 도면이다.
도 19는 본 발명의 실시예에 따른 전방 차량과의 거리에 따른 안전 주행 점수를 나타내는 도면이다.
도 20은 본 발명의 실시예에 따른, 차선 변경시 측후방 차량과의 거리에 따른 안전 주행 점수를 나타내는 도면이다.
도 21은 도 1의 차량의 내부 블록도의 일 예이다.
도 2는 본 발명의 실시예에 따른 차량 운전 보조장치를 구비한 차량의 평면을 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 차량 운전 보조장치를 구비하는 차량의 내관을 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 차량 운전 보조장치의 블록도를 나타낸다.
도 5는 전방 차량 뒤에서 주행 중 자동 긴급제동 기능이 작동하는 차량에 모습을 나타낸다.
도 6은 본 발명의 실시예에 따른, 자동 긴급제동 기능 관련영상을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 자동 긴급제동 기능 관련영상을 설명하기 위한 뷰 포인트 전환 영상을 나타낸다.
도 8은 차선에 인접한 차량에서 차선 이탈 방지 기능/차선 이탈 경고 기능이 작동하는 차량에 모습을 나타낸다.
도 9와 10은 본 발명의 실시예에 따른, 차선 이탈 방지 기능 관련영상을 설명하기 위한 도면이다.
도 11은 사각지대감시 기능이 작동하는 차량에 모습을 나타낸다.
도 12 내지 14는 본 발명의 실시예에 따른, 사각지대감시기능 관련영상을 표시하는 모습을 나타내는 도면들이다.
도 15는 본 발명의 실시예에 따른, 운전 점수와 관련된 차량 주행 상태를 나타내는 도면이다.
도 16은 본 발명의 실시예에 따른, 운전 보조기능 작동이력 표시 화면을 나타내는 도면이다.
도 17은 본 발명의 실시예에 따른, 안전 주행 점수 표시 화면을 나타내는 도면이다.
도 18은 본 발명의 실시예에 따른 차량 추종성에 따른 안전 주행 점수를 나타내는 도면이다.
도 19는 본 발명의 실시예에 따른 전방 차량과의 거리에 따른 안전 주행 점수를 나타내는 도면이다.
도 20은 본 발명의 실시예에 따른, 차선 변경시 측후방 차량과의 거리에 따른 안전 주행 점수를 나타내는 도면이다.
도 21은 도 1의 차량의 내부 블록도의 일 예이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다.
이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.
이하의 설명에서 별도로 언급되지 않는 한 LHD(Left Hand Drive) 차량을 중심으로 설명한다.
도 1은 본 발명의 실시예에 따른 차량 운전 보조장치를 구비하는 차량의 외관을 도시한 도면이고, 도 2는 본 발명의 실시예에 따른 차량 운전 보조장치를 구비한 차량의 평면을 도시한 도면이며, 도 3은 본 발명의 실시예에 따른 차량 운전 보조장치를 구비하는 차량의 내관을 도시한 도면이고, 도 4는 본 발명의 실시예에 따른 차량 운전 보조장치의 블록도를 나타낸다.
도 1 내지 도 4를 참조하면, 차량(700)은, 동력원에 의해 회전하는 바퀴(13FL, 13FR), 차량(700)의 주행을 제어하기 위한 운전 조작 수단(721A, 721B, 721C, 721D) 및 차량 운전 보조장치(100)를 포함할 수 있다.
본 명세서에서 설명되는 차량(700)은 운전 주행 보조기능(ADAS, advanced driver assistance systems)을 제공할 수 있는 차량(700)이다. 예를 들어, 차량(700)은 사각지대감시기능(BSD, blind spot detection), 차선 이탈 방지 기능(LKAS, Lane Keeping Assist System), 차선 이탈 경고 기능(LDWS, Lane Departure Warning System) 및 자동 긴급제동(AEB, Autonomous Emergency Braking) 등을 제공할 수 있다.
이러한 운전 주행 보조기능은 차량 운전 보조장치(100)에 의해 실행되거나, 차량(700) 자체 내에서 실행할 수 있으며, 별도의 구비된 장치에 의해 실행될 수도 있다.
이하, 차량 운전 보조장치(100)는 차량(700)/별도 장치로부터 차량 운전 주행 보조기능 실행에 관련된 데이터를 송수신하여 작동 이력 등의 정보를 생성 및 관리하는 것으로 설명하나, 본 실시예가 이에 한정되지 아니함은 당연하다.
또한, 실시예에 따른 차량 운전 보조장치(100)는 도 4에 도시한 각 유닛들을 직접 포함하는 것으로 설명하나, 차량(700)의 각 유닛들을 인터페이스부(130)를 통해 이용하여 실시하는 것도 가능하다. 또한, 차량 운전 보조장치(100)는 차량(700)의 각 유닛들의 집합으로 이해할 수도 있다.
자세히, 도 4를 참조하면, 이러한 차량 운전 보조장치(100)는 입력부(110), 통신부(120), 인터페이스부(130), 메모리(140), 모니터링부(150), 카메라(160), 프로세서(170), 디스플레이부(180), 오디오 출력부(185) 및 전원 공급부(190)를 포함할 수 있다.
먼저, 차량 운전 보조장치(100)는 사용자의 입력을 감지하는 입력부(110)를 포함할 수 있다. 사용자는 입력부(110)를 통해 운전 보조장치 기능을 온/오프하거나, 차량 운전 보조장치(100)의 전원을 온/오프시키는 실행 입력을 할 수 있다.
이러한 입력부(110)는 사용자 제스쳐를 감지하는 제스쳐 입력부(110), 터치를 감지하는 터치 입력부(110) 및 음성 입력을 감지하는 마이크로 폰 중 적어도 하나 이상을 포함하여, 사용자 입력을 감지할 수 있다.
다음으로, 차량 운전 보조장치(100)는 타차량(510), 단말기(600) 및 서버(500) 등과 통신하는 통신부(120)를 포함할 수 있다. 차량 운전 보조장치(100)는 통신부(120)를 통해 내비게이션(Navigation) 정보 또는/및 교통 정보를 수신할 수 있다. 수신된 정보는 운전 보조기능 작동이력에 포함될 수 있고, 사용자의 운전 점수를 산출하는데 활용될 수 있다. 예를 들어, 통신부(120)를 통해 획득한 운전 보조기능 작동시점에서의 차량(700) 위치는 운전 보조기능 작동이력에 포함될 수 있다.
자세히, 통신부(120)는 이동 단말기(600) 또는 서버(500)와 무선(wireless) 방식으로 데이터를 교환할 수 있다. 특히, 통신부(120)는 차량(700) 운전자의 이동 단말기(600)와 무선으로 데이터를 교환할 수 있다. 무선 데이터 통신 방식으로는 블루투스(Bluetooth) WiFi, Direct WiFi, APiX 또는 NFC 등 다양한 데이터 통신 방식이 가능하다.
이러한 통신부(120)는 이동 단말기(600) 또는 서버(500)로부터 위치 정보 날씨 정보 도로의 교통 상황 정보 예를 들면 TPEG(Transport Protocol Expert Group) 정보를 수신할 수 있다.
또한, 통신부(120)는 이동 단말기(600)를 내비게이션으로 이용할 경우, 이동 단말기(600)로부터 내비게이션 정보를 수신할 수도 있다. 여기서, 내비게이션 정보는 차량(700) 주행과 관련된 맵(map) 정보, 차량(700)의 위치 정보, 설정된 목적지 정보 및 목적지에 따른 경로 정보 중 적어도 하나 이상의 정보를 포함할 수 있다.
또한, 사용자가 차량(700)에 탑승한 경우, 사용자의 이동 단말기(600)와 차량 운전 보조장치(100)는 자동으로 또는 사용자의 애플리케이션 실행에 의해 서로 페어링(pairing)을 수행할 수도 있다.
통신부(120)는 페어링을 통해 운전 보조기능 작동이력을 이동 단말기(600)로 전송하여, 사용자에게 제공할 수 도 있다.
다음으로, 차량 운전 보조장치(100)는 차량(700) 관련 데이터를 수신하거나 프로세서(170)에서 처리 또는 생성된 신호를 외부로 전송하는 인터페이스부(130)를 포함할 수 있다.
자세히, 차량 운전 보조장치(100)는 인터페이스부(130)를 통해 내비게이션 정보 또는/및 센서 정보를 수신할 수 있다. 그리고 수신된 정보는 운전 보조기능 작동이력에 포함될 수 있고, 사용자의 운전 점수를 산출하는데 활용될 수 있다.
또한, 차량 운전 보조장치(100)는 인터페이스부(130)를 통해 운전 보조기능 작동이력에 따른 운전 보조기능 재설정 값이 전달될 수 있다. 즉, 인터페이스부(130)를 통해, 차량 운전 보조장치(100)는 운전 보조기능 작동이력을 통해 산출된 보정값을 반영하여 운전 보조기능을 재설정할 수 있고, 사용자가 운전 보조기능 작동이력을 보고 직접 수정한 설정 값을 전달할 수 있다.
이를 위해, 인터페이스부(130)는 유선 통신 또는 무선 통신 방식에 의해 차량(700) 내부의 제어부(770), AVN(Audio Video Navigation) 장치(400) 및 센서부(760) 등과 데이터 통신을 수행할 수 있다.
인터페이스부(130)는 제어부(770) AVN 장치(400) 또는/및 별도의 내비게이션 장치와의 데이터 통신에 의해 내비게이션 정보를 수신할 수 있다.
또한, 인터페이스부(130)는 제어부(770) 또는 센서부(760)로부터 센서 정보를 수신할 수 있다. 그리고 센서 정보는 운전 보조기능 작동이력에 포함될 수 있고, 사용자의 운전 점수를 산출하는데 활용될 수 있다.
여기서, 센서 정보는 차량(700)의 방향 정보, 위치 정보, 차속 정보, 가속도 정보, 기울기 정보, 전진/후진 정보, 연료 정보, 전후방 차량(700)과의 거리 정보, 차량(700)과 차선과의 거리 정보 및 턴 시그널 정보 중 적어도 하나 이상의 정보를 포함할 수 있다.
예를 들어, 운전 보조기능 중 자동 긴급제동 작동이력에는 전방차량(700)과의 거리는 운전 보조기능 작동이력에 포함될 수 있고, 이후 사용자의 안전 주행 점수에 반영될 수 있다.
또한, 센서 정보는 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량(700) 전진/후진 센서, 휠 센서(wheel sensor), 차량(700) 속도 센서, 차체 경사 감지센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량(700) 내부 온도 센서, 차량(700) 내부 습도 센서 등으로부터 획득될 수 있다. 한편, 포지션 모듈은, GPS 정보 수신을 위한 GPS 모듈을 포함할 수 있다. 예를 들어, 포지션 모듈을 통해 획득된 운전 보조기능 작동시점에서의 차량(700) 위치는 운전 보조기능 작동이력에 포함될 수 있다.
인터페이스부(130)는 차량(700)의 사용자 입력부(110)를 통해 수신되는 사용자 입력을 수신할 수 있다. 인터페이스부(130)는 사용자 입력을 차량(700)의 입력부(720, 도 21 참조)로부터 수신하거나 제어부(770, 도 21 참조)를 거쳐 수신할 수 있다. 즉, 입력부(110)가 차량(700) 자체 내에 구성으로 배치된 경우, 인터페이스부(130)를 통해 사용자 입력을 전달받을 수 있다.
인터페이스부(130)는 서버(500)로부터 획득된 교통 정보를 수신할 수도 있다. 서버(500)는 교통을 관제하는 교통 관제소에 위치하는 서버일 수 있다. 예를 들면, 차량(700)의 통신부(120)를 통해 서버(500)로부터 교통 정보가 수신되는 경우 인터페이스부(130)는 교통 정보를 제어부(770)로부터 수신할 수도 있다.
다음, 메모리(140)는 프로세서(170)의 처리 또는 제어를 위한 프로그램 등 차량 운전 보조장치(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 또한, 메모리(140)는 운전 보조기능 작동이력, 차량(700) 주행정보 및 사용자 운전 점수 중 적어도 하나 이상을 저장할 수 있다.
여기서, 운전 보조기능 작동이력은 각 운전 보조기능이 작동한 시점, 작동한 시점에서 차량(700)의 위치, 운전 보조기능 관련 영상 및 운전 보조기능 관련 센서 정보 중 적어도 하나 이상이 포함될 수 있다.
예를 들어, 자동 긴급제동 작동이력에는 각 자동 긴급제동이 작동된 시간, 작동한 시간에서 차량(700) 위치, 작동된 시점 전후에서 촬영된 전방 영상, 전방 차량(700)과의 거리, 제동 거리, 사용자 브레이크 입력 정도 및 브레이크 답력 등이 포함되어 저장될 수 있다.
또한, 메모리(140)는 오브젝트 확인을 위한 데이터를 저장할 수 있다. 예를 들면, 메모리(140)는, 카메라(160)를 통해 획득된 영상에서, 소정 오브젝트가 검출되는 경우, 소정 알고리즘에 의해, 상기 오브젝트가 무엇에 해당하는지 확인하기 위한 데이터를 저장할 수 있다.
예를 들어, 메모리(140)는 오브젝트 확인을 위한 데이터로 교통 정보에 대한 데이터를 저장할 수 있다. 예를 들면, 메모리(140)는, 카메라(160)를 통해 획득된 영상에서, 차선, 교통 표지판과 같은 소정의 교통 정보가 검출되는 경우, 소정 알고리즘에 의해, 상기 교통 정보가 또한, 메모리(140)는 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다.
다음으로, 차량 운전 보조장치(100)는 차량(700) 내부 영상을 촬영하는 모니터링부(150)를 포함할 수 있다.
자세히, 모니터링부(150)는 사용자의 생체 인식 정보를 감지하여 획득할 수 있다. 그리고 획득된 생체 인식 정보는 운전 보조기능 작동이력에 포함될 수 있다. 예를 들어, 자동 긴급제동 기능이 작동했을 때, 사용자의 운전 조작수단 제어 상태나 사용자의 흥분 상태 등이 저장되어, 이후 운전 보조기능 작동이력 정보가치를 보완할 수 있다.
이러한 생체 인식 정보는 사용자를 촬영한 영상 정보, 지문 인식(Fingerprint) 정보, 홍채 인식(Iris-scan) 정보, 망막 인식(Retina-scan) 정보, 손모양(Hand geo-metry) 정보, 안면 인식(Facial recognition) 정보, 음성 인식(Voice recognition) 정보를 포함할 수 있다. 즉, 모니터링부(150)는 사용자의 생체 인식 정보를 센싱하는 센서를 포함할 수 있다.
또한, 모니터링부(150)는 사용자의 생체 인식을 위한 이미지를 획득할 수 있다. 즉, 모니터링부(150)는 차량(700) 내부에 배치된 영상 획득 모듈일 수 있다.
또한, 모니터링부(150)를 통해 획득된 사용자 영상을 분석하여 사용자의 시선을 검출할 수 있다. 그리고 프로세서(170)는 검출된 시선에 따라서 윈드실드(W)에 투사 이미지를 표시하도록 디스플레이부(180)를 제어할 수 있다.
다음으로, 차량 운전 보조장치(100)는 차량(700) 주변 영상을 촬영하는 카메라(160)를 포함할 수 있다. 카메라(160)를 통해 촬영된 차량(700) 주변 영상은 운전 보조기능 관련 영상에 포함될 수 있다.
예를 들어, 카메라(160)는 자동 긴급제동 기능이 작동하기 전후 차량(700)의 전방을 촬영하고, 이는 운전 보조기능 작동이력에 포함될 수 있다. 즉, 카메라(160)는 사용자가 운전 보조기능이 작동하는 모습을 확인할 수 있는 운전 보조기능 관련 영상을 촬영할 수 있다. 이를 통해, 사용자는 단순히 운전 보조기능에 대한 설명이 아닌 직접 겪은 상황에서 운전 보조기능 작동을 영상을 통해 자동 긴급제동 기능을 직관적으로 이해할 수 있다.
이러한 카메라(160)는 복수의 카메라(160)를 더 포함할 수 있다.
도 2를 보면, 복수의 카메라(160)는, 각각 차량(700)의 좌측, 후방, 우측 및 전방 중 적어도 하나 이상에 배치될 수 있다. 즉, 실시예는 차량(700)의 전후좌우를 모두 촬영하고, 운전 보조기능 작동 확인을 위한 최적의 시야방향에서 촬영된 영상을 운전 보조기능 관련 영상으로 저장할 수 있다. 예를 들어, 차선 이탈 방지 기능 작동시 차량(700)의 측방 영상을 운전 보조기능 관련 영상으로 저장할 수 있다.
좌측 카메라(160)는, 좌측 사이드 미러를 둘러싸는 케이스 내에 배치될 수 있다. 또는, 좌측 카메라(160)는, 좌측 사이드 미러를 둘러싸는 케이스 외부에 배치될 수 있다. 또는, 좌측 카메라(160)는 좌측 프런트 도어, 좌측 리어 도어 또는 좌측 휀더(fender) 외측 일 영역에 배치될 수 있다.
우측 카메라(160)는, 우측 사이드 미러를 둘러싸는 케이스 내에 배치될 수 있다. 또는 우측 카메라(160)는, 우측 사이드 미러를 둘러싸는 케이스 외부에 배치될 수 있다. 또는, 우측 카메라(160)는 우측 프런트 도어, 우측 리어 도어 또는 우측 펜터(fendere) 외측 일 영역에 배치될 수 있다.
또한, 후방 카메라(160)는, 후방 번호판 또는 트렁크 스위치 부근에 배치될 수 있다. 전방 카메라(160)는, 앰블럼 부근 또는 라디에이터 그릴 부근에 배치될 수 있다.
한편, 이와 같이 차량(700)의 사방 중 적어도 일방 이상에서 촬영된 영상은 프로세서(170)에서 처리되어, 사용자가 운전 보조기능을 직관적으로 인지하도록 할 수 뷰 포인트 영상으로 제공될 수 있다. 예를 들어, 프로세서(170)는 사방에서 촬영된 영상을 합성하여 차량(700)을 탑뷰에서 바라본 어라운드 뷰 이미지를 제공할 수 있다. 어라운드 뷰 이미지 생성시, 각 이미지 영역 사이의 경계 부분이 발생한다. 이러한 경계 부분은 이미지 블렌딩(blending) 처리하여 자연스럽게 표시될 수 있다.
예를 들어, 자동 긴급제동기능이 작동한 경우, 차량(700)과 전방 차량(700)을 나타내는 평면 이미지에서, 차량(700)의 작동 전후 변화를 보여주어 사용자가 자동 긴급제동기능이 작동된 시점, 작동 효과 등을 좀더 수월하게 인지할 수 있다.
이러한 카메라(160)는 이미지 센서와 영상 처리 모듈을 포함할 수 있다. 카메라(160)는 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공하여, 필요한 정보를 추출하고, 추출된 정보를 프로세서(170)에 전달할 수 있다.
다음으로, 차량 운전 보조장치(100)는 운전 보조기능 작동이력과 사용자 운전 점수 등을 이미지로 표시하는 디스플레이부(180)를 더 포함할 수 있다.
자세히, 디스플레이부(180)는 운전 보조기능 작동을 설명하는 이미지와, 운전 보조기능 관련 영상 등을 실시간으로 표시하거나, 이후 사용자 검색에 의해 표시할 수 있다.
이러한 디스플레이부(180)는 복수의 디스플레이를 포함할 수 있다.
자세히, 디스플레이부(180)는 차량(700)의 윈드실드(W)(windshield)에 이미지를 투사하여 표시하는 제 1 디스플레이부(181)를 포함할 수 있다. 즉, 제 1 디스플레이부(181)는 HUD(Head Up Display)로, 윈드실드(W)에 이미지를 투사하는 투사 모듈을 포함할 수 있다. 그리고 투사 모듈이 투사하는 투사 이미지는 일정 투명도를 가져, 사용자는 투사 이미지 뒤 모습과 투사 이미지를 동시에 볼 수도 있다.
이러한 제 1 디스플레이부(181)에서 표시되는 투사 이미지는 윈드실드(W)에 투영되는 투영 이미지와 겹쳐셔 증강현실(Augmented Reality, AR)을 이룰 수 있다. 이때, 사용자에게 표시되는 운전 보조기능 작동 내역 등의 투사 이미지는 투명 이미지와 매칭되어 사용자에게 운전 보조기능에 대한 설명을 직관적으로 전달할 수 있다. 또한, 사용자에게 표시되는 운전 점수에 대한 투사 이미지는 투명 이미지와 매칭되어 제공될 수 있다.
자세히, 제 1 디스플레이부(181)는 운전 보조기능 작동한 이후에, 윈드 실드 외곽에 운전 보조기능 작동 전후의 동영상을 표시할 수 있다.
또한, 제 1 디스플레이부(180)는 차선과의 거리, 인접차량(700)과의 거리 등을 안전 주행 점수로 환산한 투사 이미지를 투명 이미지와 매칭하여 표시할 수 있다.
이러한 디스플레이부(180)는 단순한 표시로 운전 보조기능을 직관적으로 이해하도록 표시할 뿐만 아니라, 사용자의 안전 주행을 유지시킬 수 있으므로 주행 안전성을 향상시킬 수 있다.
한편, 디스플레이부(180)는 차량(700) 내부에 별도로 설치되어 이미지를 디스플레이하는 제 2 디스플레이부(183)를 포함할 수 있다.
자세히, 제 2 디스플레이부(183)는 차량(700) 내비게이션 장치의 디스플레이나 차량(700) 내부 전면의 클러스터(cluster)일 수 있다.
또한, 제 2 디스플레이부(183)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
이러한 제 2 디스플레이부(183)는 제스쳐 입력부(110)와 결합되어 터치 스크린을 이룰 수 있다.
사용자는 터치 스크린을 통해 운전 보조기능 작동이력을 검색하고, 이와 관련한 정보들을 확인할 수 있다.
또한, 차량 운전 보조장치(100)는 오디오 출력부(185) 및 전원 공급부(190)를 더 포함할 수 있다.
자세히, 오디오 출력부(185)는 운전 보조기능에 대한 설명, 실행 여부 등을 확인하는 메시지를 오디오로 출력할 수 있다. 차량 운전 보조장치(100)는 디스플레이부(180)를 통한 시각적인 표시와 더불어 오디오 출력부(185)의 오디오를 통해 운전 보조기능에 대한 설명을 보완할 수 있다.
마지막으로, 차량 운전 보조장치(100)는 차량 운전 보조장치(100) 내의 각 유닛의 전반적인 동작을 제어하는 프로세서(170)를 포함할 수 있다.
이러한 프로세서(170)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(170)(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(170)(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
그리고 이러한 프로세서(170)는 제어부의 제어를 받거나, 제어부를 통해 차량(700)을 여러 기능을 제어할 수 있다.
이하 프로세서(170)가 도 5 내지 도 20을 참조하여 운전 보조기능 작동이력을 제공하는 다양한 일례에 대해 설명한다.
도 5는 전방 차량(700) 뒤에서 주행 중 자동 긴급제동 기능이 작동하는 차량(700)에 모습을 나타내고, 도 6은 본 발명의 실시예에 따른, 자동 긴급제동 기능 관련영상을 설명하기 위한 도면들이고, 도 7은 본 발명의 실시예에 따른 자동 긴급제동 기능 관련영상을 설명하기 위한 뷰 포인트 전환 영상을 나타낸다.
도 5를 보면, 전방 차량(700) 급 제동시 차량(700)/차량 운전 보조장치(100)는 이를 감지하고 자동 긴급제동 기능을 실행할 수 있다. 이하, 차량(700)이 운전 보조기능을 실행한 것으로 설명한다.
프로세서(170)는 차량(700)의 제어부로부터 자동 긴급제동 기능이 작동한 데이터를 전송 받아 운전 보조기능 작동이력을 생성할 수 있다.
자세히, 프로세서(170)는 자동 긴급제동 기능이 작동된 시각, 차량(700) 위치, 작동된 시점 전후에서 촬영된 전방 영상, 전방 차량(700)과의 거리, 제동 거리, 사용자 브레이크 입력 상태 및 브레이크 답력 중 적어도 하나 이상을 포함시켜 운전 보조기능 작동이력을 생성하고 메모리(140)에 저장할 수 있다.
도 6(a)는 자동 긴급제동 기능이 작동하기 전 전방촬영 영상이고, 도 6(b)는 자동 긴급제동이 실행된 후 전방촬영 영상이며, 자동 긴급제동 관련 영상은 도 6(a) 촬영 시점부터 도 6(b) 촬영시점까지 차량(700)의 전방에서 촬영된 동영상일 수 있다. 이때, 영상에는 자동 긴급제동이 실행되는 시점과 같은 설명 이미지가 더 표시되어, 사용자의 이해를 도울 수 있다.
프로세서(170)는 이러한 전방 촬영 영상을 제동이 이루어진 시점에서 실시간으로 디스플레이부(180)를 통해 표시하여, 운전 보조기능의 작동 및 작동 효과 등을 사용자가 인지하도록 제공할 수 있다.
즉, 운전자는 운전 보조기능이 작동한 것과, 작동하는 방식과, 작동 강도 등을 실시간으로 제공되는 관련 영상을 통해 확인할 수 있다.
또한, 프로세서(170)는 관련 영상 제공과 동시에 운전 보조기능 작동 강도 등을 사용자가 재설정할 수 있는 유저 인터페이스(User interface)를 함께 제공할 수도 있다.
또한, 프로세서(170)는 작동 관련 영상으로, 뷰 포인트가 전환된 증강현실 영상 또는 가상 영상을 제공할 수도 있다.
도 7을 보면, 프로세서(170)는 탑뷰에서 바라본 관련 영상으로, 자동 긴급제동기능이 실행 전 차량(700_1)과, 후의 차량(700_2)의 움직임을 동영상으로 제공할 수 있다. 이때, 프로세서(170)는 추가적으로 안전 주행 점수를 나타내는 이미지(10)를 더 표시할 수도 있다.
운전자는 운전 보조기능이 작동을 뷰 포인트가 전환된 시점에서 확인할 수 있어, 작동하는 방식과, 작동 강도 등을 더욱 명확하게 이해할 수 있다.
또한, 프로세서(170)는 이와 같은 운전 보조기능 작동이력을 메모리(140)에 저장하고, 이를 이후 사용자의 검색이나, 정비소, 보험사, 제조업체 등에 제공하여, 운전 보조기능을 보완하는데 이용할 수 있다.
도 8은 차선에 인접한 차량(700)에서 차선 이탈 방지 기능/차선 이탈 경고 기능이 작동하는 차량(700)에 모습을 나타낸다. 도 9와 10은 본 발명의 실시예에 따른, 차선 이탈 방지 기능 관련영상을 설명하기 위한 도면이다.
도 8을 보면, 차량(700)이 차선(20)을 넘으려 할 때 차선 이탈 방지 기능/차선 이탈 경고기능이 실행될 수 있다. 이하, 차량(700)이 차선 이탈 방지 기능을 실행한 것으로 설명한다.
프로세서(170)는 차량(700)의 제어부로부터 차선 이탈 방지 기능이 작동한 데이터를 전송 받아 운전 보조기능 작동이력을 생성할 수 있다.
자세히, 프로세서(170)는 차선 이탈 방지 기능이 작동된 시각, 차량(700) 위치, 작동된 시점 전후에서 촬영된 영상, 차선(20)과의 거리 및 스티어링 각도 중 적어도 하나 이상을 포함시켜 운전 보조기능 작동이력을 생성하고 메모리(140)에 저장할 수 있다.
프로세서(170)는 이와 같이 생성된 운전 보조기능 작동이력에 따라서 주행 안전 주행 점수를 실시간으로 산출하고, 디스플레이부(180)를 통해 표시할 수 있다.
도 9와 10을 보면, 차량(700)의 위치에서 차량(700)의 헤딩 방향과 양측 차선(20)과의 거리(dL, dR)에 따라서 안전 주행 점수를 산출하는 것을 확인할 수 있다.
프로세서(170)는 이와 같이 산출된 점수를 제 1 디스플레이부(180)에 실시간으로 표시하여, 운전자가 차선(20)의 중앙으로 주행하는 흥미를 유발할 수 있고, 이를 통해 주행에 안전을 확보할 수 있다.
또한, 프로세서(170)는 차선 이탈 방지 기능 관련 영상을 뷰 포인트 전환을 통해 제공할 수 있다. 즉, 프로세서(170)는 작동 관련 영상으로, 뷰 포인트가 전환된 증강현실 영상 또는 가상 영상을 제공할 수도 있다.
예를 들어, 도 9나 10처럼 프로세서(170)는 탑뷰에서 바라본 작동관련 영상을 생성할 수 있다. 이때, 프로세서(170)는 추가적으로 안전 주행 점수를 나타내는 이미지(10)를 더 포함시킬 수 있다.
운전자는 운전 보조기능이 작동을 뷰 포인트가 전환된 시점에서 확인할 수 있어, 작동하는 방식과, 작동 강도 등을 더욱 명확하게 이해할 수 있다.
또한, 프로세서(170)는 이와 같은 운전 보조기능 작동이력을 메모리(140)에 저장하고, 이를 이후 사용자의 검색이나, 정비소, 보험사, 제조업체 등에 제공하여, 운전 보조기능을 보완하는데 이용할 수 있다.
도 11은 사각지대감시 기능이 작동하는 차량(700)에 모습을 나타내고, 도 12 내지 14는 본 발명의 실시예에 따른, 사각지대감시기능 관련영상을 표시하는 모습을 나타내는 도면들이다.
도 11을 보면, 차선(20) 변경시 사각지대에 타차량(510)이 있을 때, 차량(700)/차량 운전 보조장치(100)는 이를 감지하고 사각지대감시기능을 실행할 수 있다. 이하, 차량(700)이 운전 보조기능을 실행한 것으로 설명한다.
프로세서(170)는 차량(700)의 제어부로부터 사각지대감시기능이 작동한 데이터를 전송 받아 운전 보조기능 작동이력을 생성할 수 있다.
자세히, 프로세서(170)는 사각지대감시기능이 작동된 시각, 차량(700) 위치, 작동된 시점 전후에서 촬영된 사각지대 촬영 영상 및 타차량(510)과의 거리 중 적어도 하나 이상을 포함시켜 운전 보조기능 작동이력을 생성하고 메모리(140)에 저장할 수 있다.
도 12를 보면, 차량(700)의 사이드 미러에 장착된 미러 디스플레이인 제 3 디스플레이부(185)를 통해 사각지대 촬영 영상이 표시되는 것을 확인할 수 있다.
도 13을 보면, 사각지대 촬영 영상과, 추가적으로 후방 차량(700)과의 거리를 나타내는 이미지가 합성된 영상으로, 이러한 영상을 제 1 디스플레이부(183)에 제공되어 사용자가 사각지대감시기능이 작동한 모습을 실시간으로 확인할 수 있다.
프로세서(170)는 이러한 사각지대 영상을 사각지대경고가 이루어진 시점에 실시간으로 디스플레이부(180)를 통해 표시하여, 운전 보조기능의 작동 및 작동 효과 등을 사용자가 인지하도록 제공할 수 있다.
즉, 운전자는 운전 보조기능이 작동한 것과, 작동하는 방식과, 작동 강도 등을 실시간으로 제공되는 관련 영상을 통해 확인할 수 있다.
또한, 프로세서(170)는 관련 영상 제공과 동시에 운전 보조기능 작동 강도 등을 사용자가 재설정할 수 있는 유저 인터페이스(User interface)를 함께 제공할 수도 있다.
또한, 프로세서(170)는 작동 관련 영상으로, 뷰 포인트가 전환된 증강현실 영상 또는 가상 영상을 제공할 수도 있다.
도 14를 보면, 프로세서(170)는 탑뷰에서 바라본 작동관련 영상을 생성할 수 있다. 이때, 프로세서(170)는 추가적으로 안전 주행 점수를 나타내는 이미지(10)를 더 포함시킬 수 있다.
운전자는 운전 보조기능이 작동을 뷰 포인트가 전환된 시점에서 확인할 수 있어, 작동하는 방식과, 작동 강도 등을 더욱 명확하게 이해할 수 있다.
또한, 프로세서(170)는 이와 같은 운전 보조기능 작동이력을 메모리(140)에 저장하고, 이를 이후 사용자의 검색이나, 정비소, 보험사, 제조업체 등에 제공하여, 운전 보조기능을 보완하는데 이용할 수 있다.
도 15는 본 발명의 실시예에 따른, 운전 점수와 관련된 차량(700) 주행 상태를 나타내는 도면이다.
프로세서(170)는 추가적으로 사용자의 안전 운전 점수를 산출하기 위하여, 차량(700)의 속도, 전방 차량(700)과의 거리, 차선 변경시 측후방 차량(700)과의 거리, 차선 추종성 등을 기타 주행정보로 생성하고 메모리(140)에 저장하고 디스플레이부(180)를 통해 표시할 수 있다.
예를 들어, 도 15와 같이, 전방 차량(700)과의 거리를 실시간으로 산출하여 저장하고, 거리와 매칭되는 안전 주행 점수를 나타내는 이미지(10)를 디스플레이부(180)를 통해 표시하여 운전자가 안전 거리를 유지하며 주행하고자 하는 흥미를 유발할 수 있고, 이를 통해 주행에 안전을 확보할 수 있다
또한, 프로세서(170)는 운전 보조기능 작동이력, 기타 주행정보 및 사용자의 운전 조작수단 제어 정보 등을 분석하여, 불량 주행의 원인이 운전자인지 차량(700)의 문제인지 확인할 수 있다.
또한, 프로세서(170)는 운전 보조기능 작동이력, 기타 주행정보 및 사용자의 운전 조작수단 제어 정보 등을 분석하여, 운전자가 어려움을 느끼는 주행 상황에서 부분 자율주행을 제안할 수 있다. 자세히, 프로세서(170)는 운전자가 차선 변경에 어려움을 느끼고 사각지대감시 기능이나, 변경차선 후방차량(700)과의 거리가 위험일 때, 차선 변경 자율주행기능을 제안하고, 실행입력에 따라 차량(700)을 직접 제어하여 차선을 변경시킬 수 있다.
또한, 프로세서(170)는 운전 보조기능 작동이력, 기타 주행정보 및 사용자의 운전 조작수단 제어 정보을 분석하여 안전 주행 점수를 산출하고, 안전 주행 점수에 따라 운전 보조기능 설정 값이나 운전 조작수단 감도 등을 보정할 수 있다.
한편, 차량 운전 보조장치(100)는 운전 보조기능 작동이력을 메모리(140)에 저장하고, 이후 사용자 검색이나 정비소, 보험사, 제조업체 등에 데이터 전송을 통해 제공할 수 있다.
자세히, 프로세서(170)는 운전 보조기능이 작동한 시점, 작동시 위치, 관련 이동 기록 및 관련 영상 등을 포함시켜 운전 보조기능 작동이력을 생성하고 이를 메모리(140)에 저장할 수 있다.
추가로, 프로세서(170)는 운전 보조기능이 작동하지 않는 상태에서 주행 기록을 저장할 수 있다. 예를 들어, 긴급 제동정지 기능의 경우, 작동하지 않더라도 전방차량(700)과의 안전거리 유지상황을 항시 저장하고, 이를 주행 내역에 저장할 수 있다. 또한, 차선 이탈 보조기능의 경우, 작동하지 않더라도 차량(700)의 차선 중앙 유지상황을 항시 저장하고 이를 주행 내역에 저장할 수 있다.
그리고 프로세서(170)는 사용자 입력에 따라 메모리(140)의 운전 보조기능이 작동한 시점을 검색하고, 검색된 운전 보조기능이 작동한 위치에 대응되는 이동 기록 및 이와 관련된 정보들을 추출할 수 있다.
이후, 프로세서(170)는 추출된 정보들을 디스플레이부(180)에 표시하여 사용자가 원하는 운전 보조기능 작동이력을 제공할 수 있다.
도 16은 본 발명의 실시예에 따른, 운전 보조기능 작동이력 표시 화면을 나타내는 도면이다.
도 16을 보면, 프로세서(170)는 사용자의 기간 검색에 의해 추출된 운전 보조기능 작동 위치 및 운전 보조기능 작동 위치에 대응되는 이동 기록을 포함하는 지도(41)와, 운전 보조기능 작동 내역(43)과, 주행 기록(45) 등을 디스플레이부(180)에 표시할 수 있다.
자세히, 각 노드(31, 32, 33, 34, 35, 36)들은 운전 보조기능이 작동한 위치이며, 노드(31, 32, 33, 34, 35, 36)들은 속성을 대표하는 아이콘으로 표시될 수 있다. 실시예에서는 작동한 순서를 나타내기 위하여 노드(31, 32, 33, 34, 35, 36)는 작동한 순서를 나타내는 숫자로 표시되었다.
노드(31, 32, 33, 34, 35, 36)들을 잇는 선은 차량(700)의 이동 경로를 나타낸다. 즉, 차량(700)은 선을 따라서 주행하였고, 선 중간에 각각의 노드(31, 32, 33, 34, 35, 36)는 운전 보조기능이 작동한 위치를 나타낸다.
프로세서(170)는 각 지점에서 운전 보조기능이 작동한 내역(43)을 더 표시할 수 있다. 예를 들어, 운전 보조기능이 작동한 시각, 작동한 운전 보조기능 종류, 주행 상황 등을 추가적으로 표시할 수 있다.
또한, 프로세서(170)는 각 노드(31, 32, 33, 34, 35, 36)를 사용자가 선택하면, 각 노드(31, 32, 33, 34, 35, 36)에 해당 운전 보조기능과 관련된 영상을 디스플레이부(180)를 통해 표시할 수 있다.
이후, 프로세서(170)는 저장된 정보를 디스플레이부(180) 또는 이동 단말기를 통해 제공할 수 있다.
프로세서(170)는 운전 보조기능 작동 이력 및 주행 기록 등을 근거로 안전 주행 점수를 산출하고, 이를 디스플레이부(180)를 통해 표시할 수 있다.
도 17은 본 발명의 실시예에 따른, 안전 주행 점수 표시 화면을 나타내는 도면이다.
도 17을 보면, 프로세서(170)는 운전 보조기능의 작동 빈도 및 기타 차량의 주행기록을 활용하여 운전자의 안전 주행 점수(51)를 도출하고, 이를 표시할 수 있다.
자세히, 프로세서(170)는 주행이 완료된 후, 운전 보조기능의 작동 빈도 및 기타차량(510) 주행기록을 활용하여 운전자의 안전 주행 점수를 도출하여 운전 보조기능 작동이력과 함께 제공할 수 있다. 또한, 프로세서(170)는 일정 기간 내에 안전 주행 점수(52)를 제공하여, 안전 주행 점수의 변화를 통해 운전 학습에 도움을 줄 수 있다.
이때, 운전 보조기능 작동이력 중 작동 빈도수가 높은 특정 운전 보조기능은 사용자에게 더 안내하여, 사용자의 안전운전 습관에 대한 정보를 제공할 수 있다. 예를 들어, 사용자가 안전거리 유지 주행이 미숙하여 자동 긴급제동기능 작동 빈도수가 높은 경우, 안전거리 유지 주행에 관한 주행 기록 또는 자동 긴급제동기능 작동이력을 주 내용으로 한 정보를 제공할 수 있다. 나아가, 자동 긴급제동기능 작동이력 내에서 특정 주행구간에서 자동 긴급제동기능이 적어도 2회 이상 작동하는 경우, 특정 주행구간 진입시 자동 긴급제동기능이 작동했었던 이력을 사전에 제공하여, 사용자의 안전 주행을 더욱 향상시킬 수 있다.
한편, 프로세서(170)는 안전 주행 점수를 각 주행 기록 종류에 따라 제공할 수도 있다. 예를 들어, 프로세서(170)는 전방 차량(700)과의 안전 거리로 분석된 안전 주행 점수나, 차선 추종성에 따라 분석된 안전 주행 점수를 제공할 수 있다.
도 18은 본 발명의 실시예에 따른 차량(700) 추종성에 따른 안전 주행 점수를 나타내는 도면이다.
도 18을 보면, 프로세서(170)는 차선을 유지하는 정도인 차량(700) 추종성을 나타내는 이미지(51)와, 차량(700) 추종성에 따른 안전 주행 점수 그래프(52)를 제공할 수 있다.
즉, 사용자는 운전 보조기능 작동이력에서 차량(700) 추종성에 따른 안전 주행 점수를 별도로 검색하여 확인할 수 있다.
도 19는 본 발명의 실시예에 따른 전방 차량(700)과의 거리에 따른 안전 주행 점수를 나타내는 도면이다.
도 19를 보면, 프로세서(170)는 전방 차량(700)과의 거리 유지를 나타내는 이미지(61)와, 선행차량(700)과의 안전거리를 얼마나 잘 유지했는지에 따라서 산출된 안전 주행 점수를 나타내는 그래프(62)를 제공할 수 있다.
즉, 사용자는 운전 보조기능 작동이력에서 안전 거리 유지 정도에 따른 안전 주행 점수를 별도로 검색하여 확인할 수 있다
도 20은 본 발명의 실시예에 따른, 차선 변경시 측후방 차량(700)과의 거리에 따른 안전 주행 점수를 나타내는 도면이다.
도 20을 보면, 프로세서(170)는 차선 변경시 변경되는 차선의 측후방에 배치된 차량(700)과의 관계를 나타내는 이미지(71)와, 측후방 차량(700)과의 거리에 따라서 산출된 안전 주행 점수를 나타내는 그래프(72)를 제공할 수 있다.
즉, 사용자는 운전 보조기능 작동이력에서 차선 변경에서의 안전 주행 점수를 별도로 검색하여 확인할 수 있다
도 21은 도 1의 차량의 내부 블록도의 일예이다.
이러한 차량 운전 보조장치는 차량 내에 포함될 수 있다.
차량은 통신부(710), 입력부(720), 센싱부(760), 출력부(740), 차량 구동부(750), 메모리(730), 인터페이스부(780), 제어부(770), 전원부(790), 차량 운전 보조장치 및 AVN 장치(400)를 포함할 수 있다.
통신부(710)는, 차량과 이동 단말기(600) 사이, 차량과 외부 서버(510) 사이 또는 차량과 타차량(510)과의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 통신부(710)는 차량을 하나 이상의 망(network)에 연결하는 하나 이상의 모듈을 포함할 수 있다.
통신부(710)는, 방송 수신 모듈(711), 무선 인터넷 모듈(712), 근거리 통신 모듈(713), 위치 정보 모듈(714) 및 광통신 모듈(715)을 포함할 수 있다.
방송 수신 모듈(711)은, 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 또는 방송 관련된 정보를 수신한다. 여기서, 방송은 라디오 방송 또는 TV 방송을 포함한다.
무선 인터넷 모듈(712)은, 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 차량에 내장되거나 외장될 수 있다. 무선 인터넷 모듈(712)은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.
무선 인터넷 기술로는, 예를 들면, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 상기 무선 인터넷 모듈(712)은 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 예를 들면, 무선 인터넷 모듈(712)은 외부 서버(510)와 무선으로 데이터를 교환할 수 있다. 무선 인터넷 모듈(712)은 외부 서버(510)로부터 날씨 정보, 도로의 교통 상황 정보(예를 들면, TPEG(Transport Protocol Expert Group))정보를 수신할 수 있다.
근거리 통신 모듈(713)은, 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
이러한, 근거리 통신 모듈(713)은, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다. 예를 들면, 근거리 통신 모듈(713)은 이동 단말기(600)와 무선으로 데이터를 교환할 수 있다. 근거리 통신 모듈(713)은 이동 단말기(600)로부터 날씨 정보, 도로의 교통 상황 정보(예를 들면, TPEG(Transport Protocol Expert Group))를 수신할 수 있다. 가령, 사용자가 차량에 탑승한 경우, 사용자의 이동 단말기(600)와 차량은 자동으로 또는 사용자의 애플리케이션 실행에 의해, 서로 페어링을 수행할 수 있다.
위치 정보 모듈(714)은, 차량의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈이 있다. 예를 들면, 차량은 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 차량의 위치를 획득할 수 있다.
광통신 모듈(715)은, 광발신부 및 광수신부를 포함할 수 있다.
광수신부는, 광(light)신호를 전기 신호로 전환하여, 정보를 수신할 수 있다. 광수신부는 광을 수신하기 위한 포토 다이오드(PD, Photo Diode)를 포함할 수 있다. 포토 다이오드는 빛을 전기 신호로 전환할 수 있다. 예를 들면, 광수신부는 전방 차량에 포함된 광원에서 방출되는 광을 통해, 전방 차량의 정보를 수신할 수 있다.
광발신부는 전기 신호를 광 신호로 전환하기 위한 발광 소자를 적어도 하나 포함할 수 있다. 여기서, 발광 소자는 LED(Light Emitting Diode)인 것이 바람직하다. 광발신부는, 전기 신호를 광 신호로 전환하여, 외부에 발신한다. 예를 들면, 광 발신부는 소정 주파수에 대응하는 발광소자의 점멸을 통해, 광신호를 외부에 방출할 수 있다. 실시예에 따라, 광발신부는 복수의 발광 소자 어레이를 포함할 수 있다. 실시예에 따라, 광발신부는 차량에 구비된 램프와 일체화될 수 있다. 예를 들면, 광발신부는 전조등, 후미등, 제동등, 방향 지시등 및 차폭등 중 적어도 어느 하나일 수 있다. 예를 들면, 광통신 모듈(715)은 광 통신을 통해 타차량(510)과 데이터를 교환할 수 있다.
입력부(720)는, 운전 조작 수단(721), 카메라(195), 마이크로 폰(723) 및 사용자 입력부(724)를 포함할 수 있다.
운전 조작 수단(721)은, 차량 운전을 위한 사용자 입력을 수신한다. (이하 설명 도 2참조) 운전 조작 수단(721)은 조향 입력 수단(721A), 쉬프트 입력 수단(721D), 가속 입력 수단(721C), 브레이크 입력 수단(721B)을 포함할 수 있다.
조향 입력 수단(721A)은, 사용자로부터 차량의 진행 방향 입력을 수신한다. 조향 입력 수단(721A)은 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시예에 따라, 조향 입력 수단(721A)은 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
쉬프트 입력 수단(721D)은, 사용자로부터 차량의 주차(P), 전진(D), 중립(N), 후진(R)의 입력을 수신한다. 쉬프트 입력 수단(721D)은 레버 형태로 형성되는 것이 바람직하다. 실시예에 따라, 쉬프트 입력 수단(721D)은 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
가속 입력 수단(721C)은, 사용자로부터 차량의 가속을 위한 입력을 수신한다. 브레이크 입력 수단(721B)은, 사용자로부터 차량의 감속을 위한 입력을 수신한다. 가속 입력 수단(721C) 및 브레이크 입력 수단(721B)은 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 수단(721C) 또는 브레이크 입력 수단(721B)은 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
카메라(722)는, 이미지 센서와 영상 처리 모듈을 포함할 수 있다. 카메라(722)는 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공하여, 필요한 정보를 추출하고, 추출된 정보를 제어부(770)에 전달할 수 있다. 한편, 차량은 차량 전방 영상 또는 차량 주변 영상을 촬영하는 카메라(722) 및 차량 내부 영상을 촬영하는 모니터링부를 포함할 수 있다.
마이크로 폰(723)은, 외부의 음향 신호를 전기적인 데이터로 처리할 수 있다. 처리된 데이터는 차량에서 수행 중인 기능에 따라 다양하게 활용될 수 있다. 마이크로폰(723)은 사용자의 음성 명령을 전기적인 데이터로 전환할 수 있다. 전환된 전기적인 데이터는 제어부(770)에 전달될 수 있다.
한편, 실시예에 따라, 카메라(722) 또는 마이크로폰(723)는 입력부(720)에 포함되는 구성요소가 아닌, 센싱부(760)에 포함되는 구성요소일 수도 있다.
사용자 입력부(724)는 사용자로부터 정보를 입력받기 위한 것이다. 사용자 입력부(724)를 통해, 정보가 입력되면, 제어부(770)는 입력된 정보에 대응되도록 차량의 동작을 제어할 수 있다. 사용자 입력부(724)는 터치식 입력수단 또는 기계식 입력 수단을 포함할 수 있다. 실시예에 따라, 사용자 입력부(724)는 스티어링 휠의 일 영역에 배치될 수 있다. 이경우, 운전자는 스티어링 휠을 잡은 상태에서, 손가락으로 사용자 입력부(724)를 조작할 수 있다.
센싱부(760)는, 차량의 주행 등과 관련한 신호를 센싱한다. 이를 위해, 센싱부(760)는, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 레이더, 라이더 등을 포함할 수 있다.
이에 의해, 센싱부(760)는, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도 등에 대한 센싱 신호를 획득할 수 있다.
한편, 센싱부(760)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
센싱부(760)는 생체 인식 정보 감지부를 포함할 수 있다. 생체 인식 정보 감지부는 탑승자의 생체 인식 정보를 감지하여 획득한다. 생체 인식 정보는 지문 인식(Fingerprint) 정보, 홍채 인식(Iris-scan) 정보, 망막 인식(Retina-scan) 정보, 손모양(Hand geo-metry) 정보, 안면 인식(Facial recognition) 정보, 음성 인식(Voice recognition) 정보를 포함할 수 있다. 생체 인식 정보 감지부는 탑승자의 생체 인식 정보를 센싱하는 센서를 포함할 수 있다. 여기서, 모니터링부 및 마이크로 폰(723)이 센서로 동작할 수 있다. 생체 인식 정보 감지부는 모니터링부를 통해, 손모양 정보, 안면 인식 정보를 획득할 수 있다.
출력부(740)는, 제어부(770)에서 처리된 정보를 출력하기 위한 것으로, 디스플레이부(741), 음향 출력부(742) 및 햅틱 출력부(743)를 포함할 수 있다.
디스플레이부(741)는 제어부(770)에서 처리되는 정보를 표시할 수 있다. 예를 들면, 디스플레이부(741)는 차량 관련 정보를 표시할 수 있다. 여기서, 차량 관련 정보는, 차량에 대한 직접적인 제어를 위한 차량 제어 정보, 또는 차량 운전자에게 운전 가이드를 위한 차량 운전 보조 정보를 포함할 수 있다. 또한, 차량 관련 정보는, 현재 차량의 상태를 알려주는 차량 상태 정보 또는 차량의 운행과 관련되는 차량 운행 정보를 포함할 수 있다.
디스플레이부(741)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부(741)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 차량와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(724)로써 기능함과 동시에, 차량와 사용자 사이의 출력 인터페이스를 제공할 수 있다. 이경우, 디스플레이부(741)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이부(741)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이를 이용하여, 디스플레이부(741)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 제어부(770)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.
한편, 디스플레이부(741)는 운전자가 운전을 함과 동시에 차량 상태 정보 또는 차량 운행 정보를 확인할 수 있도록 클러스터(cluster)를 포함할 수 있다. 클러스터는 대시보드 위에 위치할 수 있다. 이경우, 운전자는, 시선을 차량 전방에 유지한채로 클러스터에 표시되는 정보를 확인할 수 있다.
한편, 실시예에 따라, 디스플레이부(741)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이부(741)가 HUD로 구현되는 경우, 윈드 쉴드에 구비되는 투명 디스플레이를 통해 정보를 출력할 수 있다. 또는, 디스플레이부(741)는 투사 모듈을 구비하여 윈드 쉴드에 투사되는 이미지를 통해 정보를 출력할 수 있다.
음향 출력부(742)는 제어부(770)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(742)는 스피커 등을 구비할 수 있다. 음향 출력부(742)는, 사용자 입력부(724) 동작에 대응하는, 사운드를 출력하는 것도 가능하다.
햅틱 출력부(743)는 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(743)는, 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
차량 구동부(750)는, 차량 각종 장치의 동작을 제어할 수 있다. 차량 구동부(750)는 동력원 구동부(751), 조향 구동부(752), 브레이크 구동부(753), 램프 구동부(754), 공조 구동부(755), 윈도우 구동부(756), 에어백 구동부(757), 썬루프 구동부(758) 및 서스펜션 구동부(759)를 포함할 수 있다.
동력원 구동부(751)는, 차량 내의 동력원에 대한 전자식 제어를 수행할 수 있다.
예를 들면, 화석 연료 기반의 엔진(미도시)이 동력원인 경우, 동력원 구동부(751)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(751)가 엔진인 경우, 제어부(770)의 제어에 따라, 엔진 출력 토크를 제한하여 차량의 속도를 제한할 수 있다.
다른 예로, 전기 기반의 모터(미도시)가 동력원인 경우, 동력원 구동부(751)는, 모터에 대한 제어를 수행할 수 있다. 이에 의해, 모터의 회전 속도, 토크 등을 제어할 수 있다.
조향 구동부(752)는, 차량 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 차량의 진행 방향을 변경할 수 있다.
브레이크 구동부(753)는, 차량 내의 브레이크 장치(brake apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량의 속도를 줄일 수 있다. 다른 예로, 좌측 바퀴와 우측 바퀴에 각각 배치되는 브레이크의 동작을 달리하여, 차량의 진행 방향을 좌측, 또는 우측으로 조정할 수 있다.
램프 구동부(754)는, 차량 내, 외부에 배치되는 램프의 턴 온/턴 오프를 제어할 수 있다. 또한, 램프의 빛의 세기, 방향 등을 제어할 수 있다. 예를 들면, 방향 지시 램프, 브레이크 램프 등의 대한 제어를 수행할 수 있다.
공조 구동부(755)는, 차량 내의 공조 장치(air cinditioner)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
윈도우 구동부(756)는, 차량 내의 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 차량의 측면의 좌,우 윈도우들에 대한 개방 또는 폐쇄를 제어할 수 있다.
에어백 구동부(757)는, 차량 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 위험시, 에어백이 터지도록 제어할 수 있다.
썬루프 구동부(758)는, 차량 내의 썬루프 장치(sunroof apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 썬루프의 개방 또는 폐쇄를 제어할 수 있다.
서스펜션 구동부(759)는, 차량 내의 서스펜션 장치(suspension apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량의 진동이 저감되도록 제어할 수 있다.
메모리(730)는, 제어부(770)와 전기적으로 연결된다. 메모리(770)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(790)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(730)는 제어부(770)의 처리 또는 제어를 위한 프로그램 등, 차량 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
인터페이스부(780)는, 차량에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 인터페이스부(780)는 이동 단말기(600)와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기(600)와 연결할 수 있다. 이경우, 인터페이스부(780)는 이동 단말기(600)와 데이터를 교환할 수 있다.
한편, 인터페이스부(780)는 연결된 이동 단말기(600)에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 이동 단말기(600)가 인터페이스부(780)에 전기적으로 연결되는 경우, 제어부(770)의 제어에 따라, 인터페이스부(780)는 전원부(790)에서 공급되는 전기 에너지를 이동 단말기(600)에 제공한다.
제어부(770)는, 차량 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(770)는 ECU(Electronic Contol Unit)로 명명될 수 있다.
이러한 제어부(770)은 차량 운전 보조장치의 실행 신호 전달에 따라서, 전달된 신호에 대응되는 기능을 실행할 수 있다.
제어부(770)는, 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
제어부(770)는 전술한 프로세서의 역할을 위임할 수 있다. 즉, 차량 운전 보조장치의 프로세서는 차량의 제어부(770)에 직접 셋팅될 수 있다. 이러한 실시예에서는 차량 운전 보조장치는 차량의 일부 구성들을 합하여 지칭하는 것으로 이해할 수 있다.
또는, 제어부(770)는 프로세서에서 요청하는 정보를 전송해주도록 구성들을 제어할 수도 있다.
전원부(790)는, 제어부(770)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원부(770)는, 차량 내부의 배터리(미도시) 등으로부터 전원을 공급받을 수 있다.
AVN(Audio Video Navigation) 장치(400)는 제어부(770)와 데이터를 교환할 수 있다. 제어부(770)는 AVN 장치(400) 또는 별도의 내비게이션 장치(미도시)로부터 내비게이션 정보를 수신할 수 있다. 여기서, 여기서, 내비게이션 정보는 설정된 목적지 정보, 상기 목적지에 따른 경로 정보, 차량 주행과 관련한, 맵(map) 정보 또는 차량 위치 정보를 포함할 수 있다.
상술한 실시예에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의하여 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예들을 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예들에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부한 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
Claims (14)
- 운전 보조기능(ADAS, advanced driver assistance systems)을 갖는 차량에 포함된 차량 운전 보조장치에 있어서,
상기 차량의 주변 영상을 촬영하는 카메라;
상기 운전 보조기능 작동시, 상기 차량의 주변 영상을 상기 운전 보조기능 관련 영상으로 포함시켜 운전 보조기능 작동이력을 생성하는 프로세서;
상기 운전 보조기능 작동이력을 저장하는 메모리; 및
상기 운전 보조기능 관련 영상을 표시하는 디스플레이부를 포함하고,
상기 메모리는,
작동한 운전 보조기능의 종류, 상기 운전 보조기능이 작동한 시간, 상기 작동한 시간에서 차량의 위치, 작동 전후 촬영된 영상 및 상기 운전 보조기능 관련 센서 정보를 포함하는 상기 운전 보조기능 작동이력을 저장하고,
상기 프로세서는,
상기 운전 보조기능의 작동 전후 촬영된 상기 차량의 주변 영상을 뷰 포인트 변환하여 탑 뷰 이미지로 생성하고, 상기 탑 뷰 이미지에 상기 운전 보조기능 관련이력에 포함된 정보 중 적어도 하나 이상의 정보를 설명 이미지로 추가 표시하여, 상기 운전 보조기능 관련 영상을 생성하는
차량 운전 보조장치. - 삭제
- 제 1 항에 있어서,
상기 프로세서는 상기 운전 보조기능 작동이력을 펙터로 사용자의 안전 주행 점수를 산출하는 차량 운전 보조장치. - 제 1 항에 있어서,
상기 프로세서는 상기 운전 보조기능 작동시, 상기 운전 보조기능 관련 영상을 실시간으로 제공하는 차량 운전 보조장치. - 삭제
- 제 1 항에 있어서,
상기 프로세서는 사용자 검색에 따라 상기 운전 보조기능 작동이력을 추출하여 제공하는 차량 운전 보조장치. - 제 1 항에 있어서,
상기 운전 보조기능은 사각지대감시기능(BSD, blind spot detection), 차선 이탈 방지 기능(LKAS, Lane Keeping Assist System), 차선 이탈 경고 기능(LDWS, Lane Departure Warning System) 및 자동 긴급제동(AEB, Autonomous Emergency Braking) 중 적어도 하나 이상을 포함하는 차량 운전 보조장치. - 제 7 항에 있어서,
상기 자동 긴급제동 기능이 작동된 경우, 상기 프로세서는 각 자동 긴급제동이 작동된 시간, 작동한 시간에서 차량 위치, 작동된 시점 전후에서 촬영된 전방 영상, 전방 차량과의 거리, 제동 거리, 사용자 브레이크 입력 정도 및 브레이크 답력을 포함시켜 자동 긴급제동 작동이력을 생성하는 차량 운전 보조장치. - 제 7 항에 있어서,
상기 차선 이탈 방지 기능이 작동된 경우, 상기 프로세서는 상기 차선 이탈 방지 기능이 작동된 시각, 상기 시각에서 차량 위치, 상기 작동된 시점 전후에서 촬영된 측방 영상, 상기 차선과의 거리 및 스티어링 각도 중 적어도 하나 이상을 포함시켜 운전 보조기능 작동이력을 생성하는 차량 운전 보조장치. - 제 7 항에 있어서,
상기 사각지대감시기능이 작동된 경우, 상기 프로세서는 사각지대감시기능이 작동된 시각, 상기 시각에서 차량 위치, 상기 작동된 시점 전후에서 촬영된 사각지대 촬영 영상 및 타차량과의 거리 중 적어도 하나 이상을 포함시켜 운전 보조기능 작동이력을 생성하는 차량 운전 보조장치. - 제 1 항에 있어서,
상기 운전 보조기능 작동이력에는 상기 운전 보조기능 작동과 관련되는 차량 주행기록이 더 포함되는 차량 운전 보조장치. - 제 1 항에 있어서,
상기 프로세서는 상기 운전 보조기능 작동이력에 따라서 운전 보조기능 설정 값을 보정하는 차량 운전 보조장치. - 제 1 항에 있어서,
상기 프로세서는 사용자의 기간 검색 입력에 따라 상기 운전 보조기능 작동이력을 추출하고,
상기 운전 보조기능 작동이력에 따라 운전 보조기능 작동 위치 및 운전 보조기능 작동 위치에 대응되는 이동 기록을 포함하는 지도와, 운전 보조기능 작동 내역을 상기 디스플레이부에 표시하는 차량 운전 보조장치. - 제 1항에 기재된 차량 운전 보조 장치를 포함하는 차량.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150111879A KR101732263B1 (ko) | 2015-08-07 | 2015-08-07 | 차량 운전 보조장치 및 이를 포함하는 차량 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150111879A KR101732263B1 (ko) | 2015-08-07 | 2015-08-07 | 차량 운전 보조장치 및 이를 포함하는 차량 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170017647A KR20170017647A (ko) | 2017-02-15 |
| KR101732263B1 true KR101732263B1 (ko) | 2017-05-11 |
Family
ID=58112051
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150111879A KR101732263B1 (ko) | 2015-08-07 | 2015-08-07 | 차량 운전 보조장치 및 이를 포함하는 차량 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101732263B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190061693A (ko) | 2017-11-28 | 2019-06-05 | 쌍용자동차 주식회사 | 자율주행 차량의 통합 모니터링장치 및 그 방법 |
| KR20220108335A (ko) | 2021-01-27 | 2022-08-03 | 쌍용자동차 주식회사 | 자율주행차량의 차로 유지 제어방법 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102051020B1 (ko) * | 2017-08-04 | 2019-12-03 | (주)오펠솔루션 | 운전패턴 활용을 위한 차량용 영상 모니터링 시스템 및 그 방법 |
| KR102007985B1 (ko) * | 2018-06-21 | 2019-08-06 | (주)디지파츠 | 차량 정보 제공 시스템 |
| CN115512559B (zh) * | 2022-09-29 | 2023-12-29 | 上汽通用五菱汽车股份有限公司 | 智能辅助驾驶评估方法、设备以及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008146332A (ja) * | 2006-12-08 | 2008-06-26 | Mazda Motor Corp | 車両用運転支援評価システム |
| JP2015088794A (ja) * | 2013-10-28 | 2015-05-07 | 株式会社デンソー | 車両周辺映像記録システム、ソナー制御装置 |
-
2015
- 2015-08-07 KR KR1020150111879A patent/KR101732263B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008146332A (ja) * | 2006-12-08 | 2008-06-26 | Mazda Motor Corp | 車両用運転支援評価システム |
| JP2015088794A (ja) * | 2013-10-28 | 2015-05-07 | 株式会社デンソー | 車両周辺映像記録システム、ソナー制御装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190061693A (ko) | 2017-11-28 | 2019-06-05 | 쌍용자동차 주식회사 | 자율주행 차량의 통합 모니터링장치 및 그 방법 |
| KR20220108335A (ko) | 2021-01-27 | 2022-08-03 | 쌍용자동차 주식회사 | 자율주행차량의 차로 유지 제어방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20170017647A (ko) | 2017-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101844885B1 (ko) | 차량 운전 보조장치 및 이를 포함하는 차량 | |
| KR101838187B1 (ko) | 디스플레이 장치 및 이를 포함하는 차량 | |
| KR101916993B1 (ko) | 차량용 디스플레이 장치 및 그 제어방법 | |
| KR101800508B1 (ko) | 음주운전 방지 방법 및 이를 제공하는 차량 보조 장치 | |
| KR101750178B1 (ko) | 차량 외부 알람방법, 이를 실행하는 차량 운전 보조장치 및 이를 포함하는 차량 | |
| KR101860610B1 (ko) | 디스플레이 장치 및 이를 포함하는 차량 | |
| US10748428B2 (en) | Vehicle and control method therefor | |
| KR101708657B1 (ko) | 차량 및 그 제어방법 | |
| KR101732983B1 (ko) | 차량용 리어 콤비네이션 램프 및 이를 포함하는 차량 | |
| KR101731719B1 (ko) | 정차 이동모드 제공방법, 이를 제공하는 차량 보조장치 및 이를 포함하는 차량 | |
| KR20170058188A (ko) | 차량 운전 보조장치 및 이를 포함하는 차량 | |
| KR101790426B1 (ko) | 자동주차 보조장치 및 이를 포함하는 차량 | |
| KR101732263B1 (ko) | 차량 운전 보조장치 및 이를 포함하는 차량 | |
| KR101962348B1 (ko) | 차량 운전 보조장치 및 이를 포함하는 차량 | |
| KR20170054849A (ko) | 차량 운전 보조장치 및 이를 포함하는 차량 | |
| KR102420922B1 (ko) | 차량 운전 보조장치 및 이를 포함하는 차량 | |
| KR20170005663A (ko) | 차량용 디스플레이 제어 장치 및 그 동작 방법 | |
| KR101843535B1 (ko) | 차량 운전 보조장치 및 이를 포함하는 차량 | |
| KR101897350B1 (ko) | 차량 운전 보조장치 | |
| KR20180069646A (ko) | 차량 운전 보조 장치 | |
| KR101888259B1 (ko) | 차량 보조장치 및 이를 포함하는 차량 | |
| KR20180073042A (ko) | 차량 운전 보조장치 및 이를 포함하는 차량 | |
| KR101894636B1 (ko) | 차량 운전 보조장치 및 이를 포함하는 차량 | |
| KR101938884B1 (ko) | 자동주차 보조장치 및 이를 포함하는 차량 | |
| KR20170024943A (ko) | 가상 영상 생성장치, 헤드 마운티드 디스플레이 및 차량 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |