KR102457511B1 - Vehicle and method for controlling thereof - Google Patents
Vehicle and method for controlling thereof Download PDFInfo
- Publication number
- KR102457511B1 KR102457511B1 KR1020170173742A KR20170173742A KR102457511B1 KR 102457511 B1 KR102457511 B1 KR 102457511B1 KR 1020170173742 A KR1020170173742 A KR 1020170173742A KR 20170173742 A KR20170173742 A KR 20170173742A KR 102457511 B1 KR102457511 B1 KR 102457511B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- driver
- time
- gaze
- determined
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
Abstract
차량 및 그 제어방법에 관한 것으로, 보다 상세하게는 운전자의 시선 정보에 기초하여 차량의 제동 시점을 변경하는 기술에 관한 것이다.
일 실시예에 따른 차량은, 차량 후방의 대상체를 감지하는 감지센서, 운전자의 시선 정보를 획득하는 운전자 시선 감지부 및 차량과 대상체의 충돌 예상 시간(Time To Collision, TTC)을 산출하고, 운전자가 차량 후방을 주시하는 시간에 기초하여 차량 후방에 대한 운전자 시선의 신뢰도를 결정하고, 결정된 신뢰도에 기초하여 차량의 제동 시작 시점을 변경하고, 변경된 제동 시작 시점에 기초하여 차량의 주행 속도를 제어하는 제어부를 포함한다.To a vehicle and a control method therefor, and more particularly, to a technology for changing a braking time of a vehicle based on the driver's gaze information.
The vehicle according to an embodiment includes a detection sensor for detecting an object at the rear of the vehicle, a driver's gaze sensor for obtaining information about the driver's gaze, and a time to collision (TTC) calculation between the vehicle and the object, and the driver A control unit that determines the reliability of the driver's gaze toward the rear of the vehicle based on the time to look at the rear of the vehicle, changes the braking start time of the vehicle based on the determined reliability, and controls the driving speed of the vehicle based on the changed braking start time includes
Description
차량 및 그 제어방법에 관한 것으로, 보다 상세하게는 운전자의 시선 정보에 기초하여 차량의 제동 시점을 변경하는 기술에 관한 것이다. To a vehicle and a control method therefor, and more particularly, to a technology for changing a braking time of a vehicle based on the driver's gaze information.
차량은, 도로나 선로를 주행하면서 사람이나 물건을 목적지까지 운반할 수 있는 장치를 의미한다. 차량은 주로 차체에 설치된 하나 이상의 차륜을 이용하여 여러 위치로 이동할 수 있다. 이와 같은 차량으로는 삼륜 또는 사륜 자동차나, 모터사이클 등의 이륜 자동차나, 건설 기계, 자전거 및 선로 상에 배치된 레일 위에서 주행하는 열차 등이 있을 수 있다.A vehicle refers to a device capable of transporting a person or thing to a destination while traveling on a road or track. The vehicle may be moved to various positions mainly by using one or more wheels installed on the vehicle body. Such a vehicle may include a three-wheeled or four-wheeled vehicle, a two-wheeled vehicle such as a motorcycle, a construction machine, a bicycle, and a train running on rails disposed on a track.
현대 사회에서 자동차는 가장 보편적인 이동 수단으로서 자동차를 이용하는 사람들의 수는 증가하고 있다. 자동차 기술의 발전으로 인해 장거리의 이동이 용이하고, 생활이 편해지는 등의 장점도 있지만, 우리나라와 같이 인구밀도가 높은 곳에서는 도로 교통 사정이 악화되어 교통 정체가 심각해지는 문제가 자주 발생한다.In modern society, automobiles are the most common means of transportation, and the number of people using automobiles is increasing. The development of automobile technology has advantages such as ease of long-distance movement and convenience of life, but in places with high population density such as Korea, road traffic conditions worsen and traffic congestion becomes serious frequently.
최근에는 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위하여 차량 상태, 운전자 상태, 및 주변 환경에 대한 정보를 능동적으로 제공하는 첨단 운전자 지원 시스템(Advanced Driver Assist System; ADAS)이 탑재된 차량에 대한 연구가 활발히 진행되고 있다.Recently, in order to reduce the burden on the driver and improve convenience, there is a need for a vehicle equipped with an Advanced Driver Assist System (ADAS) that actively provides information on the vehicle condition, the driver condition, and the surrounding environment. Research is actively underway.
차량에 탑재되는 첨단 운전자 지원 시스템의 일 예로, 전방충돌회피 시스템(Forward Collision Avoidance; FCA), 긴급 제동 시스템(Autonomous Emergency Brake; AEB), 주차 충돌 방지 보조-후방 시스템(Parking Collision-Avoidance Assist-Reverse; PCA-R) 이 있다. 이러한 시스템은 차량의 주행 상황에서 대상체와의 충돌 위험을 판단하고, 충돌 상황에서 긴급 제동을 통한 충돌 회피 및 경고 제공 시스템이다.As an example of an advanced driver assistance system mounted on a vehicle, Forward Collision Avoidance (FCA), Autonomous Emergency Brake (AEB), Parking Collision-Avoidance Assist-Reverse ; PCA-R). Such a system is a system for determining a collision risk with an object in a driving situation of a vehicle, and for avoiding collision and providing a warning through emergency braking in a collision situation.
한편, 후방 주차 등의 경우 운전자가 차량의 후방을 주시하고 있는 경우에도 운전자의 시선을 고려하지 않고 차량과 대상체와의 충돌 예상 시간에만 기초하여 후진하는 차량의 제동을 수행함에 따라, 운전자의 의도와 다른 제동으로 인해 시스템의 오동작 및 운전자의 불쾌감을 야기할 수 있다. On the other hand, in the case of rear parking, etc., even when the driver is looking at the rear of the vehicle, the braking of the vehicle moving backward is performed based only on the expected collision time between the vehicle and the object without considering the driver's gaze. Other braking may cause system malfunction and driver discomfort.
운전자의 시선 정보에 기초하여 차량의 제동 시점을 변경함으로써, 운전자의 의도를 반영하고 시스템의 오동작을 방지하는 것을 목적으로 한다.By changing the braking timing of the vehicle based on the driver's gaze information, it is intended to reflect the intention of the driver and prevent malfunction of the system.
상술한 목적을 달성하기 위한 일 실시예에 따른 차량은,A vehicle according to an embodiment for achieving the above object,
차량 후방의 대상체를 감지하는 감지센서, 운전자의 시선 정보를 획득하는 운전자 시선 감지부 및 상기 차량과 상기 대상체의 충돌 예상 시간(Time To Collision, TTC)을 산출하고, 상기 운전자가 상기 차량 후방을 주시하는 시간에 기초하여 상기 차량 후방에 대한 상기 운전자 시선의 신뢰도를 결정하고, 상기 결정된 신뢰도에 기초하여 상기 차량의 제동 시작 시점을 변경하고, 상기 변경된 제동 시작 시점에 기초하여 상기 차량의 주행 속도를 제어하는 제어부를 포함한다.A detection sensor for detecting an object at the rear of the vehicle, a driver's gaze sensor for obtaining information about the driver's gaze, and a time to collision (TTC) between the vehicle and the object are calculated, and the driver looks at the rear of the vehicle determining the reliability of the driver's gaze toward the rear of the vehicle based on the time to It includes a control unit that
또한, 상기 운전자 시선 감지부는, 상기 운전자의 동공이 응시하는 방향의 각도를 감지하여 상기 운전자의 시선 정보를 획득할 수 있다.In addition, the driver's gaze sensing unit may acquire the driver's gaze information by detecting an angle in a direction in which the driver's pupils gaze.
또한, 상기 제어부는, 상기 운전자 시선 감지부가 획득한 운전자의 시선 정보에 기초하여, 상기 차량 후방에 대한 영상을 출력하는 디스플레이부, 상기 차량 내부에 마련된 룸미러 또는 상기 차량 외부에 마련된 사이드미러 중에서 상기 운전자가 주시하는 위치를 결정할 수 있다.In addition, the control unit may include, based on the driver's gaze information acquired by the driver's gaze sensing unit, among a display unit for outputting an image of the rear of the vehicle, a rearview mirror provided inside the vehicle, or a side mirror provided outside the vehicle. It is possible to determine where the driver is looking.
또한, 상기 제어부는, 상기 운전자가 상기 디스플레이부, 상기 룸미러 또는 상기 사이드미러 중 어느 하나를 통해 상기 차량의 후방을 주시하는 시간을 결정할 수 있다.Also, the controller may determine a time for the driver to gaze at the rear of the vehicle through any one of the display unit, the rearview mirror, and the side mirror.
또한, 상기 제어부는, 미리 정해진 시간 동안 상기 운전자가 상기 차량의 후방을 주시하는 시간의 비율에 기초하여 상기 운전자 시선의 신뢰도를 결정할 수 있다.Also, the controller may determine the reliability of the driver's gaze based on a ratio of the time the driver looks at the rear of the vehicle for a predetermined time.
또한, 상기 제어부는, 상기 충돌 예상 시간에 미리 정해진 상수 값을 곱하여 상기 미리 정해진 시간을 결정할 수 있다.Also, the controller may determine the predetermined time by multiplying the expected collision time by a predetermined constant value.
또한, 상기 제어부는, 상기 결정된 신뢰도 및 상기 충돌 예상 시간에 기초하여 상기 차량의 후진 시에 상기 차량의 제동 시작 시점을 변경할 수 있다.Also, the controller may change a braking start time of the vehicle when the vehicle is reversing based on the determined reliability and the collision expected time.
또한, 상기 제어부는, 상기 충돌 예상 시간을 기준으로, 상기 결정된 신뢰도 및 상기 충돌 예상 시간에 기초하여 산출된 시간 만큼 남은 시점에서 상기 차량의 제동 시작 신호를 송출할 수 있다.Also, the controller may transmit a braking start signal of the vehicle at a time remaining for a time calculated based on the determined reliability and the predicted collision time based on the expected collision time.
또한, 상기 제어부는, 상기 운전자의 시선 정보에 기초하여 상기 운전자가 상기 룸미러를 주시하는 것으로 결정하면, 상기 감지된 차량 후방의 대상체의 높이가 미리 정해진 높이 미만인지 판단하고, 상기 대상체의 높이가 상기 미리 정해진 높이 미만이면, 상기 산출된 충돌 예상 시간에 기초하여 상기 차량의 제동 시작 신호를 송출할 수 있다.In addition, when the driver determines that the driver is looking at the rearview mirror based on the driver's gaze information, the controller determines whether the detected height of the object at the rear of the vehicle is less than a predetermined height, and the height of the object is If the height is less than the predetermined height, a braking start signal of the vehicle may be transmitted based on the calculated expected collision time.
또한, 상기 제어부는, 상기 운전자의 시선 정보에 기초하여 상기 운전자가 상기 룸미러를 주시하는 것으로 결정하면, 상기 차량과 상기 감지된 차량 후방의 대상체 사이의 거리가 미리 정해진 거리 미만인지 판단하고, 상기 차량과 상기 감지된 차량 후방의 대상체 사이의 거리가 상기 미리 정해진 거리 미만이면, 상기 산출된 충돌 예상 시간에 기초하여 상기 차량의 제동 시작 신호를 송출할 수 있다.In addition, when the driver determines that the driver is looking at the rearview mirror based on the driver's gaze information, the controller determines whether a distance between the vehicle and the detected object at the rear of the vehicle is less than a predetermined distance, When the distance between the vehicle and the detected object at the rear of the vehicle is less than the predetermined distance, a braking start signal of the vehicle may be transmitted based on the calculated expected collision time.
또한, 상기 제어부는, 상기 운전자의 시선 정보에 기초하여 상기 운전자가 상기 사이드미러를 주시하는 것으로 결정하면, 상기 차량과 상기 감지된 차량 후방의 대상체 사이의 각도가 미리 정해진 각도 미만인지 판단하고, 상기 차량과 상기 감지된 차량 후방의 대상체 사이의 각도가 상기 미리 정해진 각도 미만이면, 상기 산출된 충돌 예상 시간에 기초하여 상기 차량의 제동 시작 신호를 송출할 수 있다.In addition, when the driver determines that the driver looks at the side mirror based on the driver's gaze information, the controller determines whether an angle between the vehicle and the detected object at the rear of the vehicle is less than a predetermined angle, When the angle between the vehicle and the detected object behind the vehicle is less than the predetermined angle, a braking start signal of the vehicle may be transmitted based on the calculated expected collision time.
또한, 상기 감지센서는, 상기 대상체의 위치 정보를 획득하고, 상기 제어부는, 상기 차량과 상기 대상체 사이의 거리 및 상기 차량의 주행 속도에 기초하여 상기 충돌 예상 시간을 산출할 수 있다.Also, the detection sensor may obtain location information of the object, and the controller may calculate the expected collision time based on a distance between the vehicle and the object and a traveling speed of the vehicle.
또한, 상기 제어부의 제어에 따라 상기 차량의 주행 속도를 조절하는 속도 조절부를 더 포함할 수 있다.In addition, the control unit may further include a speed adjusting unit for adjusting the traveling speed of the vehicle according to the control of the control unit.
또한, 상술한 목적을 달성하기 위한 일 실시예에 따른 차량 제어방법은,In addition, the vehicle control method according to an embodiment for achieving the above object,
차량 후방의 대상체를 감지하고, 운전자의 시선 정보를 획득하고, 상기 차량과 상기 대상체의 충돌 예상 시간을 산출하고, 상기 운전자가 상기 차량 후방을 주시하는 시간에 기초하여 상기 차량 후방에 대한 상기 운전자 시선의 신뢰도를 결정하고, 상기 결정된 신뢰도에 기초하여 상기 차량의 제동 시작 시점을 변경하고, 상기 변경된 제동 시작 시점에 기초하여 상기 차량의 주행 속도를 제어한다.The driver's gaze toward the rear of the vehicle is based on detecting an object at the rear of the vehicle, obtaining information on the driver's gaze, calculating an expected collision time between the vehicle and the object, and looking at the rear of the vehicle based on the time the driver looks at the rear of the vehicle determines the reliability of , changes the braking start time of the vehicle based on the determined reliability, and controls the traveling speed of the vehicle based on the changed braking start time.
또한, 상기 운전자 시선 정보를 획득하는 것은, 상기 운전자의 동공이 응시하는 방향의 각도를 감지하여 상기 운전자의 시선 정보를 획득하는 것을 포함할 수 있다.Also, acquiring the driver's gaze information may include acquiring the driver's gaze information by detecting an angle in a direction in which the driver's pupils gaze.
또한, 상기 획득한 운전자의 시선 정보에 기초하여, 상기 차량 후방에 대한 영상을 출력하는 디스플레이부, 상기 차량 내부에 마련된 룸미러 또는 상기 차량 외부에 마련된 사이드미러 중에서 상기 운전자가 주시하는 위치를 결정하는 것을 더 포함할 수 있다.In addition, based on the obtained driver's gaze information, a display unit for outputting an image of the rear of the vehicle, a rearview mirror provided inside the vehicle, or a side mirror provided outside the vehicle to determine a position at which the driver gazes may include more.
또한, 상기 운전자가 상기 디스플레이부, 상기 룸미러 또는 상기 사이드미러 중 어느 하나를 통해 상기 차량의 후방을 주시하는 시간을 결정하는 것을 더 포함할 수 있다.The method may further include determining a time for the driver to look at the rear of the vehicle through any one of the display unit, the rearview mirror, and the side mirror.
또한, 상기 운전자 시선의 신뢰도를 결정하는 것은, 미리 정해진 시간 동안 상기 운전자가 상기 차량의 후방을 주시하는 시간의 비율에 기초하여 상기 운전자 시선의 신뢰도를 결정하는 것을 포함할 수 있다.Also, the determining of the reliability of the driver's gaze may include determining the reliability of the driver's gaze based on a ratio of the time the driver looks at the rear of the vehicle for a predetermined time.
또한, 상기 충돌 예상 시간에 미리 정해진 상수 값을 곱하여 상기 미리 정해진 시간을 결정하는 것을 더 포함할 수 있다.The method may further include determining the predetermined time by multiplying the expected collision time by a predetermined constant value.
또한, 상기 차량의 제동 시작 시점을 변경하는 것은, 상기 결정된 신뢰도 및 상기 충돌 예상 시간에 기초하여 상기 차량의 후진 시에 상기 차량의 제동 시작 시점을 변경하는 것을 포함할 수 있다.Also, changing the braking start time of the vehicle may include changing the braking start time of the vehicle when the vehicle is reversing based on the determined reliability and the collision expected time.
또한, 상기 차량의 제동 시작 시점을 변경하는 것은, 상기 충돌 예상 시간을 기준으로, 상기 결정된 신뢰도 및 상기 충돌 예상 시간에 기초하여 산출된 시간 만큼 남은 시점에서 상기 차량의 제동 시작 신호를 송출하는 것을 포함할 수 있다.In addition, changing the braking start time of the vehicle includes transmitting the braking start signal of the vehicle at a time remaining for a time calculated based on the determined reliability and the collision expected time based on the collision expected time can do.
또한, 상기 운전자의 시선 정보에 기초하여 상기 운전자가 상기 룸미러를 주시하는 것으로 결정하면, 상기 감지된 차량 후방의 대상체의 높이가 미리 정해진 높이 미만인지 판단하고, 상기 대상체의 높이가 상기 미리 정해진 높이 미만이면, 상기 산출된 충돌 예상 시간에 기초하여 상기 차량의 제동 시작 신호를 송출하는 것을 포함할 수 있다.In addition, if the driver determines that the driver looks at the rearview mirror based on the driver's gaze information, it is determined whether the detected height of the object at the rear of the vehicle is less than a predetermined height, and the height of the object is the predetermined height If less than, the method may include transmitting a braking start signal of the vehicle based on the calculated expected collision time.
또한, 상기 운전자의 시선 정보에 기초하여 상기 운전자가 상기 룸미러를 주시하는 것으로 결정하면, 상기 차량과 상기 감지된 차량 후방의 대상체 사이의 거리가 미리 정해진 거리 미만인지 판단하고, 상기 차량과 상기 감지된 차량 후방의 대상체 사이의 거리가 상기 미리 정해진 거리 미만이면, 상기 산출된 충돌 예상 시간에 기초하여 상기 차량의 제동 시작 신호를 송출하는 것을 포함할 수 있다.In addition, when it is determined that the driver gazes at the rearview mirror based on the driver's gaze information, it is determined whether a distance between the vehicle and the sensed object at the rear of the vehicle is less than a predetermined distance, and the vehicle and the detection If the distance between the objects in the rear of the vehicle is less than the predetermined distance, the method may include transmitting a braking start signal of the vehicle based on the calculated expected collision time.
또한, 상기 운전자의 시선 정보에 기초하여 상기 운전자가 상기 사이드미러를 주시하는 것으로 결정하면, 상기 차량과 상기 감지된 차량 후방의 대상체 사이의 각도가 미리 정해진 각도 미만인지 판단하고, 상기 차량과 상기 감지된 차량 후방의 대상체 사이의 각도가 상기 미리 정해진 각도 미만이면, 상기 산출된 충돌 예상 시간에 기초하여 상기 차량의 제동 시작 신호를 송출하는 것을 포함할 수 있다.In addition, when it is determined that the driver gazes at the side mirror based on the driver's gaze information, it is determined whether an angle between the vehicle and the sensed object at the rear of the vehicle is less than a predetermined angle, and the vehicle and the detection When the angle between the object at the rear of the vehicle is less than the predetermined angle, the method may include transmitting a braking start signal of the vehicle based on the calculated expected collision time.
또한, 상기 차량 후방의 대상체를 감지하는 것은, 상기 대상체의 위치 정보를 획득하는 것;을 포함하고, 상기 충돌 예상 시간을 산출하는 것은, 상기 차량과 상기 대상체 사이의 거리 및 상기 차량의 주행 속도에 기초하여 상기 충돌 예상 시간을 산출하는 것을 포함할 수 있다.In addition, detecting the object at the rear of the vehicle includes obtaining location information of the object, and calculating the expected collision time is based on a distance between the vehicle and the object and a traveling speed of the vehicle. It may include calculating the expected collision time based on the.
또한, 상기 제어에 따라 상기 차량의 주행 속도를 조절하는 것을 더 포함할 수 있다.The method may further include adjusting the traveling speed of the vehicle according to the control.
차량 후진 중에 운전자의 시선 정보에 기초하여 차량의 제동 시점을 변경함으로써, 운전자의 의도를 반영하여 불쾌감을 저감시키고 시스템의 오동작을 방지하는 효과가 있다.By changing the braking timing of the vehicle based on the driver's gaze information while the vehicle is reversing, it is effective to reflect the driver's intention to reduce discomfort and prevent malfunction of the system.
도 1은 일 실시예에 따른 차량의 외관을 개략적으로 도시한 사시도이다.
도 2는 일 실시예에 따른 감지센서 및 후측방 차량 감지부가 마련된 차량을 도시한 것이다.
도 3은 일 실시예에 따른 차량의 실내 구조를 도시한 도면이다.
도 4는 일 실시예에 따른 차량의 제어 블록도이다.
도 5는 일 실시예에 따라 운전자가 디스플레이부를 주시하는 경우 운전자의 시선 정보를 획득하는 것이다.
도 6은 일 실시예에 따라 운전자가 룸미러를 주시하는 경우 운전자의 시선 정보를 획득하는 것이다.
도 7 및 도 8은 일 실시예에 따라 운전자가 룸미러를 통해 차량 후방을 주시할 때 대상체의 높이 또는 거리에 따라 차량의 제동 시점이 달라지는 것에 대한 개념도이다.
도 9는 일 실시예에 따라 운전자가 사이드미러를 주시하는 경우 운전자의 시선 정보를 획득하는 것이다.
도 10 및 도 11은 일 실시예에 따라 운전자가 사이드미러를 통해 차량의 후방을 주시할 때 차량과 다른 차량의 각도에 따라 차량의 제동 시점이 달라지는 것에 대한 개념도이다.
도 12 및 도 13은 일 실시예에 따른 차량 제어방법을 도시한 순서도이다.1 is a perspective view schematically illustrating an exterior of a vehicle according to an exemplary embodiment;
2 illustrates a vehicle in which a detection sensor and a rear side vehicle detection unit are provided according to an exemplary embodiment.
3 is a diagram illustrating an interior structure of a vehicle according to an exemplary embodiment.
4 is a control block diagram of a vehicle according to an exemplary embodiment.
5 is a diagram illustrating information about the driver's gaze when the driver gazes at the display unit according to an exemplary embodiment.
6 is a diagram illustrating information about the driver's gaze when the driver gazes at the rearview mirror according to an exemplary embodiment.
7 and 8 are conceptual views illustrating that a braking timing of a vehicle is changed according to a height or distance of an object when a driver looks at the rear of the vehicle through a rearview mirror, according to an exemplary embodiment.
9 is a diagram illustrating information about the driver's gaze when the driver gazes at the side mirror according to an exemplary embodiment.
10 and 11 are conceptual views illustrating that a braking timing of a vehicle is changed according to an angle of a vehicle and another vehicle when a driver looks at the rear of the vehicle through a side mirror, according to an exemplary embodiment.
12 and 13 are flowcharts illustrating a vehicle control method according to an exemplary embodiment.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다. Like reference numerals refer to like elements throughout. This specification does not describe all elements of the embodiments, and general content in the technical field to which the present invention pertains or content that overlaps between the embodiments is omitted. The term 'part, module, member, block' used in the specification may be implemented in software or hardware, and according to embodiments, a plurality of 'part, module, member, block' may be implemented as a single component, It is also possible for one 'part, module, member, block' to include a plurality of components.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.Throughout the specification, when a part is "connected" with another part, this includes not only direct connection but also indirect connection, and indirect connection includes connection through a wireless communication network. do.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Also, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다. Terms such as first, second, etc. are used to distinguish one component from another, and the component is not limited by the above-mentioned terms.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.The singular expression includes the plural expression unless the context clearly dictates otherwise.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다. In each step, the identification code is used for convenience of description, and the identification code does not describe the order of each step, and each step may be performed differently from the specified order unless the specific order is clearly stated in the context. have.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.Hereinafter, the working principle and embodiments of the present invention will be described with reference to the accompanying drawings.
도 1은 일 실시예에 따른 차량의 외관을 개략적으로 도시한 사시도이다. 도 2는 일 실시예에 따른 감지센서 및 후측방 차량 감지부가 마련된 차량을 도시한 것이고, 도 3은 일 실시예에 따른 차량의 실내 구조를 도시한 도면이며, 도 4는 일 실시예에 따른 차량의 제어 블록도이다.1 is a perspective view schematically illustrating an exterior of a vehicle according to an exemplary embodiment; 2 is a view illustrating a vehicle provided with a detection sensor and a rear side vehicle detection unit according to an embodiment, FIG. 3 is a diagram illustrating an interior structure of a vehicle according to an embodiment, and FIG. 4 is a vehicle according to an embodiment is a control block diagram of
이하 설명의 편의를 위하여, 도 1에 도시된 바와 같이, 일반적으로 차량(1)이 전진하는 방향을 전방이라고, 전방을 기준으로 좌측 방향 및 우측 방향을 구분하도록 하되, 전방이 12시 방향인 경우, 3시 방향 또는 그 주변을 우측 방향으로 정의하고, 9시 방향 또는 그 주변을 좌측 방향으로 정의하도록 한다. 전방의 반대 방향은 후방이 된다. 또한 차량(1)을 중심으로 바닥 방향을 하방이라고 하고, 반대 방향을 상방이라고 한다. 아울러 전방에 배치된 일 면을 전면, 후방에 배치된 일 면을 후면, 측방에 배치된 일 면을 측면이라고 한다. 측면 중 좌측 방향의 측면을 좌측면으로, 우측 방향의 측면은 우측면으로 정의한다.For convenience of explanation below, as shown in FIG. 1 , in general, the forward direction of the
도 1을 참조하면, 차량(1)은 외관을 형성하는 차체(10), 차량(1)을 이동시키는 차륜(12, 13)을 포함할 수 있다.Referring to FIG. 1 , a
차체(10)는 엔진 등과 같이 차량(1)에 구동에 필요한 각종 장치를 보호하는 후드(11a), 실내 공간을 형성하는 루프 패널(11b), 수납 공간이 마련된 트렁크 리드(11c), 차량(1)의 측면에 마련된 프런트 휀더(11d)와 쿼터 패널(11e)을 포함할 수 있다. 또한, 차체(11)의 측면에는 차체와 흰지 결합된 복수 개의 도어(14)가 마련될 수 있다. The
후드(11a)와 루프 패널(11b) 사이에는 차량(1) 전방의 시야를 제공하는 프런트 윈도우(19a)가 마련되고, 루프 패널(11b)과 트렁크 리드(11c) 사이에는 후방의 시야를 제공하는 리어 윈도우(19b)가 마련될 수 있다. 또한, 도어(14)의 상측에는 측면의 시야를 제공하는 측면 윈도우(19c)가 마련될 수 있다.A
측면 윈도우(19c) 옆에는 차량(1)의 후방 또는 측방을 볼 수 있는 사이드미러(18)가 마련될 수 있다. 운전자는 운전 중에 사이드미러(18)를 통해 차량(1)의 측방 또는 후측방에서 접근하는 다른 차량 또는 보행자 등을 확인할 수 있다. 이러한 사이드미러(18)는 차량(1)의 정면 주행 방향을 기준으로 좌측 및 우측에 한 개씩 마련될 수 있다.A
또한, 차량(1)의 전방에는 차량(1)의 진행 방향으로 조명을 조사하는 헤드램프(15, Headlamp)가 마련될 수 있다. In addition, a
또한, 차량(1)의 전방, 후방에는 차량(1)의 진행 방향을 지시하기 위한 방향지시램프(16, Turn Signal Lamp)가 마련될 수 있다. In addition, a turn signal lamp (16) for indicating a traveling direction of the
차량(1)은 방향지시램프(16)의 점멸하여 그 진행방향으로 표시할 수 있다. 또한, 차량(1)의 후방에는 테일램프(17)가 마련될 수 있다. 테일램프(17)는 차량(1)의 후방에 마련되어 차량(1)의 기어 변속 상태, 브레이크 동작 상태 등을 표시할 수 있다.The
도 1 및 도 3에 도시된 바와 같이, 차량(1)의 내부에는 적어도 하나의 촬영부(350)가 마련될 수 있다. 촬영부(350)는 차량(1)의 주행 중 또는 정차 중에 차량(1)의 주변 영상을 촬영할 수 있으며, 차량(1) 주변의 대상체를 감지할 수 있고, 나아가 대상체의 종류 및 위치 정보를 획득할 수 있다. 차량(1) 주변에서 촬영될 수 있는 대상체는 다른 차량, 보행자, 자전거 등을 포함할 수 있으며 이외에도 움직이는 물체 또는 정지한 각종 장애물이 포함될 수 있다.1 and 3 , at least one photographing
촬영부(350)는 차량(1) 주변의 대상체를 촬영하여 영상 인식을 통해 촬영된 대상체의 형태를 판별함으로써 대상체의 종류를 감지할 수 있고, 감지한 정보를 제어부(100)에 전달할 수 있다.The photographing
도 3에는 촬영부(350)가 룸미러(340) 주변에 마련된 것으로 도시되어 있으나, 촬영부(350)가 마련되는 위치에는 제한이 없으며 차량(1) 내부 또는 외부를 촬영하여 영상 정보를 획득할 수 있는 위치면 어디든 장착될 수 있다.Although the photographing
촬영부(350)는 적어도 하나의 카메라(camera)를 포함할 수 있고, 좀 더 정확한 영상을 촬영하기 위해 3차원 공간 인식 센서 및 레이더 센서 및 초음파 센서 등이 이에 포함될 수 있다. The photographing
3차원 공간 인식 센서로는 KINECT(RGB-D 센서), TOF(Structured Light Sensor), 스테레오 카메라(Stereo Camera) 등이 사용될 수 있으며 이에 한정되지 않고 이와 유사한 기능을 할 수 있는 다른 장치들도 포함되어 구성될 수 있다.The 3D spatial recognition sensor may include KINECT (RGB-D sensor), TOF (Structured Light Sensor), stereo camera, etc., but is not limited thereto, and other devices capable of similar functions are also included. can be configured.
도 1 및 도 2를 참조하면, 차량(1)에는 차량의 전방에 위치하는 대상체를 감지하여 감지된 대상체의 위치 정보 및 주행 속도 정보 중 적어도 하나를 획득하는 감지센서(200)가 마련될 수 있다.1 and 2 , the
일 실시예에 따른 감지센서(200)는 차량(1)을 기준으로 차량(1) 주변에 위치하는 대상체의 좌표 정보를 획득할 수 있다. The
후술할 바와 같이, 제어부(100)는 감지센서(200)가 획득한 대상체의 위치 정보 및 속도 정보를 이용하여 차량(1)과 대상체간의 상대 거리 및 차량(1)과 대상체간의 상대 속도를 산출할 수 있고, 이에 기초하여 차량(1)과 대상체의 충돌 예상 시간(Time To Collision, TTC)을 산출할 수 있다.As will be described later, the
감지센서(200)는 도 1 내지 도 2에 도시된 바와 같이, 전방, 측방 또는 전측방의 물체, 일례로 다른 차량을 인식할 수 있는 적절한 위치에 설치될 수 있다. 일 실시예에 의하면, 감지센서(200)는 차량(1)의 전방과, 차량(1)의 좌측방(左側方) 및 전방 사이의 방향(이하 좌전측방), 차량(1)의 우측방(右側方) 및 전방 사이의 방향(이하 우전측방) 모두에 위치하는 물체를 인식할 수 있도록 차량(1)의 전방, 좌측 및 우측 모두에 설치되어 있을 수 있다. The
예를 들어, 제 1감지센서(200a)는 라디에이터 그릴(6)의 일부분, 일례로 내측에 설치될 수 있으며 전방에 위치하는 차량을 감지할 수 있는 위치라면 차량(1)의 어느 위치에도 설치될 수 있다. 또한, 제 2감지센서(200b)는 차량(1)의 좌측면에 마련될 수 있고, 제 3감지센서(200c)는 차량(1)의 우측면에 마련될 수 있다.For example, the
감지센서(200) 는, 전자기파나 레이저광 등을 이용하여 좌측방, 우측방, 전방, 후방, 좌전측방, 우전측방, 좌후측방 또는 우후측방에 다른 차량 또는 대상체가 존재하거나 접근하는지 여부를 판단할 수 있다. The
감지센서(200)는 차량(1)의 후방, 측방, 또는 측방 및 후방 사이의 방향(이하 후측방)에 존재하거나 이 방향으로 접근하는 보행자나 다른 차량을 감지하는 후측방 감지센서(201)를 포함할 수 있다.The
후측방 감지센서(201)는, 도 2에 도시된 바와 같이 측방, 후방 또는 후측방의 물체, 일례로 다른 차량을 인식할 수 있는 적절한 위치에 설치될 수 있다.The rear
일 실시예에 의하면, 후측방 감지센서(201)는, 차량(1)의 좌측방(左側方) 및 후방 사이의 방향(이하 좌후측방)과, 차량(1)의 우측방(右側方) 및 후방 사이의 방향(이하 우후측방) 양자 모두로부터 물체를 인식할 수 있도록 차량(1)의 좌측 및 우측 모두에 설치되어 있을 수 있다. 예를 들어 제1 후측방 감지센서(201a) 또는 제2 후측방 감지센서(201b)는 차량(1)의 좌측면에 마련되고, 제3 후측방 감지센서(201c) 또는 제4 후측방 감지센서(201d)는 차량(1)의 우측면에 마련될 수 있다. 또한, 제 1후방 감지센서(201e) 및 제 2후방 감지센서(201f)는 차량(1)의 후방에 마련되어 차량(2) 후방의 물체를 감지할 수 있다.According to an embodiment, the rear
또한, 일 실시예에 의하면, 후측방 감지센서(201)는, 차량을 적절하게 인식할 수 있도록 여러 위치에 설치될 수도 있다. 예를 들어 제1 후측방 감지센서(201a) 및 제2 후측방 감지센서(201b)는 각각 차량(1)의 좌측 씨 필러 및 차량(1)의 좌측 후방 펜더에 설치되어, 개별적으로 보행자 또는 다른 차량의 존재 또는 접근 여부를 인식할 수 있다. 마찬가지로 제3 후측방 감지센서(201c) 또는 제4 후측방 감지센서(201d)는 각각 차량(1)의 우측 씨 필러 및 차량(1)의 우측 후방 펜더에 설치되어, 개별적으로 다른 차량의 존재 여부를 인식할 수 있다. 후측방 감지센서(201)의 설치 위치는 이에 한정되는 것은 아니며, 설계자가 고려할 수 있는 차량(1)의 다양한 위치, 일례로 차량(1)의 후면등 주변 등에 후측방 감지센서(201)가 설치될 수도 있다.In addition, according to an embodiment, the rear
후측방 감지센서(201)는, 후방 카메라 영상 인식을 이용하거나, 전자기파나 레이저광 등을 이용하여 후방, 좌후측방 또는 우후측방에 다른 차량이 존재하거나 접근하는지 여부를 판단할 수 있다. 예를 들어, 후측방 감지센서(201)는 후방 카메라 영상 인식을 이용하거나, 마이크로파나 밀리미터파와 같은 전자기파, 펄스 레이저광, 초음파 또는 적외선 등을 후방, 좌후측방 또는 우후측방에 방사하고, 이 방향에 위치한 물체에서 반사 또는 산란된 펄스 레이저광, 초음파 또는 적외선을 수신함으로써 물체의 존재 여부를 판단할 수도 있다. 이 경우 감지센서(200)는, 방사된 전자기파, 펄스 레이저광, 초음파 또는 적외선 등이 되돌아 오는 시간을 이용하여 물체의 거리 또는 주행하는 다른 차량의 속도를 더 판단할 수도 있다. The rear
이를 이용하여, 차량(1)이 소정의 차로를 따라 소정 방향으로 주행하거나 차량(1)이 후진할 때, 차량(1)의 제어부(100)는, 차량(1)의 후방, 좌후측방 또는 우후측방에 존재하면서 다른 차로를 주행하는 다른 차랑의 존재 여부를 판단할 수 있다.Using this, when the
예를 들어, 후측방 감지센서(201)는 마이크로파나 밀리미터파와 같은 전자기파, 펄스 레이저광, 초음파 또는 적외선 등을 후방, 좌후측방 또는 우후측방에 방사하고, 이 방향에 위치한 물체에서 반사 또는 산란된 펄스 레이저광, 초음파 또는 적외선을 수신함으로써 물체의 존재 여부를 판단할 수도 있다. 이 경우 후측방 감지센서(201)는, 방사된 전자기파, 펄스 레이저광, 초음파 또는 적외선 등이 되돌아 오는 시간을 이용하여 차량(1)과 차량(1)의 후방 또는 후측방에 위치하는 다른 대상체와의 거리 또는 이동하는 다른 대상체의 속도를 더 판단할 수도 있다. For example, the rear
하나의 차량(1)에 복수의 후측방 감지센서(201)가 마련된 경우, 각각의 후측방 감지센서(201)는 동일한 장치를 이용하여 구현될 수도 있고, 또는 다른 장치를 이용하여 구현될 수도 있다. 이외에도 설계자가 고려할 수 있는 다양한 장치 및 조합을 이용하여 감지센서(200)는 구현 가능하다.When a plurality of rear-
도 3을 참조하면, 차량 실내(300)에는, 운전석(301)과, 보조석(302)과, 대시 보드(310)와, 운전대(320)와 계기판(330)이 마련된다.Referring to FIG. 3 , a driver's
대시 보드(310)는, 차량(1)의 실내와 엔진룸을 구획하고, 운전에 필요한 각종 부품이 설치되는 패널을 의미한다. 대시 보드(310)는 운전석(301) 및 보조석(302)의 전면 방향에 마련된다. 대시 보드(310)는 상부 패널, 센터페시아(311) 및 기어 박스(315) 등을 포함할 수 있다.The
대시 보드의 상부 패널에는 디스플레이부(303)가 설치될 수 있다. 디스플레이부(303)는 차량(1)의 운전자나 동승자에게 화상으로 다양한 정보를 제공할 수 있다. 예를 들어 디스플레이부(303)는, 지도, 날씨, 뉴스, 각종 동영상이나 정지 화상, 차량(1)의 상태나 동작과 관련된 각종 정보, 일례로 공조 장치에 대한 정보 등 다양한 정보를 시각적으로 제공할 수 있다. 또한 디스플레이부(303)는, 위험도에 따른 경고를 운전자나 동승자에게 제공할 수 있다. 구체적으로 차량(1)이 차로를 변경하는 경우, 위험도에 따라 상이한 경고를 운전자 등에게 제공할 수 있다. 디스플레이부(303)는, 통상 사용되는 내비게이션 장치를 이용하여 구현될 수도 있다.The
또한, 디스플레이부(303)는 후측방 감지센서(201)에 의해 감지된 차량(1) 후방의 대상체에 대한 영상을 출력할 수 있다. 구체적으로, 차량(1)의 후방에 마련된 후방 촬영부(미도시)에 의해 촬영된 차량(1)의 후방에 위치하는 대상체에 대한 영상이 디스플레이부(303)를 통해 운전자에게 제공될 수 있다.Also, the
디스플레이부(303)는, 대시 보드(310)와 일체형으로 형성된 하우징 내부에 설치되어, 디스플레이 패널만이 외부에 노출되도록 마련된 것일 수 있다. 또한 디스플레이부(303)는, 센터페시아(311)의 중단이나 하단에 설치될 수도 있고, 윈드 실드(미도시)의 내측면이나 대시 보드(310)의 상부면에 별도의 지지대(미도시)를 이용하여 설치될 수도 있다. 이외에도 설계자가 고려할 수 있는 다양한 위치에 디스플레이부(303)가 설치될 수도 있다.The
또한, 계기판(330)에는 운전자의 시선 정보를 획득하는 운전자 시선 감지부(331a)가 마련될 수 있다. 운전자 시선 감지부(331)는 차량(1)을 운전하는 운전자의 얼굴 각도 및 동공 각도 중 적어도 하나를 감지하여 운전자의 시선 정보를 획득할 수 있고, 획득한 운전자의 시선 정보를 제어부에 전송할 수 있다. 개시된 발명의 일 실시예에서는 운전자 시선 감지부(331a)가 계기판(330)에 마련되어 있는 것으로 설명하나, 운전자 시선 감지부(331a)가 설치될 수 있는 위치에는 제한이 없으며 운전자의 시선 정보를 획득할 수 있으면 차량(1)의 어느 위치에도 설치될 수 있다. 즉, 도 3에 도시된 바와 같이 운전자 시선 감지부(331b)는 차량(1)의 내측 운전석 상단에 마련될 수도 있다.In addition, the
운전자 시선 감지부(331)는 운전자의 얼굴 영상 또는 동공에 대한 영상을 획득하는 스테레오 카메라를 구비할 수 있으며, 운전자의 얼굴 및 동공을 촬영하여 운전자의 시선 정보를 획득할 수 있는 위치에 설치될 수 있다. The driver's
대시 보드(310)의 내측에는 프로세서, 통신 모듈, 위성 항법 장치 수신 모듈, 저장 장치 등과 같은 다양한 종류의 장치가 설치될 수 있다. 차량에 설치된 프로세서는 차량(1)에 설치된 각종 전자 장치를 제어하도록 마련된 것일 수 있으며, 상술한 바와 같이 제어부(100)의 기능을 수행하기 위해 마련된 것일 수 있다. 상술한 장치들은 반도체칩, 스위치, 집적 회로, 저항기, 휘발성 또는 비휘발성 메모리 또는 인쇄 회로 기판 등과 같은 다양한 부품을 이용하여 구현될 수 있다.Various types of devices such as a processor, a communication module, a satellite navigation device receiving module, and a storage device may be installed inside the
센터페시아(311)는 대시보드(310)의 중앙에 설치될 수 있으며, 차량과 관련된 각종 명령을 입력하기 위한 입력부(318a 내지 318c)가 마련될 수 있다. 입력부(318a 내지 318c)는 물리 버튼, 노브, 터치 패드, 터치 스크린, 스틱형 조작 장치 또는 트랙볼 등을 이용하여 구현된 것일 수 있다. 운전자는 입력부(318a 내지 318c)를 조작함으로써 차량(1)의 각종 동작을 제어할 수 있다.The
기어 박스(315)는 센터페시아(311)의 하단에 운전석(301) 및 보조석(302)의 사이에 마련된다. 기어 박스(315)에는, 기어(316), 수납함(317) 및 각종 입력부(318d 내지 318e) 등이 마련될 수 있다. 입력부(318d 내지 318e)는 물리 버튼, 노브, 터치 패드, 터치 스크린, 스틱형 조작 장치 또는 트랙볼 등을 이용하여 구현될 수 있다. 수납함(317) 및 입력부(318d 내지 318e)는 실시예에 따라 생략될 수도 있다.The
대시 보드(310)의 운전석 방향에는 운전대(320)와 계기판(instrument panel, 330)이 마련된다.A
운전대(320)는 운전자의 조작에 따라 소정의 방향으로 회전 가능하게 마련되고, 운전대(320)의 회전 방향에 따라서 차량(1)의 앞 바퀴 또는 뒤 바퀴가 회전함으로써 차량(1)이 조향될 수 있다. 운전대(320)에는 회전 축과 연결되는 스포크(321)와 스포크(321)와 결합된 손잡이 휠(322)이 마련된다. 스포크(321)에는 각종 명령을 입력하기 위한 입력 수단이 마련될 수도 있으며, 입력 수단은 물리 버튼, 노브, 터치 패드, 터치 스크린, 스틱형 조작 장치 또는 트랙볼 등을 이용하여 구현될 수 있다. 손잡이 휠(322)은 운전자의 편의를 위하여 원형의 형상을 가질 수 있으나, 손잡이 휠(322)의 형상은 이에 한정되지 않는다. 스포크(321) 및 손잡이 휠(322) 중 적어도 하나의 내측에는 진동부(도 4의 201, vibrating unit)가 설치되어, 외부의 제어에 따라 스포크(321) 및 손잡이 휠(322) 중 적어도 하나가 소정의 강도로 진동하게 할 수 있다. 실시예에 따라서 진동기는 외부의 제어 신호에 따라 다양한 강도로 진동할 수 있으며, 이에 따라 스포크(321) 및 손잡이 휠(322) 중 적어도 하나는 외부의 제어 신호에 따라 다양한 강도로 진동할 수 있다. 차량(1)은 이를 이용하여 햅틱 경고를 운전자에게 제공할 수 있다. 예를 들어, 스포크(321) 및 손잡이 휠(322) 중 적어도 하나는, 차량(1)이 차로를 변경할 때 결정된 위험도에 상응하는 정도로 진동함으로써 다양한 경고를 운전자에게 제공할 수 있다. 구체적으로 위험도의 수준이 높으면 높을수록 스포크(321) 및 손잡이 휠(322) 중 적어도 하나는 더욱 강하게 진동하여 운전자에게 높은 수준의 경고를 제공할 수 있다.The
또한, 운전대(320)의 뒤쪽으로 방향 지시등 입력부(318f)가 마련될 수 있다. 사용자는 차량(1)의 주행중 방향 지시등 입력부(318f)를 통해 주행 방향 또는 차로를 변경하는 신호를 입력할 수 있다. In addition, a turn
계기판(330)은 차량(1)의 속도나, 엔진 회전수나, 연료 잔량이나, 엔진 오일의 온도나, 방향 지시등의 점멸 여부나, 차량 이동 거리 등 차량에 관련된 각종 정보를 운전자에게 제공할 수 있도록 마련된다. 계기판(330)은 조명등이나 눈금판 등을 이용하여 구현될 수 있으며, 실시예에 따라서 디스플레이 패널을 이용하여 구현될 수도 있다. 계기판(330)이 디스플레이 패널을 이용하여 구현된 경우, 계기판(330)은 상술한 정보 이외에도 연비나, 차량(1)에 탑재된 각종 기능의 수행 여부 등과 같이 보다 다양한 정보를 표시하여 운전자에게 제공할 수 있다. 계기판(330)은 차량(1)의 위험도에 따라 서로 상이한 경고를 출력하여 운전자에게 제공할 수도 있다. 구체적으로 계기판(330)은 차량(1)이 차로를 변경하는 경우, 결정된 위험도에 따라 상이한 경고를 운전자에게 제공할 수 있다.The
도 4를 참조하면, 일 실시예에 따른 차량(1)은 운전자가 운전하는 차량(1)의 주행 속도를 조절하는 속도 조절부(70), 차량(1)의 주행 속도를 감지하는 속도 감지부(80), 차량(1)의 제어와 관련된 데이터를 저장하는 저장부(90), 차량(1)의 각 구성을 제어하고 차량(1)의 주행 속도를 제어하는 제어부(100)를 포함할 수 있다.Referring to FIG. 4 , a
속도 조절부(70)는 운전자가 운전하는 차량(1)의 속도를 조절할 수 있다. 속도 조절부(70)는 엑셀레이터 구동부(71)와 브레이크 구동부(72)를 포함할 수 있다. The
엑셀레이터 구동부(71)는 제어부(100)의 제어 신호를 받아 엑셀레이터를 구동하여 차량(1)의 속도를 증가시키고, 브레이크 구동부(72)는 제어부(100)의 제어 신호를 받아 브레이크를 구동하여 차량(1)의 속도를 감소시킬 수 있다.The accelerator driving unit 71 receives the control signal from the
제어부(100)는 차량(1)과 다른 대상체간의 거리와 저장부(90) 저장되어 있는 미리 정해진 기준 거리에 기초하여 차량(1)과 다른 대상체간의 거리가 증가하거나 감소하도록 차량(1)의 주행 속도를 증가시키거나 감소시킬 수 있다. The
또한, 제어부(100)는 차량(1)과 대상체간의 상대 거리 및 상대 속도에 기초하여 차량(1)과 대상체간의 충돌 예상 시간을 산출할 수 있고, 산출한 충돌 예상 시간에 기초하여 차량(1)의 주행 속도를 제어하는 신호를 속도 조절부(70)로 송출할 수 있다. In addition, the
속도 조절부(70)는 제어부(100)의 통제하에 차량(1)의 주행 속도를 조절할 수 있는데, 차량(1)과 다른 대상체와의 충돌 위험도가 높은 경우에는 차량(1)의 주행 속도를 감소시킬 수 있다.The
속도 감지부(80)는 제어부(100)의 통제하에 운전자가 운전하는 차량(1)의 주행 속도를 감지할 수 있다. 즉, 차량(1)의 휠이 회전하는 속도 등을 이용하여 주행 속도를 감지할 수 있는데, 주행 속도의 단위는 [kph]로 나타낼 수 있으며, 단위 시간(h) 당 이동한 거리(km)로 나타낼 수 있다.The
저장부(90)는 차량(1)의 제어와 관련된 각종 데이터를 저장할 수 있다. 구체적으로, 일 실시예에 따른 차량(1)의 주행 속도, 주행 거리 및 주행 시간에 관한 정보를 저장할 수 있고 촬영부(350)에 의해 감지된 대상체의 종류 및 위치 정보를 저장할 수 있다. The
또한, 저장부(90)는 감지센서(200) 및 후측방 감지센서(201)가 감지한 대상체의 위치 정보 및 속도 정보를 저장할 수 있고, 이동중인 대상체의 실시간으로 변경되는 좌표 정보, 차량(1)과 대상체와의 상대 거리 및 상대 속도에 대한 정보를 저장할 수 있다.In addition, the
또한, 저장부(90)는 일 실시예에 따른 차량(1)을 제어하기 위한 수식 및 제어 알고리즘과 관련된 데이터를 저장할 수 있고, 제어부(100)는 이러한 수식 및 제어 알고리즘에 따라 차량(1)을 제어하는 제어 신호를 송출할 수 있다.Also, the
이러한 저장부(90)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. 저장부(90)는 제어부(100)와 관련하여 전술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.The
다시 도 1 및 도 4를 참조하면, 차량(1)의 내부에는 적어도 하나의 제어부(100)가 마련될 수 있다. 제어부(100)는 차량(1)의 동작과 관련된 각 구성에 대해 전자적 제어를 수행할 수 있다.Referring back to FIGS. 1 and 4 , at least one
도 5는 일 실시예에 따라 운전자가 디스플레이부를 주시하는 경우 운전자의 시선 정보를 획득하는 것이고, 도 6은 일 실시예에 따라 운전자가 룸미러를 주시하는 경우 운전자의 시선 정보를 획득하는 것이다. 도 7 및 도 8은 일 실시예에 따라 운전자가 룸미러를 통해 차량 후방을 주시할 때 대상체의 높이 또는 거리에 따라 차량의 제동 시점이 달라지는 것에 대한 개념도이다. 도 9는 일 실시예에 따라 운전자가 사이드미러를 주시하는 경우 운전자의 시선 정보를 획득하는 것이다. 도 10 및 도 11은 일 실시예에 따라 운전자가 사이드미러를 통해 차량의 후방을 주시할 때 차량과 다른 차량의 각도에 따라 차량의 제동 시점이 달라지는 것에 대한 개념도이다. 도 12 및 도 13은 일 실시예에 따른 차량 제어방법을 도시한 순서도이다.FIG. 5 shows information about the driver's gaze when the driver looks at the display unit according to an embodiment, and FIG. 6 shows information about the gaze of the driver when the driver looks at the rearview mirror, according to an embodiment. 7 and 8 are conceptual views illustrating that a braking timing of a vehicle is changed according to a height or distance of an object when a driver looks at the rear of the vehicle through a rearview mirror, according to an exemplary embodiment. 9 is a diagram illustrating information about the driver's gaze when the driver gazes at the side mirror according to an exemplary embodiment. 10 and 11 are conceptual views illustrating that a braking timing of a vehicle is changed according to an angle of a vehicle and another vehicle when a driver looks at the rear of the vehicle through a side mirror, according to an exemplary embodiment. 12 and 13 are flowcharts illustrating a vehicle control method according to an exemplary embodiment.
도 5를 참조하면, 차량(1)이 후진을 하는 경우, 차량(1) 후방에 마련된 후측방 감지센서(201)는 차량(1) 후방에 위치하는 다른 차량 또는 보행자와 같은 대상체를 감지(1000)할 수 있고, 후방 촬영부(미도시)에 의해 촬영된 차량(1) 후방에 위치하는 대상체의 영상은 디스플레이부(303)를 통해 출력될 수 있다.Referring to FIG. 5 , when the
차량(1) 운전자는 차량(1) 후진시에 차량(1) 후방에 위치하는 대상체를 확인하기 위해 디스플레이부(303)를 주시할 수 있고, 운전자 시선 감지부(331a)는 운전자의 동공이 응시하는 방향의 각도를 감지하여 디스플레이부(303)를 주시하는 운전자의 시선 정보를 획득할 수 있다(1050).The driver of the
후측방 감지센서(201)는 차량(1) 후방에 위치하는 대상체의 위치 정보 및 속도 정보 중 적어도 하나를 획득하고, 제어부(100)는 차량(1)과 차량(1) 후방의 대상체 사이의 거리 및 차량(1)의 주행 속도에 기초하여 충돌 예상 시간을 산출할 수 있다(1100).The rear
또한, 제어부(100)는 운전자 시선 감지부(331a)가 획득한 운전자의 시선 정보에 기초하여 운전자가 디스플레이부(303), 룸미러(340) 또는 사이드미러(18) 중 어느 하나를 통해 차량(1)의 후방을 주시하는 시간을 결정할 수 있다(1150).In addition, the
즉, 차량(1)이 후진하는 경우 운전자가 후진하는 차량(1)의 후방을 주시하는 시간에 따라 제어부(100)는 운전자가 후진하는 차량(1) 운전에 대한 운전 집중도를 결정할 수 있다.That is, when the
제어부(100)는 후진하는 차량(1)의 운전자가 미리 정해진 시간 동안 차량(1)의 후방을 주시하는 시간의 비율에 기초하여 운전자 시선의 신뢰도를 결정할 수 있다(1200). 즉, 차량(1)의 후진 중에 일정 시간 동안 운전자가 차량(1)의 후방을 얼마나 많은 시간 동안 주시하는지에 따라, 제어부(100)는 운전자가 차량(1) 후진에 있어서 주의를 기울이고 있음을 알 수 있다.The
운전자 시선의 신뢰도는 미리 정해진 시간 동안 운전자가 차량(1)의 후방을 주시하는 시간의 비율로 정의될 수 있고, 이 때 미리 정해진 시간은 제어부(100)가 산출한 충돌 예상 시간에 미리 정해진 상수 값(C)을 곱하여 결정할 수 있다. The reliability of the driver's gaze may be defined as a ratio of the time the driver looks at the rear of the
충돌 예상 시간에 곱해지는 미리 정해지는 상수 값은 운전자가 차량(1)의 후방을 주시하는 시간을 결정하기 위한 상수 값(C)으로서, 설정 값에 따라 달라질 수 있다. The predetermined constant value multiplied by the expected collision time is a constant value C for determining the time for the driver to gaze at the rear of the
즉, 제어부(100)가 운전자 시선의 신뢰도를 결정하기 위해, 미리 정해진 시간을 결정하는데, 상대적으로 짧은 시간 동안 운전자가 차량(1)의 후방을 주시하는 시간의 비율을 판단할 수도 있고, 상대적으로 긴 시간 동안 운전자가 차량(1)의 후방을 주시하는 시간의 비율을 판단할 수도 있으므로 미리 정해진 시간을 결정하기 위한 상수 값(C)을 다르게 설정할 수 있다.That is, the
제어부(100)가 산출하는 충돌 예상 시간은 후진하는 차량(1)과 차량(1)의 후방에 위치하는 대상체 사이의 거리를 차량(1)의 후진 속도로 나눈 것이므로, 예를 들어, 충돌 예상 시간이 3초이고, 미리 정해진 상수 값(C)이 3이면, 제어부(100)는 운전자 시선의 신뢰도를 결정하기 위해 미리 정해진 시간을 9초로 결정할 수 있다.Since the estimated collision time calculated by the
미리 정해진 시간에 해당하는 9초 동안 차량(1)의 운전자가 차량(1) 후방을 주시한 시간이 6초이면, 운전자 시선의 신뢰도는 2/3이 된다. 즉, 제어부(100)는 후진하는 차량(1)에 대해 차량(1) 운전자가 차량(1) 후방을 주시하는 운전 집중도를 2/3으로 결정할 수 있고, 이렇게 결정된 운전자 시선의 신뢰도를 후진하는 차량(1)의 제동 시점에 반영할 수 있다.When the time that the driver of the
제어부(100)는 운전자 시선 감지부(331a)가 획득한 운전자의 시선 정보에 기초하여 운전자가 디스플레이부(303)를 통해 차량(1) 후방의 영상을 주시하는지 여부를 결정할 수 있다(1250).The
제어부(100)는 운전자가 디스플레이부(303)를 주시하는 것으로 결정하면, 전술한 바와 같이, 미리 정해진 시간 동안 운전자가 차량(1)의 후방을 주시하는 시간의 비율에 기초하여 운전자 시선의 신뢰도를 결정할 수 있다.When it is determined that the driver looks at the
제어부(100)는 운전자 시선의 신뢰도 및 차량(1)과 차량(1) 후방의 대상체의 충돌 예상 시간에 기초하여 차량(1)의 제동 시작 시점을 변경할 수 있고(1300), 제어부(100)는 변경된 제동 시작 시점에 기초하여 차량(1)의 주행속도를 제어할 수 있다(1350).The
예를 들어, 차량(1)과 차량(1) 후방의 대상체의 충돌 예상 시간이 0.5초이면, 제어부(100)는 차량(1)이 후진 중에 대상체와 충돌하는 시간이 0.5초 남은 시점에서 차량(1)에 대한 제동을 시작한다. For example, if the expected collision time between the
그러나, 전술한 바와 같이 제어부(100)는 운전자 시선의 신뢰도를 결정하고, (1 ?? 신뢰도) * (충돌 예상 시간)의 식에 의해 산출된 시간에 기초하여 차량(1)의 제동 시작 시점을 변경할 수 있다.However, as described above, the
예를 들어, 제어부(100)가 결정한 운전자 시선의 신뢰도가 0.5이고, 충돌 예상 시간이 0.5초인 경우에는, 제어부(100)는 (1 ?? 신뢰도) * (충돌 예상 시간)에 의해 0.25초를 산출할 수 있다. 즉, 제어부(100)는 운전자가 차량(1) 후방을 0.5 만큼의 신뢰도에 기초하여 주시하고 있는 경우에는 충돌 예상 시간인 0.5 초에 대해 0.5초 전에 차량(1)의 제동을 미리 시작하지 않고, 충돌까지 0.25초가 남은 시점에서 차량(1)의 제동을 시작한다.For example, when the reliability of the driver's gaze determined by the
이를 통해, 제어부(100)는 차량(1) 후진 시에 운전자가 차량(1) 후방을 주시하는 의도를 반영하여, 충돌 예상 시간에 대해 일찍 제동을 시작하지 않고 일정 시간 지연된 시점에 제동을 시작함으로써 운전자의 불쾌감을 저감시킬 수 있다. Through this, the
제어부(100)는 운전자 시선 감지부(331a)가 획득한 운전자의 시선 정보에 기초하여 운전자가 룸미러(340)를 통해 차량(1) 후방을 주시하는지 여부를 결정할 수 있다(1400).The
제어부(100)는 운전자가 룸미러(340)를 주시하는 것으로 결정하면, 차량(1) 후방에 위치하는 대상체의 높이가 미리 정해진 높이 미만인지 결정할 수 있다(1450).When it is determined that the driver gazes at the
이 때, 제어부(100)가 감지하는 대상체의 높이를 판단하는 기준으로 삼는 미리 정해진 높이는 운전자가 룸미러(340)를 통해 차량(1)의 후방을 주시했을 때, 운전자가 대상체를 볼 수 있는 경우인지 여부를 기준으로 하며, 저장부(90)는 차량(1)의 높이 및 룸미러(340)의 설치 위치에 기초하여 미리 정해진 높이에 대한 데이터를 저장할 수 있다.In this case, when the driver looks at the rear of the
도 7에 도시된 바와 같이, 차량(1) 후방에 저장부(90)에 저장된 미리 정해진 높이 미만에 해당하는 어린이(3)가 위치하는 경우에는 운전자가 룸미러(340)를 통해 차량(1) 후방을 주시하여도 어린이(3)를 볼 수 없다. As shown in FIG. 7 , when a
반면, 차량(1) 후방에 미리 정해진 높이 이상에 해당하는 성인(4)이 위치하는 경우에는 운전자가 룸미러(340)를 통해 차량(1) 후방을 주시할 때, 성인(4)을 볼 수 있다.On the other hand, when an adult 4 corresponding to a predetermined height or higher is located at the rear of the
즉, 제어부(100)는 운전자가 룸미러(340)를 통해 차량(1) 후방에 위치하는 대상체를 확인할 수 있으면, 운전자의 시선 정보를 반영하여 후진하는 차량(1)의 제동 시점을 변경할 수 있다.That is, if the driver can check the object located at the rear of the
제어부(100)는 차량(1) 후방에 위치하는 대상체의 높이가 미리 정해진 높이 이상이면 운전자 시선의 신뢰도 및 차량(1)과 차량(1) 후방의 대상체의 충돌 예상 시간에 기초하여 차량(1)의 제동 시작 시점을 변경할 수 있고(1300), 제어부(100)는 변경된 제동 시작 시점에 기초하여 차량(1)의 주행 속도를 제어할 수 있다(1350). If the height of the object located at the rear of the
이를 통해, 제어부(100)는 차량(1) 후진 시에 운전자가 차량(1) 후방을 주시하는 의도를 반영하여, 충돌 예상 시간에 대해 일찍 제동을 시작하지 않고 일정 시간 지연된 시점에 제동을 시작함으로써 운전자의 불쾌감을 저감시킬 수 있다. 이에 대한 상세한 설명은 도 5에서 운전자가 디스플레이부(303)를 통해 차량(1) 후방을 주시하는 경우와 동일하므로 중복되는 설명은 생략한다.Through this, the
제어부(100)는 차량(1) 후방의 대상체의 높이가 미리 정해진 높이 미만이어서 운전자가 룸미러(340)를 통해 차량(1) 후방의 대상체를 확인할 수 없으면, 제어부(100)는 차량(1)과 차량(1) 후방의 대상체 사이의 거리가 미리 정해진 거리 미만인지 결정할 수 있다(1500).If the driver cannot check the object at the rear of the
이 때, 제어부(100)가 감지하는 차량(1)과 대상체 사이의 거리를 판단하는 기준으로 삼는 미리 정해진 거리는 운전자가 룸미러(340)를 통해 차량(1)의 후방을 주시했을 때, 운전자가 볼 수 있는 경우인지 여부를 기준으로 하며, 저장부(90)는 차량(1)과 대상체와의 거리 및 룸미러(340)의 설치 위치에 기초하여 미리 정해진 거리에 대한 데이터를 저장할 수 있다.At this time, when the driver looks at the rear of the
도 8에 도시된 바와 같이, 차량(1) 후방에 위치하는 어린이(3)가 도 7에서 설명한 바와 같이 미리 정해진 높이 미만인 경우에, 차량(1)과 어린이(3) 사이의 거리가 미리 정해진 거리 미만에 해당하는 거리(S1)인 경우에는 운전자가 룸미러(340)를 통해 차량(1) 후방에 위치하는 어린이(3)를 볼 수 없다.As shown in FIG. 8 , when the
반면, 차량(1) 후방에 위치하는 어린이(3)가 도 7에서 설명한 바와 같이 미리 정해진 높이 미만인 경우에, 차량(1)과 어린이(3) 사이의 거리가 미리 정해진 거리 이상에 해당하는 거리(S2)인 경우에는 운전자가 룸미러(340)를 통해 차량(1) 후방에 위치하는 어린이(3)를 볼 수 있다. On the other hand, when the
즉, 제어부(100)는 차량(1) 후방에 위치하는 대상체의 높이가 미리 정해진 높이 미만인 경우에도, 차량(1)과 대상체 사이의 거리가 미리 정해진 거리 이상으로 떨어져 있어서 운전자가 룸미러(340)를 통해 차량(1) 후방의 대상체를 확인할 수 있으면, 운전자의 시선 정보를 반영하여 후진하는 차량(1)의 제동 시점을 변경할 수 있다.That is, even when the height of the object located at the rear of the
즉, 제어부(100)는 차량(1)과 대상체 사이의 거리가 미리 정해진 거리 이상이면, 운전자 시선의 신뢰도 및 차량(1)과 차량(1) 후방의 대상체의 충돌 예상 시간에 기초하여 차량(1)의 제동 시작 시점을 변경할 수 있고(1300), 제어부(100)는 변경된 제동 시작 시점에 기초하여 차량(1)의 주행 속도를 제어할 수 있다(1350). That is, if the distance between the
이를 통해, 제어부(100)는 차량(1) 후진 시에 운전자가 차량(1) 후방을 주시하는 의도를 반영하여, 충돌 예상 시간에 대해 일찍 제동을 시작하지 않고 일정 시간 지연된 시점에 제동을 시작함으로써 운전자의 불쾌감을 저감시킬 수 있다. 이에 대한 상세한 설명은 도 5에서 운전자가 디스플레이부(303)를 통해 차량(1) 후방을 주시하는 경우와 동일하므로 중복되는 설명은 생략한다.Through this, the
반면, 차량(1)과 대상체 사이의 거리가 미리 정해진 거리 미만이면, 운전자가 룸미러(340)를 통해 차량(1) 후방의 대상체를 볼 수 없으므로, 제어부(100)는 기존에 산출된 차량(1)과 대상체 사이의 충돌 예상 시간에 기초하여 차량(1)의 제동 시작 신호를 송출할 수 있다(1650).On the other hand, if the distance between the
즉, 제어부(100)가 운전자가 룸미러(340)를 통해 차량(1) 후방에 위치하는 대상체를 확인할 수 없다고 판단하면, 운전자의 시선에 기초한 신뢰도를 차량(1) 제동 시점에 반영하지 않고, 산출된 충돌 예상 시간에 기초하여 차량(1)의 제동을 수행한다. 이에 따라 속도 조절부(70)는 제어부(100)의 통제에 따라 차량(1)의 주행 속도를 제어할 수 있다(1700).That is, if the
제어부(100)는 운전자 시선 감지부(331a)가 획득한 운전자의 시선 정보에 기초하여 운전자가 사이드미러(18)를 통해 차량(1) 후방을 주시하는지 여부를 결정할 수 있다(1550).The
제어부(100)는 운전자가 사이드미러(18)를 주시하는 것으로 결정하면, 차량(1)과 차량(1) 후방에 위치하는 대상체 사이의 각도가 미리 정해진 각도 미만인지 결정할 수 있다(1600).When it is determined that the driver gazes at the
이 때, 제어부(100)가 차량(1)과 대상체 사이의 각도를 판단하는 기준으로 삼는 미리 정해진 각도는 운전자가 사이드미러(18)를 통해 차량(1)의 후방을 주시했을 때, 운전자가 대상체를 볼 수 있는 경우인지 여부를 기준으로 하며, 저장부(90)는 사이드미러(18)의 설치 위치 및 설치 각도에 기초하여 미리 정해진 각도에 대한 데이터를 저장할 수 있다.In this case, the predetermined angle that the
도 10에 도시된 바와 같이, 운전자가 차량(1)의 좌측에 마련된 사이드미러(18a)를 통해 차량(1) 후방을 주시하고, 차량(1) 후방에 위치하는 대상체가 다른 차량(2)인 경우에, 차량(1)과 다른 차량(2) 사이의 각도가 미리 정해진 각도 이상(θ1)이면, 운전자가 사이드미러(18a)를 통해 차량(1) 후방에 위치하는 다른 차량(2)을 볼 수 있다.As shown in FIG. 10 , the driver looks at the rear of the
반면, 차량(1)과 다른 차량(2) 사이의 각도가 미리 정해진 각도 미만(θ2)이면, 운전자가 사이드미러(18a)를 통해 차량(1) 후방에 위치하는 다른 차량(2)을 볼 수 없다.On the other hand, if the angle between the
마찬가지로, 도 11에 도시된 바와 같이, 운전자가 차량(1)의 우측에 마련된 사이드미러(18b)를 통해 차량(1) 후방을 주시하고, 차량(1) 후방에 위치하는 대상체가 다른 차량(2)인 경우에, 차량(1)과 다른 차량(2) 사이의 각도가 미리 정해진 각도 이상(θ3)이면, 운전자가 사이드미러(18a)를 통해 차량(1) 후방에 위치하는 다른 차량(2)을 볼 수 있다.Similarly, as shown in FIG. 11 , the driver gazes at the rear of the
반면, 차량(1)과 다른 차량(2) 사이의 각도가 미리 정해진 각도 미만(θ4)이면, 운전자가 사이드미러(18a)를 통해 차량(1) 후방에 위치하는 다른 차량(2)을 볼 수 없다.On the other hand, if the angle between the
즉, 제어부(100)는 차량(1)과 차량(1) 후방에 위치하는 대상체 사이의 각도가 미리 정해진 각도 이상인 경우에는 운전자가 사이드미러(18)를 통해 차량(1) 후방의 대상체를 확인할 수 있으므로, 운전자의 시선 정보를 반영하여 후진하는 차량(1)의 제동 시점을 변경할 수 있다.That is, when the angle between the
즉, 제어부(100)는 차량(1)과 대상체 사이의 각도가 미리 정해진 각도 이상이면, 운전자 시선의 신뢰도 및 차량(1)과 차량(1) 후방의 대상체의 충돌 예상 시간에 기초하여 차량(1)의 제동 시작 시점을 변경할 수 있고(1300), 제어부(100)는 변경된 제동 시작 시점에 기초하여 차량(1)의 주행 속도를 제어할 수 있다(1350).That is, if the angle between the
이를 통해, 제어부(100)는 차량(1) 후진 시에 운전자가 차량(1) 후방을 주시하는 의도를 반영하여, 충돌 예상 시간에 대해 일찍 제동을 시작하지 않고 일정 시간 지연된 시점에 제동을 시작함으로써 운전자의 불쾌감을 저감시킬 수 있다. 이에 대한 상세한 설명은 도 5에서 운전자가 디스플레이부(303)를 통해 차량(1) 후방을 주시하는 경우와 동일하므로 중복되는 설명은 생략한다.Through this, the
반면, 차량(1)과 대상체 사이의 각도가 미리 정해진 각도 미만이면, 운전자가 사이드미러(18)를 통해 차량(1) 후방의 대상체를 볼 수 없으므로, 제어부(100)는 기존에 산출된 차량(1)과 대상체 사이의 충돌 예상 시간에 기초하여 차량(1)의 제동 시작 신호를 송출할 수 있다(1650).On the other hand, if the angle between the
즉, 제어부(100)가 운전자가 사이드미러(18)를 통해 차량(1) 후방에 위치하는 대상체를 확인할 수 없다고 판단하면, 운전자의 시선에 기초한 신뢰도를 차량(1) 제동 시점에 반영하지 않고, 산출된 충돌 예상 시간에 기초하여 차량(1)의 제동을 수행한다. 이에 따라 속도 조절부(70)는 제어부(100)의 통제에 따라 차량(1)의 주행 속도를 제어할 수 있다(1700).That is, if the
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.Meanwhile, the disclosed embodiments may be implemented in the form of a recording medium storing instructions executable by a computer. Instructions may be stored in the form of program code, and when executed by a processor, may generate program modules to perform operations of the disclosed embodiments. The recording medium may be implemented as a computer-readable recording medium.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. The computer-readable recording medium includes any type of recording medium in which instructions readable by the computer are stored. For example, there may be a read only memory (ROM), a random access memory (RAM), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device, and the like.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.The disclosed embodiments have been described with reference to the accompanying drawings as described above. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention may be practiced in other forms than the disclosed embodiments without changing the technical spirit or essential features of the present invention. The disclosed embodiments are illustrative and should not be construed as limiting.
18 : 사이드미러
70 : 속도 조절부
80 : 속도 감지부
100 : 제어부
201 : 후측방 감지센서
303 : 디스플레이부
331 : 운전자 시선 감지부
340 : 룸미러
350 : 촬영부18: side mirror
70: speed control unit
80: speed detection unit
100: control unit
201: rear side detection sensor
303: display unit
331: driver's gaze sensing unit
340: room mirror
350: shooting department
Claims (26)
운전자의 시선 정보를 획득하는 운전자 시선 감지부; 및
상기 차량과 상기 대상체의 충돌 예상 시간(Time To Collision, TTC)을 산출하고, 상기 운전자가 상기 차량 후방을 주시하는 시간에 기초하여 상기 차량 후방에 대한 상기 운전자 시선의 신뢰도를 결정하고, 상기 결정된 신뢰도에 기초하여 상기 차량의 제동 시작 시점을 변경하고, 상기 변경된 제동 시작 시점에 기초하여 상기 차량의 주행 속도를 제어하는 제어부;를 포함하고
상기 제어부는
상기 운전자의 시선 정보에 기초하여 상기 운전자가 룸미러를 주시하는 것으로 결정되고, 상기 대상체의 높이가 미리 정해진 높이 미만으로 결정되면, 상기 충돌 예상 시간에 기초하여 상기 차량의 제동 시작 신호를 송출하거나,
상기 운전자의 시선 정보에 기초하여 상기 운전자가 룸미러를 주시하는 것으로 결정되고, 상기 차량과 상기 대상체 사이의 거리가 미리 정해진 거리 미만으로 결정되면, 상기 충돌 예상 시간에 기초하여 상기 차량의 제동 시작 신호를 송출하거나,
상기 운전자의 시선 정보에 기초하여 상기 운전자가 사이드미러를 주시하는 것으로 결정되고, 상기 차량과 상기 대상체 사이의 각도가 미리 정해진 각도 미만으로 결정되면, 상기 충돌 예상 시간에 기초하여 상기 차량의 제동 시작 신호를 송출하는 차량.a detection sensor for detecting an object at the rear of the vehicle;
a driver's gaze sensing unit to obtain information about the driver's gaze; and
calculating a time to collision (TTC) between the vehicle and the object, determining the reliability of the driver's gaze toward the rear of the vehicle based on the time the driver gazes at the rear of the vehicle, and the determined reliability and a control unit that changes a braking start time of the vehicle based on
the control unit
When it is determined that the driver gazes at the rearview mirror based on the driver's gaze information and the height of the object is determined to be less than a predetermined height, a braking start signal of the vehicle is transmitted based on the expected collision time,
When it is determined that the driver gazes at the rearview mirror based on the driver's gaze information and the distance between the vehicle and the object is determined to be less than a predetermined distance, a braking start signal of the vehicle based on the expected collision time send or
When it is determined that the driver looks at the side mirror based on the driver's gaze information and the angle between the vehicle and the object is determined to be less than a predetermined angle, a braking start signal of the vehicle based on the expected collision time vehicle that transmits
상기 운전자 시선 감지부는,
상기 운전자의 동공이 응시하는 방향의 각도를 감지하여 상기 운전자의 시선 정보를 획득하는 차량.The method of claim 1,
The driver's gaze sensing unit,
A vehicle for acquiring the driver's gaze information by detecting an angle in a direction in which the driver's pupils gaze.
상기 제어부는,
상기 운전자 시선 감지부가 획득한 운전자의 시선 정보에 기초하여, 상기 차량 후방에 대한 영상을 출력하는 디스플레이부, 상기 차량 내부에 마련된 룸미러 또는 상기 차량 외부에 마련된 사이드미러 중에서 상기 운전자가 주시하는 위치를 결정하는 차량.The method of claim 1,
The control unit is
Based on the driver's gaze information acquired by the driver's gaze sensing unit, a display unit that outputs an image of the rear of the vehicle, a rearview mirror provided inside the vehicle, or a side mirror provided outside the vehicle, the driver's gaze position is determined deciding vehicle.
상기 제어부는,
상기 운전자가 상기 디스플레이부, 상기 룸미러 또는 상기 사이드미러 중 어느 하나를 통해 상기 차량의 후방을 주시하는 시간을 결정하는 차량.4. The method of claim 3,
The control unit is
A vehicle for determining a time for the driver to gaze at the rear of the vehicle through any one of the display unit, the rearview mirror, and the side mirror.
상기 제어부는,
미리 정해진 시간 동안 상기 운전자가 상기 차량의 후방을 주시하는 시간의 비율에 기초하여 상기 운전자 시선의 신뢰도를 결정하는 차량.The method of claim 1,
The control unit is
A vehicle for determining the reliability of the driver's gaze based on a ratio of the time that the driver looks at the rear of the vehicle for a predetermined time.
상기 제어부는,
상기 충돌 예상 시간에 미리 정해진 상수 값을 곱하여 상기 미리 정해진 시간을 결정하는 차량.6. The method of claim 5,
The control unit is
A vehicle for determining the predetermined time by multiplying the expected collision time by a predetermined constant value.
상기 제어부는,
상기 결정된 신뢰도 및 상기 충돌 예상 시간에 기초하여 상기 차량의 후진 시에 상기 차량의 제동 시작 시점을 변경하는 차량.The method of claim 1,
The control unit is
A vehicle for changing a braking start time of the vehicle when the vehicle is reversing based on the determined reliability and the expected collision time.
상기 제어부는,
상기 충돌 예상 시간을 기준으로, 상기 결정된 신뢰도 및 상기 충돌 예상 시간에 기초하여 산출된 시간 만큼 남은 시점에서 상기 차량의 제동 시작 신호를 송출하는 차량.The method of claim 1,
The control unit is
Based on the expected collision time, the vehicle transmits a braking start signal of the vehicle at a time remaining for a time calculated based on the determined reliability and the collision expected time.
상기 감지센서는,
상기 대상체의 위치 정보를 획득하고,
상기 제어부는,
상기 차량과 상기 대상체 사이의 거리 및 상기 차량의 주행 속도에 기초하여 상기 충돌 예상 시간을 산출하는 차량.The method of claim 1,
The detection sensor is
Obtaining the location information of the object,
The control unit is
A vehicle for calculating the expected collision time based on a distance between the vehicle and the object and a traveling speed of the vehicle.
상기 제어부의 제어에 따라 상기 차량의 주행 속도를 조절하는 속도 조절부;를 더 포함하는 차량.The method of claim 1,
The vehicle further comprising a; speed adjusting unit for adjusting the traveling speed of the vehicle according to the control of the control unit.
운전자의 시선 정보를 획득하고;
상기 차량과 상기 대상체의 충돌 예상 시간을 산출하고;
상기 운전자가 상기 차량 후방을 주시하는 시간에 기초하여 상기 차량 후방에 대한 상기 운전자 시선의 신뢰도를 결정하고;
상기 결정된 신뢰도에 기초하여 상기 차량의 제동 시작 시점을 변경하고;
상기 변경된 제동 시작 시점에 기초하여 상기 차량의 주행 속도를 제어하는 것;을 포함하고,
상기 차량의 주행 속도를 제어하는 것은
상기 운전자의 시선 정보에 기초하여 상기 운전자가 룸미러를 주시하는 것으로 결정되고, 상기 대상체의 높이가 미리 정해진 높이 미만으로 결정되면, 상기 충돌 예상 시간에 기초하여 상기 차량의 제동 시작 신호를 송출하거나,
상기 운전자의 시선 정보에 기초하여 상기 운전자가 룸미러를 주시하는 것으로 결정되고, 상기 차량과 상기 대상체 사이의 거리가 미리 정해진 거리 미만으로 결정되면, 상기 충돌 예상 시간에 기초하여 상기 차량의 제동 시작 신호를 송출하거나,
상기 운전자의 시선 정보에 기초하여 상기 운전자가 사이드미러를 주시하는 것으로 결정되고, 상기 차량과 상기 대상체 사이의 각도가 미리 정해진 각도 미만으로 결정되면, 상기 충돌 예상 시간에 기초하여 상기 차량의 제동 시작 신호를 송출하는 것;을 포함하는 차량 제어방법.detecting an object behind the vehicle;
obtain driver's gaze information;
calculating an expected collision time between the vehicle and the object;
determine a reliability of the driver's gaze to the rear of the vehicle based on a time that the driver looks to the rear of the vehicle;
change a braking start time of the vehicle based on the determined reliability;
and controlling the driving speed of the vehicle based on the changed braking start time.
Controlling the driving speed of the vehicle
When it is determined that the driver gazes at the rearview mirror based on the driver's gaze information and the height of the object is determined to be less than a predetermined height, a braking start signal of the vehicle is transmitted based on the expected collision time,
When it is determined that the driver gazes at the rearview mirror based on the driver's gaze information and the distance between the vehicle and the object is determined to be less than a predetermined distance, a braking start signal of the vehicle based on the expected collision time send or
When it is determined that the driver looks at the side mirror based on the driver's gaze information and the angle between the vehicle and the object is determined to be less than a predetermined angle, a braking start signal of the vehicle based on the expected collision time Transmitting the; vehicle control method comprising a.
상기 운전자 시선 정보를 획득하는 것은,
상기 운전자의 동공이 응시하는 방향의 각도를 감지하여 상기 운전자의 시선 정보를 획득하는 차량 제어방법.15. The method of claim 14,
Obtaining the driver's gaze information includes:
A vehicle control method for acquiring the driver's gaze information by detecting an angle in a direction in which the driver's pupil gazes.
상기 획득한 운전자의 시선 정보에 기초하여, 상기 차량 후방에 대한 영상을 출력하는 디스플레이부, 상기 차량 내부에 마련된 룸미러 또는 상기 차량 외부에 마련된 사이드미러 중에서 상기 운전자가 주시하는 위치를 결정하는 것;을 더 포함하는 차량 제어방법.15. The method of claim 14,
determining a position at which the driver gazes from among a display unit outputting an image of the rear of the vehicle, a rearview mirror provided inside the vehicle, or a side mirror provided outside the vehicle, based on the obtained driver's gaze information; A vehicle control method further comprising a.
상기 운전자가 상기 디스플레이부, 상기 룸미러 또는 상기 사이드미러 중 어느 하나를 통해 상기 차량의 후방을 주시하는 시간을 결정하는 것;을 더 포함하는 차량 제어방법.17. The method of claim 16,
and determining a time for the driver to gaze at the rear of the vehicle through any one of the display unit, the rearview mirror, and the side mirror.
상기 운전자 시선의 신뢰도를 결정하는 것은,
미리 정해진 시간 동안 상기 운전자가 상기 차량의 후방을 주시하는 시간의 비율에 기초하여 상기 운전자 시선의 신뢰도를 결정하는 차량 제어방법.15. The method of claim 14,
Determining the reliability of the driver's gaze,
A vehicle control method for determining the reliability of the driver's gaze based on a ratio of the time the driver looks at the rear of the vehicle for a predetermined time.
상기 충돌 예상 시간에 미리 정해진 상수 값을 곱하여 상기 미리 정해진 시간을 결정하는 것;을 더 포함하는 차량 제어방법.19. The method of claim 18,
and determining the predetermined time by multiplying the expected collision time by a predetermined constant value.
상기 차량의 제동 시작 시점을 변경하는 것은,
상기 결정된 신뢰도 및 상기 충돌 예상 시간에 기초하여 상기 차량의 후진 시에 상기 차량의 제동 시작 시점을 변경하는 차량 제어방법.15. The method of claim 14,
Changing the braking start time of the vehicle includes:
A vehicle control method for changing a braking start time of the vehicle when the vehicle is reversing based on the determined reliability and the expected collision time.
상기 차량의 제동 시작 시점을 변경하는 것은,
상기 충돌 예상 시간을 기준으로, 상기 결정된 신뢰도 및 상기 충돌 예상 시간에 기초하여 산출된 시간 만큼 남은 시점에서 상기 차량의 제동 시작 신호를 송출하는 것;을 포함하는 차량 제어방법.15. The method of claim 14,
Changing the braking start time of the vehicle includes:
and transmitting a braking start signal of the vehicle at a time remaining for a time calculated based on the determined reliability and the predicted collision time based on the expected collision time.
상기 차량 후방의 대상체를 감지하는 것은,
상기 대상체의 위치 정보를 획득하는 것;을 포함하고,
상기 충돌 예상 시간을 산출하는 것은,
상기 차량과 상기 대상체 사이의 거리 및 상기 차량의 주행 속도에 기초하여 상기 충돌 예상 시간을 산출하는 것;을 포함하는 차량 제어방법.15. The method of claim 14,
Detecting the object behind the vehicle,
Including; acquiring the location information of the object;
Calculating the expected collision time is,
and calculating the expected collision time based on a distance between the vehicle and the object and a traveling speed of the vehicle.
상기 제어에 따라 상기 차량의 주행 속도를 조절하는 것;을 더 포함하는 차량 제어방법.15. The method of claim 14,
and adjusting the traveling speed of the vehicle according to the control.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170173742A KR102457511B1 (en) | 2017-12-18 | 2017-12-18 | Vehicle and method for controlling thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170173742A KR102457511B1 (en) | 2017-12-18 | 2017-12-18 | Vehicle and method for controlling thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190072726A KR20190072726A (en) | 2019-06-26 |
KR102457511B1 true KR102457511B1 (en) | 2022-10-21 |
Family
ID=67104942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170173742A KR102457511B1 (en) | 2017-12-18 | 2017-12-18 | Vehicle and method for controlling thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102457511B1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017220217A (en) * | 2016-06-02 | 2017-12-14 | 株式会社デンソー | Driving support device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101798519B1 (en) * | 2015-12-15 | 2017-11-16 | 현대자동차주식회사 | Emergency braking system and method for controlling the same |
-
2017
- 2017-12-18 KR KR1020170173742A patent/KR102457511B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017220217A (en) * | 2016-06-02 | 2017-12-14 | 株式会社デンソー | Driving support device |
Also Published As
Publication number | Publication date |
---|---|
KR20190072726A (en) | 2019-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102309420B1 (en) | Vehicle and method for controlling thereof | |
KR102313025B1 (en) | Vehicle and method for controlling thereof | |
KR102355671B1 (en) | Vehicle and method for controlling thereof | |
US10351128B2 (en) | Vehicle and method for controlling thereof for collision avoidance | |
US10818183B2 (en) | Vehicle and method for controlling thereof | |
KR101827698B1 (en) | Vehicle and method for controlling thereof | |
US10308245B2 (en) | Vehicle and method for controlling thereof | |
CN108099903B (en) | Vehicle and control method thereof | |
KR20180071663A (en) | Vehicle and method for controlling thereof | |
KR102494864B1 (en) | Vehicle and method for controlling thereof | |
KR20180024414A (en) | Vehicle and method for controlling thereof | |
KR20180114723A (en) | Vehicle and method for collision avoidance assist when backing up the vehicle | |
KR20200029805A (en) | Vehicle and method for controlling thereof | |
KR101827700B1 (en) | Vehicle and method for controlling thereof | |
KR102450656B1 (en) | Vehicle and method for controlling thereof | |
KR102320253B1 (en) | Vehicle and method for controlling thereof | |
CN112078577A (en) | Vehicle and control method thereof | |
KR20200129351A (en) | Vehicle and method for controlling thereof | |
KR102457511B1 (en) | Vehicle and method for controlling thereof | |
KR102425036B1 (en) | Vehicle and method for controlling thereof | |
KR102548868B1 (en) | Vehicle and method for controlling thereof | |
KR20180056149A (en) | Vehicle and method for controlling thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |