KR102589270B1 - 가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템 - Google Patents

가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템 Download PDF

Info

Publication number
KR102589270B1
KR102589270B1 KR1020220028526A KR20220028526A KR102589270B1 KR 102589270 B1 KR102589270 B1 KR 102589270B1 KR 1020220028526 A KR1020220028526 A KR 1020220028526A KR 20220028526 A KR20220028526 A KR 20220028526A KR 102589270 B1 KR102589270 B1 KR 102589270B1
Authority
KR
South Korea
Prior art keywords
driver
driving
vector
score
state
Prior art date
Application number
KR1020220028526A
Other languages
English (en)
Other versions
KR102589270B9 (ko
KR20230131984A (ko
Inventor
백윤주
임재봉
이상화
Original Assignee
부산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산대학교 산학협력단 filed Critical 부산대학교 산학협력단
Priority to KR1020220028526A priority Critical patent/KR102589270B1/ko
Publication of KR20230131984A publication Critical patent/KR20230131984A/ko
Application granted granted Critical
Publication of KR102589270B1 publication Critical patent/KR102589270B1/ko
Publication of KR102589270B9 publication Critical patent/KR102589270B9/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0863Inactivity or incapacity of driver due to erroneous selection or response of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0022Gains, weighting coefficients or weighting functions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/408
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/52Radar, Lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/12Brake pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/30Driving style
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle for navigation systems

Abstract

본 발명은 운전자 상태 인식 모델을 활용한 적응적 클러스터링으로 가변적인 운전성향 분석이 효율적으로 이루어지도록 한 가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템에 관한 것으로, 그 장치는 주행데이터를 수집하여 이를 운전자 임베딩 모델을 통해 고정 길이의 주행 벡터로 변환하는 운전자 임베딩 모델부;운전자 상태 인식 모델을 활용하여 운전자 상태 인식을 수행하는 운전자 상태 인식 모델부;주행 벡터의 가중치를 조절하고 이를 바탕으로 클러스터를 위한 대표 벡터를 선정하는 적응적 운전자 클러스터링부;현 시점의 주행 데이터의 운전자 식별 결과에 따라 운전자 클러스터의 크기를 적응적으로 결정하는 적응적 운전자 식별부;를 포함하는 것이다.

Description

가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템{Method and Apparatus and System for Driver Identification Considering Variable Driving Styles}
본 발명은 운전자 식별에 관한 것으로, 구체적으로 운전자 상태 인식 모델을 활용한 적응적 클러스터링으로 가변적인 운전성향 분석이 효율적으로 이루어지도록 한 가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템에 관한 것이다.
운전자 식별 기술은 차량에 탑승한 운전자가 누구인지 자동으로 파악하는 ICT 기술이다. 운전자 식별 기술은 운전자의 얼굴을 영상인식 하거나 지문 및 홍채 등의 생체인식을 활용할 수 있다.
그러나 운전자 얼굴, 지문, 홍채 등은 민감한 정보로서 운전자들의 거부감이 크고 프라이버시 침해 가능성이 높다. 또한 운전자 별 스마트폰의 인증정보를 활용하는 방법은 도용의 가능성이 높은 단점이 있다.
따라서 이러한 기술의 대안으로 운전성향 기반 운전자 식별 기술에 대한 개발이 활발히 이루어지고 있다.
이하의 설명에서 운전성향(Driving Style)은 운전습관(Driving Habit), 운전패턴(Driving Pattern), 운전특성(Driving Characteristic) 등의 유의어를 모두 포함하는 개념일 수 있다.
운전성향 기반 운전자 식별 기술은 운전자 별로 서로 다른 운전성향을 분석하여 운전자를 식별하는 기술이다.
한 운전자의 운전성향은 (1) 전방 카메라, (2) 레이더, (3) 라이다, (4) GPS 등의 위치 측량, (5) 스티어링휠 및 브레이크페달 등에 대한 차량센서 등 운전 중 발생하는 다양하고 방대한 센서 데이터를 분석함으로써 얻을 수 있다.
예를 들어 공격적인 성향의 운전자와 안전성향의 운전자는 서로 쉽게 구분할 수 있다. 이와 같이 여러 운전자 별로 운전성향을 세밀하게 분석할 경우 많은 운전자들을 서로 구별하여 식별할 수 있다.
종래 기술의 일 예로, 운전습관을 학습 및 등록하는 기능과 등록된 운전습관과 차량에 탑승한 운전자의 운전습관을 비교하여 일치 여부를 판단하는 기능을 포함하는 차량 도난 방지용 운전습관 등록 장치 및 방법이 있다.(대한민국 등록특허 제10-1655765호)
종래 기술의 다른 하나로는 영상 데이터, 주행 데이터, 위치 데이터, 포인트 클라우드 데이터 등 입력에 대해 운전성향을 출력하는 심층신경망 (Deep Neural Network)을 학습함으로써 운전자를 식별하는 기술이 있다.(대한민국 등록특허 제10-2206684호)
또 다른 종래 기술로는 동일한 운전자의 다양한 주행 데이터 입력에 대해서 유사한 벡터를 출력하는 운전자 식별을 위한 운전자 임베딩 (Driver Embedding) 모델이 있다.
운전자 임베딩 모델은 서로 다른 운전자의 주행 데이터 입력에 대해서는 상이한 벡터를 출력하는 특징이 있다.
이때 주행 데이터 입력은 한 Trip의 시계열 데이터이고 전방 카메라, 레이더, 라이다, GPS 등의 위치 측량, 스티어링휠 및 브레이크페달 등에 대한 차량센서 등 센서 데이터를 선택적으로 사용할 수 있다. 그리고 벡터 출력은 임의로 지정한 특정 개수의 실수로 구성되어 있다.
따라서, 다양한 운전자의 수많은 주행 데이터는 운전자 임베딩 모델을 통해 벡터로 변환되고 이러한 벡터들은 동일한 운전자끼리 인접하게 형성하게 된다.
그러나 이러한 종래 기술의 운전자 식별 기술들은 운전자의 운전성향이 고정되어 있음을 가정하고 있다.
하지만, 실제로는 운전자의 운전성향은 장기적으로도 조금씩 변하며 상황에 따라 운전성향이 변하기도 한다. 초보 운전자의 경우 운전 숙련도가 높아짐에 따라 운전성향이 변화한다. 약속이 늦은 운전자는 갑자기 공격적으로 운전성향이 변할 수 있다.
이러한 가변적인 운전성향 분석은 서로 다른 특성의 주행이 다른 운전자의 주행으로 인한 것인지 한 운전자의 운전성향의 변화로 인한 것인지 알기 어려운 문제가 있다.
또한, 운전자 식별은 운전자 임베딩 모델을 통해 얻은 주행 벡터들을 대상으로 운전자 별로 클러스터를 형성함으로써 수행된다. 정확한 운전자 식별을 위해 주행 벡터에 대한 운전자 별 클러스터링은 운전자 클러스터 별 대표 벡터를 적절히 선정하고 대표 벡터를 중심으로 한 클러스터의 크기를 적절히 선택하는 것이 중요하다.
그러나 종래 기술에서는 이러한 클러스터링 방법이 가변적인 운전성향을 고려하지 못하여 가변적인 운전성향에 적응적이지 못한 한계가 있다.
종래 기술에서는 운전자 식별 과정에서 이러한 클러스터를 활용하여 클러스터를 벗어나는지를 판단하여 등록한 운전자인지 등록하지 않은 운전자인지 판단한다.
즉, 주행 데이터를 실시간으로 주행 벡터로 변환하고, 해당 주행 벡터가 운전자의 클러스터 밖인 경우 경고를 수행하게 된다. 클러스터의 대표 벡터와 현재 시점의 주행 벡터의 거리가 임계값 이내일 경우 클러스터 안으로 판단하고 거리가 임계값 이상일 경우 클러스터 밖으로 판단한다.
이러한 종래 기술의 운전자 식별은 대표 벡터 및 임계값 설정이 적응적이지 못한 클러스터링 방법에 기반하므로 가변적인 운전성향에 대처하기 어려운 한계가 있다.
따라서, 가변적인 운전성향을 고려하여 정확한 운전자 식별이 가능하도록 하는 새로운 기술의 개발이 요구되고 있다.
대한민국 공개특허 제10-2020-0095362호 대한민국 등록특허 제10-2206684호 대한민국 등록특허 제10-1655765호
본 발명은 종래 기술의 운전자 식별 기술의 문제점을 해결하기 위한 것으로, 운전자 상태 인식 모델을 활용한 적응적 클러스터링으로 가변적인 운전성향 분석이 효율적으로 이루어지도록 한 가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템을 제공하는데 그 목적이 있다.
본 발명은 운전자 상태에 따라 주행 벡터의 가중치를 조절하고 시간에 따른 주행 벡터의 가중치 조절을 하여 가변적인 운전성향에 적응적인 대처가 가능하도록 하여 운전자 식별의 정확도를 높일 수 있도록 한 가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템을 제공하는데 그 목적이 있다.
본 발명은 현 시점의 주행 데이터의 운전자 식별 결과에 따라 운전자 클러스터의 크기를 적응적으로 결정하여 다른 운전자로 오인식하는 오류를 낮출 수 있도록 한 가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 가변하는 운전성향을 고려한 운전자 식별 장치는 주행데이터를 수집하여 이를 운전자 임베딩 모델을 통해 고정 길이의 주행 벡터로 변환하는 운전자 임베딩 모델부;운전자 상태 인식 모델을 활용하여 운전자 상태 인식을 수행하는 운전자 상태 인식 모델부;주행 벡터의 가중치를 조절하고 이를 바탕으로 클러스터를 위한 대표 벡터를 선정하는 적응적 운전자 클러스터링부;현 시점의 주행 데이터의 운전자 식별 결과에 따라 운전자 클러스터의 크기를 적응적으로 결정하는 적응적 운전자 식별부;를 포함하는 것을 특징으로 한다.
여기서, 주행데이터는 전방 카메라, 레이더, 라이다, GPS를 포함하는 위치 측량 데이터와, 스티어링휠 및 브레이크페달 조작을 포함하는 차량센서 데이터를 선택적으로 사용하는 것을 특징으로 한다.
그리고 실시간으로 센싱되는 주행데이터는, 시동이 한번 켜지고 시동이 꺼질 때까지의 한 Trip의 데이터를 통째로 활용하거나, Trip 데이터를 각 직진과 회전 구간을 분리하여 Segment를 획득하여 사용하고, Trip 또는 Segment는 운전자 임베딩 모델을 통해 고정 길이의 주행 벡터로 변환하고 운전자 별로 저장하는 것을 특징으로 한다.
그리고 운전자 상태 인식 모델부의 운전자 상태 인식 모델은, 운전자의 보통 상태와, 정상 상태와 비정상(Anomaly) 상태를 인식하고, 모델의 입력은 주행데이터로서 주행 벡터 추출에 활용한 데이터와 동일하고, 모델의 출력은 운전자 상태와 더불어 운전자 상태 별 Score도 함께 출력되는 것을 특징으로 한다.
그리고 적응적 운전자 클러스터링부는, 가변적인 운전성향에 대처하기 위하여 운전자 상태에 따라 주행 벡터의 가중치를 조절하고, 시간에 따른 주행 벡터의 가중치 조절을 하고, 이번에 추출한 주행 벡터의 가중치는 운전자 상태 인식의 출력 결과에 따라 결정하는 것을 특징으로 한다.
그리고 운전자 상태는 보통 상태와 Anomaly 상태로 구분되어 인식되고 운전자 상태 별 Score도 함께 출력되고, 보통 상태의 Score가 높을수록 추출된 주행 벡터의 가중치를 높게 설정하고, 보통 상태 Score가 낮고 Anomaly 상태 Score가 높을수록 추출된 주행 벡터의 가중치를 낮게 설정하는 것을 특징으로 한다.
그리고 시간에 따른 가중치 조절은 해당 운전자의 이전에 추출한 주행 벡터들에 대하여 시간이 지남에 따라 조금씩 가중치를 낮추어, 새로운 주행 벡터의 가중치가 높고 오래된 주행 벡터의 가중치가 낮게 만들어 운전성향의 변화에 대처하는 것을 특징으로 한다.
그리고 운전자 식별 과정 동안 지속해서 운전자 클러스터를 위한 대표 벡터를 적응적으로 선정하고 클러스터의 크기를 적응적으로 결정하고, 대표 벡터 선정은 주행 벡터의 가중치를 고려하여 선정하고, 한 운전자의 주행 벡터들에 대하여 가중치 평균을 통해 대표 벡터를 생성하는 것을 특징으로 한다.
그리고 적응적 운전자 식별부는, 운전자 식별에 활용할 운전자 클러스터의 크기를 적응적으로 결정하고, 현 시점의 주행 데이터의 운전자 식별 결과에 따라 운전자 클러스터의 크기를 적응적으로 결정하는 것을 특징으로 한다.
그리고 운전자 상태는 보통 상태와 Anomaly 상태로 구분되어 인식되고 운전자 상태 별 Score도 함께 출력되고, 보통 상태의 Score가 높을수록 운전자 클러스터의 크기를 작게 조절하고, 보통 상태 Score가 낮고 Anomaly 상태 Score가 높을수록 운전자 클러스터의 크기를 크게 조절하는 것을 특징으로 한다.
그리고 보통 상태의 Score가 높을수록 대표 벡터와 현 주행 벡터 간의 거리에 대한 임계값을 낮추고, 보통 상태 Score가 낮고 Anomaly 상태 Score가 높을수록 대표 벡터와 현 주행 벡터 간의 거리에 대한 임계값을 높이는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 가변하는 운전성향을 고려한 운전자 식별 방법은 운전자 등록을 위하여, 주행 벡터 추출 단계;운전자 상태 인식 단계;주행 벡터 가중치 조절 단계; 및 주행 벡터수 가 특정 개수가 될때까지 이전 단계들을 반복하는 단계를 수행하고, 운전자 식별을 위하여, 대표 벡터 선정 단계;주행 벡터 추출 단계;운전자 상태 인식 단계;주행 벡터 가중치 조절 단계; 및 임계값 조절 단계;대표 벡터와 주행 벡터의 거리가 임계값 이상인가를 판단하여, 경고를 하는 단계;를 포함하는 것을 특징으로 한다.
또 다른 목적을 달성하기 위한 본 발명에 따른 가변하는 운전성향을 고려한 운전자 식별 시스템은 주행 벡터 추출 및 운전자 상태 인식을 하고 주행 벡터 가중치 조절을 하여 운전자 계정 등록을 관리하는 운전자 계정 등록 관리부;계정의 대표 벡터 선정 및 주행 벡터 추출을 하고, 운전자 상태 인식 및 주행 벡터 가중치 조절, 임계값 조절을 하고 대표 벡터와 주행 벡터의 거리가 임계값 이상인가를 판단하여 계정의 명의도용 점수를 증가시키는 계정별 명의도용 감지부;를 포함하는 것을 특징으로 한다.
여기서, 운전자 계정 등록 후에 계정 별 명의도용을 지속적으로 감지하고 관리하고, 대표 벡터와 주행 벡터의 거리가 임계값 이상일 때 해당되는 주행데이터를, 간헐적으로 명의도용이 감지될 경우 다른 운전자로 감지된 주행데이터는 버리고, 지속적으로 여러 운전자의 주행데이터가 발생할 경우 한 계정에 대표 벡터를 여러 개 관리하여 여러 운전자가 한 계정을 활용하는 기록을 지속적으로 추적하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템은 다음과 같은 효과가 있다.
첫째, 운전자 상태 인식 모델을 활용한 적응적 클러스터링으로 가변적인 운전성향 분석이 효율적으로 이루어지도록 한다.
둘째, 운전자 상태에 따라 주행 벡터의 가중치를 조절하고 시간에 따른 주행 벡터의 가중치 조절을 하여 가변적인 운전성향에 적응적인 대처가 가능하도록 하여 운전자 식별의 정확도를 높일 수 있도록 한다.
셋째, 현 시점의 주행 데이터의 운전자 식별 결과에 따라 운전자 클러스터의 크기를 적응적으로 결정하여 다른 운전자로 오인식하는 오류를 낮출 수 있도록 한다.
도 1은 본 발명에 따른 가변하는 운전성향을 고려한 운전자 식별 장치의 구성도
도 2는 본 발명에 따른 가변하는 운전성향을 고려한 운전자 식별 방법을 나타낸 플로우 차트
도 3은 본 발명에 따른 주행 벡터 추출 단계에서 사용되는 주행 데이터의 일 예를 나타낸 구성도
도 4는 Trip 주행데이터의 Segment 주행데이터 분리를 위한 차량동작인식 모델의 일 예를 나타낸 구성도
도 5는 Trip 주행데이터의 Segment 주행데이터 분리의 일 예를 나타낸 구성도
도 6은 운전자 임베딩 모델의 일 예를 나타낸 구성도
도 7은 출력된 주행 벡터의 일 예를 나타낸 구성도
도 8은 운전자 상태 인식 모델의 일 예를 나타낸 구성도
도 9는 운전자 Anomaly 상태의 일 예를 나타낸 구성도
도 10은 운전자 상태 인식에 따른 가중치 조절의 일 예를 나타낸 구성도
도 11a와 도 11b는 시간에 따른 가중치 조절의 일 예를 나타낸 구성도
도 12는 대표 벡터 선정의 일 예를 나타낸 구성도
도 13a와 도 13b는 운전자 별 임계값(클러스터의 크기)에 대한 일 예를 나타낸 구성도
도 14는 본 발명에 따른 가변하는 운전성향을 고려한 운전자 식별 시스템의 구성도
도 15는 본 발명에 따른 가변하는 운전성향을 고려한 운전자 식별 시스템의 출력 예를 나타낸 구성도
도 16은 본 발명에 따른 운전자 계정 등록 및 계정별 명의도용 감지 방법을 나타낸 플로우 차트
이하, 본 발명에 따른 가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1은 본 발명에 따른 가변하는 운전성향을 고려한 운전자 식별 장치의 구성도이다.
본 발명에 따른 가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템은 운전자 상태 인식 모델을 활용한 적응적 클러스터링으로 가변적인 운전성향 분석이 효율적으로 이루어지도록 한 것이다.
이를 위하여, 본 발명은 운전자 상태에 따라 주행 벡터의 가중치를 조절하고 시간에 따른 주행 벡터의 가중치 조절을 하여 가변적인 운전성향에 적응적인 대처가 가능하도록 하는 구성을 포함할 수 있다.
본 발명은 현 시점의 주행 데이터의 운전자 식별 결과에 따라 운전자 클러스터의 크기를 적응적으로 결정하여 다른 운전자로 오인식하는 오류를 낮출 수 있도록 하는 구성을 포함할 수 있다.
본 발명에 따른 가변하는 운전성향을 고려한 운전자 식별 장치는 도 1에서와 같이, 주행데이터를 수집하여 이를 운전자 임베딩 모델을 통해 고정 길이의 주행 벡터로 변환하는 운전자 임베딩 모델부(10)와, 운전자 상태 인식 모델을 활용하여 운전자 상태 인식을 수행하는 운전자 상태 인식 모델부(20)와, 주행 벡터의 가중치를 조절하고 이를 바탕으로 클러스터를 위한 대표 벡터를 선정하는 적응적 운전자 클러스터링부(30)와, 현 시점의 주행 데이터의 운전자 식별 결과에 따라 운전자 클러스터의 크기를 적응적으로 결정하는 적응적 운전자 식별부(40)를 포함한다.
운전자 임베딩 모델부(10)는 주행데이터를 수집하여 이를 운전자 임베딩 모델을 통해 고정 길이의 주행 벡터로 변환한다.
주행데이터로는 (1)전방 카메라, (2)레이더, (3)라이다, (4)GPS 등의 위치 측량, (5)스티어링휠 및 브레이크페달 등에 대한 차량센서 등을 선별적으로 활용한다.
실시간으로 센싱되는 주행데이터는 경우에 따라 한 Trip의 데이터를 통째로 활용하거나 Segment로 분리하여 활용할 수 있다.
한 Trip의 데이터는 시동이 한번 켜지고 시동이 꺼질 때까지의 주행 데이터이다.
Segment는 이러한 Trip 데이터를 회전 시 마다 분리하여 획득할 수 있다.
즉, [직진 200m → 우회전 → 직진 400m → 좌회전 → 직진 300m]의 주행 데이터가 있을 경우 5개 각 직진과 회전 구간을 분리하여 Segment를 획득할 수 있다.
이렇게 Trip 또는 Segment는 운전자 임베딩 모델을 통해 고정 길이의 주행 벡터로 변환하고 운전자 별로 저장한다.
그리고 운전자 상태 인식 모델부(20)는 운전자 상태 인식 모델을 활용하여 운전자 상태 인식을 수행한다.
운전자 상태 인식 모델은 주행데이터를 활용하여 운전자의 보통 상태와 구별하여 피곤함(졸음), 급함 등을 인식하는 모델이다.
모델의 입력은 주행데이터로서 주행 벡터 추출에 활용한 데이터와 동일하다.
모델의 출력인 운전자 상태는 보통 상태와 Anomaly 상태로 구분되어 인식되고 Anomaly 상태는 피곤함, 급함 등으로 세분화되어 인식될 수 있다.
모델의 출력은 운전자 상태와 더불어 운전자 상태 별 Score도 함께 출력된다.
출력의 예로는 [보통 상태 Score 100, Anomaly 상태 30] 또는 [보통 상태 Score 100, Anomaly 상태 피곤함 25, Anomaly 상태 급함 5]과 같다.
그리고 적응적 운전자 클러스터링부(30)는 주행 벡터의 가중치를 조절하고 이를 바탕으로 클러스터를 위한 대표 벡터를 선정한다.
주행 벡터의 가중치는 가변적인 운전성향에 대처하기 위하여 운전자 상태에 따라 가중치를 조절하고 시간에 따른 가중치 조절한다. 이번에 추출한 주행 벡터의 가중치는 운전자 상태 인식의 출력 결과에 따라 결정한다.
운전자 상태 출력으로 운전자 상태는 보통 상태와 Anomaly 상태로 구분되어 인식되고 운전자 상태 별 Score도 함께 출력된다.
보통 상태의 Score가 높을수록 추출된 주행 벡터의 가중치를 높게 설정하고, 보통 상태 Score가 낮고 Anomaly 상태 Score가 높을수록 추출된 주행 벡터의 가중치를 낮게 설정한다.
이렇게 운전자 상태가 특이할 경우 가중치를 낮추어 특이한 경우에 대처한다.
다음으로 시간에 따른 가중치 조절은 해당 운전자의 기존에 추출한 주행 벡터들에 대하여 시간이 지남에 따라 조금씩 가중치를 낮춘다.
이렇게 새로운 주행 벡터의 가중치가 높고 오래된 주행 벡터의 가중치가 낮게 만들어 운전성향의 변화에 대처한다.
특히 본 발명에서는 운전자 식별 과정 동안 지속해서 운전자 클러스터를 위한 대표 벡터를 적응적으로 선정하고 클러스터의 크기를 적응적으로 결정한다.
대표 벡터 선정은 주행 벡터의 가중치를 고려하여 선정한다.
특히 한 운전자의 주행 벡터들에 대하여 가중치 평균을 통해 대표 벡터를 생성할 수 있다.
그리고 적응적 운전자 식별부(40)는 운전자 식별에 활용할 운전자 클러스터의 크기를 적응적으로 결정한다. 현 시점의 주행 데이터의 운전자 식별 결과에 따라 운전자 클러스터의 크기를 적응적으로 결정한다.
운전자 상태 출력으로 운전자 상태는 보통 상태와 Anomaly 상태로 구분되어 인식되고 운전자 상태 별 Score도 함께 출력된다.
보통 상태의 Score가 높을수록 운전자 클러스터의 크기를 작게 조절하고, 보통 상태 Score가 낮고 Anomaly 상태 Score가 높을수록 운전자 클러스터의 크기를 크게 조절한다.
즉, 보통 상태의 Score가 높을수록 대표 벡터와 현 주행 벡터 간의 거리에 대한 임계값을 낮추고, 보통 상태 Score가 낮고 Anomaly 상태 Score가 높을수록 대표 벡터와 현 주행 벡터 간의 거리에 대한 임계값을 높인다.
이렇게 운전자 상태가 특이할 경우 운전자 클러스터 크기를 크게 조절하여 다른 운전자로 오인식하는 오류를 낮춘다.
본 발명에 따른 가변하는 운전성향을 고려한 운전자 식별 방법을 구체적으로 설명하면 다음과 같다.
도 2는 본 발명에 따른 가변하는 운전성향을 고려한 운전자 식별 방법을 나타낸 플로우 차트이다.
본 발명에 따른 가변하는 운전성향을 고려한 운전자 식별 방법은 크게 '운전자 등록 과정'과 '운전자 식별 과정'으로 이루어져 있다.
한 운전자는 운전자 등록 과정을 1회 거친 후 지속적으로 운전자 식별 과정을 수행하게 된다. 가변적인 운전성향 분석의 어려움을 해결하기 위하여 본 발명에서는 운전자 상태 인식 모델을 활용한 적응적 클러스터링을 포함하는 특징을 갖는다.
운전자 등록 과정은, 주행 벡터 추출 단계(S201)와, 운전자 상태 인식 단계(S202)와, 주행 벡터 가중치 조절 단계(S203)와, 주행 벡터수 가 특정 개수가 될때까지 이전 단계들을 반복하는 단계(S204)를 포함한다.
그리고 운전자 식별 과정은, 대표 벡터 선정 단계(S205)와, 주행 벡터 추출 단계(S206)와, 운전자 상태 인식 단계(S207)와, 주행 벡터 가중치 조절 단계(S208)와, 임계값 조절 단계(S209)와, 대표 벡터와 주행 벡터의 거리가 임계값 이상인가를 판단하여(S210), 경고를 하는 단계(S211)를 포함한다.
구체적으로, 첫 단계에서는 주행데이터를 수집하여 이를 운전자 임베딩 모델을 통해 고정 길이의 주행 벡터로 변환한다.
주행데이터로는 (1)전방 카메라, (2)레이더, (3)라이다, (4)GPS 등의 위치 측량, (5)스티어링휠 및 브레이크페달 등에 대한 차량센서 등을 선별적으로 활용한다.
실시간으로 센싱되는 주행데이터는 경우에 따라 한 Trip의 데이터를 통째로 활용하거나 Segment로 분리하여 활용할 수 있다. 한 Trip의 데이터는 시동이 한번 켜지고 시동이 꺼질 때까지의 주행 데이터이다. Segment는 이러한 Trip 데이터를 회전 시 마다 분리하여 획득할 수 있다. 즉 [직진 200m → 우회전 → 직진 400m → 좌회전 → 직진 300m]의 주행 데이터가 있을 경우 5개 각 직진과 회전 구간을 분리하여 Segment를 획득할 수 있다. 이렇게 Trip 또는 Segment는 운전자 임베딩 모델을 통해 고정 길이의 주행 벡터로 변환하고 운전자 별로 저장한다.
두 번째 단계에서는 운전자 상태 인식 모델을 활용하여 운전자 상태 인식을 수행한다.
운전자 상태 인식 모델은 주행데이터를 활용하여 운전자의 보통 상태와 구별하여 피곤함(졸음), 급함 등을 인식하는 모델이다. 모델의 입력은 주행데이터로서 주행 벡터 추출에 활용한 데이터와 동일하다. 모델의 출력인 운전자 상태는 보통 상태와 Anomaly 상태로 구분되어 인식되고 Anomaly 상태는 피곤함, 급함 등으로 세분화되어 인식될 수 있다. 모델의 출력은 운전자 상태와 더불어 운전자 상태 별 Score도 함께 출력된다. 출력의 예로는 [보통 상태 Score 100, Anomaly 상태 30] 또는 [보통 상태 Score 100, Anomaly 상태 피곤함 25, Anomaly 상태 급함 5]과 같다.
세 번째 단계에서는 추출한 주행 벡터의 가중치를 조절한다.
주행 벡터의 가중치는 가변적인 운전성향에 대처하기 위하여 운전자 상태에 따라 가중치를 조절하고 시간에 따른 가중치 조절한다. 이번에 추출한 주행 벡터의 가중치는 운전자 상태 인식의 출력 결과에 따라 결정한다. 운전자 상태 출력으로 운전자 상태는 보통 상태와 Anomaly 상태로 구분되어 인식되고 운전자 상태 별 Score도 함께 출력된다. 보통 상태의 Score가 높을수록 추출된 주행 벡터의 가중치를 높게 설정하고, 보통 상태 Score가 낮고 Anomaly 상태 Score가 높을수록 추출된 주행 벡터의 가중치를 낮게 설정한다. 이렇게 운전자 상태가 특이할 경우 가중치를 낮추어 특이한 경우에 대처한다.
다음으로 시간에 따른 가중치 조절은 해당 운전자의 기존에 추출한 주행 벡터들에 대하여 시간이 지남에 따라 조금씩 가중치를 낮춘다. 이렇게 새로운 주행 벡터의 가중치가 높고 오래된 주행 벡터의 가중치가 낮게 만들어 운전성향의 변화에 대처한다.
네 번째 단계로는 등록할 운전자의 주행 벡터가 특정 개수 이상으로 수집이 완료될 경우 등록 운전자를 위한 클러스터를 생성한다.
본 발명에서는 적응적인 클러스터링을 활용한다. 따라서 운전자 식별 과정 동안 지속해서 운전자 클러스터를 위한 대표 벡터를 적응적으로 선정하고 클러스터의 크기를 적응적으로 결정한다.
대표 벡터 선정은 세 번째 단계에서 조절한 주행 벡터의 가중치를 고려하여 선정한다. 특히 한 운전자의 주행 벡터들에 대하여 가중치 평균을 통해 대표 벡터를 생성할 수 있다.
다섯 번째, 여섯 번째, 일곱 번째 단계에서는 첫 번째, 두 번째, 세 번째 단계와 동일하게 주행 벡터 추출, 운전자 상태 인식, 주행 벡터 가중치 조절을 수행한다.
여덟 번째 단계에서는 운전자 식별에 활용할 운전자 클러스터의 크기를 적응적으로 결정한다. 현 시점의 주행 데이터의 운전자 식별 결과에 따라 운전자 클러스터의 크기를 적응적으로 결정한다. 운전자 상태 출력으로 운전자 상태는 보통 상태와 Anomaly 상태로 구분되어 인식되고 운전자 상태 별 Score도 함께 출력된다.
보통 상태의 Score가 높을수록 운전자 클러스터의 크기를 작게 조절하고, 보통 상태 Score가 낮고 Anomaly 상태 Score가 높을수록 운전자 클러스터의 크기를 크게 조절한다. 즉 보통 상태의 Score가 높을수록 대표 벡터와 현 주행 벡터 간의 거리에 대한 임계값을 낮추고, 보통 상태 Score가 낮고 Anomaly 상태 Score가 높을수록 대표 벡터와 현 주행 벡터 간의 거리에 대한 임계값을 높인다. 이렇게 운전자 상태가 특이할 경우 운전자 클러스터 크기를 크게 조절하여 다른 운전자로 오인식하는 오류를 낮춘다.
마지막으로 이러한 클러스터를 활용하여 클러스터를 벗어나는지를 판단하여 등록한 운전자인지 등록하지 않은 운전자인지 판단한다.
즉, 해당 주행 벡터가 운전자의 클러스터 밖인 경우 경고를 수행하게 된다.
클러스터의 대표 벡터와 현재 시점의 주행 벡터의 거리가 임계값 이내일 경우 클러스터 안으로 판단하고 거리가 임계값 이상일 경우 클러스터 밖으로 판단한다.
주행 벡터 추출에 관하여 구체적으로 설명하면 다음과 같다.
도 3은 본 발명에 따른 주행 벡터 추출 단계에서 사용되는 주행 데이터의 일 예를 나타낸 구성도이다.
주행 벡터 추출 단계에서는 주행데이터를 수집하여 이를 운전자 임베딩 모델을 통해 고정 길이의 주행 벡터로 변환한다. 주행데이터로는 (1) 전방 카메라, (2) 레이더, (3) 라이다, (4) GPS 등의 위치 측량, (5) 스티어링휠 및 브레이크페달 등에 대한 차량센서 등을 선별적으로 활용한다. 차량센서 등 주행데이터의 예시는 도 3에서와 같다.
도 4는 Trip 주행데이터의 Segment 주행데이터 분리를 위한 차량동작인식 모델의 일 예를 나타낸 구성도이다.
실시간으로 센싱되는 주행데이터는 경우에 따라 한 Trip의 데이터를 통째로 활용하거나 Segment로 분리하여 활용할 수 있다.
한 Trip의 데이터는 시동이 한번 켜지고 시동이 꺼질 때까지의 주행 데이터이다. Segment는 이러한 Trip 주행데이터를 회전 시 마다 분리하여 획득할 수 있다.
도 4에서와 같이 차량 동작 인식 모델을 활용하여 Trip 주행데이터에 대해 직진 및 회전 등을 인식하고 이를 기반으로 Segment 주행데이터로 분리한다.
도 5는 Trip 주행데이터의 Segment 주행데이터 분리의 일 예를 나타낸 구성도이다.
도 5에서와 같은 Trip 주행데이터는 차량동작인식 모델을 통해 [직진 83m → 우회전 → 직진 276m → 좌회전 → 직진 424m → 좌회전 → 직진 197m → 좌곡선주행 49m → 직진 122m]로 분리된 Segment 주행데이터들을 획득할 수 있다.
이러한 서로 다른 길이의 Segment는 운전자 임베딩 모델을 통해 고정 길이의 주행 벡터로 변환하고 운전자 별로 저장한다.
도 6은 운전자 임베딩 모델의 일 예를 나타낸 구성도이다.
예를 들어, 운전자 임베딩 모델의 입력은 스티어링휠 등 5가지 센서의 가변적인 길이의 Segment 데이터이고, 모델의 출력은 16, 32, 64, 128 등 임의로 정한 차원의 크기 D의 주행 벡터이다.
주행 벡터에 원소는 실수로 이루어져 있고 16차원의 주행 벡터의 예시는 [0.254, -0.548, 0.332, 0.274, -0.248, 0.732, 0.264, -0.547, 0.332, 0.515, -0.878, 0.014, 0.078, -0.549, 0.112, 0.111]과 같다.
이렇게 운전자 별로 추출한 주행 벡터는 공간적으로 표현할 수 있다.
도 7은 출력된 주행 벡터의 일 예를 나타낸 구성도이다.
차원을 축소하여 주행 벡터를 공간적으로 표현한 예시는 도 7에서와 같다.
운전자 임베딩 모델을 통해 동일한 운전자의 주행데이터는 동일한 운전성향을 가진 데이터이므로 출력된 주행 벡터들은 서로 인접하게 된다.
이와 반대로 서로 다른 운전자의 주행 벡터는 서로 차이가 크고 공간적으로 멀게 형성된다.
운전자 상태 인식에 관하여 구체적으로 설명하면 다음과 같다.
도 8은 운전자 상태 인식 모델의 일 예를 나타낸 구성도이다.
운전자 상태 인식 단계에서는 운전자 상태 인식 모델을 활용하여 운전자 상태 인식을 수행한다.
운전자 상태 인식 모델은 도 8에서와 같이 주행데이터를 활용하여 운전자의 보통 상태의 운전과 Anomaly 상태의 운전을 구분하는 모델이다.
모델의 입력은 주행데이터로서 주행 벡터 추출에 활용한 데이터와 동일하다.
모델의 출력인 운전자 상태는 보통 상태와 Anomaly 상태로 구분되어 인식된다.
도 9는 운전자 Anomaly 상태의 일 예를 나타낸 구성도이다.
Anomaly 상태는 도 9에서와 같이, 졸음, 음주, 피곤함, 급함 등으로 세분화되어 인식될 수 있다.
모델의 출력은 운전자 상태와 더불어 운전자 상태 별 Score도 함께 출력된다. 출력의 예로는 [보통 상태 Score 100, Anomaly 상태 30] 또는 [보통 상태 Score 100, Anomaly 상태 피곤함 25, Anomaly 상태 급함 5]과 같다.
주행 벡터 가중치 조절에 관하여 구체적으로 설명하면 다음과 같다.
도 10은 운전자 상태 인식에 따른 가중치 조절의 일 예를 나타낸 구성도이다.
주행 벡터 가중치 조절 단계에서는 추출한 주행 벡터의 가중치를 조절한다.
주행 벡터의 가중치는 가변적인 운전성향에 대처하기 위하여 운전자 상태에 따라 가중치를 조절하고 시간에 따른 가중치 조절한다. 이번에 추출한 주행 벡터의 가중치는 운전자 상태 인식의 출력 결과에 따라 결정한다.
운전자 상태 출력으로 운전자 상태는 보통 상태와 Anomaly 상태로 구분되어 인식되고 운전자 상태 별 Score도 함께 출력된다.
보통 상태의 Score가 높을수록 추출된 주행 벡터의 가중치를 높게 설정하고, 보통 상태 Score가 낮고 Anomaly 상태 Score가 높을수록 추출된 주행 벡터의 가중치를 낮게 설정한다.
이렇게 운전자 상태가 특이할 경우 가중치를 낮추어 특이한 경우에 대처한다. 이에 대한 예시는 도 10에서와 같다.
도 11a와 도 11b는 시간에 따른 가중치 조절의 일 예를 나타낸 구성도이다.
다음으로 시간에 따른 가중치 조절은 해당 운전자의 기존에 추출한 주행 벡터들에 대하여 시간이 지남에 따라 조금씩 가중치를 낮춘다.
예를 들어, 도 10에서와 같이 구성된 주행 벡터에 대한 다음 단위시간 이후의 변화는 도 11a에서와 같다.
주행 벡터 가 새롭게 추가되었고 나머지 주행 벡터들의 가중치들은 1씩 낮아졌다. 또 다음의 단위시간 이후의 변화는 도 11b에서와 같다.
이렇게 새로운 주행 벡터의 가중치가 높고 오래된 주행 벡터의 가중치가 낮게 만들어 운전성향의 변화에 대처한다.
대표 벡터 선정에 관하여 구체적으로 설명하면 다음과 같다.
도 12는 대표 벡터 선정의 일 예를 나타낸 구성도이다.
대표 벡터 선정 단계로는 등록할 운전자의 주행 벡터가 특정 개수 이상으로 수집이 완료될 경우 등록 운전자를 위한 클러스터를 생성한다.
본 발명에서는 적응적인 클러스터링을 활용한다.
따라서 운전자 식별 과정 동안 지속해서 운전자 클러스터를 위한 대표 벡터를 적응적으로 선정하고 클러스터의 크기를 적응적으로 결정한다.
대표 벡터 선정은 세 번째 단계에서 조절한 주행 벡터의 가중치를 고려하여 선정한다. 특히 한 운전자의 주행 벡터들에 대하여 가중치 평균을 통해 대표 벡터를 생성한다.
즉, 모든 등록된 운전자는 대표 벡터를 가지게 된다.
운전자 별 클러스터를 형성하게 되고 클러스터의 중심은 대표 벡터가 된다.
이러한 대표 벡터는 상기 설명한 대로 운전자 식별 과정에서 지속적으로 적응적으로 새로 선정된다.
여가서, 는 주행 벡터, 는 주행 벡터의 가중치이다.
임계값 조절에 관하여 구체적으로 설명하면 다음과 같다.
도 13a와 도 13b는 운전자 별 임계값(클러스터의 크기)에 대한 일 예를 나타낸 구성도이다.
임계값 조절 단계에서는 운전자 식별에 활용할 운전자 클러스터의 크기를 적응적으로 결정한다. 현 시점의 주행 데이터의 운전자 식별 결과에 따라 운전자 클러스터의 크기를 적응적으로 결정한다.
운전자 상태 인식 모델의 출력으로 운전자 상태는 보통 상태와 Anomaly 상태로 구분되어 인식되고 운전자 상태 별 Score도 함께 출력된다. 보통 상태의 Score가 높을수록 운전자 클러스터의 크기를 작게 조절한다.
즉, 보통 상태의 Score가 높을수록 대표 벡터와 현 주행 벡터 간의 거리에 대한 임계값을 낮춘다.
운전자 별 적응적 클러스터를 위하여 대표 벡터는 클러스터의 중심이 되고 운전자 별 임계값은 클러스터의 크기가 된다.
여기서, 는 운전자 별 대표 벡터(클러스터의 중심),는 는 새로 입력된 임의의 주행벡터, 는 두 벡터의 차이(거리), 는 운전자 별 임계값(클러스터의 크기), 는 임의의 주행벡터에 대하여 클러스터 포함 여부이다.
수학식2를 대신하여 머신러닝 방법을 활용하여 클러스터 별로 만큼의 Margin(크기)을 가지는 분류기를 적용할 수 있다.
보통 상태 Score가 낮고 Anomaly 상태 Score가 높을수록 운전자 클러스터의 크기를 크게 조절한다.
즉, 보통 상태 Score가 낮고 Anomaly 상태 Score가 높을수록 대표 벡터와 현 주행 벡터 간의 거리에 대한 임계값을 높인다.
이렇게 운전자 상태가 특이할 경우 운전자 클러스터 크기를 크게 조절하여 다른 운전자로 오인식하는 오류를 낮춘다.
도 14는 본 발명에 따른 가변하는 운전성향을 고려한 운전자 식별 시스템의 구성도이다.
본 발명에 따른 가변하는 운전성향을 고려한 운전자 식별 시스템은 도 14에서와 같이, 주행 벡터 추출 및 운전자 상태 인식을 하고 주행 벡터 가중치 조절을 하여 운전자 계정 등록을 관리하는 운전자 계정 등록 관리부(50)와, 계정의 대표 벡터 선정 및 주행 벡터 추출을 하고, 운전자 상태 인식 및 주행 벡터 가중치 조절, 임계값 조절을 하고 대표 벡터와 주행 벡터의 거리가 임계값 이상인가를 판단하여 계정의 명의도용 점수를 증가시키는 계정별 명의도용 감지부(60)를 포함한다.
명의를 도용하여 공유자동차를 이용하다 발생하는 사고가 매년 증가하고 있다. 공유자동차는 스마트폰을 통한 비대면 대여가 특징으로 무면허자 등이 쉽게 명의도용이 가능하다는 문제가 있다. 이러한 공유자동차에서 명의도용을 자동으로 감지하는데 본 발명이 활용될 수 있다.
공유자동차 이용 시나리오는 다음과 같다.
운전자는 스마트폰 앱을 이용하여 계정을 생성하고 운전자 등록을 진행한다.
운전자 등록을 마친 운전자는 동일한 스마트폰 앱을 이용하여 원하는 일자와 장소의 공유자동차를 대여한다.
운전자는 대여한 공유자동차를 이용하여 원하는 경로로 주행한다. 스마트폰 앱은 스마트폰 내장 센서 데이터와 차량으로부터 수신한 차량 데이터를 수집한다.
이러한 정보는 관제센터에서 활용하거나 사용자에게 일부 정보를 제공한다.
마지막으로 이용을 마친 운전자는 정해진 장소에 공유자동차를 반납한다.
공유자동차 업체에서는 본 발명의 시스템을 활용하여 계정 별로 수집되는 주행데이터를 분석하여 하나의 계정을 여러 운전자가 이용하는 명의도용 문제를 해결할 수 있다.
도 15는 본 발명에 따른 가변하는 운전성향을 고려한 운전자 식별 시스템의 출력 예를 나타낸 구성도이다.
도 15에서와 같이, 공유자동차 업체를 위하여 여러 운전자가 이용하고 있을 것으로 예측되는 '명의도용 위험 계정'의 목록을 출력하고 제공한다.
즉, 전체 계정 목록에서 계정 별로 '명의도용 가능성 점수'를 도출하여 순위를 매기고 명의도용 가능성 점수가 특정 점수 이상인 계정은 '명의도용 위험 계정' 목록에 추가하여 출력한다.
도 16은 본 발명에 따른 운전자 계정 등록 및 계정별 명의도용 감지 방법을 나타낸 플로우 차트이다.
먼저, 운전자 계정 등록 과정은 주행 벡터 추출 단계(S1601)와, 운전자 상태 인식 단계(S1602)와, 주행 벡터 가중치 조절 단계(S1603)와, 주행 벡터수 가 특정 개수가 될때까지 이전 단계들을 반복하는 단계(S1604)를 포함한다.
그리고 계정 별 명의도용 감지(운전자 식별 과정)은, 계정의 대표 벡터 선정 단계(S1605)와, 주행 벡터 추출 단계(S1606)와, 운전자 상태 인식 단계(S1607)와, 주행 벡터 가중치 조절 단계(S1608)와, 임계값 조절 단계(S1609)와, 대표 벡터와 주행 벡터의 거리가 임계값 이상인가를 판단하여(S1610), 계정의 명의도용 점수를 증가시키는 단계(S1611)를 포함한다.
계정 별 명의도용 가능성 점수의 도출 방법은 다음과 같다.
본 발명의 식별 방법에서 운전자 계정 등록 후에는 계정 별 명의도용을 지속적으로 감지하고 관리한다. 대표 벡터와 주행 벡터의 거리가 임계값 이상일 경우 해당 계정의 명의도용 점수를 증가시킨다.
대표 벡터와 주행 벡터의 거리가 임계값 이상일 때 해당되는 주행데이터를 처리하는 방법은 버리는 방법과 별도 관리하는 방법이 있다.
간헐적으로 명의도용이 감지될 경우 다른 운전자로 감지된 주행데이터는 버리는 것이 효과적이다.
그리고 지속적으로 여러 운전자의 주행데이터가 발생할 경우 한 계정에 대표 벡터를 여러 개 관리하여 여러 운전자가 한 계정을 활용하는 기록을 지속적으로 추적할 수 있다.
이상에서 설명한 본 발명에 따른 가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템은 운전자 상태 인식 모델을 활용한 적응적 클러스터링으로 가변적인 운전성향 분석이 효율적으로 이루어지도록 하여 운전자 식별 정확성을 높인 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10. 운전자 임베딩 모델부
20. 운전자 상태 인식 모델부
30. 적응적 운전자 클러스터링부
40. 적응적 운전자 식별부

Claims (14)

  1. 주행데이터를 수집하여 이를 운전자 임베딩 모델을 통해 고정 길이의 주행 벡터로 변환하는 운전자 임베딩 모델부;
    운전자 상태 인식 모델을 활용하여 운전자 상태 인식을 수행하는 운전자 상태 인식 모델부;
    주행 벡터의 가중치를 조절하고 이를 바탕으로 클러스터를 위한 대표 벡터를 선정하는 적응적 운전자 클러스터링부;
    현 시점의 주행 데이터의 운전자 식별 결과에 따라 운전자 클러스터의 크기를 적응적으로 결정하는 적응적 운전자 식별부;를 포함하고,
    운전자 식별을 위하여, 운전자 상태는 보통 상태와 Anomaly 상태로 구분되어 인식되고 운전자 상태 별 Score도 함께 출력되고, 보통 상태의 Score가 높을수록 운전자 클러스터의 크기를 작게 조절하고, 보통 상태 Score가 낮고 Anomaly 상태 Score가 높을수록 운전자 클러스터의 크기를 크게 조절하는 것을 특징으로 하는 가변하는 운전성향을 고려한 운전자 식별 장치.
  2. 제 1 항에 있어서, 주행데이터는 전방 카메라, 레이더, 라이다, GPS를 포함하는 위치 측량 데이터와, 스티어링휠 및 브레이크페달 조작을 포함하는 차량센서 데이터를 선택적으로 사용하는 것을 특징으로 하는 가변하는 운전성향을 고려한 운전자 식별 장치.
  3. 제 2 항에 있어서, 실시간으로 센싱되는 주행데이터는,
    시동이 한번 켜지고 시동이 꺼질 때까지의 한 Trip의 데이터를 통째로 활용하거나,
    Trip 데이터를 각 직진과 회전 구간을 분리하여 Segment를 획득하여 사용하고,
    Trip 또는 Segment는 운전자 임베딩 모델을 통해 고정 길이의 주행 벡터로 변환하고 운전자 별로 저장하는 것을 특징으로 하는 가변하는 운전성향을 고려한 운전자 식별 장치.
  4. 제 1 항에 있어서, 운전자 상태 인식 모델부의 운전자 상태 인식 모델은,
    운전자의 보통 상태와, 정상 상태와 비정상(Anomaly) 상태를 인식하고,
    모델의 입력은 주행데이터로서 주행 벡터 추출에 활용한 데이터와 동일하고,
    모델의 출력은 운전자 상태와 더불어 운전자 상태 별 Score도 함께 출력되는 것을 특징으로 하는 가변하는 운전성향을 고려한 운전자 식별 장치.
  5. 제 1 항에 있어서, 적응적 운전자 클러스터링부는,
    가변적인 운전성향에 대처하기 위하여 운전자 상태에 따라 주행 벡터의 가중치를 조절하고, 시간에 따른 주행 벡터의 가중치 조절을 하고,
    이번에 추출한 주행 벡터의 가중치는 운전자 상태 인식의 출력 결과에 따라 결정하는 것을 특징으로 하는 가변하는 운전성향을 고려한 운전자 식별 장치.
  6. 제 5 항에 있어서, 운전자 상태는 보통 상태와 Anomaly 상태로 구분되어 인식되고 운전자 상태 별 Score도 함께 출력되고,
    보통 상태의 Score가 높을수록 추출된 주행 벡터의 가중치를 높게 설정하고, 보통 상태 Score가 낮고 Anomaly 상태 Score가 높을수록 추출된 주행 벡터의 가중치를 낮게 설정하는 것을 특징으로 하는 가변하는 운전성향을 고려한 운전자 식별 장치.
  7. 제 5 항에 있어서, 시간에 따른 가중치 조절은 해당 운전자의 이전에 추출한 주행 벡터들에 대하여 시간이 지남에 따라 조금씩 가중치를 낮추어,
    새로운 주행 벡터의 가중치가 높고 오래된 주행 벡터의 가중치가 낮게 만들어 운전성향의 변화에 대처하는 것을 특징으로 하는 가변하는 운전성향을 고려한 운전자 식별 장치.
  8. 제 5 항에 있어서, 운전자 식별 과정 동안 지속해서 운전자 클러스터를 위한 대표 벡터를 적응적으로 선정하고 클러스터의 크기를 적응적으로 결정하고,
    대표 벡터 선정은 주행 벡터의 가중치를 고려하여 선정하고, 한 운전자의 주행 벡터들에 대하여 가중치 평균을 통해 대표 벡터를 생성하는 것을 특징으로 하는 가변하는 운전성향을 고려한 운전자 식별 장치.
  9. 제 1 항에 있어서, 적응적 운전자 식별부는,
    운전자 식별에 활용할 운전자 클러스터의 크기를 적응적으로 결정하고,
    현 시점의 주행 데이터의 운전자 식별 결과에 따라 운전자 클러스터의 크기를 적응적으로 결정하는 것을 특징으로 하는 가변하는 운전성향을 고려한 운전자 식별 장치.
  10. 삭제
  11. 제 1 항에 있어서, 보통 상태의 Score가 높을수록 대표 벡터와 현 주행 벡터 간의 거리에 대한 임계값을 낮추고,
    보통 상태 Score가 낮고 Anomaly 상태 Score가 높을수록 대표 벡터와 현 주행 벡터 간의 거리에 대한 임계값을 높이는 것을 특징으로 하는 가변하는 운전성향을 고려한 운전자 식별 장치.
  12. 운전자 등록을 위하여,
    주행 벡터 추출 단계;
    운전자 상태 인식 단계;
    주행 벡터 가중치 조절 단계; 및 주행 벡터수 가 특정 개수가 될때까지 이전 단계들을 반복하는 단계를 수행하고,
    운전자 식별을 위하여,
    대표 벡터 선정 단계;
    주행 벡터 추출 단계;
    운전자 상태 인식 단계;
    주행 벡터 가중치 조절 단계; 및 임계값 조절 단계;
    대표 벡터와 주행 벡터의 거리가 임계값 이상인가를 판단하여, 경고를 하는 단계;를 포함하고,
    운전자 식별을 위하여, 운전자 상태는 보통 상태와 Anomaly 상태로 구분되어 인식되고 운전자 상태 별 Score도 함께 출력되고, 보통 상태의 Score가 높을수록 운전자 클러스터의 크기를 작게 조절하고, 보통 상태 Score가 낮고 Anomaly 상태 Score가 높을수록 운전자 클러스터의 크기를 크게 조절하는 것을 특징으로 하는 가변하는 운전성향을 고려한 운전자 식별 방법.
  13. 주행 벡터 추출 및 운전자 상태 인식을 하고 주행 벡터 가중치 조절을 하여 운전자 계정 등록을 관리하는 운전자 계정 등록 관리부;
    계정의 대표 벡터 선정 및 주행 벡터 추출을 하고, 운전자 상태 인식 및 주행 벡터 가중치 조절, 임계값 조절을 하고 대표 벡터와 주행 벡터의 거리가 임계값 이상인가를 판단하여 계정의 명의도용 점수를 증가시키는 계정별 명의도용 감지부;를 포함하고,
    계정별 명의도용 감지를 위한 운전자 식별을 위하여, 운전자 상태는 보통 상태와 Anomaly 상태로 구분되어 인식되고 운전자 상태 별 Score도 함께 출력되고, 보통 상태의 Score가 높을수록 운전자 클러스터의 크기를 작게 조절하고, 보통 상태 Score가 낮고 Anomaly 상태 Score가 높을수록 운전자 클러스터의 크기를 크게 조절하는 것을 특징으로 하는 가변하는 운전성향을 고려한 운전자 식별 시스템.
  14. 제 13 항에 있어서, 운전자 계정 등록 후에 계정 별 명의도용을 지속적으로 감지하고 관리하고,
    대표 벡터와 주행 벡터의 거리가 임계값 이상일 때 해당되는 주행데이터를,
    간헐적으로 명의도용이 감지될 경우 다른 운전자로 감지된 주행데이터는 버리고,
    지속적으로 여러 운전자의 주행데이터가 발생할 경우 한 계정에 대표 벡터를 여러 개 관리하여 여러 운전자가 한 계정을 활용하는 기록을 지속적으로 추적하는 것을 특징으로 하는 가변하는 운전성향을 고려한 운전자 식별 시스템.

KR1020220028526A 2022-03-07 2022-03-07 가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템 KR102589270B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220028526A KR102589270B1 (ko) 2022-03-07 2022-03-07 가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220028526A KR102589270B1 (ko) 2022-03-07 2022-03-07 가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템

Publications (3)

Publication Number Publication Date
KR20230131984A KR20230131984A (ko) 2023-09-15
KR102589270B1 true KR102589270B1 (ko) 2023-10-17
KR102589270B9 KR102589270B9 (ko) 2023-12-08

Family

ID=88017495

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220028526A KR102589270B1 (ko) 2022-03-07 2022-03-07 가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템

Country Status (1)

Country Link
KR (1) KR102589270B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102133342B1 (ko) * 2019-11-26 2020-07-13 한양대학교 산학협력단 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
KR102206684B1 (ko) * 2020-08-05 2021-01-22 건국대학교 산학협력단 주행 상황 및 운전 습관을 분석하기 위한 학습 방법 및 이를 수행하는 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101655765B1 (ko) 2015-09-09 2016-09-08 현대오트론 주식회사 차량 도난 방지용 운전습관 등록 장치 및 방법
KR20190011891A (ko) * 2017-07-26 2019-02-08 김시습 졸음운전 방지장치 및 방법
US10832140B2 (en) 2019-01-30 2020-11-10 StradVision, Inc. Method and device for providing information for evaluating driving habits of driver by detecting driving scenarios occurring during driving

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102133342B1 (ko) * 2019-11-26 2020-07-13 한양대학교 산학협력단 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
KR102206684B1 (ko) * 2020-08-05 2021-01-22 건국대학교 산학협력단 주행 상황 및 운전 습관을 분석하기 위한 학습 방법 및 이를 수행하는 장치

Also Published As

Publication number Publication date
KR102589270B9 (ko) 2023-12-08
KR20230131984A (ko) 2023-09-15

Similar Documents

Publication Publication Date Title
US10642276B2 (en) Customize and legalize self-driving motor vehicles
Brombacher et al. Driving event detection and driving style classification using artificial neural networks
CN110171361B (zh) 一种基于驾驶员情绪和驾驶倾向性的汽车安全预警方法
Laxhammar et al. Inductive conformal anomaly detection for sequential detection of anomalous sub-trajectories
CN113486822B (zh) 一种基于驾驶意图的周围车辆轨迹预测方法及系统
CN108091132B (zh) 一种交通流量预测方法及装置
Tanprasert et al. Combining unsupervised anomaly detection and neural networks for driver identification
KR20170094836A (ko) 운전자의 감정상태 인식 장치 및 방법
CN112793576B (zh) 一种基于规则与机器学习融合的换道决策方法及系统
JP2022502750A (ja) センサデータ流を分析するための方法及び装置、並びに、車両を誘導するための方法
CN105609105A (zh) 语音识别系统和语音识别方法
JP7181654B2 (ja) 自律走行自動車のパーセプションネットワークを学習させるためのオン‐ビークルアクティブラーニング方法及び装置
KR102589270B1 (ko) 가변하는 운전성향을 고려한 운전자 식별 장치 및 방법 그리고 시스템
CN110263664A (zh) 一种多乘员车道违章识别方法及装置
CN108577869A (zh) 基于驾驶指纹的驾驶疲劳监测方法与系统
Qiu et al. Use of triplet-loss function to improve driving anomaly detection using conditional generative adversarial network
US20220036049A1 (en) Apparatus and method of providing vehicle service based on individual emotion recognition
JP2007058751A (ja) 物体判別装置、物体判別方法および物体判別プログラム
EP3382570A1 (en) Method for characterizing driving events of a vehicle based on an accelerometer sensor
JP7173702B2 (ja) 評価装置
CN110826433A (zh) 试驾用户情绪分析数据处理方法、装置、设备与存储介质
US11874129B2 (en) Apparatus and method for servicing personalized information based on user interest
Tkachenko et al. Unsupervised clustering of highway motion patterns
CN114707573A (zh) 一种基于基本驾驶操作事件的无监督驾驶风格分析方法
Gao et al. Driver identification based on stop-and-go events using naturalistic driving data

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]