KR20230073790A - 적응형 부주의 판단 기능을 이용한 운전자 자세제어 시스템 및 제어 방법 - Google Patents

적응형 부주의 판단 기능을 이용한 운전자 자세제어 시스템 및 제어 방법 Download PDF

Info

Publication number
KR20230073790A
KR20230073790A KR1020210160538A KR20210160538A KR20230073790A KR 20230073790 A KR20230073790 A KR 20230073790A KR 1020210160538 A KR1020210160538 A KR 1020210160538A KR 20210160538 A KR20210160538 A KR 20210160538A KR 20230073790 A KR20230073790 A KR 20230073790A
Authority
KR
South Korea
Prior art keywords
driver
adaptive
posture control
unit
information
Prior art date
Application number
KR1020210160538A
Other languages
English (en)
Inventor
손태윤
장영민
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020210160538A priority Critical patent/KR20230073790A/ko
Publication of KR20230073790A publication Critical patent/KR20230073790A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0863—Inactivity or incapacity of driver due to erroneous selection or response of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 적응형 부주의 판단 기능을 이용한 운전자 자세제어 시스템에 관한 것이다.
본 발명은 운전자의 응시 방향을 촬영하는 전방 영상 촬영부; 운전자를 촬영하는 운전자 영상 촬영부; 운전자를 촬영한 영상에서 운전자의 동공 정보를 검출하고, 운전자의 동공 정보를 이용하여 운전자의 부주의 판단을 위한 적응형 기준 영역 파라미터를 설정하는 적응형 기준 영역 파라미터 설정부; 상기 운전자의 동공 정보와 상기 운전자의 응시 방향을 이용하여 운전자의 시선 위치를 검출하는 시선 추적부; 차량의 주행 속도를 검출하는 차량 외부 주행 환경 정보 검출부; 운전자의 시선 위치와 상기 운전자의 응시 방향 영상에 설정된 상기 적응형 기준 영역 파라미터를 통해 운전자의 부주의를 판단하는 부주의 판단부; 및 차량의 외부 주행 환경 정보를 검출하는 단계; 및 운전자 자세제어 기능 동작 중, 상기 부주의 판단부의 판단 결과에 따라 상기 시선 추적부의 위치를 보정하는 운전자 자세 제어부를 포함한다.

Description

적응형 부주의 판단 기능을 이용한 운전자 자세제어 시스템 및 제어 방법{Headlamp position control system and control method using adaptive careless judgment function}
본 발명은 적응형 부주의 판단 기능을 이용한 운전자 자세제어 시스템에 관한 것으로, 더욱 상세하게는 기 양산된 카메라 기반 운전자 부주의(전방영역 이탈, 눈감음) 판단 시스템 정해진 판단 룰을 기반으로 운전자 부주의 상황을 판단하고 경고할 수 있는 적응형 부주의 판단 기능을 이용한 운전자 자세제어 시스템에 관한 것이다.
기존의 카메라 기반 운전자 상태 분석을 통한 부주의 경고 시스템은 운전자 부주의 상황의 레벨 변화 및 경고 시점을 결정하기 위하여 부주의 판단 파라미터를 임의 영역으로 정의하였다.
이에, 종래 카메라 기반 운전자 상태 분석을 통한 부주의 경고 시스템은 전방영역 이탈 판단 시, 생산사에서 정의된 전방 영역/차속/이탈 시간을 기반으로 경고하고, 눈감김 판단 시 생산사에서 정의된 눈 감김 시간에 따른 경고한다.
이와 같이, 종래 카메라 기반 운전자 상태 분석을 통한 부주의 경고 시스템은 설계자가 정의한 판단 파라미터에 따라서, 부주의 레벨 변화 및 경고 시점이 일반화되기 때문에 잘 못된 판단으로 잦은 오 경고 발생하고, 경고 및 레벨 변화 조건에 들어가지 못하여 부주의 경고를 하지 못하는 경우 발생할 수 밖에 없어, 전세계 수 억명의 운전자를 수용할 수 없는 문제점으로 운전자에게 불편함을 부여할 수 밖에 없는 문제점이 있다.
본 발명은 종래 문제점을 해결하기 위한 것으로, 카메라 기반 적응형 부주의 판단 기능을 이용한 운전자 자세제어 시스템에서 부주의를 판단하는 파라미터 값을 최초 설계 시 고정하여 결정하지 않고, 수집되는 운전자의 생물학 기반의 운전자 상태 분석과 외부 주행 환경 정보를 분석하여 운전자 적응적 판단 파라미터를 자동으로 결정하고, 운전자에게 최적의 부주의 경고 시점 및 부주의 레벨 변화 시점을 제공할 수 있는 적응형 부주의 판단 기능을 이용한 운전자 자세제어 시스템을 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 적응형 부주의 판단 기능을 이용한 운전자 자세제어 시스템은 운전자의 응시 방향을 촬영하는 전방 영상 촬영부; 운전자를 촬영하는 운전자 영상 촬영부; 운전자를 촬영한 영상에서 운전자의 동공 정보를 검출하고, 운전자의 동공 정보를 이용하여 운전자의 부주의 판단을 위한 적응형 기준 영역 파라미터를 설정하는 적응형 기준 영역 파라미터 설정부; 상기 운전자의 동공 정보와 상기 운전자의 응시 방향을 이용하여 운전자의 시선 위치를 검출하는 시선 추적부; 운전자의 시선 위치와 상기 운전자의 응시 방향 영상에 설정된 상기 적응형 기준 영역 파라미터를 통해 운전자의 부주의를 판단하는 부주의 판단부; 및 운전자 자세제어 기능 동작 중, 상기 부주의 판단부의 판단 결과에 따라 상기 시선 추적부의 위치를 보정하는 운전자 자세 제어부를 포함한다.
상기 운전자 자세 제어부는, 상기 운전자 자세제어 기능 동작 중, 운전자가 부주의 상태로 판단되면, 동작 중인 운전자의 자세제어 기능을 종료한다.
본 발명의 일 실시예에 따른 적응형 부주의 판단 기능을 이용한 운전자 자세제어 방법은 부주의 판단 기준 설정부에 의해, 운전자의 동공 정보와 차량의 주행 환경 정보를 이용하여 운전자의 부주의 판단을 위한 적응형 기준 영역 파라미터를 설정하는 단계; 운전자의 시선 정보를 검출하는 단계; 상기 적응형 기준 영역 파라미터와 운전자의 시선 정보를 이용하여 운전자의 부주의 여부를 판단하는 단계; 차량의 외부 주행 환경 정보를 검출하는 단계; 및 운전자 자세제어 기능 동작 중, 상기 부주의 판단부의 판단 결과에 따라 상기 시선 추적부의 위치를 보정하는 단계를 포함한다.
상기 제어하는 단계는, 상기 운전자 자세제어 기능 동작 중, 운전자가 부주의 상태로 판단되면, 동작 중인 운전자의 자세제어 기능을 종료한다.
본 발명의 일 실시예에 따르면, 부주의 판단 위한 운전자 적응적 판단 파라미터 자동 튜닝을 통한 편의성 향상시킬 수 있는 효과가 있다.
또한 본 발명은 운전자 적응적 부주의 경고 시점/부주의 레벨 변화 시점 결정을 통한 판단 로직 성능 향상시킬 수 있는 효과가 있다.
그리고 본 발명은 기존 타사의 정해진 부주의 판단 파라미터 대비 운전자의 상태를 분석하여 최적의 판단 파라미터 튜닝 기술을 확보할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 적응형 부주의 판단 기능을 이용한 운전자 자세제어 시스템을 설명하기 위한 구성블록도.
도 2는 도 1의 부주의 판단 기준 설정부를 설명하기 위한 참고도.
도 3은 도 2의 생체 정보 검출부의 세부 구성을 설명하기 위한 참고도.
도 4는 도 1의 주행 외부 환경 검출부를 설명하기 위한 참고도.
도 5는 도 1의 부주의 판단 기준 설정부의 적응형 기준 영역 파라미터를 설정하는 예를 설명하기 위한 참고도.
도 6은 본 발명의 일 실시예에 따른 적응형 부주의 판단 기능을 이용한 운전자 자세제어 방법을 설명하기 위한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시예에 따른 적응형 부주의 판단 기능을 이용한 운전자 자세제어 시스템을 설명하기 위한 구성블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 적응형 부주의 판단 기능을 이용한 운전자 자세제어 시스템은 전방 영상 촬영부(100), 운전자 영상 촬영부(200), 부주의 판단 기준 설정부(300), 시선 추적부(400), 차량 외부 주행 환경 정보 검출부(500), 부주의 판단부(600) 및 운전자 자세 제어부(700)를 포함한다.
전방 영상 촬영부(100)는 전방 촬영 카메라로, 운전자가 응시하는 방향을 촬영한다.
운전자 영상 촬영부(200)는 운전자를 촬영하는 카메라로, 운전자의 정보를 획득할 수 있도록 운전자를 촬영한다.
적응형 기준 영역 파라미터 설정부(300)는 운전자를 촬영한 영상에서 운전자의 동공 정보를 검출하고, 운전자의 동공 정보를 이용하여 운전자의 부주의 판단을 위한 적응형 기준 영역 파라미터를 설정한다. 여기서, 상기 운전자의 동공 정보는, 운전자의 중심시/주변시를 포함하는 동공 크기 정보와, 초점 거리 변화 검출을 위해 중심시와 주변시의 동공 크기 변화 정보 중 하나 이상의 정보이다.
이러한 부주의 판단 기준 설정부(300)는 운전자의 동공 크기 정보뿐만 아니라, 운전자 및 외부환경/차량운행 정보를 융합하여 주행 적응적 전방 영역 파라미터 변경할 수 있다. 여기서, 운전자의 부주의 단계에 따라 부주의 경고 시점(시간) 및 부주의 레벨 변화 시점(시간)을 변경할 수도 있다.
즉, 부주의 판단 기준 설정부(300)는 도 5에 도시된 바와 같이, 동공 크기(301), 차량 속도(302), 차량 상태(303) 및 주행 외부 환경(304)을 이용하여 적응형 기준 영역 파라미터(305)를 설정하거나 변경한다. 한편, 부주의 판단 기준 설정부(300)에 의해 설정되는 적응형 기준 영역 파라미터는 전방 영상에 일정 크기를 갖는 영역을 설정되는 것이 바람직하다. 이에, 운전자의 시선이 적응형 기준 영역 파라미터에 의해 설정된 영역을 벗어나는 경우 운전자의 부주의 상태를 부주의 상태로 판단하고, 설정 영역 내부에 운전자의 시선이 위치하는 경우 운전자의 부주의 상태를 정상 상태로 판단할 수 있게 된다. 이에, 운전자의 부주의 상태를 등급화하고, 차량의 속도에 따라 다르게 응급 브레이킹 시스템을 적용할 수도 있다.
이와 같이, 부주의 판단 기준 설정부(300)는 물체의 상이 망막의 중앙에 맺혀져 가장 선명, 정확하게 사물을 볼 수 있는 시야가 맺히는 중심시와, 초점을 맞추지 않고 있는 시선의 바깥쪽 범위의 시각 정보를 받아들이는 주변시를 통해 검출되는 운전자 시야각 특징을 반영하여 적응형 기준 영역 파라미터를 적용할 수 있다.
또한 부주의 판단 기준 설정부(300)는 운전자가 두 눈을 사용하여 색체까지 확인 가능한 범위를 검출하는 운전자 시야각 특징을 반영하여 적응형 기준 영역 파라미터를 적용할 수 있다.
그리고 부주의 판단 기준 설정부(300)는 차량의 주행 속도에 따라 변화되는 운전자 시각의 초점거리 및 시야각 특징 정보를 반영하여 적응형 기준 영역 파라미터를 적용할 수 있다.
또한 부주의 판단 기준 설정부(300)는 차량 속도별 시야각(중심시/주변시) 변화 및 사람이 느껴지는 상대적인 시력 정보 특징을 반영하여 적응형 기준 영역 파라미터를 적용할 수 있다. 즉, 시야는 차량의 속도가 빨라지면 좁아지게 된다.
한편, 부주의 판단 기준 설정부(300)는 야간 운전시 동공 크기가 커짐으로써 빛 번짐 현상 발생 및 포커싱되는 거리 범위를 주간 운전시 보다 제한되는 공동 크기 변화에 따른 초점 거리 변화 정보를 반영하여 적응형 기준 영역 파라미터를 적용할 수 있다. 여기서, 동공은 카메라 조리계와 같이, 동공 크기가 좁아지면 초점의 거리가 길어지고, 동공 크기가 넓어지면 초점의 거리가 짧아지는 사람의 동공 크기 변화 조건과 동일하다.
그 뿐만 아니라, 부주의 판단 기준 설정부(300)는 초점거리간의 상관 관계를 반영하여 적응형 기준 영역 파라미터를 적용할 수 있다. 예를 들어, 동공의 크기가 좁아지면 초점 거리는 길어지고, 이에, 중심시는 좁아지고, 동공의 크기가 넓어지면 초점 거리는 짧아지고, 이에 중심시는 넓어진다.
이에, 적응형 기준 영역 파라미터 설정부(300)는 도 2에 도시된 바와 같이, 생체 정보 검출부(310), 차량 정보 검출부(320) 및 외부 환경 검출부(330)를 포함한다.
생체 정보 검출부(310)는 운전자 영상 촬영부(200)를 통해 촬영된 영상에서, 운전자의 동공 정보를 검출한다. 여기서, 생체 정보 검출부(300)는 도 3에 도시된 바와 같이, 운전자의 중심시/주변시를 포함하는 동공 크기 정보(311), 초점 거리 변화 검출을 위해 중심시와 주변시의 동공 변화 정보(312)를 포함하는 동공 정보를 검출한다.
차량 정보 검출부(320)는 차량의 상태 정보를 검출한다. 본 실시예에서는 대표적으로 차량의 속도를 검출하는 것이 바람직하다. 여기서, 차량의 상태 정보는 차량의 속도 정보, 스티어링 휠 정보, 방향 지시등 정보 중 하나이다.
그리고 외부 환경 검출부(330)는 도 4에 도시된 바와 같이, 지도 정보(331), 날씨 정보(332), 운전자의 선글라스 착용 정보(333) 및 조도 정보(334) 중 하나 이상의 정보를 검출한다. 이러한 주행 외부 환경 검출부(330)는 GPS 장치와 연동되는 것이 바람직하다.
또한 부주의 판단 기준 설정부(300)는 운전자의 생체 정보와 차량의 상태 정보를 융합하여 부주의 경고 시스템 적응적 알람 발생에 적용할 수 있다.
또한 시선 추적부(400)는 전방 영상 촬영부(100)와 운전자 영상 촬영부(200)를 통해 촬영되는 영상간 캘리브레이션을 수행하고, 운전자의 응시 위치를 검출한다.
본 발명의 일 실시예에 따르면, 운전자의 동공의 특성, 차량의 주행 특성 및 주행 외부 환경 특성을 반영하여 부주의 판단 위한 운전자 적응적 판단 파라미터를 자동으로 조절함으로써, 보다 정확하고, 정밀한 운전자 부주의를 판단할 수 있다.
차량 외부 주행 환경 정보 검출부(500)는 차량의 외부 주행 환경 정보를 검출한다. 본 실시예에서의 차량 외부 주행 환경 정보는 차량의 주행 방향 정보이다. 차량의 주행 방향 정보는 스티어링의 회전 반경을 통해 획득할 수 있다.
부주의 판단부(600)는 운전자의 시선이 상기 결정된 적응형 기준 영역 파라미터를 벗어나는지의 여부를 통해 운전자의 부주의를 판단한다. 이를 위해, 부주의 판단부(600)는 운전자의 시선 위치와 상기 운전자의 응시 방향 영상에 설정된 적응형 기준 영역 파라미터를 통해 운전자의 부주의를 판단한다.
운전자 자세 제어부(700)는 상기 운전자 자세제어 기능 동작 중, 운전자가 부주의 상태로 판단되면, 동작 중인 운전자의 자세제어 기능을 종료한다.
상기 운전자 자세 제어부(700)는 상기 운전자 자세제어 기능 동작 중, 운전자가 부주의 상태로 판단되면, 동작 중인 운전자의 자세제어 기능을 종료한다.
이하, 하기에서는 본 발명의 일 실시예에 따른 적응형 부주의 판단 기능을 이용한 운전자 자세제어 방법에 대하여 도 6을 참조하여 설명하기로 한다.
먼저, 부주의 판단 기준 설정부에 의해, 운전자의 동공 정보와 차량의 주행 환경 정보를 이용하여 운전자의 부주의 판단을 위한 적응형 기준 영역 파라미터를 설정한다(S100).
이하, 하기에서는 본 발명의 일 실시예에 따른 적응형 기준 영역 파라미터를 설정하는 단계(S100)의 세부 단계에 대하여 도 7을 참조하여 설명하기로 한다.
먼저, 전방 영상 촬영부에 의해, 운전자의 응시 방향을 촬영하여 전방 영상을 획득한다(S110).
그리고, 운전자 영상 촬영부에 의해, 운전자를 촬영하여 운전자의 영상을 획득한다(S120).
생체 정보 검출부에 의해, 운전자를 촬영한 영상에서 운전자의 동공 정보를 검출한다(S130). 여기서, 운전자의 동공 정보는 동공의 크기 정보와 동공의 크기 변화 정보를 포함한다. 상기 부주의 판단 기준 설정부에 의해, 상기 전방 촬영 카메라를 통해 촬영된 운전자의 응시 방향 영상에 상기 적응형 기준 영역 파라미터를 설정한다.
또한, 본 발명의 일 실시예에서의 운전자 동공의 크기와 본 발명의 다른 실시예에서의 운전자 동공의 크기가 동일하나, 다른 실시예에서는 차량의 속도에 따라 적응형 기준 영역 파라미터를 변경하게 된다. 예를 들어 차량의 속도가 증가하면, 운전자 시각의 초점 거리 및 시야각이 좁아지기 때문에 적응형 기준 영역 파라미터를 축소시켜 설정하게 된다.
이에 반해, 주행 환경 정보가 획득되었는지를 판단하는 단계에서 주행 환경 정보가 획득되면(YES), 획득한 운전자의 동공 정보, 차량의 속도 정보, 주행 환경 정보를 이용하여 운전자의 부주의 판단을 위한 적응형 기준 영역 파라미터를 설정한다.
한편, 차량의 속도 정보가 획득되었는지를 판단하는 단계에서 차량의 속도 정보는 획득되지 않고, 주행 환경 정보만 획득하면(YES), 운전자의 동공 정보와 주행 환경 정보를 이용하여 운전자의 부주의 판단을 위한 적응형 기준 영역 파라미터를 설정한다. 여기서, 주행 환경 정보는 시간, 도로, 터널, 날씨 정보 중 하나 이상의 정보이다. 즉, 본 발명의 일 실시예에서의 운전자 동공의 크기와 본 발명의 또 다른 실시예에서의 운전자 동공의 크기가 동일하나, 또 다른 실시예에서는 주행 외부 환경에 따라 적응형 기준 영역 파라미터를 변경하게 된다. 예를 들어 날씨가 흐려지거나, 비 또는 눈이 오는 등 날씨가 바뀌거나, 터널 내부로 차량이 들어오거나 나가거나, 저녁이 되거나 하는 등의 주행 외부 환경이 변경되면, 운전자 시각의 초점 거리 및 시야각 또한 변경되기 때문에 적응형 기준 영역 파라미터를 변경한다.
이와 같이, 본 발명에 따르면, 적응형 기준 영역 파라미터를 운전자의 동공, 차량의 속도 및 주행 외부 환경에 따라 변경함으로써, 보다 정확한 운전자의 부주의 판단을 가능하게 하는 효과가 있다.
그리고, 상기 운전자의 동공 정보와 상기 운전자의 응시 방향을 이용하여 전방 영상내 운전자의 시선 위치를 검출한다(S200).
이후, 상기 적응형 기준 영역 파라미터와 운전자의 시선 정보를 이용하여 운전자의 부주의 여부를 판단한다(S300).
이어서, 차량 외부 주행 환경 정보 검출부(500)는 차량의 외부 주행 환경 정보를 검출한다(S400). 본 실시예에서의 차량 외부 주행 환경 정보는 차량의 주행 방향 정보이다. 차량의 주행 방향 정보는 스티어링의 회전 반경을 통해 획득할 수 있다.
상기 운전자 자세제어 기능 동작 중, 운전자가 부주의 상태로 판단되면, 동작 중인 운전자의 제세제어 기능을 종료한다(S500).
한편, 상기 운전자 자세 제어부(700)는 상기 운전자 자세제어 기능 동작 중, 운전자가 부주의 상태로 판단되면, 동작 중인 운전자의 자세제어 기능을 종료한다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.

Claims (4)

  1. 운전자의 응시 방향을 촬영하는 전방 영상 촬영부;
    운전자를 촬영하는 운전자 영상 촬영부;
    운전자를 촬영한 영상에서 운전자의 동공 정보를 검출하고, 운전자의 동공 정보를 이용하여 운전자의 부주의 판단을 위한 적응형 기준 영역 파라미터를 설정하는 적응형 기준 영역 파라미터 설정부;
    상기 운전자의 동공 정보와 상기 운전자의 응시 방향을 이용하여 운전자의 시선 위치를 검출하는 시선 추적부;
    운전자의 시선 위치와 상기 운전자의 응시 방향 영상에 설정된 상기 적응형 기준 영역 파라미터를 통해 운전자의 부주의를 판단하는 부주의 판단부; 및
    운전자 자세제어 기능 동작 중, 상기 부주의 판단부의 판단 결과에 따라 상기 시선 추적부의 위치를 보정하는 운전자 자세 제어부를 적응형 부주의 판단 기능을 이용한 운전자 자세제어 시스템.
  2. 제1항에 있어서,
    상기 운전자 자세 제어부는,
    상기 운전자 자세제어 기능 동작 중, 운전자가 부주의 상태로 판단되면, 동작 중인 운전자의 자세제어 기능을 종료하는 것을 특징으로 하는 적응형 부주의 판단 기능을 이용한 운전자 자세제어 시스템.
  3. 부주의 판단 기준 설정부에 의해, 운전자의 동공 정보와 차량의 주행 환경 정보를 이용하여 운전자의 부주의 판단을 위한 적응형 기준 영역 파라미터를 설정하는 단계;
    운전자의 시선 정보를 검출하는 단계;
    상기 적응형 기준 영역 파라미터와 운전자의 시선 정보를 이용하여 운전자의 부주의 여부를 판단하는 단계;
    차량의 외부 주행 환경 정보를 검출하는 단계; 및
    운전자 자세제어 기능 동작 중, 상기 부주의 판단부의 판단 결과에 따라 상기 시선 추적부의 위치를 보정하는 단계를 포함하는 적응형 부주의 판단 기능을 이용한 운전자 자세제어 방법.
  4. 제3항에 있어서,
    상기 제어하는 단계는,
    상기 운전자 자세제어 기능 동작 중, 운전자가 부주의 상태로 판단되면, 동작 중인 운전자의 자세제어 기능을 종료하는 것을 특징으로 하는 적응형 부주의 판단 기능을 이용한 운전자 자세제어 방법.
KR1020210160538A 2021-11-19 2021-11-19 적응형 부주의 판단 기능을 이용한 운전자 자세제어 시스템 및 제어 방법 KR20230073790A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210160538A KR20230073790A (ko) 2021-11-19 2021-11-19 적응형 부주의 판단 기능을 이용한 운전자 자세제어 시스템 및 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210160538A KR20230073790A (ko) 2021-11-19 2021-11-19 적응형 부주의 판단 기능을 이용한 운전자 자세제어 시스템 및 제어 방법

Publications (1)

Publication Number Publication Date
KR20230073790A true KR20230073790A (ko) 2023-05-26

Family

ID=86537112

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210160538A KR20230073790A (ko) 2021-11-19 2021-11-19 적응형 부주의 판단 기능을 이용한 운전자 자세제어 시스템 및 제어 방법

Country Status (1)

Country Link
KR (1) KR20230073790A (ko)

Similar Documents

Publication Publication Date Title
JP3855439B2 (ja) 夜間運転視界支援装置
EP2288287B1 (en) Driver imaging apparatus and driver imaging method
US7370970B2 (en) Eyeglass detection method
US6927674B2 (en) Vehicle instrument cluster having integrated imaging system
US7078692B2 (en) On-vehicle night vision camera system, display device and display method
JP2016103249A (ja) 運転支援装置および運転支援方法
KR20130097671A (ko) 촬상 제어 장치 및 컴퓨터 독출 가능 저장 매체
WO2007092512A2 (en) Driver drowsiness and distraction monitor
KR102630368B1 (ko) 운전자 감시 카메라의 보정장치 및 그 방법
JP5077128B2 (ja) 覚醒度判定装置
JP2007331545A (ja) 車両用運転支援装置
KR20200092739A (ko) 운전자 상태 모니터링 방법 및 장치
KR20230073790A (ko) 적응형 부주의 판단 기능을 이용한 운전자 자세제어 시스템 및 제어 방법
KR102288753B1 (ko) 운전자 모니터링 장치 및 방법
KR20230072579A (ko) 적응형 부주의 판단 기능을 이용한 고속 주행 파일럿 시스템 및 제어 방법
KR20230050550A (ko) 적응형 부주의 판단 기능을 이용한 aeb 시스템 및 제어 방법
EP3933796B1 (en) Apparatus and method for driver distraction warning
KR20230050146A (ko) 운전자 부주의 판단 시스템 및 방법
JP5576198B2 (ja) 脇見判定装置
KR101360412B1 (ko) 머리 움직임 정보를 이용하는 산만/졸음 운전 감시 시스템
KR20230099497A (ko) 적응형 부주의 판단 기능을 이용한 공조/환기 제어 시스템 및 제어 방법
US11492016B2 (en) Autonomous driving control method and device
KR20230050147A (ko) 적응형 부주의 판단 기능을 이용한 주차 지원 제어 시스템 및 제어 방법
KR20230050551A (ko) 적응형 부주의 판단 기능을 이용한 헤드램프 위치 제어 시스템 및 제어 방법
JP7014680B2 (ja) 注視対象物検知装置、注視対象物検知方法、およびプログラム