KR102050466B1 - 차량 내에 위치하는 차량 탑승자를 지원하는 방법 및 장치 - Google Patents

차량 내에 위치하는 차량 탑승자를 지원하는 방법 및 장치 Download PDF

Info

Publication number
KR102050466B1
KR102050466B1 KR1020180037360A KR20180037360A KR102050466B1 KR 102050466 B1 KR102050466 B1 KR 102050466B1 KR 1020180037360 A KR1020180037360 A KR 1020180037360A KR 20180037360 A KR20180037360 A KR 20180037360A KR 102050466 B1 KR102050466 B1 KR 102050466B1
Authority
KR
South Korea
Prior art keywords
vehicle
behavior pattern
user information
sensor
vehicle occupant
Prior art date
Application number
KR1020180037360A
Other languages
English (en)
Other versions
KR20180130433A (ko
Inventor
에스레프 쾨제
아메드 알리
세바스티안 게흐링
옌스 캄퍼만
사라 스트리굴렉
스벤 크롬프
제시카 아펠
산드라 쥐르겐스마이어
볼프강 타이머
에른스트 지엘린스키
Original Assignee
폭스바겐 악티엔 게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 폭스바겐 악티엔 게젤샤프트 filed Critical 폭스바겐 악티엔 게젤샤프트
Publication of KR20180130433A publication Critical patent/KR20180130433A/ko
Application granted granted Critical
Publication of KR102050466B1 publication Critical patent/KR102050466B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/12—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to parameters of the vehicle itself, e.g. tyre models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/085—Changing the parameters of the control units, e.g. changing limit values, working points by control input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B60W2550/10—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/30—Auxiliary equipments
    • B60W2710/305—Auxiliary equipments target power to auxiliaries
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

차량 내에 위치하는 차량 탑승자를 지원하는 본 발명에 따른 방법에서 차량 탑승자의 거동 및/또는 상태에 관한 사용자 정보 및 차량의 차량 파라미터가 검출된다(1, 2). 상기 검출된 사용자 정보 및 차량 파라미터는 병합되어 공동으로 분석되고(3), 상기 공동으로 분석된 사용자 정보 및 차량 파라미터로부터 차량 탑승자의 적어도 하나의 거동 패턴이 결정된다(4). 상기 거동 패턴은 상기 사용자 정보에 함께 저장된다(5). 사용자 정보가 후속적으로 검출되는 경우 이들은 상기 적어도 하나의 저장된 거동 패턴의 상기 사용자 정보와 비교된다(6). 상기 거동 패턴의 일치가 있을 때 차량 기능이 자동으로 실행된다(7).

Description

차량 내에 위치하는 차량 탑승자를 지원하는 방법 및 장치 {METHOD AND DEVICE FOR SUPPORTING A VEHICLE PASSENGER SITUATED IN A VEHICLE}
본 발명은 차량 내에 위치하는 차량 탑승자를 지원하는 방법에 관한 것이다. 또한 본 발명은 상기 방법을 수행하기 위한 장치 및 상기 방법을 실행하도록 구성되거나 또는 상기 장치를 포함하는 차량에 관한 것이다.
현재 차량 내의 운전자를 지원할 수 있는 복수의 다양한 보조 시스템이 알려져 있다. 이러한 보조 시스템은 부분적으로 신호 또는 경고 기능에만 제한되지만, 부분적으로는 또한 차량의 주행 또는 제어에도 관여한다. 두 기능 모두 적절한 센서로부터 얻어진 데이터에 기초한 현재 차량 상태에 대한 인식을 전제로 한다. 이 경우 센서는 예를 들어 주행 안정성 시스템(ESP) 또는 브레이크 잠김 방지 시스템(ABS)을 위한 차량의 기술적 파라미터뿐만 아니라, 또한 차량 주변 환경에 대한 정보도 또한 자체적으로 결정할 수 있다. 차량 주변 환경의 모니터링 및 이에 기초한 주차 보조, 자동 거리 경고 및 제어, 교통 표지 인식, 사각지대 모니터링 또는 보행자 보호를 위한 비상 제동 시스템과 같은 보조 기능을 위해 다양한 기술이 여기에 사용되며, 종종 조합으로도 사용된다. 특히 보행자, 다른 차량, 교통 표지 등과 같은 차량 주변 환경의 물체를 식별하기 위해 초음파, 레이더, 라이다 및 카메라 시스템이 종종 사용된다. 여기서 복수의 센서의 센서 데이터를 결합하거나 또는 링크하여 얻어진 정보의 품질을 향상시킬 수 있다. 예를 들어 하나 이상의 센서로부터 얻어진 정보를 신뢰할 수 없다면, 이는 추가의 센서의 데이터에 의해 부분적으로 또는 완전히 보상될 수 있다. 마찬가지로 또한 추가의 센서의 데이터에 의해 이미 존재했던 정보가 확인될 수도 있다.
또한, 차량 내에 차량 탑승자, 특히 운전자의 거동 및/또는 상태에 관한 정보를 검출하는 센서가 제공될 수 있다. 특히 차량 내부 공간에 배치된 카메라에 의해 운전자의 머리 및 눈의 위치가 검출될 수 있고, 적절한 이미지 분석 방법에 의해 운전자의 시야 방향이 결정될 수 있거나 또는 발생된 운전자 피로도가 검출될 수 있다.
DE 10 2015 122 603 A1호는 운전자의 얼굴, 특히 운전자의 눈을 기록하고, 시야 방향에 기초하여 운전자가 주의가 분산되고 있는지 또는 도로에서 시선을 돌리고 있는지 여부를 모니터링하기 위해 운전자를 향하는 카메라를 갖는 운전자 보조 시스템을 개시한다. 운전자가 시선을 돌리는 경우, 운전자 상태 모듈은 비정상 상황을 감지하고 운전자 보조 시스템을 활성화한다. 마찬가지로 운전자 상태 모듈은 운전자의 눈이 얼마나 멀리 그리고 얼마나 오랫동안 개방되어 있었는지에 기초하여, 운전자가 졸린지 또는 깨어있는지 여부를 감지할 수 있다.
유사하게는, 영국 특허 제2532457 A호는 이미지 센서에 의해, 운전자가 도로를 바라보고 있거나 또는 도로에서 시선을 돌리는 시간에 따라 운전자의 주의력을 결정하고, 이에 기초하여 운전자 보조 시스템의 반응성을 제어하는 것을 설명한다.
DE 10 2014 201 036 A1호에는 특히 운전자의 수용 능력을 결정하기 위해 운전자 상태 및/또는 운전자 거동을 결정하기 위한 이미지 기반 분류 방법이 기술된다. 이를 위해 카메라는 임의의 머리 배향에서 운전자의 눈을 검출하여, 운전자의 시야 방향을 결정하고 시간이 지남에 따라 통계적으로 평가할 수 있도록 배치된다.
본 발명의 과제는 차량 내에 위치하는 차량 탑승자를 지원하기 위한 개선된 방법 및 개선된 장치를 제공하는 것이다.
이러한 과제는 청구항 제1항의 특징을 갖는 방법 및 청구항 제5항에 따른 대응하는 장치에 의해 달성된다. 본 발명의 바람직한 실시예는 종속항의 주제이다.
차량 내에 위치하는 차량 탑승자를 지원하기 위한 본 발명에 따른 방법에서, 차량 탑승자의 거동 및/또는 상태에 대한 사용자 정보뿐만 아니라 차량의 차량 파라미터가 검출된다. 검출된 사용자 정보 및 차량 파라미터는 병합되어 공동으로 분석된다. 공동으로 분석된 사용자 정보 및 차량 파라미터로부터 차량 탑승자의 적어도 하나의 거동 패턴이 결정된다. 거동 패턴은 사용자 정보와 함께 저장된다. 사용자 정보가 후속적으로 검출되는 경우 이들은 적어도 하나의 저장된 거동 패턴의 사용자 정보와 비교된다. 거동 패턴이 일치하는 경우 차량 기능이 자동으로 실행된다.
차량 탑승자, 특히 운전자의 입력에 대해 표준화된 방식으로 반응하는 종래의 보조 시스템과 반대로, 본 발명에 따른 방법은 개별 거동 패턴을 인식 또는 학습하고, 이에 기초하여 거동 패턴이 인식되는 상황에서 보다 효율적으로, 보다 신속하게 또는 보다 편안하게 차량 탑승자를 지원하는 것을 가능하게 한다.
본 발명의 실시예에 따르면, 차량 파라미터가 차량 탑승자에 의해 수행된 조작 액션의 결과로서 변화되는 경우, 조작 액션 이전에 검출된 사용자 정보 및 차량 파라미터가 분석된다. 이러한 방법으로 분석 및 저장 비용이 감소될 수 있다.
바람직하게는 상기 사용자 정보는 차량 탑승자의 시야 방향 및/또는 얼굴 표정 및/또는 머리의 배향을 포함한다.
상기 차량의 운전자의 사용자 정보가 검출될 때 상기 방법은 특히 유리하게 적용될 수 있다.
이에 상응하게 차량 내에 위치하는 차량 탑승자를 지원하기 위한 본 발명에 따른 장치는 차량 탑승자의 거동 및/또는 상태에 관한 사용자 정보를 검출하기 위한 제1 센서 및 차량 파라미터를 검출하기 위한 제2 센서를 포함한다. 분석 및 제어 유닛에는 제1 및 제2 센서로부터의 센서 데이터가 공급된다. 분석 및 제어 유닛은 센서 데이터를 분석하고, 차량 탑승자의 적어도 하나의 거동 패턴을 결정하고, 제1 센서로부터의 후속하는 센서 데이터를 적어도 하나의 저장된 거동 패턴과 비교하고, 거동 패턴이 인식되는 경우 차량 기능을 자동으로 활성화시킨다. 메모리 유닛에는 적어도 하나의 거동 패턴이 저장된다.
바람직하게는, 제1 센서는 차량 탑승자의 시야 방향 및/또는 얼굴 표정 및/또는 머리의 배향을 검출하는, 차량 내에서 차량 탑승자와 정렬되는 카메라 센서이다.
유리하게는, 제2 센서는 다음 차량 파라미터:
- 예를 들어 주행 방향 지시기, 조향 휠, 가속 페달 또는 브레이크 페달과 같은 차량의 조작 요소의 작동;
- 차량의 위치 및/또는 궤도
중 하나 이상을 결정한다.
차량 주변 환경의 차량 외부 물체를 검출하기 위한 제3 센서가 제공되고, 제3 센서로부터 센서 데이터가 또한 분석 및 제어 유닛으로 공급되어 이에 의해 분석되는 것이 유리할 수 있다.
본 발명의 실시예에 따르면, 거동 패턴의 일치가 있을 때 차량의 사용자 인터페이스의 적응이 수행된다.
본 발명의 추가의 실시예에 따르면, 거동 패턴의 일치가 있을 때 운전자 보조 시스템의 기능이 실행된다.
바람직하게는, 본 발명에 따른 방법 또는 본 발명에 따른 장치는 자동차에 사용된다.
본 발명의 추가의 특징은 도면과 관련하여 이하의 설명 및 청구항으로부터 명백해질 것이다.
도 1은 차량 내에 위치하는 차량 탑승자를 지원하기 위한 본 발명에 따른 방법을 개략적으로 도시한다.
도 2는 본 발명에 따른 장치의 블록도를 개략적으로 도시한다.
본 발명의 원리를 보다 잘 이해하기 위해, 본 발명의 실시예가 도면을 참조하여 아래에서 보다 상세히 설명될 것이다. 본 발명은 이들 실시예에 제한되지 않으며, 설명된 특징들은 청구범위에서 정의된 본 발명의 범위를 벗어나지 않고 조합되거나 수정될 수 있음을 이해해야 한다.
도 1은 차량 내에 위치하는 차량 탑승자를 지원하기 위한 본 발명의 방법을 개략적으로 도시한다. 방법 단계(1)에 따르면, 사용자 정보의 검출이 이루어진다. 이러한 경우 원칙적으로, 차후 사용 제어 액션에서 차량 탑승자의 의도를 예측하기 위해, 이들이 차량 탑승자에 의한 차량의 사용과 관련되어 있고 동일한 사용 제어 액션의 반복된 실행의 경우 동일하거나 또는 적어도 유사하고 따라서 학습 단계 이후에 가능해지는 한, 차량 탑승자의 사용자 거동 및/또는 사용자 상태에 관한 임의의 정보가 결정될 수 있다. 차량 탑승자, 특히 차량의 운전자의 시야 방향, 얼굴 표정 및/또는 머리의 배향을 결정하는 것이 여기서 특히 중요하다.
사용자 정보의 검출과 병행하여, 방법 단계(2)에서 차량 파라미터가 검출된다. 여기서 적용 경우에 따라, 이들은 주행 방향 지시기, 조향 휠, 가속 페달 또는 브레이크 페달, 차량의 궤도 또는 차량의 위치와 같은 차량의 조작 요소의 작동과 같은 다양한 파라미터일 수 있다.
방법 단계(3)에서 사용자 정보 및 차량 파라미터는 병합되어 공동으로 평가된다. 방법 단계(4)에서 거동 패턴이 이로부터 결정된다. 예를 들어 초기화 단계에서 거동 패턴이 아직 결정되지 않았다면, 차후 인식을 가능하게 하고 이에 기초하여 차량 탑승자를 지원하기 위해, 방법 단계(5)에서 거동 패턴이 직접 저장된다. 한편, 하나 이상의 거동 패턴이 시스템에 의해 이미 학습되고 저장되었다면, 방법 단계(6)에서 현재 결정된 거동 패턴과 이미 존재하는 거동 패턴의 비교가 이루어질 수 있다. 이 경우 거동 패턴이 인식되면, 방법 단계(7)에서 차량 기능이 자동으로 실행될 수 있다. 여기서 예를 들어 운전자 보조 시스템의 기능이 실행되거나 또는 사용자 인터페이스가 적절하게 적응될 수 있다. 반면, 이전에 알려지지 않은 새로운 거동 패턴이 존재하면, 미래에 그 패턴에 액세스할 수 있도록 저장된다.
보다 명확하게 하기 위해, 본 발명의 적용예가 아래에 언급된다.
예를 들어 고속도로에서 차선 변경 시, 운전자는 보통 차선 변경을 수행하기 전에 어깨 쪽을 힐긋 보면서 사이드 미러를 반복적으로 확인한다. 본 발명에 따르면, 운전자는 예를 들어 카메라 기반 안구 추적 시스템에 의해 관찰된다. 어깨 쪽을 힐긋 보는 것과 사이드 미러를 반복적으로 보는 것은 안구 추적 시스템에 의해 검출되어 적절한 이미지 처리 방법에 의해 분석된다.
동시에 차량 센서는 차량의 파라미터를 모니터링하고 운전자에 의해 방향 지시등이 활성화될 때 이를 검출한다. 또한, 예를 들어 조향 휠 또는 타이어 위치를 검출하는 센서 또는 네비게이션 시스템의 컴퍼스 기능에 의해, 차량의 차선 변경이 결정될 수도 있다. 센서 데이터가 차량이 처음 특정 기간 동안 일정한 방향으로 주행했다는 것을 나타내면, 차선 변경에 수반되는 짧은 방향 변화가 발생하고, 차량이 계속해서 다시 원래의 방향으로 전진 이동하면, 차선 변경이 일어난 것으로 간주될 수 있다.
이러한 사용자 정보와 차량 파라미터를 병합하고 공동으로 분석함으로써, 차선 변경을 위한 거동 패턴을 결정할 수 있다. 차량 파라미터로부터 차선 변경이 이루어졌다는 것을 알게 되고, 차선이 변경되기 전에 운전자가 어깨 너머로 사이드 미러로 시선을 향했다는 사용자 정보가 나타나면, 이것은 거동 패턴으로 저장될 수 있다. 차후 시점에 운전자가 어깨 너머로 그리고 사이드 미러로 시선을 향하는 것이 결정되면, 이러한 거동 패턴은 알려진 저장된 거동 패턴 하에서 인식된다. 그런 다음 운전자 보조 시스템은, 예를 들어 방향 지시등이 자동으로 작동되거나 또는 운전자에게 예를 들어 사이드 미러 위의 또는 사이드 미러 안의 디스플레이를 통해 보기 어려운 또는 고속으로 접근하는 차량에 대해 경고를 함으로써, 현재 상황에 대해 조기에 반응할 수 있다.
차량의 운전자가 주차 공간에 주차를 하고자 하는 경우에도, 본 발명의 방법은 운전자를 지원할 수 있다. 이전의 주차 조작 시 운전자의 거동, 차량 파라미터 및 경우에 따라서는 차량 주변 환경이 검출되었을 때, 상응하는 거동 패턴이 새로운 주차 조작 시 인식될 수 있다.
따라서 카메라 기반의 안구 추적 시스템에 의해 운전자가 측면, 정면 또는 후면 창문 및 경우에 따라서는 사이드 미러를 통해 차량 주변 환경을 관찰하는 것이 결정될 수 있다. 예를 들어 초음파 센서와 같은 적절한 센서에 의해 차량 주변 환경 내의 오브젝트 및 차량으로부터의 이러한 오브젝트의 거리가 동시에 검출될 수 있고, 운전자가 차량을 우선 주차 공간 옆에 배치하고 그 다음에 조작하도록 지시를 줄 수 있다. 추가적으로 검출된 운전자의 시야 방향의 방향으로 오브젝트가 위치하는지 여부가 평가될 수도 있다. 또한, 상기 적용예에서와 같이 차량 센서는 방향 지시등의 작동, 일반적으로는 우선 한 방향으로 그리고 후에 반대 방향으로의 조향 휠의 강한 선회 및 차량이 이러한 경우에 전방 또는 후방으로 이동되었는지 여부와 같은 차량 파라미터를 검출할 수 있다. 주차 조작을 위한 전형적인 거동 패턴이 이제 새로운 주차 조작의 시작에서 인식되는 경우, 예를 들어 주차 보조 기능이 자동으로 활성화될 수 있다.
운전자의 지원에 한정되는 것이 아니라 다른 차량 탑승자, 특히 조수석에 탄 사람을 위해 사용될 수도 있는 추가의 적용예는 햇빛 가리개의 자동 배향과 관련된다.
차량 탑승자의 눈이 검출되면, 동공 크기는 또한 적절한 이미지 평가 방법에 의해 결정될 수 있다. 갑자기 발생하는 동공 크기의 현저한 감소는 차량 탑승자가 눈이 부시다는 것을 의미할 수 있다. 추가적으로 또는 그 대신에 눈을 가늘게 뜨는 것이 이미지 평가 방법에 의해 등록될 수도 있다. 경우에 따라서는, 이러한 정보는 또한 광 센서의 센서 데이터와 결합될 수 있다. 추가적으로, 차량 탑승자에 의한 햇빛 가리개의 펼침 또는 접힘을 검출하는 센서가 햇빛 가리개 상에 제공되면, 현재의 정보가 병합될 때 대응하는 거동 패턴이 결정되고 저장될 수 있다. 차량 탑승자의 눈에 대한 관찰에 기초하여 차후 시점에 차량 탑승자가 다시 눈이 부시다는 것이 결정되면, 대응하는 액추에이터가 존재하는 경우 햇빛 가리개가 자동으로 정렬될 수 있고, 차량 탑승자가 이를 위해 능동적으로 수행할 필요가 없다.
전술한 적용예에서 다양한 사람들의 거동 패턴은 일반적으로 유사하지만, 동일하지는 않다. 따라서 거동 패턴을 학습하고 이에 기초하여 차량 탑승자를 지원할 때 보조 시스템의 정확성을 증가시키기 위해 차량 탑승자에 따라 구별이 행해지는 것이 제공될 수 있다. 이는 예를 들어 얼굴 인식 방법으로 이루어질 수 있지만, 차량 내의 개인 식별을 위한 다른 생체 인식 방법에 의해서도 이루어질 수 있다.
도 2는 본 발명에 따른 장치의 블록도를 개략적으로 도시한다. 차량 내부 공간, 예를 들어 계기판 또는 백미러 영역에 배치된 카메라(8)는 운전자의 머리 위치를 검출하고, 적절한 이미지 분석 방법에 의해 눈 위치 및 시야 위치, 필요한 경우 운전자의 표정도 결정한다. 이 경우 바람직하게는 가시 영역 바로 옆의 단파장 적외선을 검출하는 NIR(near infrared)-카메라이다. 이러한 경우 특히 어둠 속에서 조명이, 운전자를 방해하거나 또는 운전자의 눈을 부시게 하지 않고도, 하나 이상의 도시되지 않은 NIR-LED에 의해 이루어질 수 있다. NIR-카메라 및 NIR-LED는 별도로 설치되거나 또는 공통 센서 부품으로 설치될 수 있다. 차량 파라미터를 검출하기 위해 적어도 하나의 센서(9)가 차량에 설치된다. 또한, 적어도 하나의 센서(10)가 차량 주변 환경을 검출하기 위해 제공된다. 센서 데이터는 분석 및 제어 유닛(14)에 공급되며, 상기 분석 및 제어 유닛에서 센서 데이터를 평가하여 거동 패턴을 결정하고, 알고 있는 거동 패턴과 비교하고, 이에 의존하여 예를 들어 HMI(12) 또는 운전자 보조 시스템(13)을 제어할 수 있다. 알고 있는 거동 패턴을 유지하기 위해, 메모리(11)가 제공된다.
본 발명은 차량 기술의 임의의 영역에서 사용될 수 있다.
1 사용자 정보를 검출하는 방법 단계
2 차량 파라미터를 검출하는 방법 단계
3 사용자 정보 및 차량 파라미터를 분석하는 방법 단계
4 거동 패턴을 결정하는 방법 단계
5 거동 패턴을 저장하는 방법 단계
6 알고 있는 거동 패전이 존재하는지 여부를 검사하는 방법 단계
7 차량 기능을 실행하는 방법 단계
8 차량 탑승자를 관찰하기 위한 카메라
9 차량 파라미터용 센서
10 차량 주변 환경을 검출하기 위한 센서
11 메모리
12 HMI
13 보조 시스템
14 분석 및 제어 유닛

Claims (11)

  1. 차량 내에 위치하는 차량 탑승자를 지원하는 방법으로서,
    - 차량 탑승자의 거동 및 상태 중 적어도 하나에 관한 사용자 정보가 검출되는 단계(1);
    - 상기 차량의 차량 파라미터가 검출되는 단계(2);
    - 상기 검출된 사용자 정보 및 차량 파라미터가 병합되어 공동으로 분석되는 단계(3);
    - 상기 분석된 사용자 정보 및 차량 파라미터로부터 상기 차량 탑승자의 적어도 하나의 거동 패턴이 결정되는 단계(4);
    - 상기 거동 패턴은 상기 사용자 정보와 함께 저장되는 단계(5);
    - 사용자 정보가 후속적으로 검출되는 경우, 이 정보가 상기 적어도 하나의 저장된 거동 패턴의 상기 사용자 정보와 비교되는 단계(6); 및
    - 상기 거동 패턴의 일치가 있을 때 상기 거동 패턴과 관련된 차량 기능이 자동으로 실행되는 단계(7)
    를 포함하는 것을 특징으로 하는 차량 내에 위치하는 차량 탑승자를 지원하는 방법.
  2. 제1항에 있어서,
    상기 차량 탑승자에 의해 수행된 조작 액션의 결과로서 차량 파라미터가 변화되는 경우, 상기 조작 액션 이전에 검출된 상기 사용자 정보 및 차량 파라미터가 분석되는 단계(3)를 포함하는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 사용자 정보는 차량 탑승자의 시야 방향, 얼굴 표정 및 머리의 배향 중 적어도 하나를 포함하는 것인, 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 차량의 운전자의 사용자 정보가 검출되는 것인, 방법.
  5. 차량 내에 위치하는 차량 탑승자를 지원하는 장치로서,
    - 차량 탑승자의 거동 및 상태 중 적어도 하나에 관한 사용자 정보를 검출하는 제1 센서(8);
    - 차량 파라미터를 검출하기 위한 제2 센서(9);
    - 상기 제1 및 제2 센서(8, 9)로부터 센서 데이터를 공급받고, 상기 센서 데이터를 분석하여 상기 차량 탑승자의 적어도 하나의 거동 패턴을 결정하고, 상기 제1 센서(8)로부터의 후속하는 센서 데이터를 적어도 하나의 저장된 거동 패턴과 비교하여, 상기 거동 패턴의 일치가 인식되는 경우, 상기 거동 패턴과 관련된 차량 기능을 자동으로 활성화시키는 분석 및 제어 유닛(14); 및
    - 상기 적어도 하나의 거동 패턴을 저장하기 위한 메모리 유닛(11)을 포함하는 것을 특징으로 하는 차량 내에 위치하는 차량 탑승자를 지원하는 장치.
  6. 제5항에 있어서,
    상기 제1 센서(8)는 차량 탑승자의 시야 방향, 얼굴 표정 및 머리의 배향 중 적어도 하나를 검출하는, 상기 차량 내에서 상기 차량 탑승자에 정렬되는 카메라 센서인 것인, 장치.
  7. 제5항 또는 제6항에 있어서,
    상기 제2 센서(9)는:
    - 상기 차량의 조작 요소의 작동;
    - 상기 차량의 위치; 및
    - 상기 차량의 궤도
    중 하나 이상의 차량 파라미터를 결정하는 것인, 장치.
  8. 제5항 또는 제6항에 있어서,
    차량 주변 환경의 차량 외부 물체를 검출하기 위한 제3 센서(10)가 제공되고, 상기 제3 센서로부터의 센서 데이터가 또한 상기 분석 및 제어 유닛(14)으로 공급되어 상기 분석 및 제어 유닛(14)에 의해 분석되는 것인, 장치.
  9. 제5항 또는 제6항에 있어서,
    상기 거동 패턴의 일치가 있을 때, 상기 차량의 사용자 인터페이스(12)의 적응이 수행되는 것인, 장치.
  10. 제5항 또는 제6항에 있어서,
    상기 거동 패턴의 일치가 있을 때, 운전자 보조 시스템(13)의 기능이 실행되는 것인, 장치.
  11. 제5항에 따른 장치를 포함하거나, 또는 제1항에 따른 방법을 수행하도록 구성되는 자동차.
KR1020180037360A 2017-05-29 2018-03-30 차량 내에 위치하는 차량 탑승자를 지원하는 방법 및 장치 KR102050466B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017208971.7 2017-05-29
DE102017208971.7A DE102017208971A1 (de) 2017-05-29 2017-05-29 Verfahren und vorrichtung zur unterstützung eines in einem fahrzeug befindlichen fahrzeuginsassen

Publications (2)

Publication Number Publication Date
KR20180130433A KR20180130433A (ko) 2018-12-07
KR102050466B1 true KR102050466B1 (ko) 2019-11-29

Family

ID=61189267

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180037360A KR102050466B1 (ko) 2017-05-29 2018-03-30 차량 내에 위치하는 차량 탑승자를 지원하는 방법 및 장치

Country Status (5)

Country Link
US (1) US10745025B2 (ko)
EP (1) EP3409551B1 (ko)
KR (1) KR102050466B1 (ko)
CN (1) CN108944938A (ko)
DE (1) DE102017208971A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2019001528A (es) * 2016-08-09 2019-07-04 Nissan Motor Metodo de control y dispositivo de control de vehiculo de conduccion automatica.
DE102017219365B4 (de) 2017-10-27 2023-03-30 Zf Friedrichshafen Ag Vorrichtung und Verfahren zur adaptiven Fahrzeugregelung
CN111319626B (zh) * 2020-03-31 2021-07-20 深圳市英威腾电动汽车驱动技术有限公司 车辆控制参数的调整方法、装置、电子设备及存储介质
DE102020124910A1 (de) 2020-09-24 2022-03-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Unterstützen eines Fahrers beim manuellen Führen eines Kraftfahrzeugs, Unterstützungseinrichtung und Kraftfahrzeug
DE102022103912A1 (de) 2022-02-18 2023-08-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Überwachen eines Zustands eines Fahrers eines Fahrzeugs durch eine Kamera in einem Innenraum des Fahrzeugs, computerlesbares Medium, System und Fahrzeug
DE102022132377A1 (de) 2022-12-06 2024-06-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben einer automatisierten Fahrfunktion, Verfahren zum Trainieren einer künstlichen Intelligenz und Verarbeitungseinrichtung

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10255016A (ja) 1997-03-13 1998-09-25 Nissan Motor Co Ltd 瞬きによるドライバ操作予測装置
DE10126224A1 (de) 2001-05-30 2002-12-12 Bosch Gmbh Robert Verfahren und Vorrichtung zur Charakterisierung des Zustandes des Fahrers eines Kraftfahrzeuges
EP1284432A1 (de) 2001-08-14 2003-02-19 Ford Global Technologies, Inc., A subsidiary of Ford Motor Company Vorrichtung und Verfahren zur Bedienung eines Fahrerunterstützungssystems
DE10343683A1 (de) 2003-09-20 2005-04-21 Daimler Chrysler Ag Informationssystem für Kraftfahrzeuge
JP5286035B2 (ja) * 2008-11-06 2013-09-11 本田技研工業株式会社 車速制御装置
DE102011055685A1 (de) * 2011-11-24 2013-05-29 Continental Teves Ag & Co. Ohg Verfahren zum Betrieb eines ein Fahrverhalten eines Fahrzeugs beeinflussenden Systems
TWI447039B (zh) * 2011-11-25 2014-08-01 駕駛行為分析警示系統與方法
DE102012004601A1 (de) 2012-03-07 2012-10-11 Daimler Ag Fahrerassistenzsystem und Verfahren zum Anbieten und/oder Signalisieren von Informationen an einen Insassen eines Kraftfahrzeugs, sowie Kraftfahrzeug mit dem Fahrerassistenzsystem
US20130325202A1 (en) 2012-06-01 2013-12-05 GM Global Technology Operations LLC Neuro-cognitive driver state processing
KR20140002373A (ko) * 2012-06-29 2014-01-08 현대자동차주식회사 운전패턴학습을 통한 운전자 상태 감시 장치 및 방법
DE102012221036A1 (de) * 2012-11-19 2014-05-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum automatischen Einschalten einer Park- und/oder Rangierassistenzsystem basierend auf dem Blickverhalten des Fahrers
AU2014250851B2 (en) * 2013-04-12 2016-11-10 Dana Limited Vehicle and operator guidance by pattern recognition
US9103688B2 (en) 2013-08-21 2015-08-11 Continental Automotive Systems, Inc. Adapting vehicle personality using analyzed driver performance metrics
DE102013217552A1 (de) 2013-09-03 2015-03-05 Bayerische Motoren Werke Aktiengesellschaft Situationsabhängige Aktivierung von Fahrerassistenz-Funktionen
KR20150066308A (ko) * 2013-12-06 2015-06-16 한국전자통신연구원 운전자 운행 상태 판단 장치 및 그 방법
DE102014201036A1 (de) 2014-01-21 2015-07-23 Bayerische Motoren Werke Aktiengesellschaft Bildbasierte Klassifikation des Fahrerzustands und/oder des Fahrerverhaltens
EP2923912B1 (en) * 2014-03-24 2018-12-26 Volvo Car Corporation Driver intention estimation arrangement
JP2016020177A (ja) * 2014-07-15 2016-02-04 株式会社デンソー 運転制御装置
DE102014216168A1 (de) 2014-08-14 2016-02-18 Bayerische Motoren Werke Aktiengesellschaft Steuerung einer Kommunikationsausgabe einer Diensteinrichtung eines Kraftfahrzeugs
GB2532457B (en) 2014-11-19 2018-04-18 Jaguar Land Rover Ltd Dynamic control apparatus and related method
DE102014018913A1 (de) * 2014-12-17 2016-06-23 Daimler Ag Fahrerassistenzeinrichtung für einen Kraftwagen sowie Verfahren zum Betreiben einer solchen
US9308914B1 (en) 2015-01-23 2016-04-12 Denso International America, Inc. Advanced driver assistance system for vehicle
DE102015208570A1 (de) 2015-05-08 2016-11-10 Volkswagen Aktiengesellschaft Verfahren zum Steuern von Fahrzeugfunktionen
EP3357780B1 (en) * 2015-09-30 2022-10-26 Sony Group Corporation Driving control device, driving control method, and program

Also Published As

Publication number Publication date
CN108944938A (zh) 2018-12-07
US10745025B2 (en) 2020-08-18
DE102017208971A1 (de) 2018-11-29
EP3409551A1 (de) 2018-12-05
EP3409551B1 (de) 2023-07-12
KR20180130433A (ko) 2018-12-07
US20180339713A1 (en) 2018-11-29

Similar Documents

Publication Publication Date Title
KR102050466B1 (ko) 차량 내에 위치하는 차량 탑승자를 지원하는 방법 및 장치
US10800428B2 (en) Vehicle driving assistance method and vehicle
US10336323B2 (en) Predictive human-machine interface using eye gaze technology, blind spot indicators and driver experience
US9472102B2 (en) Adaptive emergency brake and steer assist systems based on driver focus
US20150009010A1 (en) Vehicle vision system with driver detection
US11440473B2 (en) Driving assistance apparatus
US10567672B2 (en) On-vehicle display control device, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium
CN110622504A (zh) 借助安装在车辆内的传感器空间分辨地探测车辆外部物体的方法和设备
CN107640092B (zh) 车辆内部和外部监视
WO2016117272A1 (ja) 運転支援装置、方法及びプログラム
GB2557438A (en) Pedestrian face detection
KR102658769B1 (ko) 운전자 보조 장치 및 그 제어 방법
JP4751894B2 (ja) 自動車の前方にある障害物を検知するシステム
CN113748060A (zh) 用于求取车辆的应有功能的安全水平的方法、安全系统和车辆
JP6398182B2 (ja) 信号情報提示装置
JP7130689B2 (ja) 車両用表示装置
CN116252711A (zh) 用于调节车辆后视镜的方法和后视镜调节系统
CN115131749A (zh) 图像处理装置、图像处理方法以及计算机可读取存储介质
EP4239598A1 (en) Method for determining an attentiveness of a driver of an automated vehicle
US20230141584A1 (en) Apparatus for displaying at least one virtual lane line based on environmental condition and method of controlling same
US20230271604A1 (en) Automatic driver assist system for a vehicle
CN115520099A (zh) 车辆和控制车辆的方法
CN112590663A (zh) 车辆转向灯控制方法、系统及车辆
KR20230046798A (ko) 차량의 사각영역을 감시하는 방법 및 장치
KR20230168060A (ko) 차량의 안전 하차를 지원하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant