KR102331937B1 - 주행 위험도 및 운전자 상태 분석에 기초한 차량 긴급 구난 장치 - Google Patents
주행 위험도 및 운전자 상태 분석에 기초한 차량 긴급 구난 장치 Download PDFInfo
- Publication number
- KR102331937B1 KR102331937B1 KR1020190154652A KR20190154652A KR102331937B1 KR 102331937 B1 KR102331937 B1 KR 102331937B1 KR 1020190154652 A KR1020190154652 A KR 1020190154652A KR 20190154652 A KR20190154652 A KR 20190154652A KR 102331937 B1 KR102331937 B1 KR 102331937B1
- Authority
- KR
- South Korea
- Prior art keywords
- driver
- information
- vehicle
- accident
- emergency rescue
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 208000019901 Anxiety disease Diseases 0.000 claims abstract description 52
- 230000036506 anxiety Effects 0.000 claims abstract description 51
- 230000005540 biological transmission Effects 0.000 claims abstract description 25
- 230000035939 shock Effects 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 210000001747 pupil Anatomy 0.000 claims description 22
- 230000033001 locomotion Effects 0.000 claims description 19
- 230000002194 synthesizing effect Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 210000004087 cornea Anatomy 0.000 claims description 6
- 230000007257 malfunction Effects 0.000 description 11
- 230000001960 triggered effect Effects 0.000 description 5
- 230000036760 body temperature Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000035900 sweating Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G06K9/00845—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G06K9/00791—
-
- G06K9/4661—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/30—Transportation; Communications
-
- G06Q50/40—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B27/00—Alarm systems in which the alarm condition is signalled from a central station to a plurality of substations
- G08B27/001—Signalling to an emergency team, e.g. firemen
Abstract
차량 긴급 구난 장치에 있어서, 상기 차량 긴급 구난 장치의 주변 영상을 촬영하는 외부 촬영부; 상기 차량 긴급 구난 장치의 운전자 영상을 촬영하는 내부 촬영부; 상기 주변 영상으로부터 외부 객체를 검출하고 외부 객체 정보를 분석하는 외부 객체 분석부; 상기 운전자 영상으로부터 운전자 얼굴을 검출하고 운전자 얼굴 정보를 분석하는 내부 객체 분석부; 상기 외부 객체 정보에 기초하여 주행 위험도 점수를 산출하는 주행 위험도 산출부; 상기 운전자 얼굴 정보에 기초하여 운전자 불안 점수를 산출하는 운전자 상태 산출부; 외부 입력에 기초하여 차량 사고 정보 전송 요청을 입력 받는 입력부; 충격 감지 센서들의 정보에 기초하여 외부 충격을 감지하여 차량의 사고 여부를 판단하는 사고 판단부; 및 상기 입력부에 의해 상기 차량 사고 정보 전송 요청을 입력 받거나 상기 사고 판단부에 의해 사고가 발생한 것으로 판단된 경우, 상기 주행 위험도 점수 및 상기 운전자 불안 점수 중 적어도 하나에 기초하여 관제 센터에 차량 사고 정보 및 긴급 호 연결 요청을 전송할지 여부를 판단하는 연결 판단부를 포함하는 차량 긴급 구난 장치 및 그 방법이 개시되어 있다.
Description
본 발명은 차량 긴급 구난 방법 및 장치에 관한 것으로서, 보다 상세하게는 외부 입력에 의해 차량 사고 정보 전송 요청을 입력 받거나 센서 정보에 기초하여 사고가 발생한 것으로 판단된 경우, 차량 주변 영상으로부터 분석된 외부 객체 정보에 기초하여 산정한 주행 위험도 점수 및 운전자 영상으로부터 분석된 운전자 얼굴 정보에 기초하여 산정한 운전자 불안 점수에 기초하여 관제 센터에 차량 사고 정보 및 긴급 호 연결 요청을 전송할지 여부를 판단하는 차량 긴급 구난 방법 및 장치에 관한 것이다.
eCall(Emergency Call, 긴급 통화 또는 긴급 호)은 차량 사고 발생 시 또는 운전자가 eCall 버튼을 누른 경우, eCall 단말기가 관제 센터(PSAP: Public Safety Answering Point)나 긴급 구조 기관에 사고 위치 및 사고 정보 등을 전송하고 긴급 구난을 요청하여, 신속하고 효율적인 응급 조치가 이루어지도록 하는 서비스이다. 최근 들어 세계 각국에서는 차량에 eCall 시스템을 의무화하는 법안이 시행 중이거나, 법규화가 추진 중이다. eCall 시스템은 eCall 단말기인 IVS(In-Vehicle System), 기간 이동 통신사인 MNO(Mobile Network Operator) 및 관제 센터인 PSAP을 포함한다.
하지만 이미 의무 장착을 시행하고 있는 러시아와 유럽 등에서는 긴급 구조가 필요 없는 eCall 단말기의 오작동율이 문제가 되고 있다. eCall 단말기의 오작동이란 잘못된 차량 센서 값이나 사고판단 알고리즘으로 eCall이 트리거 됐거나, 또는 사고는 발생했으나 사망자나 중상자가 없는 가벼운 접촉사고와 같은 긴급 구조가 필요 없는 경미한 사고에서 eCall이 트리거 된 경우를 의미한다. 즉, eCall의 목적인 골든타임 확보와 신속한 구조를 통해 사망자를 감소시키는 정도의 사고가 아니어서, 2차 구조 연계기관인 소방차, 경찰차 또는 구급차 등의 출동이 필요 없는 경미한 사고에서 eCall이 트리거 된 경우를 의미한다.
eCall 단말기 제조사는 에어백 전개 신호 및 자체 센서(2축 가속도센서, 3축가속도 센서, 자이로센서, 방위각 센서 등) 등의 충격 값을 이용하여 사고판단 알고리즘을 구현하는데, 작은 충격에도 에어백이 전개되거나 장착된 센서들의 고장 또는 부정확성, 사고판단 알고리즘의 오류 등으로 인해 긴급 구조가 불필요한 eCall(False Call)이 트리거될 수 있다. 이로인해, 제한된 리소스를 가지고 있는 eCall 관제 센터는 비용 및 운영 측면에서 대응하는데 어려움이 있다. 오작동율은 관제 센터의 운영인력 및 운영장비의 과도한 비용추가를 야기한다.
eCall 단말기는 이동통신을 통해 eCall 데이터를 전송하는데, eCall 단말기의 오작동이 발생하면 불필요한 통신 비용이 발생한다. 또한 운전자들도 관제 센터와의 통화에 시간을 소요하는 등 불편함을 가지게 된다.
eCall이 트리거되면 관제 센터에서 2차 구조 연계기관의 출동이 필요한 긴급구난 사고인지 1차적으로 필터링을 하지만, 만약 관제 센터의 운영요원이 모두 통화중이면 자동으로 사고위치가 2차 구조 연계기관에 전송되어 사고 현장으로 출동하게 된다. 물론 출동 전에 사고 차량에 전화를 해서 사고나 운전자의 상태를 확인한 후 출동여부를 자체적으로 결정할 수 있지만, 운전자와 바로 통화 연결이 안되는 경우 우선 출동해서 확인하게 되므로, eCall 단말기의 오작동이 발생하면 2차 구조 연계기관의 불필요한 출동이 발생하게 된다.
특히 eCall 단말기 의무 장착이 현재의 BM (Before Market: 공장에서 자동차 제작시 eCall 단말기가 장착됨)에서 AM (After Market: 차량 출고 후 별도로 구입해서 장착함)까지 확대되어 블랙박스, 내비게이션 등과 같은 AM 단말기까지 eCall이 적용되면, 훨씬 엄격한 품질 기준의 자동차 제작사가 만드는 현재의 BM eCall 단말기보다 신뢰성이 떨어지는 AM eCall 단말기로부터 많은 eCall 오작동 트리거의 발생이 예상된다.
유럽과 러시아의 eCall 시행 통계에 따르면 현재까지 약 80%의 eCall 발생이 긴급 구난이 필요 없는 오작동으로 판단되었으며, 오작동율을 감소시키기 위해서 다양한 해결책을 고민하고 있는 상태이다. 국내에도 eCall 의무장착 시행과 관제 센터 구축을 앞두고 있는 실정이므로, eCall 발생의 오작동율을 줄이기 위한 방안이 필요하다.
또한, eCall 트리거 후 관제 센터에서 정확한 사고분석 및 원인규명을 위해서는 현재의 최소사고정보(MSD: Minimum Set of Data) 정보로는 사고시간 및 사고 위치 정도는 알 수있으나 정확한 사고 원인 분석을 하는데 어려움이 있다. 따라서, 사고 전 소정의 시간 동안의 주행 영상 정보나 운전자 상태 정보 등의 추가 정보 획득 및 관제 센터로의 전송 등이 필요하다.
본 발명은 상술한 기술적 문제에 대응하기 위하여 안출된 것으로, 본 발명의 목적은 종래 기술에서의 한계와 단점에 의해 발생하는 다양한 문제점을 실질적으로 보완할 수 있는 것으로, 외부 입력에 의해 차량 사고 정보 전송 요청을 입력 받거나 센서 정보에 기초하여 사고가 발생한 것으로 판단된 경우, 차량 주변 영상으로부터 분석된 외부 객체 정보에 기초하여 산정한 주행 위험도 점수 및 운전자 영상으로부터 분석된 운전자 얼굴 정보에 기초하여 산정한 운전자 불안 점수에 기초하여 관제 센터에 차량 사고 정보 및 긴급 호 연결 요청을 전송할지 여부를 판단하는 차량 긴급 구난 방법 및 장치를 제공하는데 있고, 상기 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
본 발명의 일 실시예에 따르면 차량 긴급 구난 방법은 외부 촬영부에 의해, 차량 긴급 구난 장치의 주변 영상을 촬영하는 단계; 내부 촬영부에 의해, 상기 차량 긴급 구난 장치의 운전자 영상을 촬영하는 단계; 외부 객체 분석부에 의해, 상기 주변 영상으로부터 외부 객체를 검출하고 외부 객체 정보를 분석하는 단계; 내부 객체 분석부에 의해, 상기 운전자 영상으로부터 운전자 얼굴을 검출하고 운전자 얼굴 정보를 분석하는 단계; 주행 위험도 산출부에 의해, 상기 외부 객체 정보에 기초하여 주행 위험도 점수를 산출하는 단계; 운전자 상태 산출부에 의해, 상기 운전자 얼굴 정보에 기초하여 운전자 불안 점수를 산출하는 단계; 입력부에 의해, 외부 입력에 기초하여 차량 사고 정보 전송 요청을 입력 받는 단계; 사고 판단부에 의해, 충격 감지 센서들의 정보에 기초하여 외부 충격을 감지하여 차량의 사고 여부를 판단하는 단계; 및 상기 입력부에 의해 상기 차량 사고 정보 전송 요청을 입력 받거나 상기 사고 판단부에 의해 사고가 발생한 것으로 판단된 경우, 연결 판단부에 의해, 상기 주행 위험도 점수 및 상기 운전자 불안 점수 중 적어도 하나에 기초하여 관제 센터에 차량 사고 정보 및 긴급 호 연결 요청을 전송할지 여부를 판단하는 단계를 포함한다.
본 발명의 일 실시예에 따르면 상기 주변 영상은 차량 긴급 구난 장치의 전방, 양 측방 및 후방 중 적어도 하나의 방향으로 촬영된 영상이고; 상기 외부 객체 정보는 객체 종류, 객체의 과거 움직임, 객체의 미래 움직임 예측, 객체까지의 거리 및 객체의 크기 중 적어도 하나를 포함하고; 상기 주행 위험도 점수는 상기 외부 객체 정보에 기초하여 적어도 하나의 객체와의 추돌 가능성을 산정한다.
본 발명의 일 실시예에 따르면 영상 합성부에 의해, 상기 주변 영상을 합성하여, 상기 차량 긴급 구난 장치의 탑뷰에서 바라본 어라운드 뷰 이미지를 생성하는 단계를 더 포함한다.
본 발명의 일 실시예에 따르면 상기 차량 사고 정보는 최소 사고 정보 또는 확장 사고 정보이고; 상기 차량 사고 정보는 상기 어라운드 뷰 이미지를 포함한다.
본 발명의 일 실시예에 따르면 상기 운전자 얼굴 정보는 운전자 시선 방향, 운전자 동공 크기 및 운전자 눈 개폐 상태 중 적어도 하나를 포함한다.
본 발명의 일 실시예에 따르면 운전자 생체 정보 획득부에 의해, 외부 입력에 기초하여 운전자 생체 정보를 획득하는 단계를 더 포함하고; 상기 운전자 불안 점수는 상기 운전자 동공 크기 및 상기 운전자 생체 정보 중 적어도 하나에 기초하여 운전자의 불안 정도를 산정한다.
본 발명의 일 실시예에 따르면 상기 운전자 얼굴 정보를 분석하는 단계는 상기 내부 촬영부로부터 방출된 라이트 빔이 운전자의 각막에서 반사된 영역을 나타내는 각막반사 영역을 검출하고, 운전자 동공 및 상기 각막반사 영역의 각각의 크기 및 위치를 기초로 상기 운전자 시선 방향을 판단하고; 상기 운전자 상태 산출부에 의해, 상기 운전자 시선 방향에 기초하여 전방주시 태만 기간이 소정의 제2 시간을 경과한 횟수를 나타내는 전방주시 태만 횟수를 산출하는 단계를 더 포함한다.
본 발명의 일 실시예에 따르면 상기 운전자 얼굴 정보를 분석하는 단계는 상기 운전자 눈 개폐 상태를 더 판단하고; 상기 운전자 상태 산출부에 의해, 상기 운전자 눈 개폐 상태에 기초하여 운전자가 눈을 감은 기간이 소정의 제3 시간을 경과한 횟수를 나타내는 졸음운전 횟수를 산출하는 단계를 더 포함한다.
본 발명의 일 실시예에 따르면 상기 차량 사고 정보는 최소 사고 정보 또는 확장 사고 정보이고; 상기 차량 사고 정보는 상기 전방주시 태만 횟수 및 상기 졸음운전 횟수 중 적어도 하나를 포함한다.
또한, 본 발명의 일 실시예에 따르면 상기 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체를 포함한다.
또한, 본 발명의 일 실시예에 따르면 차량 긴급 구난 장치는 상기 차량 긴급 구난 장치의 주변 영상을 촬영하는 외부 촬영부; 상기 차량 긴급 구난 장치의 운전자 영상을 촬영하는 내부 촬영부; 상기 주변 영상으로부터 외부 객체를 검출하고 외부 객체 정보를 분석하는 외부 객체 분석부; 상기 운전자 영상으로부터 운전자 얼굴을 검출하고 운전자 얼굴 정보를 분석하는 내부 객체 분석부; 상기 외부 객체 정보에 기초하여 주행 위험도 점수를 산출하는 주행 위험도 산출부; 상기 운전자 얼굴 정보에 기초하여 운전자 불안 점수를 산출하는 운전자 상태 산출부; 외부 입력에 기초하여 차량 사고 정보 전송 요청을 입력 받는 입력부; 충격 감지 센서들의 정보에 기초하여 외부 충격을 감지하여 차량의 사고 여부를 판단하는 사고 판단부; 및 상기 입력부에 의해 상기 차량 사고 정보 전송 요청을 입력 받거나 상기 사고 판단부에 의해 사고가 발생한 것으로 판단된 경우, 상기 주행 위험도 점수 및 상기 운전자 불안 점수 중 적어도 하나에 기초하여 관제 센터에 차량 사고 정보 및 긴급 호 연결 요청을 전송할지 여부를 판단하는 연결 판단부를 포함한다.
본 발명에 따르면, 긴급 구조가 필요 없는 eCall 오작동율을 줄일 수 있어 관제 센터의 효율적인 운용 및 불필요한 2차 구조 연계기관의 출동을 줄일 수 있다. 구체적으로, 차량 주변 영상으로부터 분석된 외부 객체 정보에 기초하여 산정한 주행 위험도 점수 및 운전자 영상으로부터 분석된 운전자 얼굴 정보에 기초하여 산정한 운전자 불안 점수에 기초하여 보다 정확한 사고 판단이 가능하므로 Call 단말기의 오작동율을 감소시킬 수 있고, 관제 센터에 차량 사고 정보 및 긴급 호 연결 요청을 전송할지 여부를 판단하는데 정확도(eCall 트리거의 정확도)를 향상시킬 수 있다.
또한 본 발명에 따르면, 사고 전 소정의 시간 동안의 주행 영상 정보나 운전자 상태 정보 등의 추가 정보를 획득하고 관리함으로써, 종래 사고분석을 위해 차량으로부터 블랙박스 등의 사고 동영상을 수동으로 제공받아서 분석하는 일을 자동화할 수 있어, 관제센터에서 보다 신속하고 정확한 사고분석 및 사고 원인 규명이 가능하다.
도 1은 본 발명의 일 실시예에 따른 차량 긴급 구난 장치의 개략적인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 차량 긴급 구난 방법의 개략적인 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 어라운드 뷰 이미지 생성 및 주행 위험도 점수 산출 절차를 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 운전자 불안 점수 산출 절차를 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 졸음운전 횟수 산출 절차를 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 전방주시 태만 횟수 산출 절차를 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 차량 긴급 구난 방법의 개략적인 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 어라운드 뷰 이미지 생성 및 주행 위험도 점수 산출 절차를 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 운전자 불안 점수 산출 절차를 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 졸음운전 횟수 산출 절차를 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 전방주시 태만 횟수 산출 절차를 개략적으로 도시한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다. 도면에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면 상에서 각 구성 요소의 크기는 설명의 명료성을 위하여 과장되어 있을 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량 긴급 구난 장치의 개략적인 블록도이다.
본 발명의 일 실시예에 따른 차량 긴급 구난 장치(100)는 외부 촬영부(110), 내부 촬영부(120), 외부 객체 분석부(130), 내부 객체 분석부(140), 주행 위험도 산출부(150), 운전자 상태 산출부(160), 입력부(170), 사고 판단부(180) 및 연결 판단부(190)를 포함한다.
외부 촬영부(110)는 차량 긴급 구난 장치(100)의 주변 영상을 촬영한다. 상기 주변 영상은 차량 긴급 구난 장치(100)의 전방, 양 측방 및 후방 중 적어도 하나의 방향으로 촬영된 영상을 의미한다. 외부 촬영부(110)는 이미지 센서를 포함하고, 이미지 센서에 의해 얻어지는 정지 영상 또는 동영상을 촬영한다. 외부 촬영부(110)는 전방, 양 측방 및 후방을 촬영하기 위해, 전방 카메라, 사이드 미러 등에 설치된 측면 카메라 및 후방 카메라 중 적어도 하나를 포함한다. 외부 촬영부(110)는 일반 모노 카메라, 스테레오 카메라, 깊이 카메라(depth camera), LDWS(Lane Departure Warning) 카메라, LKAS(Lane Keeping Assistance) 카메라, SSC(Smart Cruise Control) 또는 BSD(Blind Sport Detection) 레이더, 라이더(Lidar) 및 초음파 센서 중 적어도 하나이거나, 적어도 하나를 포함할 수 있으나, 이에 제한되지 않음은 당업자에게 자명하다. 스테레오 카메라는 객체와의 거리를 측정하는 거리 센서를 포함할 수 있으며, 이를 통해 스테레오 카메라는 영상 획득과 동시에 외부 객체와의 위치 관계 및 촬영 방향에 대응하는 공간에 대한 3차원 거리 정보를 감지할 수 있다. 또한, 레이더, 라이더(Lidar) 및 초음파 센서는 객체와의 거리 측정을 보다 정확히 할 수 있다.
차량 긴급 구난 장치(100)는 영상 합성부(미도시)를 더 포함할 수 있다. 영상 합성부는 상기 주변 영상을 합성하여, 차량 긴급 구난 장치(100)의 탑뷰에서 바라본 어라운드 뷰 이미지를 생성한다.
내부 촬영부(120)는 차량 긴급 구난 장치(100)의 운전자 영상을 촬영한다. 내부 촬영부(120)는 이미지 센서를 포함하고, 이미지 센서에 의해 얻어지는 정지 영상 또는 동영상을 촬영한다. 내부 촬영부(120)는 일반 모노 카메라, 스테레오 카메라 및 깊이 카메라(depth camera)일 수 있으나, 이에 한정되지 않음은 당업자에게 자명하다. 또한, 내부 촬영부(120)는 적외선 카메라이거나, 적외선 카메라를 포함할 수 있고, 내부 촬영부(120)는 차량 내부가 어두운 경우에도 운전자 영상을 획득할 수 있다.
외부 객체 분석부(130)는 상기 주변 영상으로부터 외부 객체를 검출하고 외부 객체 정보를 분석한다. 외부 객체 분석부(130)는 컴퓨터 비젼(computer vision) 기반의 신호 처리를 수행한다. 외부 객체 정보는 객체 종류, 객체의 과거 움직임, 객체의 미래 움직임 예측, 객체까지의 거리 및 객체의 크기 중 적어도 하나를 포함한다. 객체 종류는 차선, 차량, 보행자, 건물, 터널, 표지판, 불빛, 교통 신호 및 도로면을 포함한다. 객체의 과거 움직임 또는 미래 움직임은 객체의 이동방향, 횡방향 속도, 종방향 속도 및 궤적을 포함한다. 또한, 외부 객체 분석부(130)는 상기 주변 영상으로부터 차량의 주행 속도 정보, 주행 방향 정보 및 주행 차선의 정보 중 적어도 하나의 정보를 분석한다.
내부 객체 분석부(140)는 상기 운전자 영상으로부터 운전자 얼굴을 검출하고 운전자 얼굴 정보를 분석한다. 본 실시예에 따르면, 내부 객체 분석부(140)는 운전자 눈 개폐 상태를 더 판단한다. 상기 운전자 얼굴 정보는 운전자 시선 방향, 운전자 동공 크기 및 운전자 눈 개폐 상태 중 적어도 하나를 포함한다. 본 발명의 일 실시예에 따르면, 내부 객체 분석부(140)는 내부 촬영부(120)로부터 방출된 라이트 빔이 운전자의 각막에서 반사된 영역을 나타내는 각막반사 영역을 검출하고, 운전자 동공 및 상기 각막반사 영역의 각각의 크기 및 위치를 기초로 상기 운전자 시선 방향을 판단한다. 내부 객체 분석부(140)는 상기 운전자 얼굴 정보를 메모리에 누적하여 저장한다.
차량 긴급 구난 장치(100)는 운전자 생체 정보 획득부(미도시)를 더 포함할 수 있다. 운전자 생체 정보 획득부는 외부 입력에 기초하여 운전자 생체 정보를 획득한다. 상기 외부 입력은 운전자가 착용한 웨어러블 기기로부터의 입력일 수 있으나, 다양한 방식으로 외부 입력을 받을 수 있음은 당업자에게 자명하다. 상기 운전자 생체 정보는 심박수, 맥박수, 발한량 및 체온 중 적어도 하나를 포함한다.
주행 위험도 산출부(150)는 상기 외부 객체 정보에 기초하여 주행 위험도 점수를 산출한다. 주행 위험도 점수는 상기 외부 객체 정보에 기초하여 적어도 하나의 객체와의 추돌 가능성을 산정한 것을 의미한다. 주행 위험도 점수는 미리 설정된, 소정의 시간동안 산정될 수 있다.
운전자 상태 산출부(160)는 운전자 얼굴 정보에 기초하여 운전자 불안 점수를 산출한다. 상기 운전자 불안 점수는 상기 운전자 동공 크기 및 상기 운전자 생체 정보 중 적어도 하나에 기초하여 운전자의 불안 정도를 산정한다. 상기 운전자 불안 점수를 통해, 운전자의 운행 중 심리 상태를 파악할 수 있다. 운전자 불안 점수는 미리 설정된, 소정의 시간동안 산정될 수 있다.
본 발명의 일 실시예에 따르면, 운전자 상태 산출부(160)는 상기 운전자 시선 방향에 기초하여 전방주시 태만 기간이 소정의 제2 시간을 경과한 횟수를 나타내는 전방주시 태만 횟수를 더 산출한다. 운전자 상태 산출부(160)는 운전자 시선 방향이 상기 소정의 제2 시간 이상 전방 이외의 방향이라면, 상기 운전자가 전방주시 태만 상태라고 판단한다.
본 발명의 일 실시예에 따르면, 운전자 상태 산출부(160)는 상기 운전자 눈 개폐 상태에 기초하여 운전자가 눈을 감은 기간이 소정의 제3 시간을 경과한 횟수를 나타내는 졸음운전 횟수를 더 산출한다.
입력부(170)는 외부 입력에 기초하여 차량 사고 정보 전송 요청을 입력받는다.
사고 판단부(180)는 충격 감지 센서들의 정보에 기초하여 외부 충격을 감지하여 차량의 사고 여부를 판단한다.
연결 판단부(190)는 입력부(170)에 의해 상기 차량 사고 정보 전송 요청을 입력 받거나 사고 판단부(180)에 의해 사고가 발생한 것으로 판단된 경우, 상기 주행 위험도 점수 및 상기 운전자 불안 점수 중 적어도 하나에 기초하여 관제 센터에 차량 사고 정보 및 긴급 호 연결 요청을 전송할지 여부를 판단한다. 차량 사고 정보는 최소 사고 정보 또는 확장 사고 정보를 의미한다. 최소 사고 정보 또는 확장 사고 정보는 CBOR(Concise Binary Object Representation, IETF RFC7049) 또는 ASN.1(Abstract Syntax Notation One, ITU-T X.208)을 이용하여 인코딩되나, 이에 제한되지 않음은 당업자에게 자명하다. 상기 차량 사고 정보는 상기 어라운드 뷰 이미지, 상기 전방주시 태만 횟수 및 상기 졸음운전 횟수 중 적어도 하나를 포함한다.
상기 차량 사고 정보는 소정의 시간 동안 획득되며, 상기 소정의 시간은 입력부(170)에 의해 상기 차량 사고 정보 전송 요청을 입력 받은 시점(또는 수동 이벤트 발생 시점) 또는 사고 판단부(180)에 의해 사고가 발생한 것으로 판단된 시점(또는 자동 이벤트 발생 시점) 기준으로, 소정의 이전 시간을 포함하도록 설정된다. 예를 들어, 상기 소정의 시간은 입력부(170)에 의해 상기 차량 사고 정보 전송 요청을 입력 받은 시점 또는 사고 판단부(180)에 의해 사고가 발생한 것으로 판단된 시점 기준으로, 이전 20초로 설정될 수 있다. 사고 정보 전송부(미도시)는 상기 소정의 시간 동안 획득된 상기 차량 사고 정보를 관제 센터에 전송한다.
관제 센터는 상기 어라운드 뷰 이미지, 상기 전방주시 태만 횟수 및 상기 졸음운전 횟수에 기초하여, 보다 신속하고 정확한 사고분석 및 운전자의 지속적인 행태 분석에 기초한 사고 원인 규명이 가능하다.
연결 판단부(190)의 구체적인 동작은 이하 도 2에서 구체적으로 후술한다.
또한, 본 발명의 다른 실시예에 따른 차량 긴급 구난 장치는 외부 촬영부, 외부 객체 분석부, 주행 위험도 산출부, 입력부, 사고 판단부 및 연결 판단부를 포함한다.
외부 촬영부는 차량 긴급 구난 장치의 주변 영상을 촬영한다. 상기 주변 영상은 차량 긴급 구난 장치의 전방, 양 측방 및 후방 중 적어도 하나의 방향으로 촬영된 영상을 의미한다. 본 실시예에 따른 차량 긴급 구난 장치는 영상 합성부(미도시)를 더 포함할 수 있다. 영상 합성부는 상기 주변 영상을 합성하여, 상기 차량 긴급 구난 장치의 탑뷰에서 바라본 어라운드 뷰 이미지를 소정의 제5 시간 동안 생성한다. 외부 객체 분석부는 상기 주변 영상으로부터 외부 객체를 검출하고 외부 객체 정보를 분석한다. 상기 외부 객체 정보는 객체 종류, 객체의 과거 움직임, 객체의 미래 움직임 예측, 객체까지의 거리 및 객체의 크기 중 적어도 하나를 포함한다. 주행 위험도 산출부는 상기 외부 객체 정보에 기초하여 주행 위험도 점수를 산출한다. 주행 위험도 점수는 상기 외부 객체 정보에 기초하여 적어도 하나의 객체와의 추돌 가능성을 산정한 것을 의미한다.
본 실시예에 따른 차량 긴급 구난 장치의 연결 판단부는 입력부에 의해 차량 사고 정보 전송 요청을 입력 받거나 사고 판단부에 의해 사고가 발생한 것으로 판단된 경우, 주행 위험도 점수에 기초하여 관제 센터에 차량 사고 정보 및 긴급 호 연결 요청을 전송할지 여부를 판단한다. 차량 사고 정보는 최소 사고 정보 또는 확장 사고 정보를 의미한다. 상기 차량 사고 정보는 상기 어라운드 뷰 이미지를 포함한다.
또한, 본 발명의 또다른 실시예에 따른 차량 긴급 구난 장치는 내부 촬영부, 내부 객체 분석부, 운전자 상태 산출부, 입력부, 사고 판단부 및 연결 판단부를 포함한다.
내부 촬영부는 차량 긴급 구난 장치의 운전자 영상을 촬영한다. 내부 객체 분석부는 상기 운전자 영상으로부터 운전자 얼굴을 검출하고 운전자 얼굴 정보를 분석한다. 상기 운전자 얼굴 정보는 운전자 시선 방향, 운전자 동공 크기 및 운전자 눈 개폐 상태 중 적어도 하나를 포함한다. 본 실시예에 따르면, 내부 객체 분석부는 상기 운전자 눈 개폐 상태를 더 판단할 수 있다. 본 실시예에 따른 차량 긴급 구난 장치는 운전자 생체 정보 획득부(미도시)를 더 포함할 수 있다. 운전자 생체 정보 획득부는 외부 입력에 기초하여 운전자 생체 정보를 획득한다. 상기 외부 입력은 운전자가 착용한 웨어러블 기기로부터의 입력일 수 있으나, 다양한 방식으로 외부 입력을 받을 수 있음은 당업자에게 자명하다. 상기 운전자 생체 정보는 심박수, 맥박수, 발한량 및 체온 중 적어도 하나를 포함한다. 운전자 상태 산출부는 운전자 얼굴 정보에 기초하여 운전자 불안 점수를 산출한다. 상기 운전자 불안 점수는 상기 운전자 동공 크기 및 상기 운전자 생체 정보 중 적어도 하나에 기초하여 운전자의 불안 정도를 산정한다. 상기 운전자 불안 점수를 통해, 운전자의 운행 중 심리 상태를 파악할 수 있다. 본 실시예에 따른 운전자 상태 산출부는 상기 운전자 시선 방향에 기초하여 전방주시 태만 기간이 소정의 제6 시간을 경과한 횟수를 나타내는 전방주시 태만 횟수를 더 산출한다. 본 실시예에 따른 운전자 상태 산출부는 상기 운전자 눈 개폐 상태에 기초하여 운전자가 눈을 감은 기간이 소정의 제7 시간을 경과한 횟수를 나타내는 졸음운전 횟수를 더 산출한다.
본 실시예에 따른 차량 긴급 구난 장치의 연결 판단부는 입력부에 의해 상기 차량 사고 정보 전송 요청을 입력 받거나 사고 판단부에 의해 사고가 발생한 것으로 판단된 경우, 상기 운전자 불안 점수에 기초하여 관제 센터에 차량 사고 정보 및 긴급 호 연결 요청을 전송할지 여부를 판단한다. 차량 사고 정보는 최소 사고 정보 또는 확장 사고 정보를 의미한다. 상기 차량 사고 정보는 상기 전방주시 태만 횟수 및 상기 졸음운전 횟수 중 적어도 하나를 포함한다.
또한, 본 발명의 또다른 실시예에 따른 차량 긴급 구난 장치는 운전자 생체 정보 획득부, 운전자 상태 산출부, 입력부, 사고 판단부 및 연결 판단부를 포함한다.
운전자 생체 정보 획득부는 외부 입력에 기초하여 운전자 생체 정보를 획득한다. 상기 외부 입력은 운전자가 착용한 웨어러블 기기로부터의 입력일 수 있으나, 다양한 방식으로 외부 입력을 받을 수 있음은 당업자에게 자명하다. 상기 운전자 생체 정보는 심박수, 맥박수, 발한량 및 체온 중 적어도 하나를 포함한다. 운전자 상태 산출부는 운전자 생체 정보에 기초하여 운전자 불안 점수를 산출한다. 상기 운전자 불안 점수를 통해, 운전자의 운행 중 심리 상태를 파악할 수 있다. 본 실시예에 따른 차량 긴급 구난 장치의 연결 판단부는 입력부에 의해 상기 차량 사고 정보 전송 요청을 입력 받거나 사고 판단부에 의해 사고가 발생한 것으로 판단된 경우, 상기 운전자 불안 점수에 기초하여 관제 센터에 차량 사고 정보 및 긴급 호 연결 요청을 전송할지 여부를 판단한다.
도 2는 본 발명의 일 실시예에 따른 차량 긴급 구난 방법의 개략적인 흐름도이다.
단계 210에서, 차량 긴급 구난 장치(100)는 외부 입력에 기초하여 차량 사고 정보 전송 요청을 입력 받는다.
단계 220에서, 차량 긴급 구난 장치(100)는 충격 감지 센서들의 정보에 기초하여 외부 충격을 감지하여 차량의 사고 여부를 판단한다.
단계 230에서, 차량 사고 정보 전송 요청을 입력 받거나 사고가 발생한 것으로 판단된 경우 단계 250으로 이동하고, 그렇지 않은 경우 단계 210 또는 단계 220으로 이동한다.
단계 250에서, 차량 긴급 구난 장치(100)는 주행 위험도 산출부(150)에 의해 산출된 주행 위험도 점수가 소정의 임계값(임계값 1) 이상인지 여부를 판단한다. 주행 위험도 점수가 임계값 1 이상인 경우 단계 270으로 이동하고, 주행 위험도 점수가 임계값 1 미만인 경우 단계 210 또는 단계 220으로 이동한다. 상기 주행 위험도 점수는 외부 객체 정보에 기초하여 적어도 하나의 객체와의 추돌 가능성을 산정한 것을 의미한다. 주행 위험도 점수는 미리 설정된 소정의 시간동안 산정될 수 있다.
단계 270에서, 차량 긴급 구난 장치(100)는 운전자 상태 산출부(160)에 의해 산출된 운전자 불안 점수가 소정의 임계값(임계값 2) 이상인지 여부를 판단한다. 운전자 불안 점수가 임계값 2 이상인 경우 단계 290으로 이동하고, 운전자 불안 점수가 임계값 2 미만인 경우 단계 210 또는 단계 220으로 이동한다. 상기 운전자 불안 점수는 운전자 동공 크기 및 운전자 생체 정보 중 적어도 하나에 기초하여 운전자의 불안 정도를 산정한다. 상기 운전자 불안 점수를 통해, 운전자의 운행 중 심리 상태를 파악할 수 있다. 운전자 불안 점수는 미리 설정된 소정의 시간동안 산정될 수 있다.
단계 290에서, 차량 긴급 구난 장치(100)는 차량 사고 정보 및 긴급 호 연결 요청을 관제 센터에 전송한다. 관제 센터로의 긴급 호 연결은 VoIP(Voice over IP)나 VoLTE(Voice over LTE)를 이용하며, 차량 사고 정보 전송은 NG eCall (Next-Generation eCall, IETF RFC8147) 및 차량 긴급구난 체계(e-Call) ITSK 단체표준과 같은 국내외 표준을 따른다. 또한, 관제 센터로의 차량 사고 정보 전송은 MSRP(The Message Session Relay Protocol, IETF RFC4975), FTP(File Transfer Protocol, IETF RFC114), TFTP(Trivial File Transfer Protocol, IETF RFC783) 및 HTTP(HyperText Transfer Protocol, IETF RFC2068)와 같은 프로토콜을 이용할 수 있으나, 이에 제한되지 않음은 당업자에게 자명하다.
도 3은 본 발명의 일 실시예에 따른 어라운드 뷰 이미지 생성 및 주행 위험도 점수 산출 절차를 개략적으로 도시한다.
단계 310에서, 차량 긴급 구난 장치(100)는 차량 긴급 구난 장치의 주변 영상을 촬영한다.
단계 320에서, 차량 긴급 구난 장치(100)는 차량 긴급 구난 장치의 탑뷰에서 바라본 어라운드 뷰 이미지를 생성한다. 어라운드 뷰 이미지 생성 시, 전방, 양 측방 및 후방으로 촬영된 각각의 이미지 경계 부분을 블렌딩(blending)하여 어라운드 뷰 이미지를 생성함으로써, 보다 자연스러운 이미지를 생성할 수 있다.
단계 330에서, 차량 긴급 구난 장치(100)는 상기 주변 영상으로부터 외부 객체를 검출하고 외부 객체 정보를 분석한다. 차량 긴급 구난 장치(100)는 상기 주변 영상으로부터 디스패러티 (disparity) 정보를 검출하고, 디스패러티 정보에 기초하여 적어도 하나의 이미지에 대한 객체 검출을 수행하고, 객체를 분류 및 식별한다. 구체적으로, 차량 긴급 구난 장치(100)는 메모리에 객체 종류별로 기준 패턴이 미리 저장된 객체들과 검출된 객체를 비교함으로써, 객체를 식별할 수 있다. 차량 긴급 구난 장치(100)는 검출된 객체와 유사도가 가장 높은 기준 패턴에 해당하는 객체를 식별한다. 차량 긴급 구난 장치(100)는 뉴럴 네트워크, SVM(Support Vector Machine), Haar-like 특징을 이용한 AdaBoost 및 HOG(Histograms of Oriented Gradients) 중 적어도 하나의 기법을 이용하여 객체를 식별 및 분류할 수 있으나, 이에 제한되지 않음은 당업자에게 자명하다.
또한, 차량 긴급 구난 장치(100)는 객체 검출 후에도 계속적으로 객체의 움직임(예, 크기/방향/속도/색상 변화 등)을 실시간 또는 주기적으로 트래킹한다. 차량 긴급 구난 장치(100)는 객체의 움직임 또는 움직임 벡터를 연산하며, 연산된 움직임 또는 움직임 벡터에 기초하여 객체의 이동 등을 트래킹한다. 또한, 차량 긴급 구난 장치(100)는 객체의 과거 움직임에 기초하여, 객체의 미래 움직임을 예측할 수 있다.
단계 340에서, 차량 긴급 구난 장치(100)는 상기 외부 객체 정보에 기초하여 주행 위험도 점수를 산출한다.
단계 350에서, 차량 긴급 구난 장치(100)는 상기 주행 위험도 점수 및 상기 어라운드 뷰 이미지를 메모리에 저장한다. 차량 긴급 구난 장치(100)는 상기 주행 위험도 점수 및 상기 어라운드 뷰 이미지를 소정의 시간동안(예. 20초) 누적하여 메모리에 저장한다. 메모리 용량이 초과된 경우, 차량 긴급 구난 장치(100)는 가장 오래된 저장항목을 메모리에서 삭제하고 신규 항목을 저장한다.
도 4는 본 발명의 일 실시예에 따른 운전자 불안 점수 산출 절차를 개략적으로 도시한다.
단계 410에서, 차량 긴급 구난 장치(100)는 운전자 영상을 촬영한다.
단계 420에서, 차량 긴급 구난 장치(100)는 상기 운전자 영상으로부터 운전자 얼굴을 검출하고 운전자 얼굴 정보를 분석한다. 상기 운전자 얼굴 정보는 운전자 시선 방향, 운전자 동공 크기 및 운전자 눈 개폐 상태 중 적어도 하나를 포함한다. 구체적으로, 차량 긴급 구난 장치(100)는 운전자의 얼굴에 포함된 복수의 얼굴 특징점(facial feature point)을 검출하여, 운전자의 눈을 검출한다. 차량 긴급 구난 장치(100)는 운전자의 눈에 포함된 동공 및 각막반사 영역(corneal reflection)을 검출한다. 각막 반사 영역은 카메라로부터 방출된 라이트 빔이 운전자의 각막에서 반사된 영역으로서, 다른 부분에 비교해 큰 밝기값을 가진다. 이를 통해 차량 긴급 구난 장치(100)는 동공의 크기를 산출할 수 있다. 차량 긴급 구난 장치(100)는 동공 및 각막반사 영역의 각각의 크기와 위치를 기초로, 게이즈 벡터(gaze vector)를 계산하여 운전자의 시선 방향을 판단한다.
단계 430에서, 차량 긴급 구난 장치(100)는 외부 입력에 기초하여 운전자 생체 정보를 획득한다. 상기 운전자 생체 정보는 심박수, 맥박수, 발한량 및 체온 중 적어도 하나를 포함한다. 상기 외부 입력은 운전자가 착용한 웨어러블 기기로부터의 입력일 수 있으나, 다양한 방식으로 외부 입력을 받을 수 있음은 당업자에게 자명하다. 예를 들면, 심박수는 운전자의 신체 일부에 착용된 웨어러블 기기에 의해 획득된다. 웨어러블 기기는 기기 내에 포함된 심박 센서를 이용하여 운전자의 심박수를 측정하고, 측정된 심박수 정보는 근거리 무선 통신을 이용하여 차량 긴급 구난 장치(100)에게 전송된다. 근거리 무선 통신은 블루투수(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신 (Infrared Data Association: IrDA), UWB(Ultra-Wideband), ZigBee, NFC(Near Field communication), WI-FI(Wireless-Fidelity), WI-FI direct 및 Wireless USB(Wireless Universal Serial Bus)를 포함하나, 이에 제한되지 않음은 당업자에게 자명하다.
단계 440에서, 차량 긴급 구난 장치(100)는 상기 운전자 얼굴 정보 및 상기 운전자 생체 정보 중 적어도 하나에 기초하여 운전자 불안 점수를 산출한다. 구체적으로, 상기 운전자 불안 점수는 상기 운전자 동공 크기 및 상기 운전자 생체 정보 중 적어도 하나에 기초하여 운전자의 불안 정도를 산정한다. 예를 들어, 운전자는 불안을 느낄수록 동공 크기와 심박수가 증가한다. 따라서, eCall 트리거 이전 소정의 시간(예. 20초) 동안, 동공 크기 및 심박수가 급격히 변화한다는 것은 운전자가 외부 주행 환경에 대하여 불안감을 크게 느끼고 있는 상태임을 의미한다. 따라서, 상기 운전자 불안 점수를 통해 운전자의 운행 중 심리 상태를 파악할 수 있다. 차량 긴급 구난 장치(100)는 상기 운전자 불안 점수를 소정의 임계값과 비교함으로써, 운전자의 불안 상태를 판단한다. 예를 들어, 상기 운전자 불안 점수가 소정의 임계값 이상인 경우, 차량 긴급 구난 장치(100)는 운전자의 상태가 불안 상태인 것으로 판단한다.
단계 450에서, 차량 긴급 구난 장치(100)는 운전자 불안 점수를 메모리에 저장한다.
도 5는 본 발명의 일 실시예에 따른 졸음운전 횟수 산출 절차를 개략적으로 도시한다.
단계 510에서, 차량 긴급 구난 장치(100)는 운전자 영상을 촬영한다.
단계 520에서, 차량 긴급 구난 장치(100)는 운전자 눈 개폐 상태를 판단한다. 운전자가 눈을 뜬 상태인 경우 단계 510으로 이동하고, 운전자가 눈을 감은 상태인 경우 단계 540으로 이동한다.
단계 540에서, 차량 긴급 구난 장치(100)는 운전자가 눈을 감은 기간이 소정의 임계값(임계값3) 이상인지 여부를 판단한다. 운전자가 눈을 감은 기간이 상기 소정의 임계값 이상인 경우, 단계 550으로 이동한다. 운전자가 눈을 감은 기간이 상기 소정의 임계값 이상인 경우, 차량 긴급 구난 장치(100)는 운전자가 졸음 상태라고 판단한다. 운전자가 눈을 감은 기간이 상기 소정의 임계값 미만인 경우, 단계 510으로 이동한다. 운전자가 소정의 임계값 미만 동안 눈을 감은 경우, 차량 긴급 구난 장치(100)는 운전자가 잠시 눈을 감은 상태라고 판단한다. 예를 들어, 보통 눈을 깜박일 때 눈을 감은 기간은 최소 75ms에서 최대 400ms까지이므로, 상기 임계값3은 400ms로 설정할 수 있고, 운전자가 눈을 감은 기간이 400ms 이상이면 졸음 상태라고 판단한다. 운전자가 눈을 감은 기간이 800ms 이상이면 수면 상태로 정의할 수 있다.
단계 550에서, 차량 긴급 구난 장치(100)는 졸음운전 횟수를 누적하여 산출한다.
단계 560에서, 차량 긴급 구난 장치(100)는 졸음운전 횟수를 메모리에 저장한다.
도 6은 본 발명의 일 실시예에 따른 전방주시 태만 횟수 산출 절차를 개략적으로 도시한다.
단계 610에서, 차량 긴급 구난 장치(100)는 차량 긴급 구난 장치의 운전자 영상을 촬영한다.
단계 620에서, 차량 긴급 구난 장치(100)는 운전자 영상으로부터 운전자 시선 방향을 판단한다.
운전자 시선 방향이 전방인 경우, 단계 610으로 이동한다. 운전자 시선 방향이 전방이 아닌 경우, 단계 640으로 이동한다.
단계 640에서, 차량 긴급 구난 장치(100)는 전방주시 태만 기간이 소정의 임계값(임계값4) 이상인지 여부를 판단한다. 전방주시 태만 기간이 상기 소정의 임계값 이상인 경우, 단계 650으로 이동한다. 전방주시 태만 기간이 상기 소정의 임계값 미만인 경우, 단계 610으로 이동한다. 차량 긴급 구난 장치(100)는 전방주시 태만 기간이 상기 소정의 임계값 이상인 경우, 상기 운전자가 전방주시 태만 상태라고 판단한다. 따라서, 차량 긴급 구난 장치(100)는 운전자가 잠시 백미러를 보거나 주변 환경을 파악하기 위해 두리번거리는 경우, 운전자가 전방 주시 태만 상태라고 판단하지 않는다.
단계 650에서, 차량 긴급 구난 장치(100)는 전방주시 태만 횟수를 누적하여 산출한다.
단계 660에서, 차량 긴급 구난 장치(100)는 전방주시 태만 횟수를 메모리에 저장한다.
이상에서 본 발명의 바람직한 실시예가 상세히 기술되었지만, 본 발명의 범위는 이에 한정되지 않고, 다양한 변형 및 균등한 타 실시예가 가능하다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해서 정해져야 할 것이다.
예를 들어, 본 발명의 예시적인 실시예에 따른 장치는 도시된 바와 같은 장치 각각의 유닛들에 커플링된 버스, 상기 버스에 커플링된 적어도 하나의 프로세서를 포함할 수 있고, 명령, 수신된 메시지 또는 생성된 메시지를 저장하기 위해 상기 버스에 커플링되고, 전술한 바와 같은 명령들을 수행하기 위한 적어도 하나의 프로세서에 커플링된 메모리를 포함할 수 있다.
또한, 본 발명에 따른 시스템은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 상기 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등) 및 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
Claims (19)
- 차량 긴급 구난 장치에 있어서,
상기 차량 긴급 구난 장치의 주변 영상을 촬영하는 외부 촬영부;
상기 차량 긴급 구난 장치의 운전자 영상을 촬영하는 내부 촬영부;
상기 주변 영상으로부터 외부 객체를 검출하고 외부 객체 정보를 분석하는 외부 객체 분석부;
상기 운전자 영상으로부터 운전자 얼굴을 검출하고 운전자 얼굴 정보를 분석하는 내부 객체 분석부;
상기 외부 객체 정보에 기초하여 주행 위험도 점수를 산출하는 주행 위험도 산출부;
상기 운전자 얼굴 정보에 기초하여 운전자 불안 점수를 산출하는 운전자 상태 산출부;
외부 입력에 기초하여 차량 사고 정보 전송 요청을 입력 받는 입력부;
충격 감지 센서들의 정보에 기초하여 외부 충격을 감지하여 차량의 사고 여부를 판단하는 사고 판단부; 및
상기 입력부에 의해 상기 차량 사고 정보 전송 요청을 입력 받거나 상기 사고 판단부에 의해 사고가 발생한 것으로 판단된 경우, 상기 주행 위험도 점수 및 상기 운전자 불안 점수에 기초하여 관제 센터에 차량 사고 정보 및 긴급 호 연결 요청을 전송할지 여부를 판단하는 연결 판단부를 포함하고;
상기 연결 판단부는 상기 입력부에 의해 상기 차량 사고 정보 전송 요청을 입력 받거나 상기 사고 판단부에 의해 사고가 발생한 것으로 판단된 경우, 상기 주행 위험도 점수가 소정의 제1 임계값 이상인지 여부 및 상기 운전자 불안 점수가 소정의 제2 임계값 이상인지 여부를 판단하여, 각각의 판단 결과 상기 주행 위험도 점수가 상기 소정의 제1 임계값 이상이고 상기 운전자 불안 점수가 상기 소정의 제2 임계값 이상일 경우 상기 관제 센터에 상기 차량 사고 정보 및 상기 긴급 호 연결 요청을 전송하는 것을 특징으로 하는 차량 긴급 구난 장치. - 제 1항에 있어서,
상기 주변 영상은 상기 차량 긴급 구난 장치의 전방, 양 측방 및 후방 중 적어도 하나의 방향으로 촬영된 영상이고;
상기 외부 객체 정보는 객체 종류, 객체의 과거 움직임, 객체의 미래 움직임 예측, 객체까지의 거리 및 객체의 크기 중 적어도 하나를 포함하고;
상기 주행 위험도 점수는 상기 외부 객체 정보에 기초하여 적어도 하나의 객체와의 추돌 가능성을 산정하는 것을 특징으로 하는 차량 긴급 구난 장치. - 제 2항에 있어서,
상기 주변 영상을 합성하여, 상기 차량 긴급 구난 장치의 탑뷰에서 바라본 어라운드 뷰 이미지를 생성하는 영상 합성부를 더 포함하는 것을 특징으로 하는 차량 긴급 구난 장치. - 제 3항에 있어서,
상기 차량 사고 정보는 최소 사고 정보 또는 확장 사고 정보이고;
상기 차량 사고 정보는 상기 어라운드 뷰 이미지를 포함하는 것을 특징으로 하는 차량 긴급 구난 장치. - 제 1항에 있어서,
상기 운전자 얼굴 정보는 운전자 시선 방향, 운전자 동공 크기 및 운전자 눈 개폐 상태 중 적어도 하나를 포함하는 것을 특징으로 하는 차량 긴급 구난 장치. - 제 5항에 있어서,
외부 입력에 기초하여 운전자 생체 정보를 획득하는 운전자 생체 정보 획득부를 더 포함하고;
상기 운전자 불안 점수는 상기 운전자 동공 크기 및 상기 운전자 생체 정보 중 적어도 하나에 기초하여 운전자의 불안 정도를 산정하는 것을 특징으로 하는 차량 긴급 구난 장치. - 제 5항에 있어서,
상기 내부 객체 분석부는 상기 내부 촬영부로부터 방출된 라이트 빔이 운전자의 각막에서 반사된 영역을 나타내는 각막반사 영역을 검출하고, 운전자 동공 및 상기 각막반사 영역의 각각의 크기 및 위치를 기초로 상기 운전자 시선 방향을 판단하고;
상기 운전자 상태 산출부는 상기 운전자 시선 방향에 기초하여 전방주시 태만 기간이 소정의 제2 시간을 경과한 횟수를 나타내는 전방주시 태만 횟수를 더 산출하는 것을 특징으로 하는 차량 긴급 구난 장치. - 제 7항에 있어서,
상기 내부 객체 분석부는 상기 운전자 눈 개폐 상태를 더 판단하고;
상기 운전자 상태 산출부는 상기 운전자 눈 개폐 상태에 기초하여 운전자가 눈을 감은 기간이 소정의 제3 시간을 경과한 횟수를 나타내는 졸음운전 횟수를 더 산출하는 것을 특징으로 하는 차량 긴급 구난 장치. - 제 8항에 있어서,
상기 차량 사고 정보는 최소 사고 정보 또는 확장 사고 정보이고;
상기 차량 사고 정보는 상기 전방주시 태만 횟수 및 상기 졸음운전 횟수 중 적어도 하나를 포함하는 것을 특징으로 하는 차량 긴급 구난 장치. - 외부 촬영부에 의해, 차량 긴급 구난 장치의 주변 영상을 촬영하는 단계;
내부 촬영부에 의해, 상기 차량 긴급 구난 장치의 운전자 영상을 촬영하는 단계;
외부 객체 분석부에 의해, 상기 주변 영상으로부터 외부 객체를 검출하고 외부 객체 정보를 분석하는 단계;
내부 객체 분석부에 의해, 상기 운전자 영상으로부터 운전자 얼굴을 검출하고 운전자 얼굴 정보를 분석하는 단계;
주행 위험도 산출부에 의해, 상기 외부 객체 정보에 기초하여 주행 위험도 점수를 산출하는 단계;
운전자 상태 산출부에 의해, 상기 운전자 얼굴 정보에 기초하여 운전자 불안 점수를 산출하는 단계;
입력부에 의해, 외부 입력에 기초하여 차량 사고 정보 전송 요청을 입력 받는 단계;
사고 판단부에 의해, 충격 감지 센서들의 정보에 기초하여 외부 충격을 감지하여 차량의 사고 여부를 판단하는 단계; 및
상기 입력부에 의해 상기 차량 사고 정보 전송 요청을 입력 받거나 상기 사고 판단부에 의해 사고가 발생한 것으로 판단된 경우, 연결 판단부에 의해, 상기 주행 위험도 점수 및 상기 운전자 불안 점수에 기초하여 관제 센터에 차량 사고 정보 및 긴급 호 연결 요청을 전송할지 여부를 판단하는 단계를 포함하고;
상기 주행 위험도 점수 및 상기 운전자 불안 점수에 기초하여 관제 센터에 차량 사고 정보 및 긴급 호 연결 요청을 전송할지 여부를 판단하는 단계는 상기 입력부에 의해 상기 차량 사고 정보 전송 요청을 입력 받거나 상기 사고 판단부에 의해 사고가 발생한 것으로 판단된 경우, 상기 주행 위험도 점수가 소정의 제1 임계값 이상인지 여부 및 상기 운전자 불안 점수가 소정의 제2 임계값 이상인지 여부를 판단하여, 각각의 판단 결과 상기 주행 위험도 점수가 상기 소정의 제1 임계값 이상이고 상기 운전자 불안 점수가 상기 소정의 제2 임계값 이상일 경우 상기 관제 센터에 상기 차량 사고 정보 및 상기 긴급 호 연결 요청을 전송하는 것을 특징으로 하는 차량 긴급 구난 방법. - 제 10항에 있어서,
상기 주변 영상은 차량 긴급 구난 장치의 전방, 양 측방 및 후방 중 적어도 하나의 방향으로 촬영된 영상이고;
상기 외부 객체 정보는 객체 종류, 객체의 과거 움직임, 객체의 미래 움직임 예측, 객체까지의 거리 및 객체의 크기 중 적어도 하나를 포함하고;
상기 주행 위험도 점수는 상기 외부 객체 정보에 기초하여 적어도 하나의 객체와의 추돌 가능성을 산정하는 것을 특징으로 하는 차량 긴급 구난 방법. - 제 11항에 있어서,
영상 합성부에 의해, 상기 주변 영상을 합성하여, 상기 차량 긴급 구난 장치의 탑뷰에서 바라본 어라운드 뷰 이미지를 생성하는 단계를 더 포함하는 것을 특징으로 하는 차량 긴급 구난 방법. - 제 12항에 있어서,
상기 차량 사고 정보는 최소 사고 정보 또는 확장 사고 정보이고;
상기 차량 사고 정보는 상기 어라운드 뷰 이미지를 포함하는 것을 특징으로 하는 차량 긴급 구난 방법. - 제 10항에 있어서,
상기 운전자 얼굴 정보는 운전자 시선 방향, 운전자 동공 크기 및 운전자 눈 개폐 상태 중 적어도 하나를 포함하는 것을 특징으로 하는 차량 긴급 구난 방법. - 제 14항에 있어서,
운전자 생체 정보 획득부에 의해, 외부 입력에 기초하여 운전자 생체 정보를 획득하는 단계를 더 포함하고;
상기 운전자 불안 점수는 상기 운전자 동공 크기 및 상기 운전자 생체 정보 중 적어도 하나에 기초하여 운전자의 불안 정도를 산정하는 것을 특징으로 하는 차량 긴급 구난 방법. - 제 14항에 있어서,
상기 운전자 얼굴 정보를 분석하는 단계는 상기 내부 촬영부로부터 방출된 라이트 빔이 운전자의 각막에서 반사된 영역을 나타내는 각막반사 영역을 검출하고, 운전자 동공 및 상기 각막반사 영역의 각각의 크기 및 위치를 기초로 상기 운전자 시선 방향을 판단하고;
상기 운전자 상태 산출부에 의해, 상기 운전자 시선 방향에 기초하여 전방주시 태만 기간이 소정의 제2 시간을 경과한 횟수를 나타내는 전방주시 태만 횟수를 산출하는 단계를 더 포함하는 것을 특징으로 하는 차량 긴급 구난 방법. - 제 16항에 있어서,
상기 운전자 얼굴 정보를 분석하는 단계는 상기 운전자 눈 개폐 상태를 더 판단하고;
상기 운전자 상태 산출부에 의해, 상기 운전자 눈 개폐 상태에 기초하여 운전자가 눈을 감은 기간이 소정의 제3 시간을 경과한 횟수를 나타내는 졸음운전 횟수를 산출하는 단계를 더 포함하는 것을 특징으로 하는 차량 긴급 구난 방법. - 제 17항에 있어서,
상기 차량 사고 정보는 최소 사고 정보 또는 확장 사고 정보이고;
상기 차량 사고 정보는 상기 전방주시 태만 횟수 및 상기 졸음운전 횟수 중 적어도 하나를 포함하는 것을 특징으로 하는 차량 긴급 구난 방법. - 제 10항 내지 제 18항 중 어느 한 항에 의한 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190154652A KR102331937B1 (ko) | 2019-11-27 | 2019-11-27 | 주행 위험도 및 운전자 상태 분석에 기초한 차량 긴급 구난 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190154652A KR102331937B1 (ko) | 2019-11-27 | 2019-11-27 | 주행 위험도 및 운전자 상태 분석에 기초한 차량 긴급 구난 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210065648A KR20210065648A (ko) | 2021-06-04 |
| KR102331937B1 true KR102331937B1 (ko) | 2021-11-30 |
Family
ID=76391798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190154652A KR102331937B1 (ko) | 2019-11-27 | 2019-11-27 | 주행 위험도 및 운전자 상태 분석에 기초한 차량 긴급 구난 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102331937B1 (ko) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101551697B1 (ko) * | 2013-07-23 | 2015-09-09 | 현대오트론 주식회사 | 물체의 윤곽을 표시하는 어라운드 뷰 시스템 및 차량의 어라운드 뷰 제공 방법 |
| KR102201645B1 (ko) * | 2016-07-26 | 2021-01-12 | 한국전자통신연구원 | 사고 발생 통보를 위한 차량 정보 수집 장치 및 방법 |
| US10346697B2 (en) * | 2016-12-21 | 2019-07-09 | Hyundai America Technical Center, Inc | Driver state monitoring using corneal reflection detection |
| KR102471072B1 (ko) * | 2016-12-21 | 2022-11-25 | 삼성전자주식회사 | 전자 장치 및 그 동작 방법 |
| KR102030583B1 (ko) * | 2017-11-23 | 2019-10-11 | (주)에이텍티앤 | 인공지능 기반의 교통사고 예측시스템 및 그 방법 |
-
2019
- 2019-11-27 KR KR1020190154652A patent/KR102331937B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210065648A (ko) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11787408B2 (en) | System and method for controlling vehicle based on condition of driver | |
| US10011216B1 (en) | Auto turn signal initiation based on lane change and driver history | |
| RU2756256C1 (ru) | Система и способы контроля поведения водителя для управления автопарком в парке транспортных средств с использованием устройства формирования изображения, обращенного к водителю | |
| US10800424B2 (en) | Driver condition detection system | |
| JP6647423B2 (ja) | 運転支援装置および運転支援方法 | |
| US10298741B2 (en) | Method and device for assisting in safe driving of a vehicle | |
| US20190265712A1 (en) | Method for determining driving policy | |
| US10009580B2 (en) | Method for supplementing a piece of object information assigned to an object and method for selecting objects in surroundings of a vehicle | |
| EP2860664B1 (en) | Face detection apparatus | |
| US9809115B2 (en) | Operator drowsiness detection in surface mines | |
| CN111344750A (zh) | 使用面向驾驶员的成像装置来监视驾驶员行为以用于车辆的车队中的车辆车队管理的系统和方法 | |
| CN112289003B (zh) | 疲劳驾驶不端驾驶行为监测方法及主动安全驾驶监控系统 | |
| US10525873B2 (en) | Turn by turn activation of turn signals | |
| US20170316581A1 (en) | Method and apparatus for detecting a utilization of an electronic device by a driver, for a vehicle | |
| KR101938314B1 (ko) | 운전 습관에 따른 후측방 경보 장치 및 방법 | |
| JP2018183532A (ja) | 状態推定装置 | |
| KR20190134909A (ko) | 주행상황 판단 정보 기반 운전자 상태 인식 장치 및 방법 | |
| JP6296684B2 (ja) | 運転支援装置 | |
| CN115720555A (zh) | 用于提高自动驾驶车辆中用户警觉的方法和系统 | |
| KR102331937B1 (ko) | 주행 위험도 및 운전자 상태 분석에 기초한 차량 긴급 구난 장치 | |
| KR101680833B1 (ko) | 보행자 검출 경보 장치 및 방법 | |
| JP2021060676A (ja) | システムおよびプログラム等 | |
| US11807264B2 (en) | Driving assistance apparatus, driving assistance method, and medium | |
| JP2021196941A (ja) | ドライバ監視システム | |
| JP2021122655A (ja) | 異常検知システム、異常検知装置、及び異常検知方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right |