KR20220127863A - 차량에 갇힌 승객을 검출하기 위한 인공 지능 기반 경보 - Google Patents

차량에 갇힌 승객을 검출하기 위한 인공 지능 기반 경보 Download PDF

Info

Publication number
KR20220127863A
KR20220127863A KR1020227027648A KR20227027648A KR20220127863A KR 20220127863 A KR20220127863 A KR 20220127863A KR 1020227027648 A KR1020227027648 A KR 1020227027648A KR 20227027648 A KR20227027648 A KR 20227027648A KR 20220127863 A KR20220127863 A KR 20220127863A
Authority
KR
South Korea
Prior art keywords
vehicle
image
subsystem
operating
detecting
Prior art date
Application number
KR1020227027648A
Other languages
English (en)
Inventor
길 골로브
Original Assignee
마이크론 테크놀로지, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크론 테크놀로지, 인크. filed Critical 마이크론 테크놀로지, 인크.
Publication of KR20220127863A publication Critical patent/KR20220127863A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/30—Conjoint control of vehicle sub-units of different type or different function including control of auxiliary equipment, e.g. air-conditioning compressors or oil pumps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00978—Control systems or circuits characterised by failure of detection or safety means; Diagnostic methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/0065—Control members, e.g. levers or knobs
    • B60H1/00657—Remote control devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/0073—Control systems or circuits characterised by particular algorithms or computational models, e.g. fuzzy logic or dynamic models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B60H1/00742—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models by detection of the vehicle occupants' presence; by detection of conditions relating to the body of occupants, e.g. using radiant heat detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B60H1/00764—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models the input being a vehicle driving condition, e.g. speed
    • B60H1/00778—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models the input being a vehicle driving condition, e.g. speed the input being a stationary vehicle position, e.g. parking or stopping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K1/00—Details of thermometers not specially adapted for particular types of thermometer
    • G01K1/02—Means for indicating or recording specially adapted for thermometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/186—Fuzzy logic; neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/188—Data fusion; cooperative systems, e.g. voting among different detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/01—Occupants other than the driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/016—Personal emergency signalling and security systems

Abstract

개시된 실시예는 차량에 갇힌 사람 또는 동물을 검출하고 그러한 사람 또는 동물에게 자동화된 지원을 제공하는 것에 관한 것이다. 일 실시예에서, 차량이 정지된 것을 검출하는 단계; 적어도 하나의 카메라를 활성화하고, 적어도 하나의 카메라를 이용하여 차량 내부의 적어도 하나의 이미지를 기록하는 단계; 머신 러닝 모델을 이용하여 적어도 하나의 이미지를 분류하는 단계; 및 분류가 사람 또는 동물이 적어도 하나의 이미지에 존재한다는 것을 나타내는 것을 검출하는 것에 응답하여 차량의 적어도 하나의 서브시스템을 동작시키는 단계를 포함하는 방법이 개시된다.

Description

차량에 갇힌 승객을 검출하기 위한 인공 지능 기반 경보
관련 출원
본 출원은 "차량에 갇힌 승객을 검출하기 위한 인공 지능 기반 경보"라는 명칭의 2020년 2월 6일에 출원된 미국 특허 출원 일련 번호 제16/783,381호에 대한 우선권을 주장하며, 그 전체 개시 내용이 본 명세서에 참고로 포함된다.
기술 분야
개시된 실시예는 자동차 시스템, 특히 자동차 내에 갇힌 승객(또는 다른 존재)의 존재를 검출하고 검출에 기초하여 교정 조치를 취하기 위한 시스템에 관한 것이다.
많은 사람과 동물이 잠긴 차량에 남겨져 고통을 받고 있다. 종종 부상이나 사망은 직사광선 또는 간접적인 햇빛에 차량이 주차될 때 온도가 크게 상승하는 더운 날씨에 주로 발생한다. 이 문제를 해결하기 위한 다양한 시도가 있었다. 그러한 시도 중 하나는 운전자가 차량을 떠나기 전에 먼저 운전자에게 경고하는 것이다. 이와 같은 또 다른 시도는 차량이 잠긴 후 차량 안에 사람이나 동물이 있는지 검출하기 위해 무게 또는 동작 센서를 사용하는 것이다. 이러한 접근 방식은 다양한 문제를 안고 있다. 첫 번째 접근 방식에서, 운전자가 차량을 멈출 때마다 경고가 제공되기 때문에 운전자가 이러한 경고를 무시하는 경우가 많다. 두 번째 접근 방식에서, 동작 또는 무게 센서의 사용은 위양성(false positive)(가방 또는 좌석의 기타 품목으로 인해)을 제공하거나 위음성(false negative)(수면 중이거나 의식이 없는 사람 또는 동물로 인해)을 제공할 수 있다. 그 결과, 차량에서 인간이나 동물(총칭하여 "존재")을 감지하는 현재 시스템은 잠긴 차량에 갇힌 그러한 동물을 적절하게 검출하지 못한다.
개시된 실시예는 차량에 갇힌 존재를 자동으로 검출하여 이러한 존재를 차량 운전자의 개입 없이 선제적으로 보호하기 위한 머신 러닝(ML) 시스템을 제공함으로써 이들 및 다른 기술적 문제를 해결한다.
실시예는 유사한 참조가 유사한 요소를 나타내는 첨부 도면들의 도면에서 제한이 아니라 예의 방식으로 예시된다.
도 1은 본 개시내용의 일부 실시예에 따른 잠긴 차량에 존재가 있음을 검출하기 위한 방법을 예시하는 흐름도이다.
도 2는 본 개시내용의 일부 실시예에 따라 잠긴 차량 내의 존재를 검출하는 것에 응답하여 차량을 자동으로 작동시키는 방법을 예시하는 흐름도이다.
도 3은 본 개시내용의 일부 실시예에 따른 온도 범위를 벗어난 상태를 검출하는 것에 응답하여 차량 서브시스템을 작동시키는 방법을 예시하는 흐름도이다.
도 4는 본 개시내용의 일부 실시예에 따라 갇힌 승객을 검출할 때 비상 조치를 취하기 위한 방법을 예시하는 흐름도이다.
도 5는 본 개시내용의 일부 실시예에 따른 차량용 컴퓨팅 시스템을 예시하는 블록도이다.
개시된 실시예는 ML 모델을 사용하여 차량에 갇힌 존재의 존재를 검출하기 위한 장치, 방법, 및 컴퓨터 판독가능 매체를 설명한다. ML 모델 및 차량 내 카메라를 사용함으로써, 개시된 실시예는 차량 내 존재가 있음을 보다 확실하게 예측할 수 있다. 잠긴 차량 내의 존재를 검출하는 것에 응답하여, 개시된 실시예는 차량의 운전자의 도움 없이 그러한 존재를 보조하기 위한 기술을 추가로 설명한다.
도 1은 본 개시내용의 일부 실시예에 따른 잠긴 차량에 존재가 있음을 검출하기 위한 방법을 예시하는 흐름도이다.
블록(102)에서, 방법은 차량이 정지된 것을 검출한다. 일부 실시예에서, 방법은 (블록(102)에서) 차량이 정지된 후 잠겨 있는지 여부를 추가로 검출한다.
일 실시예에서, 방법은 통신 버스(예를 들어, 컨트롤러 영역 네트워크)를 통해 차량이 정지, 주차, 및/또는 잠겨 있을 때를 나타내는 신호를 수신한다. 예시된 실시예에서, 이들 신호는 버스에서 모니터링되고 방법의 나머지 블록을 개시할 때를 결정하는 데 사용된다.
제1 실시예에서, 방법은 차량이 정지했다고 결정하면 나머지 블록을 실행할 수 있다. 이 실시예에서, 방법은 (일 예로서) 차량의 속도를 모니터링하고 속도가 0이거나 0에 가까울 때 차량이 정지했다고 결정할 수 있다. 대안적으로, 또는 전술한 것과 관련하여, 방법은 브레이크가 눌렸음을 나타내는 신호를 분석할 수 있다.
제2 실시예에서, 방법은 차량이 주차 상태에 있는지 여부를 결정할 수 있다. 일부 실시예에서, 이 실시예는 차량이 정지했다고 결정한 후에 수행될 수 있거나 독립적으로 수행될 수 있다. 일 실시예에서, 방법은 운전자가 차량을 주차시키는 것에 응답하여 전송된 변속기 제어 유닛(transmission control unit)에 의해 생성된 신호를 검출함으로써 차량이 주차되어 있다고 결정한다. 다른 신호는 단독으로 또는 이러한 기술과 결합하여 사용될 수 있으며, 이러한 신호에는 자동 주차 지원 또는 기타 유사한 기술의 사용을 포함한다.
제3 실시예에서, 방법은 차량의 하나 이상의 도어들이 잠겨 있는지 여부를 결정할 수 있다. 일부 실시예에서, 이 실시예는 차량이 정지했다고 결정한 후 또는 차량이 주차된 후에 수행될 수 있다. 대안적으로, 이 제3 실시예는 독립적으로 수행될 수 있다. 일 실시예에서, 방법은 사용자가 도어를 잠갔다는 것을 나타내는 도어 잠금 제어 유닛으로부터의 신호에 대해 버스를 모니터링한다. 이 신호는 사용자가 원격 키 포브(key fob), 모바일 어플리케이션 또는 기타 디바이스를 통해 문을 잠갔다는 것을 검출한 것에 응답하여 생성될 수 있다.
일부 실시예에서 차량은 나머지 블록으로 진행하는 데 사용되는 전용 신호를 제공하도록 구성될 수 있다. 이 실시예에서, 차량은 버스를 통해 시작 신호를 브로드캐스팅하고, 이는 방법을 진행하게 한다. 일 실시예에서, 이 시작 신호는 차량이 위에서 설명된 3개의 실시예들 중 임의의 하나 이상을 내부적으로 실행한 후에 발행될 수 있다. 따라서, 위의 세 가지 실시예들은 여전히 실행될 수 있지만 방법이 아닌 차량의 운영 체제에 의해 실행될 수 있다.
블록(104)에서, 방법은 하나 이상의 차량 내 카메라들을 활성화한다.
예시된 실시예에서, 블록(104)은 블록(102)에서 긍정적인 결정 후에만 실행된다. 즉, 차량에 장착된 카메라들은 차량이 정차된 후, 그리고 구현되고, 잠기고, 주차된 경우에만 작동된다. 대안적으로, 일부 실시예에서, 차량 내 카메라들은 차량의 작동 동안 다른 어플리케이션에 의해 사용될 수 있다. 이 시나리오에서 이 방법은 차량이 잠겨 있을 때 이러한 차량 내 카메라들을 재사용한다.
일 실시예에서, 카메라를 활성화하는 것은 동작을 위해 카메라를 개시하는 것을 포함한다. 카메라를 활성화하는 특정 단계는 각 유형의 카메라에 고유하며 이러한 특정 프로세스의 세부 사항은 본 명세서에 포함되지 않는다. 일 실시예에서, 카메라의 활성화는 카메라 배치에 대한 규칙들 또는 선호도들의 세트에 기초하여 카메라 시야를 포커싱하거나 이동시키는 것을 추가로 포함할 수 있다. 예를 들어, 중앙 앞유리(windshield)에 내장된 카메라는 조수석에 포커싱되기 위해 이동되어 시야에서 운전석의 적어도 일부를 제거할 수 있다. 이 조정을 통해 카메라는 관심 있는 좌석(잠재적인 승객 포함)을 더 많이 녹화할 수 있다.
일부 실시예에서, 차량 내 카메라들의 배향을 지정하기 위해 별도의 모델이 사용될 수 있다. 구체적으로, 차량의 특징을 인식할 수 있는 ML 모델을 사용하여 카메라의 배향을 지정할 수 있다. 즉, 카메라가 원하는 영역(예를 들어, 특정 좌석)에 포커싱된 것으로 ML 모델이 예측할 때까지 카메라들이 이동되고 프레임들이 분석될 수 있다.
다른 실시예에서, 카메라의 활성화는 중지될 때까지 연속적으로 기록하도록 카메라를 설정하는 것을 포함할 수 있다. 대안으로 또는 전술한 내용과 함께, 활성화는 또한 (가능한 경우) 카메라가 기술적으로 가능한 한 많은 가능한 시야를 캡처하기 위해 회전하거나 이동하도록 할 수 있다.
블록(106)에서, 방법은 차량 내부의 이미지를 캡처한다.
일 실시예에서, 방법은 개별 카메라들로부터 원시 이미지 프레임들을 수신하는 전용 프로세서에 의해 실행된다. 이러한 프레임들의 각각은 카메라 디바이스나 프로세서에 의해 타임스탬프(timestamp)될 수 있다. 결과적으로, 이 방법은 차량이 잠겨 있는 동안 다양한 시간들에 대해 하나 이상의 프레임들의 세트를 수신한다.
일부 실시예에서, 블록(106)의 일부로서, 방법은 ML 모델의 예측 정확도를 개선하기 위해 프레임을 전처리할 수 있다(블록(108)에서 논의됨). 일 실시예에서, 방법은 아티팩트(artifact) 또는 다른 잡음 요소를 제거하기 위해 이미지를 클리닝할 수 있다. 예를 들어, 이 방법은 차량 좌석을 캡처하는 픽셀들을 유지하면서 차량 내부의 구조적 요소(예를 들어, 창문, 문)를 제거하기 위해 하나 이상의 변환(transformation)을 적용할 수 있다. 일부 실시예에서, 이 전처리는 선택적이다.
블록(108)에서, 방법은 ML 모델을 사용하여 이미지를 분류한다.
예시된 실시예에서, ML 모델은 분류된 데이터를 사용하여 훈련된 예측 모델을 포함한다. 일 실시예에서, ML 모델은 인공 신경망(ANN), 컨볼루션 신경망(CNN), 순환 신경망(RNN), 자동 인코더 등과 같은 신경망을 포함한다. 도시된 실시예에서, 모델의 계층들의 수는 실험 및 훈련을 기초로 구성될 수 있다. 대안적으로, 예측 모델은 지원 벡터 머신(SVM), 결정 트리(decision tree) 또는 나이브 베이즈 분류기(na
Figure pct00001
ve Bayes classifier)와 같은 비신경망 네트워크를 포함할 수 있다.
예시된 실시예에서, ML 모델은 분류된 이미지 데이터를 사용하여 훈련된다. 구체적으로, 차량에 있는 존재의 이미지들은 그러한 존재를 포함하는 것으로 기록되고 라벨링된다. 이러한 라벨링된 이미지들은 궁극적으로 가중치들의 세트(예를 들어, 신경망의 경우) 및 기타 모델 파라미터들을 생성하는 ML 모델을 훈련하는 데 사용된다. 그런 다음 이러한 파라미터들은 차량에 의해 저장되고 새로운 이미지에 존재가 포함되는지 여부를 예측하는 데 사용된다. 일부 실시예에서, 차량 내 네트워크는 캡처되고 라벨 확인된 실제 이미지들에 기초하여 네트워크를 재훈련하도록 구성될 수 있다. 예를 들어, ML 모델이 존재를 예측하고 지휘자(authority)에 경고하지만(도 4 참조) 나중에 예측이 위양성으로 식별되는 경우, 이러한 이미지들은 적절하게 분류되고 ML 모델을 재훈련하는 데 사용될 수 있다.
일 실시예에서, ML 모델은 위치에 관계없이 존재를 검출하는 모델을 포함할 수 있다. 이 실시예에서, ML 모델은 일반적으로 존재의 사진을 이용하여 훈련되며, 사람이나 동물을 포함한 임의의 이미지 데이터를 이용하여 빠르게 훈련될 수 있다. 일부 실시예에서, 기존 ML 모델은 이 실시예에서 재사용(및 향상)될 수 있다.
다른 실시예에서, ML 모델은 차량에 있는 존재의 이미지를 사용하여 훈련되는 모델을 포함할 수 있다. 이 실시예에서, 훈련 데이터세트는 차량 내부에 기록된 데이터만 포함하고 차량 외부의 이미지는 포함하지 않는다. 이러한 훈련 프로세스는 모델 매개변수가 자동차 컨텍스트에 맞게 미세 조정되기 때문에 향상된 성능을 제공한다.
다른 실시예에서, ML 모델은 차량의 특정 제조사 및/또는 모델에 있는 존재의 이미지를 사용하여 훈련되는 모델을 포함할 수 있다. 이 실시예는 이전 모델과 유사하지만 훈련 데이터는 차량별로 생성된다. 일부 실시예에서, 모델은 생산 동안 제조업체에 의해 생성된 다음 각 제조된 차량에 설치될 수 있다. 이 실시예에서, 제조사는 차량의 각 모델에 대한 이미지들의 세트를 생성하고 이 데이터를 사용하여 ML 모델을 훈련할 수 있다.
일부 실시예에서, ML 모델은 카메라들의 위치에 기초하여 추가로 미세 조정될 수 있다. 예를 들어 각 카메라 배치에 대해 별도의 ML 모델들이 존재할 수 있다. 이전 예와 결합하여, 이러한 카메라별 모델들은 제조업체/모델 기반으로 생성될 수도 있다. 따라서 차량의 특정 제조사 또는 모델은 카메라의 각 배치에 대해 여러 모델들을 가질 수 있다. 일부 실시예에서, 차량의 메모리 시스템에 저장되고 존재가 있음을 예측하는 데 사용되는 ML 모델은 차량의 제조사 및 모델뿐만 아니라 차량 내 카메라의 특정 위치에 따라 달라질 것이다. 다른 실시예에서, ML 모델은 개별 카메라의 메모리에 저장될 수 있다.
대안적으로, 또는 전술한 것과 함께, 위에서 설명된 ML 모델은 원격으로 저장될 수 있다. 이 실시예에서, 중앙 서버는 모든 ML 모델들을 관리한다. 따라서, 블록(106)에서 이미지들이 캡처될 때, 이러한 이미지들은 분류를 위해 중앙 서버로 송신된다. 그러면 중앙 서버는 분류 결과를 차량에 리턴한다. 이러한 방식으로, 시스템은 ML 모델들의 총 수를 최소화하고 모델 훈련과 재훈련을 중앙 집중화하여, 모델의 예측 정확도를 빠르게 향상시킬 수 있다.
대안으로 또는 전술한 것과 함께, 중앙 서버에 의해 생성된 모델은 관련 차량에 배포될 수 있다. 이 실시예에서, 서버는 모델이 개선됨에 따라 차량 내 ML 모델을 주기적으로 업데이트할 수 있다. 이러한 방식으로, 중앙 서버는 수집된 광범위한 데이터를 활용하는 동시에 개별 차량 내 모델들이 빠른 예측(셀룰러, 네트워크 등 넓은 영역에 대한 액세스가 없는 영역에서의 예측 포함)을 위해 사용될 수 있다.
블록(110)에서, 방법은 ML 분류의 결과를 분석한다. 블록(110)에서 분석된 분류는 일반적으로 포지티브 분류(즉, 승객이 차량에서 검출됨) 또는 네거티브 분류(즉, 승객이 검출되지 않음)를 포함한다. 일부 실시예에서, 분류는 신뢰 수준(confidence level)과 추가로 연관된다. 이 시나리오에서, 본 방법은 미리 구성된 임계값보다 높은 신뢰 수준을 가진 포지티브 분류만 사용할 수 있다. 이 임계치는 차량 또는 사용자 프로필 또는 규칙 설정에 저장될 수 있다.
블록(112)에서, 네거티브 분류를 검출하면(즉, 승객이 검출되지 않음), 방법은 간격을 단계적으로 낮춘다. 일 실시예에서, 이 간격은 방법이 이미지 캡처를 중지(또는 일시 중지)해야 하는 때를 제어한다. 특히, 일부 실시예에서, 차량 내부에 갇힌 존재가 없을 때 차량에서 이미지를 지속적으로 캡처하는 것은 컴퓨팅 리소스 및 에너지의 낭비이다. 예를 들어, 운전자가 직장에서 하루 동안 차를 주차할 때. 또 다른 예로, 퇴근 후 저녁 시간에 차를 주차하면 녹음 및 처리 시간이 상당히 길어진다(예를 들어, 14시간).
이 과적합(overfitting)을 피하기 위해, 방법은 블록(106)(및 후속 블록)이 실행되어야 하는 빈도를 제어하는 간격을 사용한다. 일 실시예에서, 이 간격은 차량이 처음 주차될 때 매우 짧은 기간(예를 들어, 1초)으로 설정된다. 블록(112)에서, 방법은 네거티브 분류가 수신됨에 따라 간격 길이를 증가시키기 시작한다. 일부 실시예에서, 방법은 길이가 주차 직후 천천히 증가하고 네거티브 분류가 수신됨에 따라 빠르게 증가하도록 간격 길이를 기하급수적으로(exponentially) 증가시킨다. 다른 증가 함수(예를 들어, 거듭제곱 또는 선형 함수)도 사용될 수 있다.
블록(114)에서, 방법은 간격이 여전히 유효한지를 결정한다. 일부 실시예에서, 방법은 간격의 길이가 미리 구성된 값보다 작은 경우 간격이 유효하다고 결정한다. 이 값은 사용자 또는 차량 프로필 또는 규칙 설정에 저장될 수 있다. 예를 들어, 이 방법은 간격이 30분으로 설정되면 처리를 중지할 수 있다. 간격이 미리 구성된 길이 내에 있으면, 방법은 블록(106) 이하 참조에서 이미지를 계속 처리한다. 대안적으로, 간격이 미리 구성된 길이를 초과하면 이 방법은 이미지 녹화를 중지하고 종료된다. 기하급수적으로 증가하는 간격을 사용하는 경우 간격이 빠르게 증가하여 방법이 이미지 기록을 효과적으로 중지하고 몇 번의 반복 후에만 타이머를 유지한다.
일부 실시예에서, 블록(114)은 선택적이다. 이 실시예에서, 방법은 증가 함수에 따라 간격을 증가시키고 증가 간격에 기초하여 이미지들을 계속 캡처한다.
일부 실시예에서, 간견 메커니즘이 사용되지 않을 수 있고 방법은 대안적으로 블록(106)을 실행할 때를 결정하기 위해 다른 센서를 사용할 수 있다. 예를 들어, 방법은 블록(106)을 동작할 때를 결정하기 위해 모션 또는 무게 센서를 사용할 수 있다. 즉, 블록(106)은 좌석의 무게가 감지되거나 차량의 움직임이 감지될 때 실행될 수 있다. 일부 실시예에서, 간견 처리는 또한 이러한 인터럽트-스타일(interrupt-style) 이벤트와 함께 사용될 수 있다. 이러한 방식으로, 이 방법은 존재 감지를 개선하기 위해 무게 또는 모션 감지 기술과 결합될 수 있다.
블록(116)에서, 방법이 차량 내의 존재를 검출한 후, 방법은 경고를 송신한다.
일부 실시예에서, 블록(116)은 선택적이다. 구현된다면, 방법은 차량의 운전자에게 경고를 송신할 수 있다. 일부 실시예에서, 차량은 이동 전화 번호, 사용자 계정 ID, 이메일 주소 또는 기타 데이터와 같은 연락처 정보를 포함하는 운전자의 프로필을 유지한다. 방법은 이 연락처 정보를 사용하여 무선 인터페이스를 통해 광역 네트워크(예를 들어, 셀룰러 네트워크)를 통해 경고를 송신한다. 일 실시예에서, 경고는 텍스트(SMS) 메시지 또는 유사한 메시지를 포함할 수 있다. 다른 실시예에서, 운전자의 모바일 디바이스는 모바일 어플리케이션을 포함하고 경고는 사용자의 모바일 디바이스에 대한 푸시 알림을 포함할 수 있다.
블록(118)에서, 방법은 선행 학습의 영향을 받아(proactively) 승객을 지원한다.
일부 실시예에서, 블록(118)은 선택적이다. 그러나, 예시된 실시예에서, 블록(116) 또는 블록(118)이 수행되는 반면, 일부 실시예에서는 두 블록들 모두가 수행된다. 블록(118)에서, 방법은 검출된 승객을 돕기 위해 하나 이상의 차량 서브시스템을 선행 학습의 영향을 받아 작동시킨다. 이들 동작의 다양한 세부사항은 다음의 도 2 내지 도 4에서 더 상세히 설명되며, 그 개시는 본 명세서에서 반복되지 않는다.
도 2는 본 개시내용의 일부 실시예에 따른 존재가 차량 내에서 잠긴 것을 검출하는 것에 응답하여 차량을 자동으로 동작시키는 방법을 예시하는 흐름도이다.
블록(202)에서, 방법은 차량의 객실(cabin) 온도를 모니터링한다.
예시된 실시예에서, 차량에는 차량 객실 내부의 순간 온도를 지속적으로 모니터링하는 하나 이상의 차량 내 온도 센서들이 장착되어 있다. 일부 실시예에서, 차량은 서로 다른 위치들에 장착된 다중 온도 센서들을 가질 수 있다. 예시된 실시예에서, 방법은 이들 센서들에 의해 보고된 온도를 모니터링한다. 일부 실시예에서, 방법은 다중 센서들의 판독치들을 평균화한다(다중 센서들이 설치된 경우). 다른 실시예에서, 방법은 센서들에 의해 기록된 가장 높은 값을 선택한다(다수의 센서들이 설치된 경우). 일부 실시예에서, 각각의 카메라는 온도 센서를 구비할 수 있고, 따라서 온도 판독치들의 수는 카메라들의 수와 동일할 것이다.
일부 실시예에서, 방법은 객실 내 센서에 추가로 또는 그 대신에 외부 온도 센서를 사용할 수 있다. 본 명세서에서 외부 온도 센서는 객실 외부에 설치된 온도 센서를 의미한다. 이 실시예에서, 방법은 내부 온도를 예측하기 위해 외부 온도를 사용할 수 있다. 일부 실시예에서, 이러한 예측은 온도 예측 모델을 사용하여 수행될 수 있다. 이 실시예에서, 온도 예측 모델은 동작 동안 차량에 의해(또는 다른 방식으로) 기록된 외부 및 대응하는 내부 온도를 사용하여 훈련될 수 있다. 대안적으로, 일 실시예에서, 방법은 외부 온도에만 기초하여 진행할 수 있다. 예를 들어, 규칙이나 설정은 외부 온도가 미리 구성된 임계값보다 높은 경우(객실 온도에 관계없이) 방법을 진행해야 한다고 표시할 수 있다.
블록(204)에서, 방법은 객실 온도가 미리 정의된 임계치를 초과하는지를 결정한다. 일 실시예에서, 방법은 블록(202)에서 식별된 측정된 객실 온도를 미리 정의된 임계치와 비교한다. 대안적으로, 방법은 실외(외부) 온도를 미리 정의된 실외 임계치와 비교할 수 있다. 일부 실시예에서, 이러한 임계치는 제조업체에 의해 설정될 수 있거나 차량의 운전자 또는 소유자에 의해 설정될 수 있다.
블록(206)에서, 방법은 온도가 미리 정의된 임계치를 초과할 때 하나 이상의 차량 서브시스템들을 동작시킨다. 예시된 실시예에서, 이들 서브시스템은 공조 시스템, 창문 서브시스템, 통신 서브시스템, 또는 다른 서브시스템을 포함할 수 있다. 이러한 서브시스템의 동작에 대한 세부사항은 도 3 및 4에 제공되며 아래에 간략하게만 설명된다.
일 실시예에서, 방법은 블록(206)에서 차량의 하나 이상의 창문들을 연다. 이 실시예에서, 방법은 창문을 열거나 낮추기 위해 주어진 창문과 연관된 전자 제어 유닛(ECU)을 사용한다. 일부 실시예에서, 방법은 사용자를 검출한 카메라의 아이덴티티(identity)에 기초하여 차량에 잠긴 존재에 가장 가까운 창문을 추가로 식별할 수 있다.
다른 실시예에서, 방법은 차량의 난방, 환기 및 공조(HVAC, 또는 AC) 시스템을 동작시킬 수 있다. 이 실시예에서, 방법은 원하는 수준으로 온도를 조절하기 위해 AC 시스템을 동작시킬 수 있다. 일부 실시예에서 이는 차량 소유자에 의해 설정될 수 있다.
다른 실시예에서, 방법은 비상 시스템에 알림(notification)을 송신할 수 있다. 예를 들어, 이 방법은 9-1-1(미국)에 전화를 걸어 미리 녹음된 메시지를 재생할 수 있다. 다른 실시예에서, E911 서비스가 사용될 수 있다. 일부 실시예에서, 이 방법은 텍스트-음성 처리 모듈을 통해 차량의 GPS(Global Positioning) 좌표뿐만 아니라 차량의 탑승자 수 및 시간 길이를 보고할 수 있다.
다른 실시예에서, 방법은 차량에 대한 주의를 끌기 위해 차량의 경적 또는 조명을 동작시킬 수 있다. 확실히, 다른 유형의 서브시스템이 동작될 수 있으며 전술한 예는 본 개시의 폭을 제한하도록 의도되지 않는다. 또한, 전술한 예(및 다른 예)는 다양한 방식으로 조합될 수 있다.
블록(208)에서, 방법은 온도가 미리 구성된 임계치를 초과하지 않는다고 결정할 때 대안적인 트리거가 인에이블(enable)되었는지를 결정한다.
예시된 실시예에서, 온도가 임계치를 초과하지 않았음을 결정한 후, 그 다음 방법은 방법이 그럼에도 불구하고 차량 서브시스템의 동작을 진행해야 하는지 여부를 결정할 수 있다. 블록(208)에서, 트리거가 발생했는지를 결정하기 위해 다른 센서 유형이 사용될 수 있다.
예를 들어, 습도 센서를 사용하여 과도한 습도(호기로 인한)의 존재를 검출할 수 있다. 이 실시예에서, 방법은 현재 습도 수준이 미리 구성된 임계치보다 큰지 여부를 결정한다. 대안적으로, 방법은 습도가 지속적으로 증가하는지 결정하기 위해 시간 경과에 따른 습도 수준을 모니터링할 수 있다.
다른 예로서, 방법은 차량의 소음 수준을 모니터링할 수 있다. 일반적으로, 승객이 차량에 있고 소음 수준이 낮은 경우, 방법은 차량 서브시스템을 동작시키지 않는 것으로 결정할 수 있다. 그러나 소음 수준이 높으면, 이는 승객이 도움을 요청하는 소리일 수 있다. 따라서, 방법은 소음 수준(데시벨 단위의)을 트리거링 값으로 사용하고 소음 수준이 임계치를 초과할 때 차량 서브시스템을 동작시킬 것이다(블록(206)).
다른 예로서, 타이머가 블록(206)을 트리거링하는데 사용될 수 있다. 이 실시예에서, 차량의 소유자 또는 제조자는 사람이 잠긴 차량에 남아 있어야 하는 고정된 시간을 설정할 수 있다. 예를 들어, 타이머는 15분 동안 존재가 차량에 지속적으로 잠긴 후 블록(206)을 트리거링하도록 설정될 수 있다. 물론, 다른 값들이 사용될 수도 있다.
다른 예로서, 잠긴 동안 차량의 컴포넌트들의 동작은 블록(206)을 트리거링할 수 있다. 예를 들어, 운전자가 차량을 잠그고 하차한 후, 방법은 차량의 제어 시스템과 관련된 의심스러운 활동이 발생하는지 여부를 결정하기 위해 차량의 동작을 모니터링할 수 있다. 예를 들어, 경적을 누르거나 차량을 주차하고 잠근 후 문을 열려고 하는 것은 블록(206)을 동작시키는 데 사용될 수 있다.
이러한 예시들은 어떠한 방식으로든 조합될 수 있으며, 차량의 특성에 따라 다른 예시들이 구현될 수 있다. 전술한 예들이 실시예들을 제한하는 것으로 해석되어서는 안 된다.
블록(210)에서, 방법은 모니터링 절차가 클리어링되어야 하는지를 결정한다. 예시된 실시예에서, 블록(210)은 온도 및 외부 트리거가 방법이 차량 서브시스템을 동작시키지 않는다고 방법이 결정한 후에 실행된다. 예시된 실시예에서, 블록(210)은 차량이 잠금 해제 및/또는 시동될 때 방법이 클리어되어야 함을 검출한다. 다시 말해서, 도 3에 예시된 방법은 비상 사태가 감지되거나(블록(206) 트리거링) 차량 소유자/조작자가 차량에 복귀하고 잠금 해제할 때까지 동작하도록 구성된다.
도 3은 본 개시내용의 일부 실시예에 따른 온도 범위를 벗어난 상태를 검출하는 것에 응답하여 차량 서브시스템을 동작시키는 방법을 예시하는 흐름도이다.
블록(302)에서, 방법은 차량의 객실 온도가 범위를 벗어났는지 여부를 결정한다. 예시된 실시예에서, 범위 밖은 임계치 이상(더위의 경우) 또는 임계치 미만(추위의 경우)인 온도를 의미한다. 이 검출의 세부사항은 도 2의 설명, 특히 블록들(202 및 204)에서 찾을 수 있다.
블록(304)에서, 방법은 차량의 하나 이상의 창문들을 연다. 예시된 실시예에서, 프로세서는 창문이 열리도록 하는 명령어를 창문 ECU에 송신한다. 일부 실시예에서, 방법은 이 명령어를 차량의 모든 창문들에 송신한다. 일부 실시예에서, 명령어는 창문이 부분적으로 열리거나 완전히 열리도록 한다.
예시된 실시예에서, 블록(304)은 먼저 실행하도록 구성된다. 이 실시예에서, 블록(304)은 모니터링된 온도가 제1 임계치와 제2 임계치 사이에 있을 때 실행하도록 구성될 수 있다. 이러한 임계치들은 창문을 열면 온도를 원하는 범위로 충분히 낮출 수 있는 제1 임계치 이상의 제1 범위를 정의한다.
블록(306)에서, 방법은 창문을 연 후 객실 온도를 계속 모니터링한다. 이것은 블록(302) 및 도 2의 블록들(202 및 204)에서 설명된 것과 동일한 방식으로 수행될 수 있다.
블록(308)에서, 방법은 모니터링된 온도가 범위 내에 있는지를 결정한다. 블록(308)에서 사용된 바와 같이, 객실 온도는 이전에 정의된 제1 임계치와 제2 임계치 사이에 있을 때 범위 내에 있다. 즉, 창문을 열어 내부 온도가 제2 임계치를 초과하는 것을 방지하였다. 대부분의 실시예에서, 이 제2 임계치는 온도가 지나치게 뜨겁지 않고 창문을 열면 적절하게 완화될 때 교차되지 않는다.
그러나 상황에 따라 창문을 열어도 실내 온도가 적절하게 낮아지지 않을 수 있다. 추가적으로, 도 3에 도시된 방법은 추운 날씨 조건에 대해 조정될 수 있다. 추운 날씨 조건에서 블록들(304 및 306)은 실행되지 않고 대신 방법은 온도를 조절하기 위해 HVAC 시스템을 사용하려고 직접 진행한다.
온도가 범위 내에 있으면 이 방법은 계속해서 온도를 모니터링한다. 이 모니터링은 온도가 범위를 벗어나거나 차량의 잠금이 해제될 때까지 계속될 수 있습니다(도 2 참조). 일 실시예(도시되지 않음)에서, 방법은 또한 온도가 제1 임계치 아래로 복귀했는지 여부를 결정할 수 있다. 그렇다면, 방법은 창문들을 동작시켜 각각의 창문을 닫고 온도가 다시 범위를 벗어날 때 블록(302)으로 복귀한다.
블록(310)에서, 방법은 차량의 HVAC 시스템을 동작시킨다.
예시된 실시예에서, 차량의 HVAC 시스템은 예를 들어 강제 공기를 통해 차량을 가열 또는 냉각하도록 구성된 임의의 컴포넌트들을 지칭한다. 추가적으로, HVAC 시스템은 시트 가열 또는 냉각 요소와 같은 가열 또는 냉각 요소를 포함할 수 있다.
블록(310)에서, 더운 날씨 조건 동안, 방법은 창문의 개방이 객실의 온도를 낮추거나 유지하게 하지 않았다고 결정한다. 따라서, 상기 방법은 차량의 공조 시스템을 동작시켜 차량을 더욱 냉각시킨다. 일부 실시예에서, 방법은 또한 공조 시스템을 동작시킬 때 차량의 창문들을 올릴 수 있다. 반대로, 추운 날씨 조건에서 이 방법은 차량의 난방 시스템을 시작하여 차량을 난방하기 개시한다.
블록(312)에서, 방법은 HVAC 시스템을 실행하는 동안 객실 온도를 모니터링한다. 이것은 블록(302) 및 도 2의 블록들(202 및 204)에서 설명된 것과 동일한 방식으로 수행될 수 있다.
블록(314)에서, 방법은 객실 온도가 제2 범위 내에 있는지 여부를 결정한다. 일 실시예에서, 제2 범위는 제2 임계치(블록(308)에서 설명됨) 및 제3 임계치를 포함한다. 더운 날씨 조건에서, 제3 임계치는 제2 임계치보다 크고 추운 날씨 조건에서는 제3 임계치는 제2 임계치보다 낮다. 제1 및 제2 임계치들과 마찬가지로 제3 임계치는 제조업체에 의해 설정되거나 차량 소유자에 의해 설정된 프로필에 저장될 수 있다.
모니터링된 온도가 여전히 범위 내에 있으면 방법은 블록(310)에서 HVAC 시스템을 계속 동작시킨다. 도시되지 않은 일부 실시예에서, 방법은 또한 온도가 제1 임계치와 제2 임계치 사이가 되도록 변경되는 경우 HVAC 시스템의 동작을 중지시킬 수 있다. 이 시나리오에서, 방법은 HVAC 시스템을 동작시키지 않고 객실 온도를 모니터링하기 위해 블록(306)으로 복귀할 수 있다.
블록(316)에서, 방법은 전술한 블록들을 통해 온도를 유지할 수 없을 때 비상 조치를 취한다. 이 시나리오에서는, 창문을 열고 HVAC 시스템을 동작시켜도 실내 온도를 허용 가능한 수준으로 유지하지 못하였다. 일반적으로, 블록(316)은 주로 극한 온도 시나리오(예를 들어, 극도로 덥거나 추운 날씨) 또는 장기간에서 실행될 것이다(즉, 동작이 휘발유 또는 배터리의 형태로 사용 가능한 에너지를 소비한 경우). 비상 조치를 취하는 방법에 대한 세부 사항은 본 명세서에 포함된 도 4의 설명에 제공된다.
도 4는 본 개시내용의 일부 실시예에 따른 갇힌 승객을 검출할 때 비상 조치를 취하기 위한 방법을 예시하는 흐름도이다.
블록(402)에서, 방법은 지휘자에게 경고한다. 도 3에 설명된 바와 같이, 블록(402)은 승객이 차량 내에 잠겨 있는 동안 차량이 객실 온도를 적절하게 조절할 수 없다는 것을 검출할 때 실행될 수 있다. 대안적인 실시예에서, 도 4의 방법은 온도 제어 루틴과 별도로 실행될 수 있다.
예시된 실시예에서, 방법은 비상 시스템에 경고를 송신함으로써 지휘자에 경고한다. 일부 실시예에서, 이것은 텍스트(SMS) 메시지 또는 유사한 메시지를 지정된 비상 시스템으로 송신하는 것을 포함한다. 다른 실시예에서, 차량은 비상 디스패처 시스템(emergency dispatcher system)에 대한 휴대 전화 호출(예를 들어, 9-1-1 또는 E-911)을 자동으로 개시할 수 있다. (E)911을 사용하는 경우, 차량은 자동 메시지를 생성하여 디스패처에게 재생할 수 있다. 예를 들어, 메시지는 번호판 번호, GPS 좌표, 현재 온도, 차량이 잠긴 시간 및 기타 세부 정보를 포함할 수 있다. 이 메시지는 디스패처와의 연결이 검출되면 재생될 수 있다.
일부 실시예에서, 방법은 대화형 음성 응답(IVR) 시스템을 구현할 수 있다. 이 시스템을 사용하면 비상 디스패처가 비상 호출을 통해 차량을 제어할 수 있다. 예를 들어, IVR 시스템은 외부 카메라뿐만 아니라 차량 내에 있는 카메라에 대한 액세스를 허용할 수 있다. IVR 시스템은 또한 디스패처가 도어를 열 수 있는 안전한 위치를 확인한 후 차량의 도어를 열 수 있도록 할 수 있다. 일부 실시예에서, IVR 시스템은 디스패처가 차량이 운전해야 하는 GPS 좌표를 입력하는 것을 허용할 수 있다(자율 주행 차량인 경우).
블록(404)에서, 방법은 비상 대응자가 도착했음을 검출할 때까지(블록(406)) 비상 대응자를 기다린다.
예시된 실시예에서, 방법은 지휘자에 경고를 보낸 후 대응자를 기다린다. 일 실시예에서, 방법은 다양한 센서를 활용하여 비상 요원이 도착했는지를 결정할 수 있다. 예를 들어, 이 방법은 하나 이상의 외부 카메라를 사용하여 비상 요원이 도착했는지 확인할 수 있다. 일 실시예에서, 훈련된 모델은 다른 오브젝트와 비상 요원을 구별하기 위해 사용될 수 있다. 다른 실시예에서, 마이크로폰 센서는 사이렌 또는 다른 신호의 존재를 식별하고 이 존재를 사용하여 비상 요원을 검출하는 데 사용될 수 있다.
블록(408)에서, 방법은 차량의 도어를 여는 것이 안전한지를 결정한다. 일 실시예에서, 방법은 카메라 또는 GPS 좌표를 활용하여 도로 또는 다른 위험에 대해 차량을 배향을 지정할 수 있다. 예를 들어, 차량이 거리를 따라 주차되어 있는 경우, 이 방법은 보도가 차량의 어느 쪽에 있는지 결정하고 거리의 이 측에 있는 문을 열 수 있다.
블록(410)에서, 방법은 임의의 문이 개방하기에 안전한지 확인할 수 없고 따라서 인원이 근처에 있을 때까지 기다린다고 결정한다. 일 실시예에서, 이는 도로 상태 또는 차량 외부의 기타 상태로 인한 것일 수 있다. 이 시나리오에서 이 방법은 레이더, 수중 음파 탐지기 또는 라이다(Lidar) 센서와 같은 센서를 활용하여 비상 요원이 근처에 있는지 확인할 수 있다. 이 시나리오에서, 방법은 비상 요원에 가장 가까운 문을 열 수 있어(블록(412)) 승객이 내릴 수 있게 하거나 비상 요원이 차량에 들어갈 수 있게 할 수 있다. 예시된 바와 같이, 블록(408)에서 방법이 비상 요원을 검출할 때 문을 여는 것이 안전하다고 결정하면 방법은 즉시 문을 열 수 있다.
도 5는 본 개시내용의 일부 실시예에 따른 차량용 컴퓨팅 시스템을 예시하는 블록도이다.
도 5에 도시된 시스템은 차량 내에 전체적으로 설치될 수 있다. 일부 실시예에서, 일부 컴포넌트들(예를 들어, 서브시스템(504) 이외의 컴포넌트 및 서브시스템)는 기존의 자율 및 비자율 차량 서브시스템을 포함할 수 있다.
시스템은 선택적으로 선택적인 자율 차량 서브시스템(502)을 포함한다. 도시된 실시예에서, 자율 차량 서브시스템(502)은 지도 데이터베이스(502a), 레이더 디바이스(502b), 라이다 디바이스(502c), 디지털 카메라(502d), 소나 디바이스(502e), GPS 수신기(502f) 및 관성 측정 유닛(502g)을 포함한다. 자율 차량 서브시스템(502)의 컴포넌트들의 각각은 대부분의 현재 자율주행 차량에 제공되는 표준 컴포넌트들을 포함한다. 일 실시예에서, 지도 데이터베이스(502a)는 라우팅 및 네비게이션에 사용되는 복수의 고화질 3차원 지도를 저장한다. 레이더 디바이스(502b), 라이더 디바이스(502c), 디지털 카메라(502d), 소나 디바이스(502e), GPS 수신기(502f) 및 관성 측정 유닛(502g)은 당업계에 공지된 바와 같이 자율 차량 전체의 다양한 위치에 설치된 다양한 개별 디바이스들을 포함할 수 있다. 예를 들어, 이러한 디바이스들은 위치 인식, 충돌 회피 및 기타 표준 자율 차량 기능을 제공하기 위해 자율 차량의 주변을 따라 설치될 수 있다. 일부 실시예에서 자율 서브시스템(502)은 차량에 내장되는 반면, 다른 실시예에서 자율 서브시스템(502)은 애프터마켓(aftermarket) 시스템을 포함한다.
차량 서브시스템(506)은 시스템 내에 추가로 포함된다. 차량 서브시스템(506)은 다양한 잠금 방지 제동 시스템(506a), 엔진 제어 유닛(502b), 및 변속기 제어 유닛(502c)을 포함한다. 이러한 컴포넌트들은 자율 차량 서브시스템(502) 및/또는 ADAS 서브시스템(504)에 의해 생성된 데이터에 응답하여 차량의 동작을 제어하는 데 사용될 수 있다. 자율 차량 서브시스템(502)과 차량 서브시스템(506) 사이의 표준 자율 차량 상호작용은 일반적으로 당업계에 공지되어 있으며 본명세서에서 상세하게 설명되지 않는다.
시스템의 처리 측은 하나 이상의 프로세서(510), 단기 메모리(512), RF 시스템(518), 그래픽 처리 장치(GPU)(516), 장기 저장소(518) 및 하나 이상의 인터페이스(520)를 포함한다.
하나 이상의 프로세서(510)는 중앙 처리 장치, FPGA, 또는 자율 차량의 동작을 지원하는 데 필요한 임의의 범위의 처리 디바이스를 포함할 수 있다. 메모리(512)는 프로세서(510)에 의해 요구되는 데이터의 임시 저장을 위한 DRAM 또는 다른 적절한 휘발성 RAM을 포함한다. RF 시스템(518)은 셀룰러 트랜시버 및/또는 위성 트랜시버를 포함할 수 있다. 장기 저장소(514)는 하나 이상의 고용량 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다. 일반적으로, 장기 저장소(514)는 예를 들어 고화질 지도, 라우팅 데이터, 및 영구적 또는 반영구적 저장을 필요로 하는 임의의 다른 데이터를 저장하는 데 사용될 수 있다. GPU(516)는 자율 차량 서브시스템(502a)으로부터 수신된 데이터를 처리하기 위한 하나 이상의 고처리량 GPU 디바이스를 포함할 수 있다. 마지막으로, 인터페이스(520)는 자율 차량(예를 들어, 인-대시 스크린) 내에 위치된 다양한 디스플레이 유닛을 포함할 수 있다.
시스템은 앞의 도면들에 예시된 방법들에 의해 요구되는 동작들을 수행하는 잠긴 승객 서브시스템(504)을 추가로 포함한다. 블랙박스 서브시스템(504)은 도 1의 설명에서 주로 설명된 존재 검출 모델을 저장하는 머신 러닝 모델(504a)을 포함한다(자세한 내용은 본 명세서에 포함되며 반복되지 않음). 블랙박스 서브시스템(504)은 차량의 다양한 서브시스템을 동작시키는(도 2 내지 4의 설명에 설명된 대로) 서브시스템 제어 모듈(504b) 및 서브시스템 제어 모델의 동작을 제어하는 규칙 또는 프로파일 세트(504c)를 포함한다. 서브시스템 제어 모듈(504b) 및 규칙/프로파일(504c)의 세부사항은 도 2 내지 도 4의 설명에서 더 완전하게 설명되며, 그 개시는 여기서 반복되지 않는다.
일부 실시예에서, 입력 데이터를 모니터링하고 동작을 수행하고 데이터를 다음 단계로 출력함으로써 위에 설명된 방법의 단계들은 각 단계가 독립적으로 실행될 수 있는 것과 같은 연속 프로세스로 구현될 수 있음을 이해해야 한다. 또한 각 방법에 대한 이러한 단계들은 각 단계가 트리거링되고 특정 출력을 생성해야 하는 이벤트에서 트리거링될 수 있는 개별 이벤트 프로세스들로 구현될 수 있다. 또한 각 도면은 설명에 제시된 것보다 더 복잡한 컴퓨터 시스템의 가능한 더 큰 방법 내에서 최소 방법을 나타내는 것으로 이해되어야 한다. 따라서, 각 도면에 예시된 단계는 더 복잡한 시스템의 더 큰 방법과 관련된 다른 단계로 들어오고 나가는 다른 단계와 결합될 수 있다.
본 명세서에 설명된 차량은 차량이 달리 지정되지 않는 한 모든 유형의 차량일 수 있음을 이해해야 한다. 차량은 자동차, 트럭, 보트 및 비행기뿐만 아니라 군사, 건설, 농업 또는 레크리에이션 용도의 차량 또는 차량 장비를 포함할 수 있다. 차량, 차량 부품 또는 차량의 운전자나 승객이 사용하는 전자 장치는 차량 전자 장치로 간주될 수 있다. 차량 전자 장치는 엔진 관리, 점화, 라디오, 카푸터, 텔레매틱스, 차량 내 엔터테인먼트 시스템 및 기타 차량 부품용 전자 장치를 포함할 수 있다. 차량 전자 장치는 점화 및 엔진 및 변속기 제어와 함께 또는 그에 의해 사용될 수 있고, 이는 가스 동력 자동차, 트럭, 오토바이, 보트, 비행기, 군용 차량, 지게차, 트랙터 및 굴착기와 같은 내연 동력 기계가 장착된 차량에서 찾을 수 있다. 또한, 차량 전자 장치는 하이브리드 또는 전기 자동차와 같은 하이브리드 및 전기 자동차에서 발견되는 전기 시스템의 제어를 위해 관련 요소에 의해 또는 관련 요소와 함께 사용될 수 있다. 예를 들어, 전기 자동차는 배터리 시스템 관리뿐만 아니라 주 추진 모터 제어를 위해 전력 전자 장치를 사용할 수 있다. 그리고 자율주행 차량은 거의 전적으로 차량 전자 장치에 의존한다.
이전의 상세한 설명의 일부는 컴퓨터 메모리 내의 데이터 비트에 대한 동작의 알고리즘 및 기호 표현의 관점에서 제시되었다. 이러한 알고리즘 설명 및 표현은 데이터 처리 기술 분야의 기술자가 자신의 작업 내용을 해당 기술 분야의 다른 사람에게 가장 효과적으로 전달하기 위해 사용하는 방법이다. 알고리즘은 여기서 일반적으로 원하는 결과로 이어지는 자체 일관된 동작들의 시퀀스로 간주된다. 동작들은 물리량의 물리적 조작이 필요한 동작들이다. 일반적으로 반드시 그런 것은 아니지만 이러한 양은 저장, 결합, 비교 및 조작할 수 있는 전기 또는 자기 신호의 형태를 취한다. 주로 일반적인 사용을 위해 이러한 신호를 비트, 값, 요소, 기호, 문자, 용어, 숫자 등으로 지칭하는 것이 때때로 편리한 것으로 입증되었다.
그러나 이러한 용어 및 유사한 용어는 적절한 물리량과 관련되어야 하며 이러한 양에 적용되는 편리한 라벨일 뿐이라는 점을 염두에 두어야 한다. 본 개시는 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스의 동작 및 프로세스를 참조할 수 있으며, 이는 컴퓨터 시스템의 레지스터와 메모리 내에서 물리적(전자적) 수량으로 표현된 데이터를 컴퓨터 시스템 메모리나 레지스터 또는 기타 정보 저장 시스템 내에서 물리적 수량으로 유사하게 표현된 다른 데이터로 조작하고 변환한다.
본 개시는 또한 본 명세서의 동작들을 수행하기 위한 장치에 관한 것이다. 이 장치는 의도된 목적을 위해 특별히 제작될 수 있고 또는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨터를 포함할 수 있다. 이와 같은 컴퓨터 프로그램은 컴퓨터 판독가능 저장 매체, 예를 들어, 플로피 디스크, 광 디스크, CD-ROM 및 광자기 디스크를 포함한 임의의 유형의 디스크, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), EPROM, EEPROM, 자기 또는 광학 카드, 또는 전자 명령어를 저장하는 데 적합한 임의의 유형의 미디어에 저장될 수 있고, 이들 각각은 컴퓨터 시스템 버스에 연결된다.
본 명세서에 제시된 알고리즘과 디스플레이는 본질적으로 어떤 컴퓨터나 다른 장치와도 관련이 없다. 다양한 범용 시스템이 본 명세서의 교시에 따라 프로그램과 함께 사용될 수 있거나, 방법을 수행하기 위해 보다 전문화된 장치를 구성하는 것이 편리할 수 있다. 이러한 다양한 시스템의 구조는 아래 설명에 설명된 대로 나타난다. 또한, 본 개시는 임의의 프로그래밍 언어를 참조하여 설명되지 않는다. 다양한 프로그래밍 언어가 본 명세서에 설명된 바와 같이 본 개시내용의 교시를 구현하기 위해 사용될 수 있다는 것이 이해될 것이다.
본 개시내용은 컴퓨터 프로그램 제품 또는 소프트웨어로서 제공될 수 있으며, 이는 본 개시에 따른 프로세스를 수행하기 위해 컴퓨터 시스템(또는 다른 전자 디바이스)을 프로그래밍하는 데 사용될 수 있는 명령어가 저장된 머신 판독 가능 매체를 포함할 수 있다. 머신 판독 가능 매체는 머신(예를 들어, 컴퓨터)에 의해 판독 가능한 형태로 정보를 저장하기 위한 임의의 메커니즘을 포함한다. 일부 실시예에서, 머신 판독가능(예를 들어, 컴퓨터 판독가능) 매체는 판독 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM"), 자기 디스크 저장 매체, 광 저장 매체, 플래시 메모리 컴포넌트 등과 같은 머신(예를 들어, 컴퓨터) 판독가능 저장 매체를 포함한다.
전술한 명세서에서, 본 개시내용의 실시예는 그 특정 예시적인 실시예를 참조하여 설명되었다. 다음의 청구범위에 기재된 바와 같이 본 개시내용의 실시형태의 보다 넓은 사상 및 범위를 벗어나지 않고 다양한 변형이 이루어질 수 있음이 명백할 것이다. 따라서, 본 명세서 및 도면은 제한적인 의미가 아니라 예시적인 의미로 간주되어야 한다.

Claims (20)

  1. 방법에 있어서,
    차량의 하나 이상의 센서들로부터 시그널링(signaling)을 수신하는 단계-여기서, 상기 시그널링은 상기 차량이 정지되었음을 나타냄-;
    상기 시그널링을 수신하는 것에 응답하여, 적어도 하나의 카메라를 활성화하고, 상기 적어도 하나의 카메라를 이용하여 상기 차량의 내부의 적어도 하나의 이미지를 기록하는 단계;
    머신 러닝 모델(machine learning model)을 이용하여 상기 적어도 하나의 이미지를 분류하는 단계; 및
    상기 분류가 사람 또는 동물이 상기 적어도 하나의 이미지에 존재한다는 것을 나타내는 것을 검출하는 것에 응답하여 상기 차량의 적어도 하나의 서브시스템(subsystem)을 동작시키는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 차량이 정지된 것을 검출하는 단계는 상기 차량이 운행되지 않고 상기 차량의 하나 이상의 도어(door)들이 잠겨 있음을 검출하는 단계를 포함하는, 방법.
  3. 제1항에 있어서, 상기 머신 러닝 모델을 이용하여 상기 적어도 하나의 이미지를 분류하는 단계는 신경망(neural network)을 이용하여 상기 적어도 하나의 이미지를 분류하는 단계를 포함하는, 방법.
  4. 제1항에 있어서, 상기 적어도 하나의 이미지가 사람 또는 동물을 포함하지 않는다는 결정에 응답하여 제2 이미지를 기록하는 단계를 더 포함하는, 방법.
  5. 제1항에 있어서, 상기 적어도 하나의 서브시스템을 동작시키는 단계는 상기 차량의 온도를 모니터링하는 단계 및 상기 온도가 미리 정의된 임계치를 초과하는 것을 검출하는 것에 응답하여 상기 적어도 하나의 서브시스템을 동작시키는 단계를 포함하는, 방법.
  6. 제5항에 있어서, 상기 적어도 하나의 서브시스템을 동작시키는 단계는 상기 차량의 공조 시스템을 동작시키는 단계를 포함하는, 방법.
  7. 제5항에 있어서, 상기 적어도 하나의 서브시스템을 동작시키는 단계는 상기 차량의 적어도 하나의 창문을 여는 단계를 포함하는, 방법.
  8. 제5항에 있어서, 상기 적어도 하나의 서브시스템을 동작시키는 단계는 비상 시스템(emergency system)에 경고를 송신하는 단계를 포함하는, 방법.
  9. 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 명령어를 유형적으로 저장하기 위한 비일시적 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 프로그램 명령어는:
    차량의 하나 이상의 센서들로부터 시그널링을 수신하는 단계-여기서, 상기 시그널링은 상기 차량이 정지되었음을 나타냄-;
    상기 시그널링을 수신하는 것에 응답하여, 적어도 하나의 카메라를 활성화하고, 상기 적어도 하나의 카메라를 이용하여 상기 차량의 내부의 적어도 하나의 이미지를 기록하는 단계;
    머신 러닝 모델을 이용하여 상기 적어도 하나의 이미지를 분류하는 단계; 및
    상기 분류가 사람 또는 동물이 상기 적어도 하나의 이미지에 존재한다는 것을 나타내는 것을 검출하는 것에 응답하여 상기 차량의 적어도 하나의 서브시스템을 동작시키는 단계를 정의하는, 비일시적 컴퓨터 판독 가능 저장 매체.
  10. 제9항에 있어서, 상기 차량이 정지된 것을 검출하는 단계는 상기 차량이 운행되지 않고 상기 차량의 하나 이상의 도어들이 잠겨 있음을 검출하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
  11. 제9항에 있어서, 상기 머신 러닝 모델을 이용하여 상기 적어도 하나의 이미지를 분류하는 단계는 신경망을 이용하여 상기 적어도 하나의 이미지를 분류하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
  12. 제9항에 있어서, 상기 명령어는 상기 적어도 하나의 이미지가 사람 또는 동물을 포함하지 않는다는 결정에 응답하여 제2 이미지를 기록하는 단계를 더 정의하는, 비일시적 컴퓨터 판독 가능 저장 매체.
  13. 제9항에 있어서, 상기 적어도 하나의 서브시스템을 동작시키는 단계는 상기 차량의 온도를 모니터링하는 단계 및 상기 온도가 미리 정의된 임계치를 초과하는 것을 검출하는 것에 응답하여 상기 적어도 하나의 서브시스템을 동작시키는 단계를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
  14. 제13항에 있어서, 상기 적어도 하나의 서브시스템을 동작시키는 단계는 상기 차량의 공조 시스템을 동작시키는 단계를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
  15. 제13항에 있어서, 상기 적어도 하나의 서브시스템을 동작시키는 단계는 상기 차량의 적어도 하나의 창문을 여는 단계를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
  16. 제13항에 있어서, 상기 적어도 하나의 서브시스템을 동작시키는 단계는 비상 시스템에 경고를 송신하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
  17. 장치에 있어서,
    프로세서(processor); 및
    상기 프로세서에 의한 실행을 위한 프로그램 로직(program logic)을 유형적으로 저장하기 위한 저장 매체를 포함하고, 상기 저장된 프로그램 로직은 상기 프로세서로 하여금:
    차량의 하나 이상의 센서들로부터 시그널링을 수신하고-여기서, 상기 시그널링은 상기 차량이 정지되었음을 나타냄-;
    상기 시그널링을 수신하는 것에 응답하여, 적어도 하나의 카메라를 활성화하고, 상기 적어도 하나의 카메라를 이용하여 상기 차량의 내부의 적어도 하나의 이미지를 기록하고;
    머신 러닝 모델을 이용하여 상기 적어도 하나의 이미지를 분류하고; 및
    상기 분류가 사람 또는 동물이 상기 적어도 하나의 이미지에 존재한다는 것을 나타내는 것을 검출하는 것에 응답하여 상기 차량의 적어도 하나의 서브시스템을 동작시키는, 동작들을 수행하게 하는, 장치.
  18. 제17항에 있어서, 상기 차량이 정지된 것을 검출하는 것은 상기 차량이 운행되지 않고 상기 차량의 하나 이상의 도어들이 잠겨 있음을 검출하는 것을 포함하는, 장치.
  19. 제17항에 있어서, 상기 머신 러닝 모델을 이용하여 상기 적어도 하나의 이미지를 분류하는 것은 신경망을 이용하여 상기 적어도 하나의 이미지를 분류하는 것을 포함하는, 장치.
  20. 제17항에 있어서, 상기 적어도 하나의 서브시스템을 동작시키는 것은 상기 차량의 온도를 모니터링하는 것 및 상기 온도가 미리 정의된 임계치를 초과하는 것을 검출하는 것에 응답하여 상기 적어도 하나의 서브시스템을 동작시키는 것을 포함하고, 상기 적어도 하나의 서브시스템은 공조 시스템, 창문 서브시스템, 및 통신 서브시스템으로 구성된 그룹으로부터 선택된 서브시스템을 포함하는, 장치.
KR1020227027648A 2020-02-06 2021-01-28 차량에 갇힌 승객을 검출하기 위한 인공 지능 기반 경보 KR20220127863A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/783,381 US11951997B2 (en) 2020-02-06 2020-02-06 Artificial intelligence-enabled alarm for detecting passengers locked in vehicle
US16/783,381 2020-02-06
PCT/US2021/015511 WO2021158424A1 (en) 2020-02-06 2021-01-28 Artificial intelligence-enabled alarm for detecting passengers locked in vehicle

Publications (1)

Publication Number Publication Date
KR20220127863A true KR20220127863A (ko) 2022-09-20

Family

ID=77178920

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227027648A KR20220127863A (ko) 2020-02-06 2021-01-28 차량에 갇힌 승객을 검출하기 위한 인공 지능 기반 경보

Country Status (5)

Country Link
US (1) US11951997B2 (ko)
EP (1) EP4100284A4 (ko)
KR (1) KR20220127863A (ko)
CN (1) CN115427268A (ko)
WO (1) WO2021158424A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11217083B1 (en) * 2020-10-18 2022-01-04 Kristopher Luo Intelligent camera child detection system
US11535083B2 (en) * 2021-03-19 2022-12-27 Subaru Corporation Inspection system
TWI798042B (zh) * 2022-03-31 2023-04-01 崑山科技大學 冷凍庫環境感知裝置及方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008854B2 (en) * 1995-06-07 2015-04-14 American Vehicular Sciences Llc Vehicle component control methods and systems
CN103165211B (zh) * 2011-12-15 2015-09-30 清华大学 起搏器电极线及起搏器
KR101920020B1 (ko) * 2012-08-07 2019-02-11 삼성전자 주식회사 단말기 상태 전환 제어 방법 및 이를 지원하는 단말기
JP6160201B2 (ja) 2013-04-18 2017-07-12 日産自動車株式会社 乗員検出装置
US9712741B2 (en) * 2014-09-19 2017-07-18 Be Topnotch, Llc Smart vehicle sun visor
WO2018035540A1 (en) * 2016-08-19 2018-02-22 Seth Campbell Vehicle occupant detection system
US10291949B2 (en) * 2016-10-26 2019-05-14 Orcam Technologies Ltd. Wearable device and methods for identifying a verbal contract
US10515390B2 (en) * 2016-11-21 2019-12-24 Nio Usa, Inc. Method and system for data optimization
CN108734056A (zh) 2017-04-18 2018-11-02 深圳富泰宏精密工业有限公司 车辆环境检测装置及检测方法
US20180370431A1 (en) * 2017-06-23 2018-12-27 Aamp Of Florida, Inc. Unattented occupant protection system (uops) safety system
CN107650853A (zh) * 2017-09-13 2018-02-02 上海蓥石汽车技术有限公司 一种用于新能源电动车的车内遗漏人员检测和保护装置
US11465631B2 (en) * 2017-12-08 2022-10-11 Tesla, Inc. Personalization system and method for a vehicle based on spatial locations of occupants' body portions
KR102016251B1 (ko) 2018-02-14 2019-08-29 박성대 감지성능을 강화한 차량용 재실감지장치
US10838425B2 (en) 2018-02-21 2020-11-17 Waymo Llc Determining and responding to an internal status of a vehicle
CN110562003A (zh) 2018-06-05 2019-12-13 上海博泰悦臻网络技术服务有限公司 车内设备控制装置
US10858011B1 (en) * 2018-07-13 2020-12-08 State Farm Mutual Automobile Insurance Company Dynamic safe storage of vehicle content
US10836401B1 (en) * 2018-07-13 2020-11-17 State Farm Mutual Automobile Insurance Company Dynamic limiting of vehicle operation based on interior configurations
US10800377B1 (en) * 2020-02-24 2020-10-13 Webram Llc. Vehicle security system

Also Published As

Publication number Publication date
US11951997B2 (en) 2024-04-09
WO2021158424A1 (en) 2021-08-12
CN115427268A (zh) 2022-12-02
US20210245771A1 (en) 2021-08-12
EP4100284A4 (en) 2024-03-06
EP4100284A1 (en) 2022-12-14

Similar Documents

Publication Publication Date Title
US10899359B2 (en) Vehicle and method for protecting person left in vehicle
KR20220127863A (ko) 차량에 갇힌 승객을 검출하기 위한 인공 지능 기반 경보
CN105292036B (zh) 边界检测系统
US20180357484A1 (en) Video processing device and video processing method
US11465634B1 (en) Automobile detection system
US11713060B2 (en) Systems and methods for remote monitoring of a vehicle, robot or drone
US11396309B2 (en) Management of vehicle sensors and responses to sensor data
US11361574B2 (en) System and method for monitoring for driver presence and position using a driver facing camera
US11285966B2 (en) Method and system for controlling an autonomous vehicle response to a fault condition
US20230077868A1 (en) Systems and methods for deterrence of intruders
CN107464416B (zh) 巴士的半自动驾驶方法及系统
EP4097550A1 (en) Artificial intelligence methods and systems for remote monitoring and control of autonomous vehicles
US20240071231A1 (en) Information presentation device
CN111204298B (zh) 车辆运动自适应系统和方法
US20230083504A1 (en) Systems and methods for capturing images around vehicle for insurance claim processing
KR102426735B1 (ko) 도난알림 기능이 적용된 전방위 촬영이 가능한 자동차용 보안 시스템
CN111985444A (zh) 一种车用防止人员被锁的监测系统
US11854270B1 (en) Vehicle off-guard monitoring system
CN110223482B (zh) 无人驾驶车辆的报警方法和装置
CN112036326A (zh) 一种密闭空间内人员被困的监测方法
CN111976599A (zh) 一种智能汽车架构
CN117345077A (zh) 无框车门的控制方法、装置、电子设备及可读存储介质
CN117302094A (zh) 一种车辆监控系统