KR20170135946A - 차량 내부 카메라에 의한 탑승자 크기 및 자세 검출 - Google Patents

차량 내부 카메라에 의한 탑승자 크기 및 자세 검출 Download PDF

Info

Publication number
KR20170135946A
KR20170135946A KR1020177032471A KR20177032471A KR20170135946A KR 20170135946 A KR20170135946 A KR 20170135946A KR 1020177032471 A KR1020177032471 A KR 1020177032471A KR 20177032471 A KR20177032471 A KR 20177032471A KR 20170135946 A KR20170135946 A KR 20170135946A
Authority
KR
South Korea
Prior art keywords
occupant
vehicle
posture
size
control unit
Prior art date
Application number
KR1020177032471A
Other languages
English (en)
Inventor
제임스 스테판 밀러
패트릭 그래프
Original Assignee
로베르트 보쉬 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 로베르트 보쉬 게엠베하 filed Critical 로베르트 보쉬 게엠베하
Publication of KR20170135946A publication Critical patent/KR20170135946A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01542—Passenger detection systems detecting passenger motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/02—Occupant safety arrangements or fittings, e.g. crash pads
    • B60R21/16—Inflatable occupant restraints or confinements designed to inflate upon impact or impending impact, e.g. air bags
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
    • B60R2021/0032—Position of passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
    • B60R2021/006—Type of passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R2021/01204—Actuation parameters of safety arrangents
    • B60R2021/01211—Expansion of air bags

Abstract

차량 내부의 탑승자(305, 310, 315)의 크기 및 자세를 결정하는 방법이 제공된다. 한 실시예에서, 상기 방법은 카메라(114)로부터 차량 내부의 하나 이상의 이미지(도 3)를 수신하는 단계를 포함한다. 상기 방법은 또한, 상기 하나 이상의 이미지에서 상기 차량 내부(100)의 내부 영역들(130, 132, 134, 136, 138)을 분류하는 단계를 포함한다. 상기 방법은 또한, 상기 차량 내부(100)의 내부 영역들(130, 132, 134, 136, 138)의 분류에 기초하여 상기 하나 이상의 이미지 내의 탑승자(305, 310, 315)를 식별하는 단계를 포함한다. 상기 방법은 또한, 상기 차량 내부(100)의 내부 영역들의 분류(404)에 기초하여 상기 탑승자(305, 310, 315)의 크기 범위를 결정하는 단계를 포함한다. 상기 방법은 또한, 상기 차량 내부(100)의 내부 영역들의 분류(404)에 기초하여 상기 탑승자(305, 310, 315)의 자세를 결정하는 단계를 포함한다. 상기 방법은 또한, 상기 탑승자(305, 310, 315)의 크기 및 자세에 기초하여 하나 이상의 차량 시스템(122, 124, 126, 128)을 제어하는 단계를 포함한다.

Description

차량 내부 카메라에 의한 탑승자 크기 및 자세 검출
관련 출원에 대한 상호 참조
본 출원은 2015년 4월 10일자로 출원된 미국 가 출원번호 62/145,931의 이익을 주장하며, 그 전체 내용이 본원에 참고로 인용된다.
본 발명은 차량 내부 카메라에 의한 탑승자 크기(size) 및 자세(pose) 검출에 관한 것이다.
현재의 탑승자 검출 시스템은 좌석 내의 탑승자 또는 다른 대상(object)의 중량을 검출하기 위해 좌석 기반 센서를 사용하여 차량 내의 탑승자의 위치를 검출한다. 다른 탑승자 검출 시스템은 카메라를 사용하여 탑승자의 위치를 검출한다. 예를 들면 해당 좌석에 대한 에어백을 활성화 또는 비활성화하기 위해 위치 정보가 사용될 수 있다.
현재의 탑승자 검출 시스템은 일반적인 탑승자 위치 정보를 제공할 수 있다. 일부 경우에서는, 더욱 구체적인 탑승자 위치 정보 및 탑승자에 관한 추가 정보가 바람직하다. 예를 들어, 하나 이상의 에어백과 관련하여 에어백들은 차량 내의 탑승자의 크기 및 자세에 관한 추가적인 정보를 사용하여 더욱 잘 제어될 수 있다. 유사하게, 다른 차량 안전 시스템과 관련하여 다른 차량 안전 시스템들은 차량 내의 탑승자의 크기 및 자세에 관한 추가적인 정보를 사용하여 더욱 잘 제어될 수 있다. 따라서, 차량의 탑승자들의 크기 및 자세를 결정하는 시스템 및 방법이 필요하다.
본 명세서에 개시된 특정 실시예들의 요약이 하기에 제시된다. 이들 양태들은 단지 이들 특정 실시예들의 간략한 요약을 독자에게 제공하기 위한 것이며 이들 양태들은 본 개시의 범위를 제한하지 않는다는 것을 이해해야한다. 실제로, 본 개시는 이하에서 설명되지 않을 수 있는 다양한 양태들을 포함할 수 있다.
한 실시예에서, 차량 내부의 탑승자의 크기 및 자세를 결정하는 방법이 제공된다. 상기 방법은 전자 제어 유닛을 사용하여 카메라로부터 차량 내부의 하나 이상의 이미지를 수신하는 단계를 포함한다. 상기 방법은 또한, 상기 전자 제어 유닛을 사용하여, 상기 하나 이상의 이미지에서 상기 차량 내부의 내부 영역들을 분류하는 단계를 포함한다. 상기 방법은 또한, 상기 전자 제어 유닛을 사용하여, 상기 차량 내부의 내부 영역들의 분류에 기초하여 상기 하나 이상의 이미지 내의 탑승자를 식별하는 단계를 포함한다. 상기 방법은 또한 상기 전자 제어 유닛을 사용하여 상기 차량 내부의 내부 영역들의 분류에 기초하여 상기 탑승자의 크기 범위를 결정하는 단계를 포함한다. 상기 방법은 또한, 전자 제어 유닛을 사용하여, 상기 차량 내부의 내부 영역들의 분류에 기초하여 상기 탑승자의 자세를 결정하는 단계를 포함한다. 상기 방법은 또한 상기 탑승자의 크기 및 자세에 기초하여 하나 이상의 차량 시스템을 제어하는 단계를 포함한다.
다른 실시예에서, 차량 내부의 탑승자의 크기 및 자세를 결정하기 위한 시스템이 제공된다. 상기 시스템에는 카메라 및 전자 제어 유닛이 포함되어 있다. 상기 카메라는 차량 내부의 하나 이상의 이미지를 캡처하도록 구성된다. 상기 전자 제어 유닛은 메모리 및 상기 메모리에 전기적으로 결합된 전자 프로세서를 갖는다. 상기 전자 제어 유닛은, 상기 카메라로부터 상기 하나 이상의 이미지를 수신하고, 상기 하나 이상의 이미지에서 상기 차량 내부의 내부 영역들을 분류하고, 상기 차량 내부의 내부 영역들의 분류에 기초하여 상기 하나 이상의 이미지 내의 탑승자를 식별하고, 상기 차량 내부의 내부 영역들의 분류에 기초하여 상기 탑승자의 크기 범위를 결정하고, 상기 차량 내부의 내부 영역들의 분류에 기초하여 상기 탑승자의 자세를 결정하고, 상기 탑승자의 크기 및 자세에 기초하여 하나 이상의 차량 시스템을 제어하도록 구성된다.
본 발명의 다른 양태들은 상세한 설명 및 첨부하는 도면들을 고려함으로써 명백해질 것이다.
도 1은 탑승자 크기 및 자세 검출 시스템을 갖춘 차량 내부의 블록도를 도시한다.
도 2는 도 1의 탑승자 크기 및 자세 검출 시스템의 전자 제어 유닛의 블록도를 도시한다.
도 3은 차량 내부(100)의 중요한 부분을 커버하는 광각 렌즈를 갖는 카메라로부터의 이미지를 도시한다.
도 4는 도 1의 탑승자 크기 및 자세 검출 시스템을 사용하여 탑승자의 크기 및 자세를 결정하는 방법의 흐름도를 도시한다.
본 발명의 임의의 실시예가 상세히 설명되기 전에, 본 발명은 이하의 설명에서 설명되거나 다음의 도면에 도시된 구성요소들의 구성 및 배열의 상세한 설명에 의해 그 응용들이 제한되지 않는 것으로 이해되어야한다. 본 발명은 다른 실시예들이 가능하고 다양한 방법으로 실시되거나 실행될 수 있다.
본 발명을 구현하기 위해 복수의 상이한 구조적 구성요소들뿐만 아니라 복수의 하드웨어 및 소프트웨어 기반 장치들이 사용될 수 있다는 것을 알아야한다. 또한, 본 발명의 실시예들은 하드웨어, 소프트웨어, 및 구성요소들 또는 모듈들을 포함할 수 있으며, 설명의 목적으로 구성요소들의 대부분이 마치 하드웨어 내에서 단독으로 실행되는 것으로 도시되고 설명되고 기술될 수 있다. 하지만, 당업자는, 본 상세한 설명의 이해를 통해, 적어도 하나의 실시예에서, 본 발명의 전자 기반의 양태들은 하나 이상의 프로세서들로 실행가능한(예를 들면, 비-일시적 컴퓨터 판독가능한 매체에 저장된) 소프트웨어로 구현될 수 있다는 것을 인식할 수 있을 것이다. 그와 같이, 다수의 하드웨어 및 소프트웨어 기반의 장치뿐만 아니라 다수의 상이한 구조적 구성요소들이 본 발명을 구현하는데 이용될 수 있다는 것을 알아야한다. 예를 들어, 본 명세서에 기술된 "제어 유닛" 및 "제어기"는 하나 이상의 프로세서들, 비-일시적 컴퓨터 판독가능한 매체를 포함하는 하나 이상의 메모리 모듈들, 하나 이상의 입력/출력 인터페이스들, 및 상기 구성요소들을 접속하는 다양한 접속부들(예를 들어, 시스템 버스)을 포함할 수 있다.
도 1은 한 실시예에 따른 탑승자 크기 및 자세 검출 시스템(102)이 장착된 차량 내부(100)를 도시한 블록도이다. 탑승자 크기 및 자세 검출 시스템(102)은 이미지 처리 전자 제어 유닛(ECU)(110), 카메라(112)(예를 들면, 어안(fisheye) 렌즈 카메라), 선택적 카메라(114), 통신 인터페이스들(115A-115D)(집합적으로, "통신 인터페이스들(115)"), 에어백 제어 유닛(ACU)(120), 전기적 링크들(121A-121D)(집합적으로, "전기적 링크들(121)")(예를 들면, 와이어(wire)), 에어백들(122-128), 운전석(130), 조수석(132), 좌측 뒷좌석(134), 중간 뒷좌석(136), 우측 뒷좌석(138), 및 차량 센서들(140)을 포함한다.
카메라(112)는 통신 인터페이스(115A)를 통해 이미지 처리 ECU(110)에 통신가능하게 결합된다. 또한, 일부 실시예에서, 선택적 카메라(114)는 통신 인터페이스(115B)를 통해 이미지 처리 ECU(110)에 통신가능하게 연결된다. 이미지 처리 ECU(110)는 카메라(112)에 의해 캡처된 복수의 이미지들(예를 들어, 전방향의 이미지들(omnidirectional images))을 액세스한다. 이미지 처리 ECU(110)는 미리 결정된 시간 간격들로 복수의 이미지들을 처리하고 상기 복수의 이미지들 및 관련 데이터를 기록한다. 예를 들어, 이미지 처리 ECU(110)는 차량 내부(100)에 의해 이동된 거리에 적어도 부분적으로 기초하여 상기 복수의 이미지들을 처리할 수 있다. 통신 인터페이스들(115)은 또한 이미지 처리 ECU(110)를 다른 차량 시스템들(예를 들면, 차량 센서들(140) 및 차량 제어 장치들(145))과 함께 ACU와 통신가능하게 결합시킨다.
크기 및 자세 검출 시스템(102)의 일부 실시예는 또한 차량 내부(100)의 위치 및 이동을 나타내는 하나 이상의 차량 센서들(140)을 포함한다. 예를 들어, 차량 센서(140)에는 조향각(steering angle) 센서, 휠 위치 또는 휠 속도 센서, 및 GPS(Global Positioning System)가 포함될 수 있다. 차량 센서들(140)은 차량 센서들(140)에 의해 제공된 움직임 정보에 기초하여 차량 내부(100)의 위치, 방위(heading) 및 이동을 ACU(120)가 검출할 수 있게 한다. 또한, ACU(120)는 상기 움직임 정보에 기초하여 상기 위치와 시간에 따른 위치 변경을 산출하도록 구성된다. 또한, ACU(120)는 하나 이상의 차량 제어 장치(예를 들어, 조향 휠(steering wheel), 스로틀(throttle), 또는 제동(braking) 시스템)에 통신가능하게 결합될 수 있다. 하나 이상의 차량 센서(140) 및/또는 차량 제어 장치들에 의해 제공된 정보를 사용하여, ACU(120)는 상기 차량 내부(100)의 위치 및 상기 크기 및 자세 검출 시스템(102)에 의해 분석되는 차량 내부(100)의 탑승자들의 크기 및 자세에 기초하여 에어백 동작들을 수행할 수 있다.
도 2는 도 1의 탑승자 크기 및 자세 검출 시스템(102)의 이미지 처리 ECU(110)의 블록도를 도시한다. 이미지 처리 ECU(110)는 카메라(112) 및/또는 이미지 처리 ECU(110) 내의 구성요소들 및 모듈들에 전력, 동작 제어 및 보호를 제공하는 복수의 전기 및 전자 구성요소들을 포함한다. 예를 들면, 이미지 처리 ECU(110)는 무엇보다도 (예를 들어, 프로그램가능한 전자 마이크로프로세서, 마이크로컨트롤러 또는 다른 적절한 프로세싱 장치와 같은) 제어기(205), 전원 공급 장치(210), 및 입력/출력 모듈(215)을 포함한다.
제어기(205)는 무엇보다도 전자 프로세서(220) 및 메모리(225)를 포함한다. 전자 프로세서(220)는 메모리(225)에 통신가능하게 결합되고, 메모리(225)에 저장될 수 있는 명령들을 실행한다. 제어기(205)는 메모리(225)로부터 검색하고, 무엇보다도, 여기에 설명된 제어 프로세스 및 방법과 관련된 명령들을 실행하도록 구성된다. 다른 실시예에서, 이미지 처리 ECU(110)는 추가의, 더 적은, 또는 상이한 구성요소들을 포함한다. 이미지 처리 ECU(110)는 여기에 열거된 특정 기능들을 수행하도록 각각 구성된 몇몇의 독립적인 전자 제어 유닛들로 구현될 수 있음을 알아야한다. 또한, 이미지 처리 ECU(110)는 특정 유형의 센서 데이터를 입력하고 관련된 처리를 수행하는 서브 모듈들을 포함할 수 있다. 예를 들어, 이미지 처리 ECU(110)의 비디오 분석 모듈이 비디오 스트림 또는 하나 이상의 이미지를 카메라(112)로부터 수신하고, 상기 비디오 또는 하나 이상의 이미지를 적절한 포맷으로 변환하고, 상기 하나 이상의 이미지 내에 대상들(objects)과 특징들(features)(예를 들면, 차량 내의 탑승자, 탑승자의 자세, 및 탑승자의 크기 범위)을 인식하고, 상기 하나 이상의 이미지 내에 대상들과 특징들을 추적하고, 다른 ECU들을 제어하거나 이러한 프로세스들로부터의 데이터 출력을 다른 ECU들(예를 들면, ACU(120))로 전송할 수 있다.
이미지 처리 ECU(110)는 무엇보다도, 카메라(112)로부터 하나 이상의 이미지를 수신하고 상기 하나 이상의 이미지를 처리하도록 구성된다. 예를 들어, 도 2의 실시예에서, 입력/출력 모듈(215)은 카메라(112)로부터 하나 이상의 이미지를 수신하고 이미지 처리를 위해 상기 하나 이상의 이미지를 제어기(205)로 보낸다. 제어기(205)는 상기 하나 이상의 이미지를 처리한다.
이미지 처리 ECU(110), 서브 모듈들, 추가의 ECU들(예컨대, ACU(120)), 차량 센서들(140), 및 차량 제어 장치들(145)은 통신 인터페이스(115C) 상에서 하나 이상의 통신 모듈들을 통해 링크될 수 있고 및/또는 입력/출력 모듈(215)을 통해서 직접 접속될 수 있다. 일부 실시예에서, ACU(120)는 입력/출력 모듈(215)과 통신하기 위해 CAN 버스 또는 J1939와 같은 프로토콜을 사용하여 통신한다. 다른 실시예에서, ACU(120)는 특정 애플리케이션의 요구에 따라 다른 적절한 프로토콜 하에서 입력/출력 모듈(215)과 통신한다. 일부 실시예에서, 입력/출력 모듈(215)은 다양한 제어들 및 센서들로부터의 전용 신호 라인들을 사용하여 정보를 직접 입력한다.
예를 들어, 도 3은 차량 내부(100)의 중요한 부분을 커버하는 광각 렌즈를 갖는 카메라(112)로부터의 이미지(300)이다. 이러한 도시된 실시예에서, 이미지(300)는 두 명의 탑승자들인 제 1 탑승자(305)와 제 2 탑승자를 포함한다. 상기 두 명의 탑승자들은 이미지 처리 ECU(110)에 대한 관심의 대상들이 된다. 도 3에 도시된 바와 같이, 제 1 탑승자(305) 및 제 2 탑승자(310)는 카메라(112)로부터의 이미지(300) 내의 위치들(예를 들면, 각각, 운전석(130)과 좌측 뒷좌석(134))을 점유하고, 이미지 처리 ECU(110)에 의해 픽셀 위치로서 또는 좌표의 세트(예를 들면, 수직 좌표 및 수평 좌표)로서 검출된다.
일부 실시예에서, 이미지 처리 ECU(110)는 카메라(112)로부터의 이미지(300)로부터 정보(예를 들면, 차량 탑승자의 위치, 크기 및 자세)를 추출하기 위해 분류기 접근방식(classifier approach)을 사용한다. 예를 들어, 분류기는 가장자리(edges), 형상(shapes), 색상 및 다른 적절한 특징을 포함하는 이미지 특징들에 기초한다. 또한, 하나 이상의 분류기가 이미지에서 보이는 탑승자의 전체 범위(대체로, 머리 및 몸통 영역)를 검출하는데 사용될 수 있다. 상이한 분류기들이 차량 내부(100)에서 상이한 좌석 위치들에 대해 조절(train)될 수 있다. 이러한 방식으로, 분류기들은 제 1 탑승자(305) 및 제 2 탑승자(310)를 포함하는 차량 내부(100)의 탑승자들의 위치를 식별하는데 사용될 수 있다.
일부 실시예에서, 탑승자의 머리, 어깨, 몸통, 팔 또는 다른 적절한 특징들을 포함하는 탑승자들의 개별적인 부분들을 검출하기 위해 추가의 분류기들이 또한 사용될 수 있다. 이들 추가의 분류기들은 차량 내부(100)의 탑승자들 각각의 자세를 추정하도록 조합될 수 있다. 유사하게, 복수의 분류기들이 차량 내부(100)의 각각의 탑승자의 상이한 자세들을 검출하기 위해 사용될 수 있다. 예를 들어, 제 1 탑승자(305)는 똑바로 앉아 있을 수 있으며, 제 2 탑승자(310)는 차량 내부(100)에서 앞쪽으로 기울어있을 수 있다.
일부 실시예에서, 이미지 처리 ECU(110)는 탑승자의 크기를 추정하기 위해 분류기로부터의 픽셀들에서 탑승자의 크기를 사용한다. 또한, 이미지 처리 ECU(110)는 카메라 캘리브레이션(camera calibration) 또는 탑승자의 자세(예를 들어, 탑승자의 머리의 위치 및 방향)를 사용할 수 있다. 이미지 처리 ECU(110)는 탑승자의 위치, 크기 및 자세를 나타내는 정보를 ACU(120) 및 차량 제어 장치(145)를 포함하는 다른 차량 시스템들에 전달할 수 있다. ACU(120) 및/또는 차량 제어 장치(145)는 탑승자의 위치, 크기 및 자세를 나타내는 정보에 기초하여 그 기능들을 변경할 수 있다. 예를 들어, ACU(120)는 에어백 또는 에어백들(예를 들면, 도 1에 도시된 바와 같은 하나 이상의 에어백(122-128))이 충돌 시에 전개하는 것을 결정하기 위해 상기 정보를 사용할 수 있다. 또한, ACU(120)는 충돌 시에 전개되는 에어백 또는 에어백들의 전개 특성(deployment characteristics)(예를 들면, 전개의 강도, 전개의 각도, 또는 다른 적절한 특성)을 결정하기 위해 상기 정보를 사용할 수 있다. 마찬가지로, 이미지 처리 ECU(110)는 좌석벨트 시스템과 같은 차량 제어 장치(145)에 상기 정보를 제공할 수 있다. 좌석벨트 시스템은 사고 시에 차량 내부(100)의 좌석벨트의 기능을 제어하도록 상기 정보를 사용할 수 있다. 일부 실시예에서, 좌석벨트 시스템은 ACU(120)에 의한 에어백 또는 에어백들의 전개와 조화되도록 좌석벨트의 기능을 제어할 수 있다.
다른 실시예에서, 이미지 처리 ECU(110)는 안전, 보안, 편안함 및 편리성과 관련된 애플리케이션을 위해 차량의 탑승자의 위치, 크기 및 자세를 나타내는 정보를 제공할 수 있다. 예를 들어, 운전자 또는 탑승자가 그들의 좌석벨트를 채우지 않았거나 좌석벨트가 올바르게 채워있지 않은 경우(예를 들면, 좌석벨트가 운전자 또는 동승자를 적절하게 속박하지 않는 경우) 경고를 설정하기 위해 상기 정보가 사용될 수 있다. 또 다른 실시예에서, 이미지 처리 ECU(110)는, 운전석(130)의 위치, 페달, 조향 휠, 및/또는 차량 거울들을 상기 운전석(130)에 있는 탑승자의 크기 및 형상에 기초하여 자동으로 설정하는 차량 시스템들에 상기 정보를 제공한다. 유사하게, 이미지 처리 ECU(110)는 조수석(132)에 있는 탑승자의 크기 및 형상에 기초하여 조수석(132)의 위치를 자동으로 설정하는 차량 시스템들에 상기 정보를 제공한다.
도 4는 상기 크기 및 자세 검출 시스템(102)을 사용하여 차량 내부의 탑승자의 크기 및 자세를 결정하는 방법(400)의 흐름도를 도시한다. 상기 방법(400)은 이미지 처리 ECU(110)로 수행되는 것으로 설명된다. 하지만, 상기 방법(400)에서 설명되는 기능은, 이미지 처리 ECU(110), ACU(120) 및/또는 다른 차량 제어 장치들 사이에서와 같은 다수의 장치들 사이에 분산될 수 있음을 이해해야한다.
도 4에 도시된 바와 같이, 이미지 처리 ECU(110)는 차량 내부를 캡처하는 카메라(112)로부터 하나 이상의 이미지를 수신한다(블록 402). 예를 들어, 이미지 처리 ECU(110)는 차량 내부(100)의 모든 좌석 영역들을 커버하도록 광각 렌즈를 갖는 카메라(112)로부터 비디오 스트림을 수신한다. 또한, 일부 실시예에서, 이미지 처리 ECU(110)는 카메라(112)의 위치와는 다른 위치로부터 차량 내부를 캡처하는 선택적 카메라(114)로부터 하나 이상의 이미지를 수신한다. 예를 들어, 선택적 카메라(114)는 더 긴 차량 내부(100)의 세 번째 좌석 열과 같은 좌석 위치들의 이미지들을 캡처할 수 있다.
이미지 처리 ECU(110)는 하나 이상의 이미지 내의 차량 내부의 내부 영역들을 분류한다(블록 404). 일부 실시예에서, 상기 하나 이상의 이미지는 전체 이미지 품질을 개선하고, 노출과 같은 카메라 값들을 제어하기 위한 통계를 캡처하고, 추가 프로세싱을 위한 원하는 해상도를 얻기 위해 이미지를 잠재적으로 리샘플링하도록 사전-처리될(pre-processed) 수 있다. 하나 이상의 이미지는 상기 하나 이상의 이미지 내의 모든 픽셀들 또는 작은 픽셀 그룹에 대해서 선, 형상, 경사도 크기 및 방향, 텍스처 및 색상과 같은 이미지 특징들을 추출하도록 처리된다. 이러한 추출된 이미지 특징은, 추출된 이미지 특징들이 대상들의 부류(class)(예를 들면, 차량 탑승자, 좌석, 좌석벨트, 또는 다른 차량 내부 대상의 부류들)의 특징들과 얼마나 일치하는지를 결정하도록 상기 이미지의 영역(예를 들면, 차량 내부의 내부 영역)에서 상기 추출된 특징들을 상관시키는 분류기(예를 들면, 비교기(comparator))로 공급된다. 상기 분류기는 검출될 대상의 부류에 대해 이전에 수집된 데이터에 기초한다. 이전에 수집된 상기 대상의 부류에 대한 데이터는 차량 내 탑승자들의 큰 그룹의 이미지들을 포함할 수 있다. 상기 큰 그룹의 이미지들 내의 그 탑승자들은 크기, 나이, 앉아 있는 자세, 의복의 다양한 세트를 나타낼 필요가 있고, 다양한 조명 조건들로 촬영될 필요가 있다. 일부 실시예에서, 차량 내 상이한 좌석(예를 들면, 앞좌석 대 뒷자석, 또는 각각의 개별 좌석)에 대응하는 상이한 분류기들이 있다. 또한, 일부 실시예에서는 유아 캐리어를 검출하기 위한 별도의 분류기가 있다.
이미지 처리 ECU(110)는 하나 이상의 이미지에서 탑승자를 식별하기 위해 차량 내부의 내부 영역들의 분류를 사용할 수 있다(블록 406). 예를 들어, 이미지 처리 ECU(110)는 하나 이상의 이미지에서 각 내부 영역에 대한 스코어(score)로서 초기 분류기에 의한 차량 내부의 내부 영역들의 분류를 사용할 수 있다. 상기 스코어는 하나 이상의 이미지에서 탑승자를 식별하기 위해 이미지 처리 ECU(110)의 메모리에 저장된 임계값과 비교된다. 일부 실시예에서, 하나 이상의 이미지에서 탑승자가 식별되고 오 검출을 제한할 가능성을 높이기 위해, 이미지 처리 ECU(110)는 이미지 처리 ECU(110)의 메모리에 저장된 낮은 임계값을 사용할 수 있고 또한 둘 이상의 이미지들에서 차량 내부의 동일한 내부 영역에 상기 식별이 발생하는 요건을 사용할 수 있다.
이미지 처리 ECU(110)가 하나 이상의 이미지의 내부 영역에서 탑승자를 식별 한 후, 이미지 처리 ECU(110)는 전술한 바와 같이 내부 영역들의 분류에 기초하여 탑승자의 크기 범위를 결정할 수 있다(블록 408). 다른 실시예에서, 탑승자를 갖는 하나 이상의 이미지의 내부 영역들에 대해, 탑승자의 크기 범위를 결정하기 위해 추가의 프로세싱이 수행될 수 있다. 예를 들어, 이미지 처리 ECU(110)는 탑승자를 분류하고 그 분류들을 결합하여 탑승자의 크기 범위를 결정하기 위해, 머리, 몸통, 팔 및 다리를 검출하도록 특정된 분류기를 사용할 수 있다. 일부 실시예에서, 하나 이상의 이미지에서 탑승자의 검출된 크기 및 식별된 위치를 취하고, 상기 검출된 크기 및 식별된 위치를 탑승자의 크기의 추정치로 변환하기 위해 카메라 캘리브레이션 값들이 또한 사용될 수 있다. 일부 실시예에서, 차량 내부의 내부 영역들의 분류에 기초하여 하나 이상의 이미지에서 탑승자를 식별하는 것은, 이미지 처리 ECU(110)가 차량 내부의 운전석에 탑승자가 위치하는지 여부를 결정하는 것을 포함한다. 부가적으로, 탑승자의 크기 범위는 탑승자의 형상과 상관되는 것으로 이해된다. 즉, 이미지 처리 ECU(110)는 탑승자의 크기 범위를 결정한 후에 탑승자의 형상을 결정할 수 있는 것으로 이해된다.
이미지 처리 ECU(110)가 하나 이상의 이미지의 내부 영역에서 탑승자를 식별한 후에, 이미지 처리 ECU(110)는 또한 전술한 바와 같이 내부 영역들의 분류에 기초하여 탑승자의 자세를 결정한다(블록 410). 다른 실시예에서, 탑승자를 갖는 하나 이상의 이미지의 내부 영역들에 대해, 탑승자의 자세를 결정하기 위해 추가의 프로세싱이 수행될 수 있다. 예를 들어, 이미지 처리 ECU(110)는 탑승자의 자세를 결정하기 위해 탑승자를 분류하고 그 분류들을 결합하도록 머리, 몸통, 팔 및 다리를 검출하도록 특정된 분류기들을 사용할 수 있다.
이미지 처리 ECU(110)가 탑승자의 크기 범위 및 자세를 결정한 후에, 일부 실시예에서, 이미지 처리 ECU(110)는 탑승자 크기 및 자세에 기초하여 다른 차량 시스템들을 제어한다(블록 412). 탑승자의 크기 및 자세에 관한 정보를 사용하여 상기 다른 차량 시스템들을 제어함으로써, 이미지 처리 ECU(110)는 차량 내의 탑승자의 안전을 증가시킨다. 또한, 이미지 처리 ECU(110)가 탑승자의 크기 범위 및 자세를 결정한 후에, 이미지 처리 ECU(110)은 상기 탑승자의 크기 및 자세를 다른 차량 시스템들(예를 들면, ACU(120))로 전송할 수 있고, 그에 의해 상기 다른 차량 시스템들은 상기 차량의 에어백, 좌석벨트 및 다른 안전 메카니즘들을 제어하는데 있어 정확성을 향상시킬 수 있다. 예를 들어, 이미지 처리 ECU(110)는 전술한 바와 같이 탑승자의 크기 및 자세를 ACU(120)로 전송할 수 있으며, ACU(120)는 탑승자의 크기 및 자세에 적어도 부분적으로 기초한 전개로 하나 이상의 에어백을 작동시킬 수 있어, 탑승자의 안전성을 증가시킬 수 있다.
일부 실시예에서, 이미지 처리 ECU(110) 또는 ACU(120)는 또한 탑승자의 크기 및 자세에 기초하여 하나 이상의 에어백의 하나 이상의 전개 특성을 결정할 수 있다. 하나 이상의 에어백의 전개 특성은 하나 이상의 에어백의 전개 강도 또는 하나 이상의 에어백의 전개 각도 중 적어도 하나를 포함할 수 있다.
일부 실시예에서, 이미지 처리 ECU(110)는 또한 탑승자의 크기 및 자세를 좌석벨트 시스템에 전송할 수 있다. 좌석벨트 시스템은 탑승자의 크기 및 자세에 적어도 부분적으로 기초하여 탑승자가 좌석벨트를 적절하게 채웠는지 여부를 결정할 수 있다.
도 4는 차량 내의 한 탑승자의 크기 및 자세를 분류, 식별 및 결정하는 것으로 설명되었다. 하지만, 도 4에 기술되고 도시된 바와 같은 방법(400)은 차량 내의 복수의 탑승자들의 크기 및 자세를 분류, 식별 및 결정하는데 사용될 수 있음을 이해할 수 있다. 예를 들어, 일부 실시예에서, 이미지 처리 ECU(110)는 차량 내부의 내부 영역들의 분류에 기초하여 하나 이상의 이미지에서 제 2 탑승자를 식별할 수 있다. 이미지 처리 ECU(110)는 또한 차량 내부의 내부 영역들의 분류에 기초하여 제 2 탑승자의 크기 범위를 결정할 수 있다. 이미지 처리 ECU(110)는 또한 차량 내부의 내부 영역들의 분류에 기초하여 제 2 탑승자의 자세를 결정할 수 있다. 제 2 탑승자의 크기 및 자세를 결정한 후에, 이미지 처리 ECU(110)는 제 2 탑승자의 크기 및 자세에 기초하여 하나 이상의 차량 시스템을 제어할 수 있다. 대안적으로, 제 2 탑승자의 크기 및 자세를 결정한 후에, 이미지 처리 ECU(110)는 제 2 탑승자의 크기 및 자세를 하나 이상의 차량 시스템에 전송할 수 있다.
따라서, 본 발명은 무엇보다도, 차량 내의 탑승자의 크기 및 자세를 결정하기 위한 방법 및 시스템을 제공한다. 본 발명의 다양한 특징들 및 이점들은 다음의 청구 범위에 기재되어있다.

Claims (14)

  1. 차량 내부의 탑승자의 크기 및 자세를 결정하는 방법에 있어서:
    전자 제어 유닛을 사용하여, 카메라로부터 차량 내부의 하나 이상의 이미지를 수신하는 단계;
    상기 전자 제어 유닛을 사용하여, 상기 하나 이상의 이미지에서 상기 차량 내부의 내부 영역들을 분류하는 단계;
    상기 전자 제어 유닛을 사용하여, 상기 차량 내부의 내부 영역들의 상기 분류에 기초하여 상기 하나 이상의 이미지 내의 탑승자를 식별하는 단계;
    상기 전자 제어 유닛을 사용하여, 상기 차량 내부의 내부 영역들의 상기 분류에 기초하여 상기 탑승자의 크기 범위를 결정하는 단계;
    상기 전자 제어 유닛을 사용하여, 상기 차량 내부의 내부 영역들의 상기 분류에 기초하여 상기 탑승자의 자세를 결정하는 단계; 및
    상기 탑승자의 크기 및 자세에 기초하여 하나 이상의 차량 시스템을 제어하는 단계를 포함하는, 차량 내부의 탑승자의 크기 및 자세를 결정하는 방법.
  2. 제 1 항에 있어서,
    상기 차량 내부의 내부 영역들의 상기 분류에 기초하여 상기 하나 이상의 이미지 내의 탑승자를 식별하는 상기 단계는, 상기 전자 제어 유닛을 사용하여, 상기 탑승자가 상기 차량 내부의 운전석에 위치되는지를 결정하는 단계를 포함하는, 차량 내부의 탑승자의 크기 및 자세를 결정하는 방법.
  3. 제 1 항에 있어서,
    상기 탑승자의 크기 및 자세에 기초하여 하나 이상의 차량 시스템을 제어하는 상기 단계는:
    상기 전자 제어 유닛을 사용하여, 상기 탑승자의 크기 및 자세를 에어백 제어 유닛으로 전송하는 단계; 및
    상기 에어백 제어 유닛을 사용하여, 상기 탑승자의 크기 및 자세에 적어도 부분적으로 기초하는 전개(deployment)로 하나 이상의 에어백을 작동시키는 단계를 포함하는, 차량 내부의 탑승자의 크기 및 자세를 결정하는 방법.
  4. 제 3 항에 있어서,
    상기 에어백 제어 유닛을 사용하여, 상기 탑승자의 크기 및 자세에 기초하여 상기 하나 이상의 에어백의 하나 이상의 전개 특성을 결정하는 단계를 더 포함하는, 차량 내부의 탑승자의 크기 및 자세를 결정하는 방법.
  5. 제 4 항에 있어서,
    상기 하나 이상의 에어백의 상기 하나 이상의 전개 특성은 전개의 강도 또는 전개의 각도 중 적어도 하나를 포함하는, 차량 내부의 탑승자의 크기 및 자세를 결정하는 방법.
  6. 제 1 항에 있어서,
    상기 탑승자의 크기 및 자세에 기초하여 상기 하나 이상의 차량 시스템을 제어하는 상기 단계는:
    상기 전자 제어 유닛을 사용하여, 상기 탑승자의 크기 및 자세를 좌석벨트 시스템으로 전송하는 단계; 및
    상기 좌석벨트 시스템을 사용하여, 상기 탑승자의 크기 및 자세에 적어도 부분적으로 기초하여 상기 탑승자가 좌석벨트를 올바르게 채웠는지를 결정하는 단계를 포함하는, 차량 내부의 탑승자의 크기 및 자세를 결정하는 방법.
  7. 제 1 항에 있어서,
    상기 전자 제어 유닛을 사용하여, 상기 차량 내부의 내부 영역들의 상기 분류에 기초하여 상기 하나 이상의 이미지 내의 제 2 탑승자를 식별하는 단계;
    상기 전자 제어 유닛을 사용하여, 상기 차량 내부의 내부 영역들의 상기 분류에 기초하여 상기 제 2 탑승자의 크기 범위를 결정하는 단계;
    상기 전자 제어 유닛을 사용하여, 상기 차량 내부의 내부 영역들의 상기 분류에 기초하여 상기 제 2 탑승자의 자세를 결정하는 단계; 및
    상기 제 2 탑승자의 크기 및 자세에 기초하여 하나 이상의 차량 시스템을 제어하는 단계를 더 포함하는, 차량 내부의 탑승자의 크기 및 자세를 결정하는 방법.
  8. 차량 내부의 탑승자의 크기 및 자세를 결정하는 시스템에 있어서:
    차량 내부의 하나 이상의 이미지를 캡처하도록 구성된 카메라; 및
    메모리 및 상기 메모리에 전기적으로 결합된 전자 프로세서를 갖는 전자 제어 유닛을 포함하고,
    상기 전자 제어 유닛은:
    상기 카메라로부터 상기 하나 이상의 이미지를 수신하고;
    상기 하나 이상의 이미지에서 상기 차량 내부의 내부 영역들을 분류하고;
    상기 차량 내부의 내부 영역들의 상기 분류에 기초하여 상기 하나 이상의 이미지 내의 탑승자를 식별하고;
    상기 차량 내부의 내부 영역들의 상기 분류에 기초하여 상기 탑승자의 크기 범위를 결정하고;
    상기 차량 내부의 내부 영역들의 상기 분류에 기초하여 상기 탑승자의 자세를 결정하고;
    상기 탑승자의 크기 및 자세에 기초하여 하나 이상의 차량 시스템을 제어하도록 구성되는, 차량 내부의 탑승자의 크기 및 자세를 결정하는 시스템.
  9. 제 8 항에 있어서,
    상기 하나 이상의 이미지 내의 상기 탑승자를 식별하기 위해, 상기 전자 프로세서는 또한 상기 탑승자가 상기 차량 내부의 운전석에 위치되는지를 결정하도록 구성되는, 차량 내부의 탑승자의 크기 및 자세를 결정하는 시스템.
  10. 제 8 항에 있어서,
    에어백 제어 유닛을 더 포함하고,
    상기 탑승자의 크기 및 자세에 기초하여 상기 하나 이상의 차량 시스템을 제어하기 위해, 상기 전자 프로세서는 또한 상기 탑승자의 크기 및 자세를 에어백 제어 유닛으로 전송하도록 구성되고, 상기 에어백 제어 유닛은 상기 탑승자의 크기 및 자세에 적어도 부분적으로 기초하는 전개로 하나 이상의 에어백을 작동시키도록 구성되는, 차량 내부의 탑승자의 크기 및 자세를 결정하는 시스템.
  11. 제 10 항에 있어서,
    상기 에어백 제어 유닛은 또한 상기 탑승자의 크기 및 자세에 기초하여 상기 하나 이상의 에어백의 하나 이상의 전개 특성을 결정하도록 구성되는, 차량 내부의 탑승자의 크기 및 자세를 결정하는 시스템.
  12. 제 11 항에 있어서,
    상기 하나 이상의 에어백의 상기 하나 이상의 전개 특성은 전개의 강도 또는 전개의 각도 중 적어도 하나를 포함하는, 차량 내부의 탑승자의 크기 및 자세를 결정하는 시스템.
  13. 제 8 항에 있어서,
    좌석벨트 시스템을 더 포함하고,
    상기 탑승자의 크기 및 자세에 기초하여 상기 하나 이상의 차량 시스템을 제어하기 위해, 상기 전자 프로세서는 또한 상기 탑승자의 크기 및 자세를 상기 좌석벨트 시스템으로 전송하도록 구성되고, 상기 좌석벨트 시스템은 상기 탑승자의 크기 및 자세에 적어도 부분적으로 기초하여 상기 탑승자가 좌석벨트를 올바르게 채웠는지를 결정하도록 구성되는, 차량 내부의 탑승자의 크기 및 자세를 결정하는 시스템.
  14. 제 8 항에 있어서,
    상기 전자 프로세서는 또한:
    상기 차량 내부의 내부 영역들의 상기 분류에 기초하여 상기 하나 이상의 이미지 내의 제 2 탑승자를 식별하고;
    상기 차량 내부의 내부 영역들의 상기 분류에 기초하여 상기 제 2 탑승자의 크기 범위를 결정하고;
    상기 차량 내부의 내부 영역들의 상기 분류에 기초하여 상기 제 2 탑승자의 자세를 결정하고;
    상기 제 2 탑승자의 크기 및 자세에 기초하여 하나 이상의 차량 시스템을 제어하도록 구성되는, 차량 내부의 탑승자의 크기 및 자세를 결정하는 시스템.
KR1020177032471A 2015-04-10 2016-04-08 차량 내부 카메라에 의한 탑승자 크기 및 자세 검출 KR20170135946A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562145931P 2015-04-10 2015-04-10
US62/145,931 2015-04-10
PCT/US2016/026747 WO2016164793A1 (en) 2015-04-10 2016-04-08 Detection of occupant size and pose with a vehicle interior camera

Publications (1)

Publication Number Publication Date
KR20170135946A true KR20170135946A (ko) 2017-12-08

Family

ID=55806817

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177032471A KR20170135946A (ko) 2015-04-10 2016-04-08 차량 내부 카메라에 의한 탑승자 크기 및 자세 검출

Country Status (6)

Country Link
US (1) US10829072B2 (ko)
EP (1) EP3280619B1 (ko)
JP (1) JP2018512334A (ko)
KR (1) KR20170135946A (ko)
CN (1) CN107428302B (ko)
WO (1) WO2016164793A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190095908A (ko) * 2018-11-21 2019-08-16 엘지전자 주식회사 탑승자 모니터링 방법 및 이를 위한 장치

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170135946A (ko) 2015-04-10 2017-12-08 로베르트 보쉬 게엠베하 차량 내부 카메라에 의한 탑승자 크기 및 자세 검출
JP6982767B2 (ja) * 2017-03-31 2021-12-17 パナソニックＩｐマネジメント株式会社 検知装置、学習装置、検知方法、学習方法、およびプログラム
US10272807B2 (en) * 2017-05-02 2019-04-30 Ford Global Technologies, Llc Efficient control of temperature altering systems within a vehicle seating assembly
FR3067309B1 (fr) * 2017-06-09 2020-02-07 STMicroelectronics (Grand Ouest) SAS Procede et systeme de reglage automatique d'au moins un equipement d'un vehicule automobile
FR3069657A1 (fr) * 2017-07-31 2019-02-01 Valeo Comfort And Driving Assistance Dispositif optique pour l'observation d'un habitacle de vehicule
US11465631B2 (en) * 2017-12-08 2022-10-11 Tesla, Inc. Personalization system and method for a vehicle based on spatial locations of occupants' body portions
US10776644B1 (en) 2018-03-07 2020-09-15 State Farm Mutual Automobile Insurance Company Image analysis technologies for assessing safety of vehicle operation
US10275670B1 (en) 2018-03-07 2019-04-30 State Farm Mutual Automobile Insurance Company Image analysis technologies for identifying abnormal vehicle conditions
JP7059054B2 (ja) * 2018-03-13 2022-04-25 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US20190322233A1 (en) * 2018-04-24 2019-10-24 Ford Global Technologies, Llc Controlling Airbag Activation Status At A Motor Vehicle
US11254270B1 (en) * 2018-05-02 2022-02-22 State Farm Mutual Automobile Insurance Company Technologies for using image analysis to facilitate adjustments of vehicle components
DE102018207977B4 (de) * 2018-05-22 2023-11-02 Zf Friedrichshafen Ag Innenüberwachung für Sicherheitsgurteinstellung
WO2020016635A1 (en) 2018-07-19 2020-01-23 Bosch Car Multimedia Portugal S.a. Method and system for detecting and identifying an interior abnormal condition in a passenger vehicle
DE102018118129A1 (de) 2018-07-26 2020-01-30 Automotive Safety Technologies Gmbh Insassenschutzsystem, Kraftfahrzeug und Verfahren zum Betreiben eines Insassenschutzsystems
EP3643567B1 (en) * 2018-10-24 2021-05-05 Volvo Car Corporation Airbag arrangement
US11270525B2 (en) * 2018-11-06 2022-03-08 Alliance For Sustainable Energy, Llc Automated vehicle occupancy detection
KR102601354B1 (ko) 2018-11-29 2023-11-13 현대모비스 주식회사 영상기반 승객 검출 및 안전벨트 착용 검출 장치와 방법
US20200217942A1 (en) * 2019-01-03 2020-07-09 GM Global Technology Operations LLC Method and system for detecting vehicle occupants
US10657396B1 (en) * 2019-01-30 2020-05-19 StradVision, Inc. Method and device for estimating passenger statuses in 2 dimension image shot by using 2 dimension camera with fisheye lens
WO2020166002A1 (ja) * 2019-02-14 2020-08-20 三菱電機株式会社 搭乗者状態検出装置
US11491940B2 (en) 2019-04-19 2022-11-08 GM Global Technology Operations LLC System and method for detecting improper posture of an occupant using a seatbelt restraint system
CN110084184B (zh) * 2019-04-25 2021-06-11 浙江吉利控股集团有限公司 一种基于图像处理技术的安全带未系探测系统和方法
JP7331483B2 (ja) * 2019-06-18 2023-08-23 株式会社アイシン 撮像制御装置
WO2021044566A1 (ja) * 2019-09-05 2021-03-11 三菱電機株式会社 体格判定装置および体格判定方法
US20210188205A1 (en) * 2019-12-19 2021-06-24 Zf Friedrichshafen Ag Vehicle vision system
JP7461756B2 (ja) 2020-02-25 2024-04-04 日野自動車株式会社 車両制御装置及び車両制御方法
CN115768664A (zh) * 2020-04-28 2023-03-07 沃伊亚影像有限公司 用于对车辆舱室进行监控的系统和方法
CN111703393A (zh) * 2020-05-12 2020-09-25 江苏大学 一种基于驾驶员姿态实时3d建模的安全气囊自适应控制方法
FR3119131A1 (fr) 2021-01-22 2022-07-29 Commissariat A L'energie Atomique Et Aux Energies Alternatives Système et procédé d’estimation de la taille d’un usager d’un siège et un procédé de fabrication d’un tel système
CN113487830A (zh) * 2021-06-25 2021-10-08 东风柳州汽车有限公司 车辆安全预警方法、设备、存储介质及装置
KR102616328B1 (ko) * 2021-12-27 2023-12-21 현대모비스 주식회사 안전벨트 착용 판단 장치 및 방법
CN115134537A (zh) * 2022-01-18 2022-09-30 长城汽车股份有限公司 一种图像处理方法、装置及车辆

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948442B2 (en) * 1982-06-18 2015-02-03 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
US6397136B1 (en) * 1997-02-06 2002-05-28 Automotive Technologies International Inc. System for determining the occupancy state of a seat in a vehicle
JPH0624286A (ja) * 1992-07-10 1994-02-01 Nissan Motor Co Ltd エアバッグ装置
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US7738678B2 (en) * 1995-06-07 2010-06-15 Automotive Technologies International, Inc. Light modulation techniques for imaging objects in or around a vehicle
JP4390966B2 (ja) 2000-04-19 2009-12-24 株式会社東海理化電機製作所 乗員検知システム
US6904347B1 (en) 2000-06-29 2005-06-07 Trw Inc. Human presence detection, identification and tracking using a facial feature image sensing system for airbag deployment
DE10063697B4 (de) 2000-12-20 2006-07-13 Siemens Ag Verfahren und Vorrichtung zur Erfassung der Position eines Elements in einem Fahrzeug, insbesondere für Insassenschutzsysteme
GB0200954D0 (en) 2002-01-16 2002-03-06 Autoliv Dev Improvements in or relating to a camera arrangement
DE10227221A1 (de) 2002-06-18 2004-01-15 Daimlerchrysler Ag Verfahren zur Überwachung des Innen- bzw. Außenraums eines Fahrzeugs sowie ein Fahrzeug mit wenigstens einer Rundsichtkamera
JP2004144512A (ja) 2002-10-22 2004-05-20 Denso Corp 乗員検知システム
DE10308405A1 (de) 2003-02-27 2004-09-16 Bayerische Motoren Werke Ag Verfahren zur Steuerung einer Airbagzündung
JP2008518195A (ja) * 2003-10-03 2008-05-29 オートモーティブ システムズ ラボラトリー インコーポレーテッド 乗員検出システム
DE102004013598A1 (de) * 2004-03-19 2005-10-06 Robert Bosch Gmbh Vorrichtung zur Einstellung von Sitzkomponenten
US7437229B2 (en) * 2004-08-03 2008-10-14 Mazda Motor Corporation Driving position adjusting device for automotive vehicle
US7320478B2 (en) 2004-10-18 2008-01-22 Ford Global Technologies Llc Smart airbag for vehicular applications
JP2006195571A (ja) * 2005-01-11 2006-07-27 Sumitomo Electric Ind Ltd 画像認識システム、及び撮像装置
US7283901B2 (en) 2005-01-13 2007-10-16 Trw Automotive U.S. Llc Controller system for a vehicle occupant protection device
US20060186656A1 (en) * 2005-02-22 2006-08-24 Takata Corporation Airbag cushion
KR100630842B1 (ko) 2005-06-08 2006-10-02 주식회사 현대오토넷 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별시스템 및 그 방법
JP4438753B2 (ja) 2006-01-27 2010-03-24 株式会社日立製作所 車両内状態検知システム，車両内状態検知装置および方法
JP2007240475A (ja) * 2006-03-13 2007-09-20 Nissan Motor Co Ltd 物理量分布検出装置
JP2008261749A (ja) 2007-04-12 2008-10-30 Takata Corp 乗員検出装置、作動装置制御システム、シートベルトシステム、車両
JP5059551B2 (ja) 2007-10-31 2012-10-24 株式会社デンソー 車両の乗員検出装置
DE102008017835A1 (de) 2008-04-08 2008-10-30 Daimler Ag Multimediasystem für ein Fahrzeug
JP2010203836A (ja) * 2009-03-02 2010-09-16 Mazda Motor Corp 車室内状態の認識装置
US20130314536A1 (en) * 2009-03-02 2013-11-28 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US8260502B2 (en) * 2009-04-22 2012-09-04 Toyota Motor Engineering & Manufacturing North America, Inc. Occupant detection and imaging system
DE102011105247B4 (de) 2010-06-22 2018-05-09 Conti Temic Microelectronic Gmbh Kamerasystem
US9025702B2 (en) * 2011-08-26 2015-05-05 Fujitsu Limited Method and apparatus for implementing slice-level adjustment
KR101371975B1 (ko) * 2011-09-16 2014-03-07 현대자동차주식회사 운전자의 자세 제어 장치
DE102012006356A1 (de) 2012-03-28 2013-10-02 Audi Ag Kraftfahrzeug, umfassend mehrere aktive oder passive Sicherheitsvorrichtungen
KR20140141285A (ko) 2013-05-31 2014-12-10 (주)엠아이웨어 자동차용 탑승자 추적 장치
US20150015706A1 (en) 2013-07-09 2015-01-15 Honda Motor Co., Ltd. Vehicle exterior image capturing device
US20150073652A1 (en) 2013-09-11 2015-03-12 Ford Global Technologies, Llc Energy consumption optimization system
KR20170135946A (ko) 2015-04-10 2017-12-08 로베르트 보쉬 게엠베하 차량 내부 카메라에 의한 탑승자 크기 및 자세 검출

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190095908A (ko) * 2018-11-21 2019-08-16 엘지전자 주식회사 탑승자 모니터링 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
US10829072B2 (en) 2020-11-10
US20180065582A1 (en) 2018-03-08
EP3280619A1 (en) 2018-02-14
JP2018512334A (ja) 2018-05-17
EP3280619B1 (en) 2019-10-02
CN107428302B (zh) 2022-05-03
WO2016164793A1 (en) 2016-10-13
CN107428302A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
CN107428302B (zh) 利用车辆内部相机的占用者尺寸和姿势的检测
US10953850B1 (en) Seatbelt detection using computer vision
US6757009B1 (en) Apparatus for detecting the presence of an occupant in a motor vehicle
US10345806B2 (en) Autonomous driving system and method for same
US20040220705A1 (en) Visual classification and posture estimation of multiple vehicle occupants
US10131309B2 (en) Apparatus and method for controlling airbag
KR102117598B1 (ko) 차량 운전 보조 장치 및 차량
US10956759B1 (en) Age detection in vehicles using computer vision
JP5841049B2 (ja) 自動車用ビジョンシステムおよびビジョンメソッド
JP2007022401A (ja) 乗員情報検出システム、乗員拘束装置、車両
CN107021059A (zh) 用于织带伸出的系统和方法
EP3560770A1 (en) Occupant information determination apparatus
US8560179B2 (en) Adaptive visual occupant detection and classification system
US20130184939A1 (en) Collision safety control apparatus and method for vehicle
JP3943367B2 (ja) 車両用乗員頭部検出装置
JP7134364B2 (ja) 体格判定装置および体格判定方法
Baltaxe et al. Marker-less vision-based detection of improper seat belt routing
US11347974B2 (en) Automated system for determining performance of vehicular vision systems
US11807181B2 (en) Vision-based airbag enablement
Lee et al. Stereovision-based real-time occupant classification system for advanced airbag systems
JP2018156212A (ja) 体格判定装置、体格判定方法およびプログラム
KR100551314B1 (ko) 열영상을 이용한 에어백 제어방법
JP6763080B2 (ja) 自動車用ビジョンシステム及び方法
KR20240011544A (ko) 시트 벨트 착용 여부 판단 방법 및 장치
CN117710946A (zh) 基于车载摄像头的安全带使用识别方法、装置和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2020101000924; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20200330

Effective date: 20210128