KR20040033255A - 탑승자 라벨링 시스템, 탑승자 추적 및 에어백 전개시스템 및 탑승자의 상체 식별 방법 - Google Patents

탑승자 라벨링 시스템, 탑승자 추적 및 에어백 전개시스템 및 탑승자의 상체 식별 방법 Download PDF

Info

Publication number
KR20040033255A
KR20040033255A KR1020030070456A KR20030070456A KR20040033255A KR 20040033255 A KR20040033255 A KR 20040033255A KR 1020030070456 A KR1020030070456 A KR 1020030070456A KR 20030070456 A KR20030070456 A KR 20030070456A KR 20040033255 A KR20040033255 A KR 20040033255A
Authority
KR
South Korea
Prior art keywords
occupant
upper body
image
metric
parameter
Prior art date
Application number
KR1020030070456A
Other languages
English (en)
Inventor
파머마이클이
슬릭커제임스엠
Original Assignee
이턴 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이턴 코포레이션 filed Critical 이턴 코포레이션
Publication of KR20040033255A publication Critical patent/KR20040033255A/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01542—Passenger detection systems detecting passenger motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/02—Occupant safety arrangements or fittings, e.g. crash pads
    • B60R21/16—Inflatable occupant restraints or confinements designed to inflate upon impact or impending impact, e.g. air bags
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01556—Child-seat detection systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01558—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use monitoring crash strength
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/24765—Rule-based classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
    • B60R2021/0039—Body parts of the occupant or pedestrian affected by the accident
    • B60R2021/0044—Chest
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R2021/01315—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over monitoring occupant displacement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Air Bags (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 탑승자(18)의 분할된 이미지(42)를 상체 이미지(54) 및 하체 이미지로 분할하는 것을 개시한다. 탑승자 라벨링 휴리스틱(heuristic)은 분할된 이미지(42) 내의 각 픽셀을 상체 픽셀 또는 하체 픽셀로서 식별할 수 있다. k-평균 모듈(60)은 상체 상의 특정 픽셀과 추정된 중심점 사이의 거리를 하체 상의 특정 픽셀과 추정된 중심점 사이의 거리와 비교함으로써 초기 픽셀 분류를 제공할 수 있다. 반복적 파라메터 추정기(66)는 조건부적 가능성 휴리스틱(a conditional likelihood heuristic)을 수행함으로써 상체(64) 및 하체(62)의 평균 값을 갱신할 수 있다. 픽셀들은 각 몸통에 대한 마하라노비스 거리를 비교함으로써 상체 또는 하체로 분류될 수 있다. 에어백 관련 애플리케이션은 상체 이미지를 사용하여 에어백 관련 애플리케이션과 관련된 탑승자 특성을 생성할 수 있다.

Description

탑승자 라벨링 시스템, 탑승자 추적 및 에어백 전개 시스템 및 탑승자의 상체 식별 방법{OCCUPANT LABELING FOR AIRBAG-RELATED APPLICATIONS}
관련 출원
이 부분 계속 출원은 이하의 미국 출원, 즉 "A RULES-BASED OCCUPANT CLASSIFICATION SYSTEM FOR AIRBAG DEPLOYMENT"라는 제목으로 2001년 5월 30일에 출원된 제 09/870,151 호와, "IMAGE PROCESSING SYSTEM FOR DYNAMIC SUPPRESSION OF AIRBAGS USING MULTIPLE MODEL LIKELIHOODS TO INFER THREE DIMENSIONAL INFORMATION"이라는 제목으로 2001년 7월 10일에 미국 출원된 제 09/901,805 호와, "IMAGE PROCESSING SYSTEM FOR ESTIMATING THE ENERGY TRANSFER OF AN OCCUPANT INTO AN AIRBAG"이라는 제목으로 2001년 11월 5일에 미국 출원된 제 10/006,564 호와, "IMAGE SEGMENTATION SYSTEM AND METHOD"이라는 제목으로 2001년 12월 17일에 미국 출원된 제 10/023,787 호 및 "IMAGE PROCESSING SYSTEM FOR DETERMINING WHEN AN AIRBAG SHOULD BE DEPLOYED"이라는 제목으로 2002년 1월 17일에 미국 출원된 제10/052,152 호의 이익을 주장하고자 하며, 이들의 전체 내용은 본 명세서에서 참조로 인용된다.
본 발명은 일반적으로 에어백의 전개(deployment)와 관련된 시스템 및 방법에 관한 것으로, 특히 탑승자의 상체를 식별하여 탑승자의 상체과 연관된 특성들이 에어백의 가능한 전개와 관련된 결정을 하는 데 기초로서 역할을 할 수 있도록 하는 것에 관한 것이다.
종래의 충돌 검출 시스템은 전형적으로 에어백의 전개를 트리거하는 차량 충돌이 존재하는지를 결정함에 있어 가속도계 또는 중량 기반 센서를 사용한다. 이러한 시스템은, 연석(curb)으로의 충돌로 이어지는 얼음 상의 차량 슬라이딩과 같은 심한 도로 조건 및 주차장에 진입하는 동안 주차 블록의 우연한 부딪힘과 같은 사소한 충격으로부터 야기되는 잘못된 경보에 영향을 받기 쉽다. 에어백 전개 시스템은 탑승자의 이미지로부터 유도된 탑승자 특성에 기초하도록 하는 것이 바람직한데, 그 이유는 탑승자의 이미지는 움직임 또는 중량의 급속한 이동으로 야기되는 에러에 덜 영향을 받을 수 있기 때문이다.
에어백 전개 시스템은 실시간 환경에서 그들의 기능을 수행해야 한다. 표준 비디오 카메라는 1초 동안 100개의 이미지만큼이나 많은 이미지를 포착할 수 있다. 그러므로, 전개 결정을 함에 있어서 센서 판독 또는 이미지의 포착 프로세스는 즉각적으로 그리고 신뢰성 있는 방식으로 수행되어야 한다. 에어백 관련 이미지 프로세싱을 탑승자의 상체에 집중하는 것이 바람직할 수 있다. 대부분의 에어백 전개 상황에 있어서, 대부분의 움직임을 나타내는 탑승자 부분은 탑승자의 상체이다.탑승자가 안전벨트를 매지 않아 상체가 엉덩이를 따라 앞쪽으로 회전함에 따라 머리가 신속하게 앞쪽으로 움직이는 상황에서도 상체 움직임이 지배적이다.
시간 제약이 있는 경우, 에어백 전개 시스템은 신뢰성 있는 프로세싱을 쉽게 하도록 견고해야 된다. "노이즈"를 처리하는 데에 대한 저항을 용이하게 하기 위해, 탑승자의 상체 이미지를 식별하는 프로세스가 반복적인 프로세싱 및 확률 가중 분석(a probability-weighted analysis)을 통해 구현되도록 하는 것이 바람직하다. 탑승자 형상 데이터(anthropomorphic data) 및 차량과 관련된 정보가, 상체 이미지를 식별하는 프로세스 또는 전개 결정이 이루어지는 동안의 이미지 포착 프로세스 내내 다양한 포인트에서 설정된 소정의 가정을 통해 구현되도록 하는 것이 또한 바람직할 수 있다.
본 발명은 탑승자의 분할 이미지 내에서 어느 픽셀이 탑승자의 상체 이미지를 나타내는지를 결정하는 데 사용되는 시스템 및 방법에 관한 것이다.
탑승자의 상체 특성은 에어백 전개에 관련된 애플리케이션(예로, 에어백 관련 애플리케이션)에 의해 다수의 상이한 방식으로 사용될 수 있다. 상체 특성의 포착은 탑승자의 상체 이미지를 하체를 포함하는 탑승자의 이미지로부터 분리함으로써 용이해질 수 있다.
이 시스템은 탑승자 형상 데이터, 차량 특정 데이터, 사전의 중심점( 계산 및 상체 및 하체의 중심점에 대한 초기 추정치를 생성하는 기타 다른 수단을 사용할 수 있다. k-메트릭 모듈은, 다양한 픽셀로부터 상체 및 하체의 중심점까지의 픽셀 거리를 비교하는 휴리스틱(heuristic)을 구현함으로써 이들 추정치를 갱신하는 데 사용될 수 있다.
파라메터 추정기는 상체 및 하체에 대해 갱신된 중심점을 더 세밀화(refine)하는 데 사용될 수 있다. 바람직한 실시예에서, 파라메터 추정기는 확률을 분석을 통해 구현하는 하나 이상의 상이한 수학적 휴리스틱을 반복적으로 사용하여 처리한다.
특정 분할 이미지에 대한 최종 중심점은 특정 픽셀과 상부 및 하체의 중심점 사이의 마하라노비스(Mahalanobis) 거리를 계산하는 데 사용될 수 있다. 특정 픽셀에 대해 상체 마하라노비스 거리가 하체 마하라노비스보다 작을 경우, 이 특정 픽셀은 상체 픽셀로 식별될 수 있다.
본 발명의 여러 측면은 첨부한 도면에 비추어 읽어 보는 바람직한 실시예의 이하의 상세한 설명으로부터 당업자에게 분명해질 것이다.
도 1은 시스템의 하나의 가능한 실시예에 대한 주변 환경을 부분적으로 도시하는 도면,
도 2는 탑승자 라벨링 시스템의 기능성을 구현할 수 있는 추적 및 전개 시스템의 하이 레벨 처리 흐름의 일례를 도시하는 도면,
도 3은 탑승자의 분할 이미지로부터 상체 이미지가 어떻게 포착될 수 있는지의 일례를 도시하는 처리 흐름도,
도 4는 탑승자 라벨링 휴리스틱의 일례를 도시하는 상세한 프로세스 흐름도,
도 5는 상체 및 하체를 포함하는 분할 이미지의 일례를 도시하는 도면,
도 6은 분할된 탑승자 이미지의 하체 이미지로부터 분리된 상체 이미지의 일례를 도시하는 도면,
도 7은 상체 이미지의 식별을 용이하게 하기 위해 탑승자의 분할 이미지로부터 제거된 하체 이미지의 일례를 도시하는 도면.
도면의 주요 부분에 대한 부호의 설명
18 : 탑승자20 : 좌석
22 : 카메라26 : 전면 방풍 유리
30 : 컴퓨터32 : 에어백 제어기
36 : 에어백 전개 시스템38 : 주위 화상
A. 주변 환경의 부분적 보기
이제 도면을 참조하면, 도 1에는 탑승자 라벨링 시스템(16)의 가능한 하나의 실시예에 대한 주변 환경이 부분적으로 도시되어 있다. 탑승자(18)가 존재한다면, 탑승자(18)는 좌석(20)에 앉는다. 바람직한 실시예에서, 화상을 신속하게 포착할 수 있는 카메라 또는 다른 감지기(22)(총괄하여 "카메라")가 탑승자(18)의 위쪽 탑승자(18)보다 전면 방풍 유리(front windshield)(26)에 더 가까운 위치에 있는, 루프 라이너(roof liner)(24)에 부착될 수 있다. 카메라(22)는 표준 비디오 카메라도 가능하지만, 충돌 검출을 위해, 초당 250 내지 1000 프레임을 포착할 수 있는 고속 카메라(22)가 바람직할 수 있다. 카메라(22)는 바람직하게 좌석(20)의 전진 방향 또는 후진 방향 이동으로부터 야기된 탑승자(18)의 상체의 각도 및 위치 변화를 포착하기 위해, 탑승자(18) 쪽으로 약간 하향 각도로 배치될 수 있다. 시스템(16)에서 구현될 수 있는 카메라(22)에 대한 많은 가능한 위치가 존재한다. 이와 유사하게, 컴퓨터(30)는 사실상 차량 상의 어느 곳에서도 위치할 수 있다. 바람직한 실시예에서, 컴퓨터(30)는 긴 배선을 통해 카메라 이미지를 전송하는 것을 피하기 위해 카메라(22) 부근에 위치된다. 에어백 제어기(32)는 기기 패널(instrument panel)(34) 내에 도시되어 있지만, 사실상 차량 내의 어느 위치라도 배치될 수 있다. 에어백 전개 시스템(36)이 탑승자(18) 및 좌석(20) 앞의 기기 패널(34)에 도시되어 있지만, 다른 위치의 에어백 전개 시스템(36)과 함께 기능을 할 수도 있다.
B. 하이 레벨 처리 흐름
도 2는 전체 에어백 관련 프로세싱의 측면에서 시스템(16)의 사용과 관련된 하이 레벨 흐름을 개시한다. 좌석 영역(21)의 입력 비디오 이미지("주위 이미지")(38)는 탑승자(18) 및 탑승자(18)를 둘러싸는 좌석 영역(21)의 이미지 모두를 포함한다. 입력 비디오 이미지(38)는 일련의 이미지를 신속하게 포착할 수있는 카메라(22) 또는 임의의 다른 센서에 의해 포착된다. 도면에 있어서, 몇몇 상황 및 실시예 하에서, 특히 카메라(22)가 다리 하부가 관측될 수 없는 위치에 배치되는 경우 탑승자(18)의 이미지의 일부분만이 포착될지라도, 좌석 영역(21)은 전체 탑승자(18)를 포함한다. 주위 이미지(38)는 컴퓨터(30)에 전송된다.
에어백 전개 프로세스의 다수의 기능은 하나 이상의 컴퓨터(30)에서 수행될 수 있다. 컴퓨터(30)는 탑승자(18)의 분할된 이미지를, 탑승자(18) 및 탑승자(18)를 둘러싸는 영역 모두를 포함하는 좌석 영역의 주위 이미지(38)로부터 분리하는데 사용될 수 있다. 탑승자(18)의 상체를 나타내는 분할된 이미지 내에서 픽셀을 식별하는 프로세스는 컴퓨터(30)에 수납될 수 있다. 상체으로부터 탑승자 특성을 추출하는 프로세스는 컴퓨터 내에서 수행될 수 있다. 또한 하나 이상의 상이한 컴퓨터가 사용되어 탑승자 특성을 추적 및 예상하고, 에어백의 전개를 필요로하는 사건이 발생했는지 여부를 결정하며, 탑승자가 에어백 전개 시스템에 너무 근접하여 배치가 바람직한지 않은지 여부를 결정하고(예를 들어, 탑승자의 머리 또는 상체가 배치시 사전결정된 ARZ(at-risk-zone) 내에 존재하는 지 여부를 결정), 전개되는 에어백의 원하는 강도를 계산하며, 에어백의 전개와 관련된 임의의 다른 프로세스 및 분석을 수행한다. 컴퓨터(30)는 컴퓨터 프로그램 또는 몇몇 다른 형태의 구조화된 로직을 수행할 수 있는 임의의 장치가 될 수 있다.
컴퓨터(30)에 의해 수행된 프로세스의 결과에 따라, 에어백 전개 시스템(36)이 구현하는 적절한 인스트럭션이 에어백 제어기(32)에 전송될 수 있다.
C. 상세한 에어백 처리 흐름
도 3은 에어백 제어기(32)에 의해 수행된 에어백 전개 분석을 통해 주위 이미지(38)의 포착으로부터의 프로세스 흐름의 일례를 도시하는 처리 흐름도를 도시하고 있다.
카메라(22)에 의해 포착된 각각의 주위 이미지(38)는 이미지 분할기(40)에 의해 처리될 수 있다. 이미지 분할기는 주위 이미지(38) 내에서 탑승자(18)를 나타내는 픽셀들을 분리하여 탑승자(18)만을 나타내는 분할된 이미지(42)가 생성되고 다음 프로세싱으로 넘어갈 수 있다.
분할된 이미지(42)는 탑승자 유형 분류기("탑승자 분류기")(44)에 대한 입력이다. 탑승자 분류기(44)는 탑승자(18)의 분할된 이미지(42)를 몇몇 사전정의된 탑승자 분류 유형들 중 하나로 분류하도록 구성될 수 있다. 바람직한 실시예에서, 시스템(16)은 후속하는 탑승자 분류 유형들, 즉 어른, 어린이, 공석, 후향식 유아 좌석, 전향식 어린이 좌석 및 잡다한 객체를 구별할 수 있다. 탑승자 분류기(44)는 관련된 특성들의 계층적 트리를 사용하여 탑승자의 정확한 탑승자 유형 분류(46)를 식별할 수 있다.
바람직한 실시예에서, 탑승자(18)가 소정의 분류 유형(46)에 속하는 것으로 분류되는 경우 에어백 전개 시스템(36)은 에어백의 전개를 배제한다. 도 3의 예에 있어서, 에어백은 탑승자(18)가 어른으로 분류된 경우에만 전개될 수 있다. 이와 다른 실시예는 다양한 분류 유형(46)에 대해 폭넓고 다양한 상이한 전개 규칙을 구현할 수 있다. 도 3의 예로 돌아가면, 탑승자(18)가 단계(50)에서 어른으로 분류되지 않은 경우, 프로세스는 그 특정 주위 이미지(38)에 대해 종료될 수 있다. 다음의 주위 이미지(38)의 포착은 처음부터 프로세스를 재시작할 수 있다.
단계(50)에서 탑승자 분류 유형(46)이 에어백이 전개될 필요가 있을 수 있는 유형인 경우, 탑승자 라벨링 모듈(52)은 분할된 이미지(42) 및 탑승자 유형 분류(46)를 입력으로서 간주할 수 있다. 이와 다른 실시예에서는, 탑승자 분류기(44)가 존재하지 않고, 탑승자 라벨링 모듈(52)은 탑승자 분류 유형(46)의 이점을 가지지 못한다.
탑승자 라벨링 모듈(52)은 상체 이미지(54)로도 지칭될 수 있는 머리 몸통 이미지(54)를 생성한다. 바람직한 실시예에서, 상체(54)는 엉덩이부터 탑승자(18)의 머리를 포함한 부분까지 이어진다. 따라서, 하체는 탑승자(18)의 엉덩이로부터 아래쪽으로 이어진다. 이와 다른 실시예에서, 상부 및 하체는 따로 나뉘어질 수 있다. 이와 다른 실시예에서, 탑승자(18)의 분할 이미지(42)는 세 개 이상의 섹션으로 나뉘어질 수 있다.
바람직한 실시예에서, 상체(54)는 탑승자 추적기(56)에 전송된다. 탑승자 추적기(56)는 탑승자 라벨링 모듈(52)로부터 전달된 정보로부터 관련 탑승자 특성을 포착한다. 탑승자 추적기(56)에 의해 사용된 특성은 측정된 특성 및 측정된 특성로부터 유도된 특성(유도된 특성) 모두를 포함할 수 있다. 관련 탑승자(18) 특성은 위치, 속도, 가속, 경사 각도, 폭, 높이, 중심 위치 및 임의의 다른 가능한 관련 특성을 포함할 수 있다. 바람직한 실시예에서, 탑승자 추적기(56)는 다수의 형상 및 움직임 모델을 이용하고 확률 가중 분석에 다수의 칼만 필터를 포함시켜향후 탑승자(18) 특성을 예측하는 탑승자 추적기 및 예측기이다.
D. 탑승자 라벨링 휴리스틱
도 4는 탑승자 라벨링 휴리스틱의 일례의 상세한 프로세스 흐름을 도시하고 있다. 바람직한 실시예에서, 탑승자 라벨링 휴리스틱에 대한 입력은 분할된 이미지(42) 및 상체(54)(예로, "머리 및 몸통")의 위치에 대한 하나 이상의 초기 추측이다. 초기 추측은 탑승자 형상 데이터, 시스템(16)이 탑승자(18)가 착석되어 있다고 가정했을 때 좌석과 관련되는 특성인 차량 특정 데이터, (마지막 센서 측정치처럼 최근인) 탑승자 라벨링 휴리스틱으로부터의 과거 출력으로부터 유도된 상체(54)에 관한 정보일 수 있다.
폭넓고 다양한 상이한 탑승자 라벨링 휴리스틱이 시스템(16)에 구현될 수 있다. 바람직한 실시예에서, 탑승자 라벨링 휴리스틱은 하체(예로, 다리)와 상체(예로, 탑승자(18)의 허리로부터 머리를 포함하는 부분까지)의 중심점에 관련된 추정치를 사용한다. 위에서 설명한 초기 추측은 중심점의 위치와 관련될 수 있다. 픽셀은 주위 이미지(38), 분할된 이미지(42) 및 상체 이미지를 포함한, 가시적 이미지의 기초적인 구성 요소이다. 특정 픽셀과 상체의 추정된 중심점과의 관계 및 그 특정 픽셀과 하체의 추정된 중심점과의 관계와 관련된 폭넓고 다양한 수학적 연산이 수행될 수 있다. 중심점까지의 거리는 특히 유용한 관계이며 거리에 대해 다양한 가능한 파생값들도 그러하다. 시스템(16)은 중심점까지의 거리 관계를 구현하는 폭넓고 다양한 탑승자 라벨링 휴리스틱을 구현할 수 있다. 시스템(16)은 중심점까지의 거리와는 상관없는 폭넓고 다양한 탑승자 라벨링 휴리스틱을 구현할 수 있다. 시스템(16)은 추정된 중심점을 이용하지 않는 폭넓고 다양한 탑승자 라벨링 휴리스틱을 구현할 수 있다. 이와 유사하게, 폭넓고 다양한 휴리스틱 변형은 분할된 이미지(42)를 두 개의 부분 이상으로 나누는 단계와, 폭넓고 다양한 상이한 초기 추측을 사용하는 단계와, 탑승자 분류 유형(46)과 같은 다른 유도된 데이터를 통합하는 단계 및 사실상 임의의 다른 가능한 관련 특성을 구현할 수 있다.
1. k-메트릭 모듈 및 k-메트릭 휴리스틱
도 4에 예시된 예에 있어서, 분할된 이미지(42)는 하나 이상의 k-메트릭 휴리스틱을 수행할 수 있는 k-평균 모듈(60)에 의해 수신된다. 바람직한 실시예에서, 초기 추측(위에서 설명한 바와 같이)은 k-평균 모듈(60)의 프로세싱에서 구현된다. k-평균 모듈(60)은 탑승자 라벨링 휴리스틱에 의한 프로세싱에서 구현될 수 있는 가능한 k-메트릭 모듈(60)의 부분 집합이다. k-평균 모듈(60)은 추정된 상체 및 하체의 추정된 중심점을 이용하는 k-평균 휴리스틱을 수행한다. k-메트릭 모듈은 폭넓고 다양한 상이한 기준점 및 수학적 계산을 사용할 수 있다.
도 5는 k-메트릭 모듈(60)에 의해 수신될 수 있는 분할된 이미지(42)의 일례를 도시하고 있다. 바람직한 실시예에서, 분할된 이미지(42)는 2진 이미지이다. 몇몇 실시예에서, 모든 탑승자 픽셀은 하나의 2진 값을 갖고 모든 비-탑승자 픽셀은 다른 이진 값을 가진다. 이와 다른 실시예에서, 주위 이미지(38)로부터 분할된 이미지(42)를 분리하는 경계 픽셀은 하나의 픽셀을 값을 가지고 모든 다른 픽셀은다른 2진 값을 가진다.
도 4로 돌아가면, 탑승자(18)의 분할된 이미지(42) 내의 각 픽셀은 점 좌표의 벡터로 변환될 수 있다. 각 행-열 위치는 (x,y) 좌표 쌍으로 변환될 수 있다.
k-메트릭 모듈(60)의 k-평균 실시예에서, 점이 머리_몸통_이미지 및 다리_이미지의 중심점인 머리_몸통_평균과 다리_평균 중 어느 쪽이 가까운지에 따라, k-메트릭 모듈(60)은 분할된 이미지(42) 내의 각 점(예로 픽셀)을 머리_몸통_이미지(예로, 상체 이미지) 또는 다리_이미지(예로, 하체 이미지)로 분류한다. 위에서 설명한 바와 같이, 머리_몸통_평균 및 다리_평균에 대한 초기 추측은 k-평균을 개시하 는 데 사용될 수 있다. 이어지는 프로세싱에서, k-평균 휴리스틱의 다음 반복은 후속하는 또는 이와 유사한 공식에 의해 머리_몸통_평균 및 다리_평균에 대한 값을 계산할 수 있다.
방정식 1:
머리_몸통_평균=sum(머리_몸통_이미지)/머리_몸통_이미지 내의 점들의 개수
방적식 2:
다리_평균=sum(다리_이미지)/다리 이미지 내의 점들의 개수
"머리_몸통_평균"은 상체의 중심점의 사전 추정치이다. 제 1 반복에서, 이러한 데이터는 초기 추측으로부터 야기될 수 있다. "다리_평균"은 하체의 중심점의 사전 추정치이고, 제 1 반복에서, 이러한 데이터는 초기 추측으로부터 야기될 수 있다. 바람직한 실시예에서, "sum(머리_몸통_이미지)"는 상체 이미지 내의 픽셀들과 상체 이미지의 추정된 중심점 사이의 모든 거리의 합이다. 이와 다른 실시예에서, 다른메트릭스가 사용될 수 있다. 이와 유사하게, 바람직한 실시예에서, "sum(다리_이미지)"는 하체 이미지 내의 픽셀들과 하체 이미지의 추정된 중심점 사이의 모든 거리의 합이다. 이와 다른 실시예에서, 다른 메트릭스가 사용될 수 있다. "머리_몸통_이미지 내의 점들의 개수"는 예비적인 상체 이미지 내의 픽셀 수이다. "다리_이미지 내의 점들의 개수"는 예비적인 하체 이미지 내의 픽셀 수이다. 이와 다른 실시예에서 넓은 범위의 상이한 방정식이 구현될 수 있다.
2. 파라메터 추정기 모듈 및 휴리스틱
초기의 다리 평균(예로, 하체 평균)(60), 초기의 머리_몸통 평균(예로, 상체 평균)(62) 및 분할된 이미지(42)는 파라메터 추정기(66)에 전송될 수 있다. 바람직한 실시예에서, 파라메터 추정기(66)는 반복적인 파라메터 추정기이다. 반복적인 파라메터 추정기는 반복적인 방식으로 후속하는 방정식을 수행할 있다.
방정식 3:
은 주어진 통계치(θ)에서, 상체 클래스 또는 하체 클래스와 같은 특정 클래스(ωi)에 속하는 특정 픽셀(xk)의 확률을 나타낸다. 각 클래스(i)마다, μ는 평균 값(예를 들어 머리_몸통_평균 및 다리_평균 또는 하부_몸통 평균)을 나타낸다.∑i의 초기 값은 각 특정 클래스(i)에 대한 공분산(covariance)을 나타낸다. 이 공분산은 탑승자의 상체의 경계 타원(bounding ellipse), 탑승자 형상 데이터를 사용하여 결정될 수 있는 형상을 대략 결정한다. 방정식 3은 θ에 대한 초기 추측을 사용하여 먼저 해결되는데, θ=μ,∑이다. μ의 초기 값은 위에서 설명한 k-평균 휴리스틱의 출력으로부터 야기된다. 방정식 4, 방정식 5 및 방정식 6은 방정식 3을 초기의 추측치를 이용하여 먼저 푼 후 방정식 3에 대한 반복적인 입력이다.
방정식 4:
변수 n은 분할된 이미지(42) 내의 픽셀 수를 나타낸다.
방정식 5:
방정식 6:
이들 방정식에서, 머리_몸통_평균(예로, 상체 평균 또는 중심점) 및 다리_평균(예로, 하체 평균 또는 중심점)은 그리스 문자 μi로 표현되고 공분산은 그리스 문자 ∑i로 표현된다. ωi는 분할된 이미지 내의 각각의 좌표 xk의 클래스이다. 두개의 클래스인 경우(두개의 클래스는 머리-몸통 및 다리이다)에 대해 i=1,2 및 c=2이다. 이와 다른 실시예에서, c는 2보다 클 수 있다. ω1은 다리 클래스에 속하는 좌표(xk)를 나타내고 ω2는 머리-몸통 클래스에 속하는 xk를 나타낸다.
그러므로,("조건부적 가능성의 휴리스틱" 유형의 일례)는 주어진 통계치(θ)에서 클래스(ωI)에 속하는 xk의 조건부적 가능성이다. 방정식 3은 θ에 대한 초기 추측치를 사용하여 먼저 해결되는데 θ=μ,∑이다. 초기 μ는 "k-평균"의 출력으로부터 야기된다. 어른의 상체(머리를 포함함)는 보통 대략 어른의 전체 크기의 2/3이기 때문에 탑승자 형상 정보가 사용된다. 따라서 선험적 확률(apriori probabilities))에 대한 초기 추측은 여기에 기반을 두고 결정될 수 있다. 초기의 공분산은, 분할된 이미지의 크기 및 상체의 일반적 형상과 관련된 등가의 탑승자 형상 정보에 기초한, 교육된 가정(educated assumptions)(예로, 추측)이다. 공분산은 탑승자 머리-몸통의 경계 타원형(예로, 상체)을 대략 결정하고 이 형상이 일반적으로 무엇인지는 의인화 데이터로부터 알려져 있다. 위에서 설명한 바와 같이, 파라메터 추정기(66)로 구현될 수 있는 폭넓고 다양하며 상이한 휴리스틱 및 방정식이 존재한다.
방적식 3,4,5 및 6은 반복적인 방식으로 수행될 수 있다. 이 방정식은 고정된 회수만큼 반복될 수 있는데, 이 고정된 회수는 시스템(16)이 구성되는 시기보다 먼저 설정된다. 반복 회수는 또한 평균 값의 변화와 상당한 변화 문턱값(significant change threshold value)과 비교함으로써 결정될 수 있다. 시스템(16)은, 평균 값의 변화가 상당한 변화 문턱값보다 작을 때까지 특정 분할된 이미지(42)에 대해 파라메터 추정기 휴리스틱을 반복하도록 구성될 수 있다. 다른 실시예는 상당한 변화 문턱값을 사용하지만, 가능한 반복의 수에 유한한 한계를 설정하여 양 접근 방식을 구현할 수 있다. 도 6은 파라메터 추정기 휴리스틱으로부터 출력된 최종 머리_몸통 파라메터(70)의 일례를 예시한다. 도 7은 파라메터 추정기 휴리스틱으로부터 출력된 최종 다리 파라메터(68)의 일례를 예시한다.
3. 픽셀 분류 모듈 및 픽셀 분류 휴리스틱
도 4로 돌아가면, 픽셀 분류 모듈(72)에 대한 입력은 바람직하게 파라메터 추정기 휴리스틱으로부터의 최종 머리_몸통 파라메터(70) 및 최종 다리 파라메터(68)이다. 이 입력은 또한 k-메트릭 모듈(60) 및 파라메터 추정기(66)에 의해 이미 처리된 분할된 이미지(42)를 포함해야 한다.
픽셀 분류 모듈(72)은 거리 휴리스틱을 포함하는 픽셀 특성 휴리스틱을 수행할 수 있다. 거리 휴리스틱은 분할된 이미지(42)의 다양한 섹션(예를 들어, 상체 및 하체) 내의 특정 픽셀에서 기준점까지의 거리에 기초하여 픽셀을 분류한다. 특정 픽셀에 대해 상체까지의 거리가 더 작을 경우, 이 픽셀은 상체 픽셀로 분류된다. 이와 유사하게, 특정 픽셀에 대해 하체까지의 거리가 더 작을 경우, 이 픽셀은 하체 픽셀로 분류된다. 최종적으로, 시스템(16)은 이 픽셀을 상체 픽셀 또는 하체 픽셀로서 분류하도록 구성될 수 있다.
시스템(16)의 바람직한 실시예는 마하라노비스 휴리스틱을 수행한다. 마하라노비스 휴리스틱은 분할_이미지 내의 각 점에서 머리_몸통_평균(예로, 상체 중심점) 및 다리_평균(예로, 하체 중심점)까지의 "마하라노비스" 거리를 계산한다. 점(예로, 픽셀)의 마하라노비스 거리가 머리_몸통_평균(상체 중심점)에 더 근접한 경우, 이 점은 머리_몸통_이미지(상체 픽셀)로 분류되고, 그렇지 않은 경우 이 점은 다리_이미지(하체 픽셀)로서 분류될 수 있다. 두 개가 점들 간의 마하라노비스 거리는 방정식 7로 정의된다.
방정식 7:
위의 방정식에서, xk는 분할_이미지 내의 점이고 μi및 ∑i는 파라메터 추정기(66)의 출력이다.
그러므로 픽셀 분류기는 분류 휴리스틱의 최종 분류에 따라 분할된 이미지 내의 각 픽셀을 설정할 수 있다. 에어백 전개 시스템(36)이 적절한 전개 결정을 할 수 있도록 최종 머리_몸통(예로 상체) 이미지(54)는 위에서 설명한 탑승자 추적기 모듈(56)에 전송한다.
특허법 규정에 따라, 본 발명의 동작 원리 및 모드는 다수의 바람직한 실시예 및 그와 다른 실시예를 통해 설명 및 도시되었다. 그러나, 본 발명은 본 발명의 사상 및 범주를 벗어나지 않으면서, 구체적으로 설명되고 예시된 바와 다르게 실행될 수 있다는 것을 이해해야 한다.
본 발명에 의하면, 탑승자의 분할 이미지 내에서 어느 픽셀이 탑승자의 상체 이미지를 나타내는지를 결정하는 데 사용되는 시스템 및 방법을 제공하여, 안전하고 효율적인 에어백 전개를 수행할 수 있다.

Claims (25)

  1. 탑승자(18)의 상체(54)를 식별하는 탑승자 라벨링 시스템(16)에 있어서,
    상체 메트릭(64) 및 하체 메트릭(62)을 생성하여 포함하는 k-메트릭 모듈(60)과,
    상기 상체 메트릭(64) 및 상기 하체 메트릭(62)으로부터 상체 파라메터(70) 및 하체 파라메터(68)를 생성하여 포함하는 파라메터 추정기(66)
    를 포함하는 탑승자 라벨링 시스템(16).
  2. 제 1 항에 있어서,
    상기 k-메트릭 모듈(60)은 k-평균 모듈(k-means module)이고, 상기 상체 메트릭은 상체 평균이며, 상기 하체 메트릭은 하체 평균인 탑승자 라벨링 시스템(16).
  3. 제 1 항에 있어서,
    분할된 이미지(42)를 더 포함하되, 상기 k-메트릭 모듈(60)은 상기 분할된 이미지(42)로부터 상기 상체 메트릭(64) 및 상기 하체 메트릭(62)을 생성하는 탑승자 라벨링 시스템(16).
  4. 제 1 항에 있어서,
    초기 추측값을 더 포함하되, 상기 k-메트릭 모듈(60)은 상기 초기 추측값을 이용해 상기 상체 메트릭(64) 및 상기 하체 메트릭(62)을 생성하는 탑승자 라벨링 시스템(16).
  5. 제 4 항에 있어서,
    상기 초기 추측값은 좌석(20)의 위치에 기반을 두는 탑승자 라벨링 시스템(16).
  6. 제 4 항에 있어서,
    상기 초기 추측값은 탑승자 형상 특성(an anthropomorphic characteristic)에 기반을 두는 탑승자 라벨링 시스템(16).
  7. 제 1 항에 있어서,
    상기 k-메트릭 모듈(60)은 탑승자 분류(46)를 더 포함하고, 상기 k-메트릭 모듈(60)은 상기 탑승자 분류(46)를 이용해 상기 상체 메트릭(46) 및 상기 하체 메트릭(62)을 선택적으로 생성하는 탑승자 라벨링 시스템(16).
  8. 제 1 항에 있어서,
    상기 파라메터 추정기(66)는 경계 타원형(a bounding ellipse)을 더 포함하는 탑승자 라벨링 시스템(16).
  9. 제 1 항에 있어서,
    상기 파라메터 추정기(66)는 마하라노비스 거리(a Mahalanobis distance)를 더 포함하는 탑승자 라벨링 시스템(16).
  10. 제 1 항에 있어서,
    상기 파라메터 추정기(66)는 반복적 파라메터 추정기인 탑승자 라벨링 시스템(16).
  11. 제 10 항에 있어서,
    상기 반복적 파라메터 추정기는 사전결정된 회수의 반복을 수행하는 탑승자라벨링 시스템(16).
  12. 제 10 항에 있어서,
    상기 반복적 파라메터 추정기는 사전결정된 상당한 변화 문턱값 및 메트릭 값의 변화를 포함하고, 상기 반복적 파라메터 추정기는 상기 사전결정된 상당한 변화 문턱값이 상기 메트릭 값의 변화를 초과하는 경우 부가적인 반복을 중단하는 탑승자 라벨링 시스템(16).
  13. 제 1 항에 있어서,
    픽셀 분류기(72) 및 상체 이미지(54)를 더 포함하되, 상기 픽셀 분류기(72)는 상기 상체 파라메터(70) 및 상기 하체 파라메터(68)로부터 상기 상체 이미지(54)를 생성하는 탑승자 라벨링 시스템(16).
  14. 탑승자(18)의 상체(54)를 식별하는 탑승자 라벨링 시스템(16)에 있어서,
    분할된 이미지(42), 초기 추측, 상체 평균(64), 및 하체 평균(62)을 포함하고 상기 분할된 이미지(42) 및 상기 초기 추측을 이용하여 상기 상체 평균(64) 및 상기 하체 평균(62)을 생성하는 k-평균 모듈(60)과,
    상체 파라메터(70), 하체 파라메터(68) 및 마하라노비스 거리를 포함하고 상기 마하라노비스 거리, 상기 상체 평균(64) 및 상기 하체 평균(62)을 이용하여 상기 상체 파라메터(70) 및 상기 하체 파라메터(68)를 생성하는 반복적 파라메터 추정기(66)와,
    상체 이미지(54)를 포함하고 상기 상체 파라메터(70) 및 상기 하체 파라메터(68)로부터 상기 상체 이미지(54)를 생성하는는 픽셀 분류기(72)
    를 포함하는 탑승자 라벨링 시스템(16).
  15. 제 14 항에 있어서,
    다수의 반복을 더 포함하되, 상기 반복적 파라메터 추정기(66)는 상기 반복 회수에 따라 상기 상체 파라메터 및 상기 하체 파라메터를 선택적으로 생성하는 탑승자 라벨링 시스템(16).
  16. 제 15 항에 있어서,
    상기 반복 회수는 사전결정되고 고정되는 탑승자 라벨링 시스템(16).
  17. 제 15 항에 있어서,
    변화 문턱값 및 평균값을 더 포함하되, 상기 반복 회수는 상기 변화 문턱값을 상기 평균값과 비교함으로써 결정되는 탑승자 라벨링 시스템(16).
  18. 탑승자 추적 및 에어백 전개 시스템에 있어서,
    주위 이미지(38) 및 분할된 이미지(42)를 포함하고 상기 주위 이미지(38)로부터 상기 분할된 이미지(42)를 생성하는 이미지 분할기(40)와,
    탑승자 유형 분류(46)를 포함하고 상기 분할된 이미지(42)로부터 상기 탑승자 유형 분류(46)를 생성하는 이미지 분류기(44)와,
    상체 이미지(54)와 탑승자 라벨링 휴리스틱을 포함하고 상기 분할된 이미지(42), 상기 탑승자 라벨링 휴리스틱 및 상기 탑승자 유형 분류(46)로부터 상기 상체 이미지(54)를 생성하는 탑승자 라벨러(52)
    를 포함하는 탑승자 추적 및 에어백 전개 시스템.
  19. 제 18 항에 있어서,
    탑승자 특성을 포함하고, 상기 상체 이미지(54)로부터 상기 탑승자 특성을 생성하는 추적 서브시스템(56)을 더 포함하는 탑승자 추적 및 에어백 전개 시스템.
  20. 제 19 항에 있어서,
    상기 추적 서브시스템(56)은 전개 결정을 더 포함하고, 상기 탑승자 특성으로부터 상기 전개 결정을 생성하는 탑승자 추적 및 에어백 전개 시스템
  21. 탑승자 픽셀의 분할된 이미지(42)로부터 탑승자(18)의 상체(54)를 식별하는 방법에 있어서,
    상기 상체(54) 상의 추정된 중심점까지의 픽셀 거리를 결정하는 단계와,
    상기 상체(54)의 상기 추정된 중심점을 갱신하는 단계와,
    상기 갱신된 추정된 중심점을 이용하여 상체 픽셀을 선택적으로 식별하는 단계
    를 포함하는 탑승자의 상체 식별 방법.
  22. 제 21 항에 있어서,
    상체 픽셀을 선택적으로 식별하는 상기 단계는 상기 상체 픽셀과 상기 상부 중심점 사이의 상체 마하라노비스 거리를 계산하는 단계를 포함하는 탑승자의 상체 식별 방법.
  23. 제 22 항에 있어서,
    하체 픽셀과 하체 중심점 사이의 하체 마하라노비스 거리를 계산하는 단계를 더 포함하는 탑승자의 상체 식별 방법.
  24. 제 23 항에 있어서,
    상기 상체 마하라노비스 거리를 상기 하체 마하라노비스 거리와 비교하는 단계를 더 포함하는 탑승자의 상체 식별 방법.
  25. 제 21 항에 있어서,
    상기 추정된 중심점을 갱신하는 상기 단계는 탑승자 형상 특성을 참조하는 단계를 포함하는 탑승자의 상체 식별 방법.
KR1020030070456A 2002-10-11 2003-10-10 탑승자 라벨링 시스템, 탑승자 추적 및 에어백 전개시스템 및 탑승자의 상체 식별 방법 KR20040033255A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/269,308 US6853898B2 (en) 2001-05-30 2002-10-11 Occupant labeling for airbag-related applications
US10/269,308 2002-10-11

Publications (1)

Publication Number Publication Date
KR20040033255A true KR20040033255A (ko) 2004-04-21

Family

ID=32030381

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030070456A KR20040033255A (ko) 2002-10-11 2003-10-10 탑승자 라벨링 시스템, 탑승자 추적 및 에어백 전개시스템 및 탑승자의 상체 식별 방법

Country Status (7)

Country Link
US (1) US6853898B2 (ko)
EP (1) EP1407941A2 (ko)
JP (1) JP2004131078A (ko)
KR (1) KR20040033255A (ko)
AU (1) AU2003248426A1 (ko)
BR (1) BR0303992A (ko)
MX (1) MXPA03009269A (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7769513B2 (en) * 2002-09-03 2010-08-03 Automotive Technologies International, Inc. Image processing for vehicular applications applying edge detection technique
US6925193B2 (en) * 2001-07-10 2005-08-02 Eaton Corporation Image processing system for dynamic suppression of airbags using multiple model likelihoods to infer three dimensional information
US20050129274A1 (en) * 2001-05-30 2005-06-16 Farmer Michael E. Motion-based segmentor detecting vehicle occupants using optical flow method to remove effects of illumination
US20030123704A1 (en) * 2001-05-30 2003-07-03 Eaton Corporation Motion-based image segmentor for occupant tracking
US7116800B2 (en) * 2001-05-30 2006-10-03 Eaton Corporation Image segmentation system and method
US7197180B2 (en) * 2001-05-30 2007-03-27 Eaton Corporation System or method for selecting classifier attribute types
US20080131004A1 (en) * 2003-07-14 2008-06-05 Farmer Michael E System or method for segmenting images
US7181083B2 (en) 2003-06-09 2007-02-20 Eaton Corporation System and method for configuring an imaging tool
US20050271280A1 (en) * 2003-07-23 2005-12-08 Farmer Michael E System or method for classifying images
US6856694B2 (en) * 2001-07-10 2005-02-15 Eaton Corporation Decision enhancement system for a vehicle safety restraint application
US7327497B2 (en) * 2002-05-14 2008-02-05 Canon Kabushiki Kaisha Image reading apparatus, control method therefor, and program
US7440885B2 (en) * 2002-06-03 2008-10-21 Broadcom Corporation Method and system for deterministic control of an emulation
US7676062B2 (en) * 2002-09-03 2010-03-09 Automotive Technologies International Inc. Image processing for vehicular applications applying image comparisons
DE10246055A1 (de) * 2002-10-02 2004-04-15 Robert Bosch Gmbh Vorrichtung zum Schutz von einem Fahrzeuginsassen
US6925403B2 (en) * 2003-09-15 2005-08-02 Eaton Corporation Method and system for calibrating a sensor
US20050065757A1 (en) * 2003-09-19 2005-03-24 White Samer R. System and method for estimating displacement of a seat-belted occupant
US6944527B2 (en) * 2003-11-07 2005-09-13 Eaton Corporation Decision enhancement system for a vehicle safety restraint application
US20050177290A1 (en) * 2004-02-11 2005-08-11 Farmer Michael E. System or method for classifying target information captured by a sensor
US20050179239A1 (en) * 2004-02-13 2005-08-18 Farmer Michael E. Imaging sensor placement in an airbag deployment system
US20060056657A1 (en) * 2004-02-13 2006-03-16 Joel Hooper Single image sensor positioning method and apparatus in a multiple function vehicle protection control system
US20060050953A1 (en) * 2004-06-18 2006-03-09 Farmer Michael E Pattern recognition method and apparatus for feature selection and object classification
US20060030988A1 (en) * 2004-06-18 2006-02-09 Farmer Michael E Vehicle occupant classification method and apparatus for use in a vision-based sensing system
US7610127B2 (en) * 2006-03-08 2009-10-27 Delphi Technologies, Inc. Vehicle stability monitoring system and method and article of manufacture for determining vehicle stability
US20080059027A1 (en) * 2006-08-31 2008-03-06 Farmer Michael E Methods and apparatus for classification of occupancy using wavelet transforms
DE102013021812A1 (de) * 2013-12-20 2015-06-25 Audi Ag Verfahren und System zum Betreiben eines Kraftwagens
US9384396B2 (en) * 2014-09-29 2016-07-05 Xerox Corporation System and method for detecting settle down time using computer vision techniques
US10272872B2 (en) * 2016-11-30 2019-04-30 Ford Global Technologies, Llc Belt assembly allowing payout measurement
JP2019069720A (ja) * 2017-10-10 2019-05-09 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 鞍乗り型車両用情報処理装置、及び、鞍乗り型車両用情報処理方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4179696A (en) * 1977-05-24 1979-12-18 Westinghouse Electric Corp. Kalman estimator tracking system
US6324453B1 (en) * 1998-12-31 2001-11-27 Automotive Technologies International, Inc. Methods for determining the identification and position of and monitoring objects in a vehicle
JPS60152904A (ja) * 1984-01-20 1985-08-12 Nippon Denso Co Ltd 車両運転者位置認識装置
DE3803426A1 (de) * 1988-02-05 1989-08-17 Audi Ag Verfahren zur wirksamschaltung eines sicherheitssystems
US5074583A (en) * 1988-07-29 1991-12-24 Mazda Motor Corporation Air bag system for automobile
WO1990011207A1 (de) * 1989-03-20 1990-10-04 Siemens Aktiengesellschaft Steuergerät für ein insassen-rückhaltesystem und/oder -schutzsystem für fahrzeuge
JP2605922B2 (ja) * 1990-04-18 1997-04-30 日産自動車株式会社 車両用安全装置
JP2990381B2 (ja) * 1991-01-29 1999-12-13 本田技研工業株式会社 衝突判断回路
US5051751A (en) * 1991-02-12 1991-09-24 The United States Of America As Represented By The Secretary Of The Navy Method of Kalman filtering for estimating the position and velocity of a tracked object
JPH06166905A (ja) 1992-06-03 1994-06-14 Sakae Furukawa ズボン等の衣類の折り目加工材と折り目加工方法
JPH06166906A (ja) 1992-06-19 1994-06-14 Ryoju Shoji Kk ボディ−連結型ヘルメット
US5446661A (en) * 1993-04-15 1995-08-29 Automotive Systems Laboratory, Inc. Adjustable crash discrimination system with occupant position detection
US5366241A (en) * 1993-09-30 1994-11-22 Kithil Philip W Automobile air bag system
US5413378A (en) * 1993-12-02 1995-05-09 Trw Vehicle Safety Systems Inc. Method and apparatus for controlling an actuatable restraining device in response to discrete control zones
US5482314A (en) * 1994-04-12 1996-01-09 Aerojet General Corporation Automotive occupant sensor system and method of operation by sensor fusion
US5528698A (en) * 1995-03-27 1996-06-18 Rockwell International Corporation Automotive occupant sensing device
US5983147A (en) * 1997-02-06 1999-11-09 Sandia Corporation Video occupant detection and classification
US6116640A (en) * 1997-04-01 2000-09-12 Fuji Electric Co., Ltd. Apparatus for detecting occupant's posture
US6005958A (en) * 1997-04-23 1999-12-21 Automotive Systems Laboratory, Inc. Occupant type and position detection system
US6018693A (en) * 1997-09-16 2000-01-25 Trw Inc. Occupant restraint system and control method with variable occupant position boundary
US6026340A (en) * 1998-09-30 2000-02-15 The Robert Bosch Corporation Automotive occupant sensor system and method of operation by sensor fusion
US6203059B1 (en) * 1999-01-29 2001-03-20 Breed Automotive Technologies, Inc. Seat belt usage indicating system
US6801662B1 (en) 2000-10-10 2004-10-05 Hrl Laboratories, Llc Sensor fusion architecture for vision-based occupant detection
US20030123704A1 (en) 2001-05-30 2003-07-03 Eaton Corporation Motion-based image segmentor for occupant tracking
US6459974B1 (en) 2001-05-30 2002-10-01 Eaton Corporation Rules-based occupant classification system for airbag deployment
US7116800B2 (en) 2001-05-30 2006-10-03 Eaton Corporation Image segmentation system and method
US6662093B2 (en) 2001-05-30 2003-12-09 Eaton Corporation Image processing system for detecting when an airbag should be deployed
US7197180B2 (en) 2001-05-30 2007-03-27 Eaton Corporation System or method for selecting classifier attribute types
US20030133595A1 (en) 2001-05-30 2003-07-17 Eaton Corporation Motion based segmentor for occupant tracking using a hausdorf distance heuristic
US6925193B2 (en) 2001-07-10 2005-08-02 Eaton Corporation Image processing system for dynamic suppression of airbags using multiple model likelihoods to infer three dimensional information
US6577936B2 (en) 2001-07-10 2003-06-10 Eaton Corporation Image processing system for estimating the energy transfer of an occupant into an airbag

Also Published As

Publication number Publication date
EP1407941A2 (en) 2004-04-14
US6853898B2 (en) 2005-02-08
MXPA03009269A (es) 2005-07-01
US20030135346A1 (en) 2003-07-17
AU2003248426A1 (en) 2004-04-29
BR0303992A (pt) 2004-09-08
JP2004131078A (ja) 2004-04-30

Similar Documents

Publication Publication Date Title
KR20040033255A (ko) 탑승자 라벨링 시스템, 탑승자 추적 및 에어백 전개시스템 및 탑승자의 상체 식별 방법
US11597347B2 (en) Methods and systems for detecting whether a seat belt is used in a vehicle
US10192126B2 (en) Behavior recognition apparatus, learning apparatus, and method
US20050271280A1 (en) System or method for classifying images
US9251400B2 (en) Learning apparatus, method for controlling learning apparatus, detection apparatus, method for controlling detection apparatus and storage medium
EP1407940A2 (en) Motion-based segmentor for occupant tracking
US20050196015A1 (en) Method and apparatus for tracking head candidate locations in an actuatable occupant restraining system
US20030133595A1 (en) Motion based segmentor for occupant tracking using a hausdorf distance heuristic
JP2007257043A (ja) 乗員状態推定装置および乗員状態推定方法
US20060030988A1 (en) Vehicle occupant classification method and apparatus for use in a vision-based sensing system
JP6977624B2 (ja) 物体検出装置、物体検出方法、およびプログラム
US20060052923A1 (en) Classification system and method using relative orientations of a vehicle occupant
US20050129274A1 (en) Motion-based segmentor detecting vehicle occupants using optical flow method to remove effects of illumination
JP2004334786A (ja) 状態検出装置及び状態検出システム
Krotosky et al. Face detection and head tracking using stereo and thermal infrared cameras for" smart" airbags: a comparative analysis
US20080231027A1 (en) Method and apparatus for classifying a vehicle occupant according to stationary edges
US11138755B2 (en) Analysis apparatus, analysis method, and non transitory storage medium
US20230177716A1 (en) Information processing device, non-transitory computer-readable storage medium, and information processing method
EP4341901A1 (en) In-cabin monitoring method and related pose pattern categorization method
JP2021135957A (ja) 物体検知装置、物体検知方法、及び、プログラム
Devarakota et al. Classification of vehicle occupants using 3D image sequences

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid