KR100630842B1 - 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별시스템 및 그 방법 - Google Patents

스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별시스템 및 그 방법 Download PDF

Info

Publication number
KR100630842B1
KR100630842B1 KR1020050048649A KR20050048649A KR100630842B1 KR 100630842 B1 KR100630842 B1 KR 100630842B1 KR 1020050048649 A KR1020050048649 A KR 1020050048649A KR 20050048649 A KR20050048649 A KR 20050048649A KR 100630842 B1 KR100630842 B1 KR 100630842B1
Authority
KR
South Korea
Prior art keywords
image
occupant
stereo
vehicle
posture
Prior art date
Application number
KR1020050048649A
Other languages
English (en)
Inventor
이석주
Original Assignee
주식회사 현대오토넷
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 현대오토넷 filed Critical 주식회사 현대오토넷
Priority to KR1020050048649A priority Critical patent/KR100630842B1/ko
Priority to CNB2006100781285A priority patent/CN100396084C/zh
Priority to US11/422,061 priority patent/US20060280336A1/en
Application granted granted Critical
Publication of KR100630842B1 publication Critical patent/KR100630842B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01542—Passenger detection systems detecting passenger motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Abstract

본 발명은 자동차의 탑승자 자세 판별 시스템에 관한 것으로, 보다 상세하게는 스테레오 2차원 영상을 획득하여 3차원 맵을 생성하여 탑승자의 자세를 판별하는 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별 시스템 및 그 방법에 관한 것이다. 이러한 본 발명은 탑승자의 자세에 따라 에어백을 전개하기 위한 에어백 제어 신호를 생성하여 출력하는 제어기를 구비하는 자동차의 탑승자 자세 판별 시스템에 있어서, 적어도 2개의 카메라를 구비하여 차량 내부의 영상을 캡처하고 스테레오 2차원 영상 데이터들을 생성하여 출력하는 영상획득부와, 상기 스테레오 2차원 영상 데이터들을 입력받아 영상의 왜곡을 보정하고 3차원 모델 정보를 생성하여 출력하는 전처리부와, 상기 보정된 스테레오 2차원 영상 데이터들과 상기 3차원 모델 정보를 입력받아 분석하여 탑승자의 자세를 판단하고 탑승자 자세 정보를 생성하여 상기 제어기로 출력하는 디지털 신호 처리부로 이루어짐을 특징으로 한다.
스테레오, 카메라, 바이너리 영상, 탑승자 자세, 에어백

Description

스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별 시스템 및 그 방법{PASSENGER ATTITUDE DISCRIMINATION SYSTEM AND THE METHOD WHICH USE STEREO VIDEO JUNCTION IN VEHICLE}
도 1은 본 발명에 따른 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별 시스템의 구성을 나타낸 도면
도 2는 본 발명에 따른 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별 방법을 나타낸 흐름도
도 3은 본 발명에 따른 머리 위치 검출을 위한 자세 분류 맵을 나타낸 도면
도 4는 본 발명에 따른 머리 위치 검출 방법을 나타낸 도면
도 5는 본 발명에 따른 탑승자 윤곽선 추출 개념을 설명하기 위한 도면
도 6은 본 발명에 따른 탑승자 머리 검출을 위한 SVM 분류 개념을 설명하기 위한 도면
본 발명은 자동차의 탑승자 자세 판별 시스템에 관한 것으로, 보다 상세하게는 스테레오 2차원 영상을 획득하여 3차원 맵을 생성하여 탑승자의 자세를 판별하는 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별 시스템 및 그 방법에 관한 것이다.
현재 자동차 산업이 발전하고 사회가 복잡해짐에 따라 사람들의 활동범위가 넓어지고, 활동 범위가 넓어짐에 따른 시간의 낭비를 최소화하고 보다 편하게 이동하기 위해 자동차의 수요가 지속적으로 증가하고 있다. 자동차 수요의 증가로 교통사고율도 증가하고 있다.
교통사고가 증가함에 따라 자동차에는 탑승자를 보호하기 위한 탑승자 보호 시스템들이 장착되고 있다. 상기 탑승자 보호 시스템 중 하나가 에어백 시스템이다.
에어백 시스템은 자동차의 범퍼에 물리적인 충돌을 감지하는 충돌센서를 구비하여 상기 충돌센서로부터 충돌에 의한 충돌신호가 입력하면 에어백을 전개하여 탑승자를 보호한다. 최근에는 탑승자의 자세, 구체적으로, 탑승자가 어른인지 어린이인지 그리고 탑승자가 창가쪽으로 기대고 있는지 등과 같은 탑승자의 자세를 판단하고, 탑승자의 자세에 따라 탑승자를 최대한 보호할 수 있도록 에어백을 전개한다. 이를 위해 자동차에는 탑승자의 자세를 판단하기 위한 탑승자 자세 판단 시스템이 장착된다.
통상적으로 탑승자 자세 시스템은 좌석의 시트에 압력센서를 설치하여 탑승자의 무게를 측정하고, 탑승자 주변에 적외선 센서 또는 초음파 센서등을 설치하여 운전자의 기준 위치에서의 거리를 측정하여 자세를 판단한다. 그러나 이러한 압력센서, 적외선 센서 및 초음파 센서를 이용하는 방식은 탑승자의 자세를 정확하게 판단하는데 한계가 있다.
상술한 바와 같이 종래 탑승자 자세 시스템은 사용되는 센서의 센서값만으로 탑승자 판단 및 탑승자 자세를 정확하게 판단하기 어려운 문제점이 있었다.
따라서, 본 발명의 목적은 스테레오 2차원 영상을 획득하여 3차원 맵을 생성하여 탑승자의 자세를 판별하는 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별 시스템 및 그 방법을 제공함에 있다.
상기한 목적을 달성하기 위한 본 발명의 장치는; 탑승자의 자세에 따라 에어백을 전개하기 위한 에어백 제어 신호를 생성하여 출력하는 제어기를 구비하는 자동차의 탑승자 자세 판별 시스템에 있어서, 적어도 2개의 카메라를 구비하여 차량 내부의 영상을 캡처하고 스테레오 2차원 영상 데이터들을 생성하여 출력하는 영상획득부와, 상기 스테레오 2차원 영상 데이터들을 입력받아 영상의 왜곡을 보정하고 3차원 모델 정보를 생성하여 출력하는 전처리부와, 상기 보정된 스테레오 2차원 영상 데이터들과 상기 3차원 모델 정보를 입력받아 분석하여 탑승자의 자세를 판단하고 탑승자 자세 정보를 생성하여 상기 제어기로 출력하는 디지털 신호 처리부로 이루어짐을 특징으로 한다.
상기한 목적을 달성하기 위한 본 발명의 방법은; 탑승자의 자세에 따라 에어 백을 전개하기 위한 에어백 제어 신호를 생성하여 출력하는 제어기를 구비하는 자동차의 탑승자 자세 판별 방법에 있어서, 적어도 2개의 카메라를 구비하여 차량 내부의 영상을 캡처하고 스테레오 2차원 영상 데이터들을 생성하여 출력하는 과정과, 상기 스테레오 2차원 영상 데이터들을 입력받아 영상의 왜곡을 보정하고 3차원 모델 정보를 생성하여 출력하는 과정과, 상기 보정된 스테레오 2차원 영상 데이터들과 상기 3차원 모델 정보를 입력받아 분석하여 탑승자의 자세를 판단하는 과정과, 탑승자 자세 정보를 생성하여 상기 제어기로 출력하는 과정으로 이루어짐을 특징으로 한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 벗어나지 않도록 생략될 것이라는 것을 유의하여야 한다.
본 발명에서는 2대의 카메라를 통해 스테레오 2차원 영상을 획득하고, 획득된 스테레오 2차원 영상을 정합하여 3차원 맵 정보를 생성하고, 상기 스테레오 2차원 영상들과 3차원 맵 정보를 분석하여 실시간 탑승자 정보를 생성하는 것이다. 상기 3차원 맵 정보는 거리 또는 깊이 등과 같은 3차원 정보를 의미한다.
상기 탑승자 정보는 탑승자가 어른인지, 어린이인지, 남자인지, 여자인지에 대한 정보를 포함하고, 탑승자가 좌측 또는 우측 및 앞으로 기울이고 있는지 시트 에 기대고 있는지에 대한 자세 정보를 포함한다.
이하 도면을 참조하여 본 발명에 따른 스테레오 2차원 영상 정합을 이용한 탑승자 자세 제어 시스템의 구성 및 동작을 설명한다.
도 1은 본 발명에 따른 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별 시스템의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별 시스템은 제어기(10)와 영상 획득부(20)와 전처리부(55)와 디지털 신호 처리부(60)로 구성된다.
상기 제어기(10)는 본 발명에 따른 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별 시스템의 전반적인 동작을 제어한다.
영상 획득부(20)는 차량 내부의 전방 좌우에 설치되어 차량 내부를 각각 촬영하여 2차원 영상 데이터를 출력하는 제1카메라(21)와 제2카메라(23)로 구성된다.
전처리부(55)는 상기 제1카메라(21)와 제2카메라(23)를 통해 스테레오로 입력하는 2차원 영상데이터 입력받아 왜곡을 보정하여 출력하는 켈리브레이션부(40), 보정된 스테레오 2차원 영상데이터로부터 3차원 모델을 생성하여 출력하는 3차원 영상 처리부(50)로 구성된다.
상기 3차원 영상 처리부(50)는 상기 보상된 2차원 영상 데이터를 스테레오로 입력받고 상기 2개의 보정된 2차원 영상데이터들로부터 영상의 특징점을 구하고 이들 프레임 간 대응관계를 구하여 3차원 모델을 생성한다.
본 발명에서는 상기 3차원 영상 처리부(50)에서 3차원 모델 생성 시 외부조 건, 즉 조명조건의 변화, 텍스처, 차폐 영역의 존재로 인하여 구해진 깊이 정보의 신뢰도가 낮아지는 것을 방지하기 위해 차동차 내부를 적외선으로 조사하는 적외선 조명부(25)를 상기 영상 획득부(20)에 구성한다.
디지털 신호 처리부(60)는 켈리브레이션부(40)로부터 출력되는 보정된 2차원 영상데이터와 상기 3차원 영상 처리부(50)에서 출력되는 3차원 모델 정보를 입력받아 분석하여 탑승자의 머리 위치 검출 및 머리 위치 검출에 따른 탑승자의 자세 판별하고, 상기 머리 위치 검출 및 탑승자의 자세 판별에 따른 탑승자 자세 정보를 생성하여 제어기(10)로 출력한다.
상기 탑승자 자세 정보를 입력받은 제어기는 상기 탑승자 자세 정보에 따른 에어백 제어 신호를 생성하여 에어백 모듈(도시하지 않음)로 제공한다.
도 2는 본 발명에 따른 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별 방법을 나타낸 흐름도이다. 이하 도 2를 참조하여 설명한다.
우선, 211단계에서 영상 획득부(20)의 제1카메라(21)와 제2카메라(23)를 통해 스트레오 2차원 영상을 획득하고 상기 스트레오 2차원 영상 데이터로 변환하여 켈리브레이션부(40)로 출력한다.
상기 211단계에서 스테레오로 입력하는 2차원 영상 데이터를 입력받은 켈리브레이션부(40)는 213단계에서 상기 2차원 영상 데이터 각각의 영상 왜곡을 보정하여 출력한다. 상기 영상 왜곡이 보정된 2차원 영상 데이터들은 3차원 영상 처리부(50)와 디지털 신호 처리부(60)로 입력한다.
상기 213단계에서 보정된 2차원 영상 데이터들을 입력받은 3차원 영상 처리 부(50)는 215단계에서 상기 스테레오, 즉 2개의 2차원 영상 데이터들 내에서 특징점을 추출하고, 상기 특징점들 간의 대응관계를 구하여 3차원 모델 정보를 생성하여 출력한다.
상기 215단계에서 3차원 모델 정보가 출력되면 디지털 신호 처리부(60)는 217단계에서 상기 3차원 모델 정보와 보정된 2차원 영상 데이터를 분석하여 탑승자의 머리 위치 검출 및 머리를 검출하여 탑승자 자세를 판단하고, 219단계에서 판단된 탑승자 자세에 따른 탑승자 자세 정보를 생성하여 제어기(10)로 출력한다.
도 3은 본 발명에 따른 머리 위치 검출을 위한 자세 분류 맵을 나타낸 도면이고, 도 4는 본 발명에 따른 머리 위치 검출 방법을 나타낸 도면이고, 도 5는 본 발명에 따른 탑승자 윤곽선 추출 개념을 설명하기 위한 도면이며, 도 6은 본 발명에 따른 탑승자 머리 검출을 위한 SVM 분류 개념을 설명하기 위한 도면이다. 이하 도 3 내지 도 6을 참조하여 상기 디지털 신호 처리부(60)의 동작을 구체적으로 설명한다.
도 3에서와 같이 디지털 신호 처리부(60)는 자세 판별 지도를 가지고 있으며, 상기 자세판별 지도와 보정된 2차원 영상 데이터의 상관관계를 비교하여 좌석에서 탑승자의 머리가 어느 위치에 있는지를 판단한다. 도 3에서는 대시보드(Dash Board)를 기준으로 3개의 라인으로 나누고, 시트 좌석의 좌우측 라인을 기준으로 머리가 위치할 수 있는 영역을 구분하였다. 도 3에서 SC1은 제1중앙 표준영역이고, SC2는 제2중앙 표준영역이며, SR은 오른쪽 표준영역이고, SL은 왼쪽 표준 영역, CR1은 제1기울임 영역이고, CR2는 제2기울임 영역으로 나눈 경우를 나타낸 것이다. 상기 도 3의 자세 판별 지도를 사용하여 탑승자의 깊이(Z축값)를 포함하는 자세를 판단할 수 있다.
도 4에서는 탑승자의 머리를 검출하여 2차원 영상에서의 머리 위치를 알 수 있다. 구체적으로, 401단계에서 스테레오 2차원(X,Y축) 영상이 획득되면 배경 영상을 제거하고, 403단계에서 상기 배경 영상이 제거된 2차원 영상을 팽창(Dilation) 연산과 침식(Erosion) 연산을 수행하여 405단계에서 2진 바이너리(Binary) 영상을 생성한다. 상기 2진 바이너리 영상이 생성되면 407단계에서 상기 2진 바이너리 영상의 윤곽선(Contour) 영상을 생성한다. 상기 407단계에서 윤곽선 영상이 생성되면 409단계에서는 SVM을 사용하여 상기 윤곽선 영상으로부터 머리 검출을 수행한다. 상기 409단계에서 윤곽선 영상의 머리가 검출되면 411단계에서는 머리의 중앙점을 찾고, 413단계에서 상기 찾아진 영상의 머리 중앙점(X,Y 정보), 카메라 영상에서의 머리 위치(X, Y, Z 정보) 정보, 탑승자 자세 정보를 생성한다.
상기 바이너리 영상으로부터 윤곽선을 검출하는 방법은 도 5의 501에서와 같이 바이너리 영상의 무게 중심점을 기준으로 원의 지름을 넓혀가며 특징점을 추출하고, 상기 추출된 특징점을 기반으로 윤곽선을 추출한다. 도면의 참조 부호 503는 특징점들을 나타낸 것이고, 505는 상기 특징점을 기반으로 윤곽선을 생성한 경우를 나타낸 것이다.
그리고 상기 탑승자의 머리를 검출하는 방법은 도 6에서와 같이 601단계에서 3차원 모델에 대한 점들을 찾고, 603단계에서 윤곽선의 중앙점을 찾고, 605단계에서 상기 중앙점과 윤곽선의 임의의 점들과의 거리를 계산하고, 607단계에서 상기 거리값들을 정규화하여 미리 정의된 헤더 패턴과 동일한 경우 머리로 판단한다.
상기와 같이 탑승자 자세 정보가 생성되면 제어기(10)는 상기 탑승자 자세 정보를 입력받고, 상기 탑승자 자세 정보에 따른 에어백 제어 신호를 생성하여 에어백 모듈로 출력하고, 에어백 모듈은 상기 에어백 제어 신호에 따라 에어백을 전개한다.
한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
상술한 바와 같은 본 발명은, 카메라를 이용하여 탑승자의 자세를 보다 정확하게 판단할 수 있으므로 탑승자의 자세에 따라 에어백을 전개할 수 있는 이점을 가진다.
따라서, 본 발명은 탑승자의 자세에 맞게 에어백을 전개하므로 탑승자를 보다 안전하게 보호할 수 있는 이점을 가진다.

Claims (6)

  1. 삭제
  2. 탑승자의 자세에 따라 에어백을 전개하기 위한 에어백 제어 신호를 생성하여 출력하는 제어기를 구비하는 자동차의 탑승자 자세 판별 시스템에 있어서,
    조명조건의 변화, 텍스처, 차폐 영역의 존재로 인한 깊이 정보의 신뢰도를 확보하기 위해 적외선을 조사하는 적외선 조명부와,
    적어도 2개의 카메라를 구비하여 상기 적외선을 조사받아 차량 내부의 영상을 캡처하고 스테레오 2차원 영상 데이터들을 생성하여 출력하는 영상획득부와,
    상기 스테레오 2차원 영상 데이터들을 입력받아 영상의 왜곡을 보정하고 3차원 모델 정보를 생성하여 출력하는 전처리부와,
    상기 보정된 스테레오 2차원 영상 데이터들과 상기 3차원 모델 정보를 입력받아 분석하여 탑승자의 자세를 판단하고 탑승자 자세 정보를 생성하여 상기 제어기로 출력하는 디지털 신호 처리부와,
    를 더 구비함을 특징으로 하는 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별 시스템.
  3. 삭제
  4. 탑승자의 자세에 따라 에어백을 전개하기 위한 에어백 제어 신호를 생성하여 출력하는 제어기를 구비하는 자동차의 탑승자 자세 판별 방법에 있어서,
    적어도 2개의 카메라를 구비하여 차량 내부의 영상을 캡처하고 스테레오 2차원 영상 데이터들을 생성하여 출력하는 과정과,
    상기 스테레오 2차원 영상 데이터들을 입력받아 영상의 왜곡을 보정하고 3차원 모델 정보를 생성하여 출력하는 과정과
    상기 보정된 스테레오 2차원 영상 데이터들과 상기 3차원 모델 정보를 입력받아 분석하여 탑승자의 위치(X,Y,Z)를 판단 후 탑승자의 머리 위치(X,Y)를 판단하여 탑승자의 자세를 판단하는 과정과,
    탑승자 자세 정보를 생성하여 상기 제어기로 출력하는 과정으로 이루어짐을 특징으로 하는 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별 방법.
  5. 제4항에 있어서,
    상기 탑승자 머리 위치 판단 과정이,
    획득된 영상의 배경화면을 제거하는 단계와,
    배경화면이 제거된 영상을 팽창연산 및 침식 연산을 수행하여 바이너리 영상을 생성하는 단계와,
    상기 바이너리 영상으로부터 윤곽선 영상을 생성하는 단계와,
    상기 윤곽선 영상으로부터 탑승자 머리를 검출하는 단계로 이루어짐을 특징으로 하는 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별 방법.
  6. 제5항에 있어서,
    상기 윤곽선 영상의 윤곽선은 상기 바이너리 영상의 무게 중심점을 기준으로 원의 지름을 넓혀가며 특징점을 추출하여 검출함을 특징으로 하는 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별 방법.
KR1020050048649A 2005-06-08 2005-06-08 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별시스템 및 그 방법 KR100630842B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020050048649A KR100630842B1 (ko) 2005-06-08 2005-06-08 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별시스템 및 그 방법
CNB2006100781285A CN100396084C (zh) 2005-06-08 2006-04-26 使用立体图像拼接识别车辆中乘客姿态的系统和方法
US11/422,061 US20060280336A1 (en) 2005-06-08 2006-06-02 System and method for discriminating passenger attitude in vehicle using stereo image junction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050048649A KR100630842B1 (ko) 2005-06-08 2005-06-08 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR100630842B1 true KR100630842B1 (ko) 2006-10-02

Family

ID=37509061

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050048649A KR100630842B1 (ko) 2005-06-08 2005-06-08 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별시스템 및 그 방법

Country Status (3)

Country Link
US (1) US20060280336A1 (ko)
KR (1) KR100630842B1 (ko)
CN (1) CN100396084C (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101774692B1 (ko) * 2016-05-16 2017-09-04 현대자동차주식회사 에어백 제어 장치 및 방법
KR102135254B1 (ko) * 2019-08-20 2020-07-20 엘지전자 주식회사 차량 내 사용자 모니터링을 위한 배경 이미지 생성 방법 및 이를 위한 장치
KR102655441B1 (ko) 2019-04-04 2024-04-08 현대모비스 주식회사 차량의 안전장치 제어시스템 및 그 제어방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
WO2016164793A1 (en) 2015-04-10 2016-10-13 Robert Bosch Gmbh Detection of occupant size and pose with a vehicle interior camera
CN104786976B (zh) * 2015-05-15 2016-01-06 黑龙江大学 基于多类型数据通讯的汽车副驾驶气囊控制系统
KR101777518B1 (ko) * 2016-04-07 2017-09-11 엘지전자 주식회사 인테리어 카메라 장치, 이를 포함하는 차량 운전 보조장치 및 이를 포함하는 차량
JP6870294B2 (ja) * 2016-11-25 2021-05-12 株式会社アイシン 乗員情報検出装置およびプログラム
JP7051526B2 (ja) * 2018-03-26 2022-04-11 本田技研工業株式会社 車両用制御装置
CN108646768A (zh) * 2018-08-16 2018-10-12 浙江智莱科技有限公司 一种无人驾驶巴士启动控制系统及控制方法
CN111476977A (zh) * 2019-01-23 2020-07-31 上海博泰悦臻电子设备制造有限公司 安全驾驶预警系统
JP7331483B2 (ja) * 2019-06-18 2023-08-23 株式会社アイシン 撮像制御装置
US11807181B2 (en) 2020-10-27 2023-11-07 GM Global Technology Operations LLC Vision-based airbag enablement

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6856873B2 (en) * 1995-06-07 2005-02-15 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
BR0007409A (pt) * 1999-01-07 2001-10-16 Siemens Automotive Corp Lp Sistema e método de discriminação de evento de acionamento de airbag
EP1297486A4 (en) * 2000-06-15 2006-09-27 Automotive Systems Lab OCCUPANCY SENSOR
US6968073B1 (en) * 2001-04-24 2005-11-22 Automotive Systems Laboratory, Inc. Occupant detection system
US6662093B2 (en) * 2001-05-30 2003-12-09 Eaton Corporation Image processing system for detecting when an airbag should be deployed
DE10151417A1 (de) * 2001-10-18 2003-05-08 Siemens Ag System und Verfahren zum Verarbeiten von Bilddaten
WO2003089277A1 (de) * 2002-04-19 2003-10-30 Iee International Electronics & Engineering S.A. Sicherheitsvorrichtung für ein fahrzeug
JP2004053324A (ja) * 2002-07-17 2004-02-19 Denso Corp 自動車用衝突安全制御装置
CN1496899A (zh) * 2002-10-11 2004-05-19 伊顿公司 用于乘员跟踪的基于运动的图像分割器
US7379559B2 (en) * 2003-05-28 2008-05-27 Trw Automotive U.S. Llc Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system
US7508979B2 (en) * 2003-11-21 2009-03-24 Siemens Corporate Research, Inc. System and method for detecting an occupant and head pose using stereo detectors
US20050196015A1 (en) * 2004-03-02 2005-09-08 Trw Automotive U.S. Llc Method and apparatus for tracking head candidate locations in an actuatable occupant restraining system
US20050201591A1 (en) * 2004-03-10 2005-09-15 Kiselewich Stephen J. Method and apparatus for recognizing the position of an occupant in a vehicle
US7440620B1 (en) * 2004-05-21 2008-10-21 Rockwell Automation B.V. Infrared safety systems and methods

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101774692B1 (ko) * 2016-05-16 2017-09-04 현대자동차주식회사 에어백 제어 장치 및 방법
CN107380111A (zh) * 2016-05-16 2017-11-24 现代自动车株式会社 用于控制气囊的装置和方法
US10131309B2 (en) 2016-05-16 2018-11-20 Hyundai Motor Company Apparatus and method for controlling airbag
CN107380111B (zh) * 2016-05-16 2021-07-16 现代自动车株式会社 用于控制气囊的装置和方法
KR102655441B1 (ko) 2019-04-04 2024-04-08 현대모비스 주식회사 차량의 안전장치 제어시스템 및 그 제어방법
KR102135254B1 (ko) * 2019-08-20 2020-07-20 엘지전자 주식회사 차량 내 사용자 모니터링을 위한 배경 이미지 생성 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
US20060280336A1 (en) 2006-12-14
CN100396084C (zh) 2008-06-18
CN1876444A (zh) 2006-12-13

Similar Documents

Publication Publication Date Title
KR100630842B1 (ko) 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별시스템 및 그 방법
EP1816589B1 (en) Detection device of vehicle interior condition
US6005958A (en) Occupant type and position detection system
JP4756044B2 (ja) 自動車シート上の対象物を検出するための装置
JP4899424B2 (ja) 物体検出装置
EP2219133B1 (en) A method and system of automatically detecting objects in front of a motor vehicle
US10131309B2 (en) Apparatus and method for controlling airbag
KR101375372B1 (ko) 자동차의 비젼 시스템 및 비젼 방법
US11861867B2 (en) Systems, devices and methods for measuring the mass of objects in a vehicle
US20120026332A1 (en) Vision Method and System for Automatically Detecting Objects in Front of a Motor Vehicle
US20210001796A1 (en) Physique estimation device and physique estimation method
US20180208115A1 (en) Vehicle display device and vehicle display method for displaying images
JP2010113506A (ja) 乗員位置検出装置、乗員位置検出方法及び乗員位置検出プログラム
JP5401440B2 (ja) 乗員頭部検知装置
US20050151053A1 (en) Infrared proximity sensor for air bag safety
Devy et al. Detection and classification of passenger seat occupancy using stereovision
EP1800964B1 (en) Method of depth estimation from a single camera
JP2022053216A (ja) 車両内状態検知装置
JP2012141281A (ja) 体積検出装置、及び、体積検出方法
JP2001213268A (ja) 車両用エアバッグシステムのための乗員判定装置
JP5298111B2 (ja) 乗員検知装置
KR102192257B1 (ko) 차량용 영상처리 시스템 및 그 동작방법
JP5548111B2 (ja) シート検知装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120910

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130830

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140827

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150824

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160826

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee