KR20010113887A - 소정 영역 내에 대상물의 위치를 판단하기 위한 방법 및 장치 - Google Patents

소정 영역 내에 대상물의 위치를 판단하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20010113887A
KR20010113887A KR1020017013559A KR20017013559A KR20010113887A KR 20010113887 A KR20010113887 A KR 20010113887A KR 1020017013559 A KR1020017013559 A KR 1020017013559A KR 20017013559 A KR20017013559 A KR 20017013559A KR 20010113887 A KR20010113887 A KR 20010113887A
Authority
KR
South Korea
Prior art keywords
contour
current
head
frame
front passenger
Prior art date
Application number
KR1020017013559A
Other languages
English (en)
Other versions
KR100465608B1 (ko
Inventor
토르스텐 쾰러
루트비히 에르틀
디르크 치틀라우
Original Assignee
칼 하인쯔 호르닝어
지멘스 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 칼 하인쯔 호르닝어, 지멘스 악티엔게젤샤프트 filed Critical 칼 하인쯔 호르닝어
Publication of KR20010113887A publication Critical patent/KR20010113887A/ko
Application granted granted Critical
Publication of KR100465608B1 publication Critical patent/KR100465608B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Air Bags (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 소정의 영역내에서 대상물의 위치를 결정하기 위한 방법 및 장치에 관한 것이다.
소정의 영역내의 대상물의 위치, 특히 차량의 앞좌석 승객의 머리의 위치가, 대상물의 윤곽이 움직이는 경우에 나타나는 상이한 이미지가 비디오 카메라에 의해 연속적으로 기록된 2개의 프레임으로부터 생성되고, 상이한 이미지의 윤곽이 위치를 계산하는데 이용된다는 사실에 의해 결정된다.

Description

소정 영역 내에 대상물의 위치를 결정하기 위한 방법 및 장치{METHOD AND DEVICE FOR DETERMINING THE POSITION OF AN OBJECT WITHIN A GIVEN AREA}
지난 몇 년동안, 자동차의 사고시에 손상을 감소시키기 위한 에어백 시스템이 널리 사용되었고 그 가치가 입증되었다. 에어백이 점점 증가함에 따라, 경우에 따라서는 에어백이 특히 앞좌석 승객의 손상을 초래하는 것으로 알려졌다. 그 이유는 에어백 시스템이 앞좌석 승객의 위치에 대한 신뢰가능한 정보를 갖지 못한 것이다. 에어백의 팽창 프로세스는 극한 상황 즉 사고의 경우 좌석벨트를 한 성인이 계기판에 대해 충돌하지 않아야 하는 상황을 위해 구성되어 있다. 그러나, 앞좌석 승객의 머리가 팽창시에 계기판에 너무 가까울 경우(위치를 벗어남), 상기한 에어백 시스템의 구성은 심각한 손상을 초래할 수 있다. 이러한 문제를 제거하기 위해 여러가지 시스템들이 시도 개발되고 있다. 예를 들면, 조사 하에서 각 차량 승객 구획부분의 평균 거리를 측정하고 그것으로부터 앞좌석 승객의 위치나 승객의 머리의 위치를 결정하기 위하여, 만약 적합하다면 초음파를 이용하여, 레이저 삼각측량 센서를 사용하는 시도가 이루어졌다. 여기서 문제점은 앞좌석 승객의 머리가 다른대상물로부터 신뢰가능하게 구별되지 않을 수 있다는 것이다.
미공개된 독일 특허출원 제 198 09 210.5호에는 상기한 문제를 제거하는 방법이 개시되어 있다. 이 방법에서, 앞좌석 승객의 공간은 광원으로 조명되고 조명된 소정 영역은 프레임-생성 비디오 카메라에 기록된다. 조명은 도트로 형성된 2차원 프레임이 생성되도록 서로 밀접하게 번들(bundle)되는 개별 광선으로 이루어진 광빔으로 제공된다. 앞좌석 승객의 위치는 초기에 기록되고 저장된 기준 프레임의 대응 도트와 현재 도트 프레임의 도트들 사이의 거리를 결정함으로써, 각각 기록된 2차원 도트 프레임으로부터 결정된다. 상기한 방법은 광빔의 발생에 비용이 많이 소모되기 때문에 그 실행에 있어서 비교적 비싸다. 더욱이, 약한 콘트라스트를 갖는 프레임에서, 예를 들면 앞좌석 승객의 머리의 포인트와 관련 프레임 도트 사이에 정렬을 하는 것이 어렵다.
본 발명은 소정의 영역내의 대상물의 위치, 특히 차량의 앞좌석 승객의 머리의 위치를 결정하기 위한 방법 및 장치에 관한 것이다.
도 1은 운전자 및 앞좌석 승객으로 차량 승객 구획의 평면도 및 본 발명에 따른 장치의 블록도를 도시한다.
도 2는 본 발명에 따른 방법의 흐름도를 도시한다.
본 발명은 대상물 특히 움직이는 대상물의 위치, 예를 들면 위치가 변하는 앞좌석 승객의 위치가 정밀하게 그리고 쉽게 실행될 수 있는 방식으로 결정되는 방법 및 장치를 제공하는 것을 목적으로 한다.
상기 목적은 청구항 제 1항에 따른 방법에 의해 달성된다.
본 발명에 따른 방법에서, 상이한 이미지는 위치가 결정되는 대상물의 윤곽이 대상물이 움직이는 경우에만 나타나도록 발생된다. 이 방법에서, 소정의 영역에서, 움직이는 대상물만이 자동적으로 등록(register)되고, 이는 프레임의 평가를 상당히 간단하게 함과 동시에 그것이 더욱 신뢰가능하게 한다.
청구항 제 2항 및 제 3항은 본 발명에 따른 방법의 2가지 유리한 실시예를 개시하고 있다.
창구항 제 4항은 본 발명의 목적이 달성되는 장치의 기본 설계를 특징으로 한다.
본 발명에 따른 장치는 외부 광원으로 동작할 필요가 없으며, 예를 들면 사용 목적에 따라서 일광(daylight)을 사용할 수도 있다.
대상물의 위치의 결정은 적당한 평가 소프트웨어를 이용하여 연속적으로 기록된 프레임을 평가함으로써 수행된다. 복잡한 광원이 필요없다.
청구항 제 5항 및 제 6항은 대상물의 위치를 결정하기 위한 일반적 방법에 적합한 장치의 유리한 전개를 개시하고 있다.
청구항 제 7항 내지 제 10항은 특히 차량의 앞좌석 승객의 머리 위치를 결정하기 위한 본 발명에 따른 장치의 사용을 개시하고 있다.
본 발명의 장점은 신뢰가능한 결과를 제공하는 평가 방법의 정확도에 있다.
도 1을 살펴보면, 와이드-앵글 렌즈(4)에 구비되는 CCD 또는 CMOS 비디오 카메라는 자동차 운전자의 좌측, 예컨대 차체의 스티어링 필러(steering pillar)의상부에 장착된다. 비디오 카메라(2)의 광축 A(이점쇄선으로 도시됨)은, 만약 앞좌석 승객이 전체적으로 앞쪽으로 움직이거나 또는 그의 머리(6)가 머리받침(8)에 기대고 있는 가장 뒤쪽에 위치한 똑바로 앉은 상태에서 벗어나 계기판(10) 방향인 앞쪽으로 굽어질 때, 앞좌석 승객의 머리(6)가 통상 움직이는 평면에 수직으로 교차하는 방식으로 배향된다. 비디오 카메라(2)의 시야(viewing angle) 및 그 프레임 영역(일점쇄선으로 도시됨)은 머리받침(8)으로부터 계기판(10)에 이르기까지 확장되고, 따라서 앞좌석 승객 또는 그의 머리(6)가 움직이는 전체 영역을 커버한다.
물론, 비디오 카메라(2)는 운전자의 선바이저(미도시) 또는 운전자의 머리에 의해서 시야가 가려지지 않게 장착된다. 이를 위하여, 비디오 카메라(2)는 가능한 높게 장착하고, 가능하다면 루프 라이닝 오프셋의 다소 안 쪽에 장착하는 것이 바람직하다.
소프트웨어 수단에 의해, 도 1에 따라서 앞좌석의 머리받침(8) 전방에 위치하는 측정 영역(measuring field)은 비디오 카메라(2)의 프레임 메모리에 미리 정의된다. 나중에 정의될 방식에 있어서는, 템플리트(template)가 측정 영역에서 생성되고 윤곽선 추적이 시작된다.
CMOS 비디오 카메라는 측정 박스에서 프레임 정보만이 판독되는 CCD 비디오 카메라보다 수 밀리세컨드(millisecond)까지 감소된 시간으로 판독할 수 있는 장점을 가진다.
야간 운전을 위하여, 야간 운전동안 조명을 형성하는 적외선 광원(12)이 비디오 카메라(2) 다음에 구비된다. 렌즈는 유리하게도 IR 영역 근처에서 진행시키고 가시광선 영역을 제거하기 위하여 에지 필터를 구비한다.
적외선 광원(12)은 라인(14)을 통해서 비디오 카메라(2)에 의해 트리거된다. 프레임 전송을 위해, 비디오 카메라의 메모리는 제어 장치(16)를 구비하는데, 제어 장치(16)에는 필수 소프트웨어가 저장되어 있고 적어도 5개의 프레임이 저장될 수 있는 프레임 저장부(18)를 가진다. 제어 장치(16)의 부가적인 입력(22)은 브레이크 압력 센서 또는 ABS 제어 장치와 연결되어 있다.
도 1에서, D0는 앞좌석 승객의 머리(6)가 앞쪽으로 움직일 때 머리(6)와 머리받침 사이의 임계거리를 나타낸다. D1및 D2는 머리(6)와 계기판(10) 사이의 2개의 임계거리를 나타낸다.
본 발명에 따른 장치에서 실행되는 방법 단계에 대한 바람직한 흐름도가 도 2에 도시되어 있으며, 하기에 설명된다.
정적인 소정 영역 또는 개별 프레임에 대한 분석과 대조적으로, 본 발명에 따른 방법은 변화하는 소정 영역, 즉 프레임의 시리즈에 대한 분석을 기초로 한다. 정적인 소정 영역의 경우에는 높은 비율의 부정확한 구별이 예기되기 때문이다. 개별 프레임에 대해 대상물의 윤곽을 관련시키기가 어렵다(예를 들면, 측면에서 머리를 머리카락 및 얼굴과 결합하여 머리받침, 좌석 및 창틀과 구별하기 어렵다). 비록, "비록 머리 크기의 타원 형상이 계기판 근처에서 발견되었다"는 정보가 개별 프레임으로부터 추출되더라도, 예컨대 부정확한 구별의 위험성은 여전히 높다. 이는 앞좌석 승객의 무릎 위에 놓여진 축구공일 수도 있기 때문이다.
도 2와 관련하여 예시적으로 설명된 상기 방법은 완전히 다른 진행과정을 구성한다. 분석은 항상 연속적인 개별 프레임(E)의 상이한 이미지(DB)에 기초한다.
이는 다음과 같다:
DB(i,j) = ABS(E(n-1)(i,j) - E(n)(i,j))
여기서, i, j는 밀도가 E인 프레임 도트의 2차원 좌표이다.
만약 대상물이 움직인다면, 그 윤곽은 상이한 이미지로 구별되고 쉽게 세그먼트로 될 수 있다. 상기 방법은 앞좌석 승객의 머리(6)가 대부분의 시간동안 정상적인 위치, 즉 머리받침(8) 근처에 있다는 사실에 기초한다. 만약 머리(6)가 계기판(10) 방향으로 움직인다면, 머리의 윤곽은 추적되고 계기판으로부터의 거리가 계산된다. 여기서, 시간 및 노력을 줄이기 위하여, 대략 머리 크기의 두 배인 단지 하나의 측정 윈도우(measuring window)가 머리에 중심을 두기 위해 시험된다. 윤곽 추적의 기초는 청구항 제 2항 및 제 3항에 나타나 있으며, 이로부터 만약 앞좌석 승객의 머리가 위험 영역으로 이동하면 더 정밀한 윤곽 추적으로 전환된다는 것을 알 수 있다.
도 2의 단계들은 전술한 바람직한 실시예를 상세히 설명한다.
단계 50에서 시작 프레임이 판독되고, 단계 51에서 비디오 카메라에 의해 녹화되는 현재 프레임이 판독된다. 단계 52에서 상이한 이미지의 프레임 도트가 전술한 공식에 의해서 계산된다. 단계 53에서 상이한 이미지로부터 윤곽이 추적되거나 또는 유도된다. 단계 54에서 템플리트가 계산된다.
템플리트는 서로의 상부에 윤곽을 그리고 이를 평균함으로써 생성되는 프레임 또는 템플리트으로 이해될 수 있다. 현재의 윤곽과 템플리트 사이의 비교는 상당한 정도의 일치를 나타내야하며, 그렇지 않으면 윤곽은 추적되지 않는다. 예를 들어, 만약 현재 윤곽이 손이고 템플리트가 머리라면, 손은 추적되지 않는다. 이러한 방식으로 템플리트는 계속하여 향상된다.
단계 54에서 제 1 윤곽은 프로그램이 시작된 후에 제 1 템플리트로서 취해진다. 제 1 거리(단계 55)는 물론 0이다. 부가적인 사이클에서, 템플리트를 평균하고 계산하며 업데이트하기 위하여(단계 54) 그리고 업데이트된 거리로서 단계 55에서 변위를 취하기 위하여, 템플리트에 상대적인 현재 윤곽의 변위(단계 53)가 단계 54에서 결정된다.
템플리트 결정동안, 다음의 진행과정이 채택된다. 제 1 윤곽이 시작 템플리트로서 취해진다. 다음 템플리트를 형성하기 위하여 다음 윤곽을 평균하는 동안, 시작 템플리트 및 윤곽은 동일한 가중치(0.5:0.5)를 가진다. 예를 들어, 1000번째 단계 후에 이러한 방식으로 각 템플리트는 윤곽의 가중치 1에 대해 1000의 가중치를 가진다. 시간이 경과됨에 따라서 새로운 현재의 윤곽이 무의미하게 되는 것을 방지하기 위해, 새로운 윤곽은 새로운 템플리트 결정으로 입력되는 고정된 가중치로 주어질 수 있다.
단계 56에서, 현재 프레임은 과거 프레임으로서 저장된다. 단계 57에서, 거리가 미리 결정된 머리받침으로부터의 임계 거리 D0(도 1)보다 작은가가 결정된다.만약 작은 경우에는, 단계 51에서 다음 사이클이 시작되고, 단계 56에서 저장된 프레임 및 현재 프레임으로부터 단계 52에서 상이한 이미지가 결정된다.
만약 결정 단계 57에서 거리가 임계 거리 D0보다 크다고 결정되었다면, 이는 머리(6)가 머리받침으로부터 소정의 거리만큼 이동했다는 것을 의미하고, 단계 58에서 윤곽은 n=0로 설정된다. 또한, 단계 59에서, 변수 "first"는 TURE로 설정된다. 단계 60에서, 현재 프레임이 판독되고, 단계 61에서 상이한 이미지가 현재 프레임 및 단계 62에서 저장된 프레임으로부터 계산된다. 그 후, 윤곽은 단계 62에서 추출된다.
단계 51 내지 57의 사이클과는 대조적으로, 단계 63에서 머리의 윤곽을 더 정밀하게 추적하기 때문에, 윤곽 및 템플리트 사이의 교차적 상관관계(cross correlation)가 위치를 결정하기 위해 수행된다. 여기서, 윤곽은 템플리트에 대하여 위치되고, 모든 픽셀을 통한 그레이 값의 산출 합이 형성된다. 윤곽 및 템플리트는 만약 상기 값이 최대의 절대값으로 가정되었다면 최적의 방식으로 서로에게 적합하다. 필요한 변위로부터 새로운 위치가 결정된다. 여기에 사용되는 공식은 공지된 것이므로 별도로 설명하지 않는다.
단계 64에서, 상관관계의 특성이 계산되고 결정된다.
만약 특성이 단계 65에서 결정된 소정의 값(G)보다 크면, 측정 영역의 위치는 단계 66에서 업데이트되거나 또는 조정된다. 단계 67에서, 시스템이 프레임 평가로부터 또는 외부 입력의 결과로서 알게되는, 계기판(10)으로부터의 거리가 계산된다. 만약, 상기 거리가 단계 68에서 결정된 제 1 임계값(D1)보다 작으면, 에어백 제어 장치(20)(도 1)로 신호가 전송되는 경보 스테이지 1을 생성하기 위해 단계 69로 이동한다. 그리고, 상기 시스템은 단계 70으로 이동한다.
만약, 단계 68에서, 거리가 임계값(D1)보다 작다면, 거리가 임계값(D2)보다 작은지가 단계 71에서 결정된다. 만약, 작은 경우에는 단계 72에서 경고 스테이지 2가 트리거되고 에어백 제어 장치로 신호를 전송한다. 그 후, 시스템은 단계 70으로 진행된다. 만약, 거리가 D2보다 작지 않은 경우에는, 시스템은 경고 스테이지를 트리거시키지 않고 단계 70으로 진행된다.
단계 70에서 현재 프레임은 이전 프레임으로서 저장되고, 그 후 단계 73에서 템플리트는 현재 윤곽으로 대체된다. 단계 74에서, 변수 "first"는 INCORRECT 값으로 할당된다. 그리고, 단계 75에서 윤곽은 다시 0으로 설정된다. 단계 76에서, 시작 위치 또는 초기 위치로부터의 거리가 계산된다. 만약, 이 거리가 단계 77에서 결정된 D0보다 작다면, 시스템은 단계 51로 이동한다. 만약 이 거리가 D0보다 크면, 시스템은 단계 60으로 이동한다.
상관관계가 부적절한 특성으로 주어지면(단계 65), 시스템은 단계 78로 이동하고 변수 "first"가 TRUE 값을 가지는가를 체크한다. 만약 TRUE 값을 가지는 경우, 시스템은 단계 51로 이동한다. 만약 TRUE 값을 가지지 않는 경우, 단계 79에서 카운터 판독값(n)이 소정의 판독값(N) 보다 큰가를 체크한다. 만약 큰 경우, 시스템은 단계 51로 이동한다. 만약 크지 않은 경우, 단계 80에서 카운터 판독값은 1 이 증가된다. 단계 81에서, 변수는 INCORRECT 값으로 할당되고, 시스템은 단계 60을 수행한다.
단계 65에서 상관관계의 체크는 다음과 같이 이루어진다.
만약, 상관관계의 특성이 소정의 범위를 초과하는 경우에는, 예컨대 손 또는 팔이 아닌 머리가 프레임을 통해서 이동하고 있다고 가정할 수 있다. 이 경우, 측정 영역은 현재 윤곽에 중심을 맞추고, 템플리트는 현재 윤곽으로 대체된다. 그렇지 않은 경우, 제 1 경로(n=0)에서 시스템은 시작(단계 51)을 위해 즉시 이동한다. 만약 상기 루프에서 윤곽이 이미 성공적으로 추적되었다면, 그리고 만약 신호가 측정 윈도우에 존재한지 않는다면, 머리는 움직이지 않고 있는 것이다. 그리고, 현재 위치에서 대기하는 시간에 상응하는 소정 수(N)의 사이클이 주어지면, 시스템은 단계 60으로 이동한다. 따라서, N은 머리 윤곽이 측정 영역에서 연속적으로 측정되지 않아야 하는 동안 초기 위치로 리셋하기 위해 측정 영역을 통과하는 최대수를 의미한다. 따라서 시스템은 머리가 움직이는 얼마동안 대기한다. 만약 이러한 경우가 발생하지 않는 경우에만, 초기 위치로 되돌아간다.
본 발명에 따른 방법의 장점은 그 견고성에 있다. 실제와 같은 초기 가정은 시작시에 이용된다. 머리는 머리받침 근처의 측정 윈도우에서 몸의 최상부이다. 만약 윤곽이 계기판 방향으로 상기 영역에서 벗어나 움직이고, 상기 윤곽이 초기 상(phase)에 있는 템플리트에 대응하면, 정보가 에어백 제어 유니트로 전송된다. 따라서, 예컨대 앞좌석 승객의 무릎에 놓인 축구공을 머리로 잘못 인식하는 일은 실질적으로 없어진다. 정적인 분석과는 대조적으로, 하나의 개별적인 부정확한 측정은 에어백이 스위치 오프되거나 또는 트리거링이 변화되지 않게 한다. 만약 일련의 분석이 어떤 포인트에서 깨지게 되면, 예컨대 추적되는 윤곽이 알고리즘에서 벗어나거나 또는 상이한 에러가 발생하면, 차량 또는 에어백 제조자에 의해 정의된 동작이 발생하는 경우 에어백이 트리거링되는 동안 에어백의 결함 트리거링이 선택될 수 있다. 이는 승객 구획부분의 모니터링 없이 현존 시스템의 수행이 손상되지 않게 한다.
전술한 방법에 있어, 제어 장치(16)에 저장된 프레임은 적어도 5개의 프레임, 즉 현재 프레임, 현재 윤곽, 이전 프레임, 상이한 이미지 및 템플리트를 수용할 것을 요구한다.
제어 장치(16)는 유리하게도 급정지 동작과 관련된 정보 아이템을 도 1에 도시된 입력 22로 수신한다. 그 결과, 에어백을 스위치 오프로 이끄는 조건은 급정지 동작과 관련된 정보가 부가적으로 요청된다는 점에서 더 엄격히 형성된다. 급정지의 경우 머리는 확실히 움직일 것이다. 이는 앞좌석 승객이, 예컨대 그의 신발끈을 묶기 위해서 또는 어떤 대상물을 찾기 위해서 그의 머리를 에어백을 향해 앞으로 굽히는 경우(위치에서 벗어나는 경우)와는 대조적이다. 예컨대 부정확하게 손의 윤곽을 추적하는 것과 같이 시스템 알고리즘에서 일어나지 않을 것같은 상황이 만약 발생되면, 에어백은 잘못 스위치 오프될 것이다. 에어백의 스위치 오프는 에어백이 결함(실수)으로 인하여 올바르지 않게 스위치 오프되고 앞좌석 승객은 에어백 트리거링에 의해 상처를 입을 위험이 항상 존재한다. 그러므로, 급정지 동작과 관련된 정보는 부정확한 스위치 오프를 예방하는 정도를 향상시킨다.
물론, 상이한 이미지 방식은 또한 전술한 방식 외에 평가 알고리즘으로 동작할 수 있다. 마찬가지로, 비디오 카메라는 전술한 곳 외에 차량의 다른 위치, 예컨대 차량 루프의 내부 미러 근처에 수용될 수 있다. 여기서도 광축이 앞좌석 승객의 머리가 움직이는 방향에 가능한한 수직으로 장착된다.
본 발명에 따른 장치 및 방법은 언제 앞좌석 승객의 머리가 위험 영역으로 이동하는지에 대한 예측이 감지된 머리의 궤도 및 이의 계산된 속도로부터 계산되는 노력에 의해 부가적으로 보충될 수 있다. 따라서, 위험 영역에 도달하기 전에 상응하는 메시지를 에어백 제어 장치로 수 밀리세컨드이내로 전송하는 것이 가능한다.

Claims (10)

  1. 소정의 영역내의 대상물의 위치, 특히 차량의 앞좌석 승객의 머리 위치를 결정하기 위한 방법으로서,
    소정 영역의 프레임 시퀀스가 비디오 카메라에 찍히고, 대상물의 현재 위치가 프레임 시퀀스의 프레임을 전자장치로 평가함으로써 계산되는 방법에 있어서,
    단지 대상물이 움직일 때에만 대상물의 윤곽에서 나타나는 상이한 이미지가 현재 찍혀진 프레임을 이전에 저장된 프레임과 비교함으로써 생성되고, 그리고 대상물의 위치는 상기 상이한 이미지에 기초하여 계산되는 것을 특징으로 하는 위치 결정 방법.
  2. 제 1항에 있어서,
    상기 대상물이 소정의 영역내에 위치하는 동안, 상기 방법은 다음의 연속적 단계들, 즉
    a1) 현재의 상이한 이미지를 계산하는 단계;
    b1) 대상물의 현재 윤곽을 현재의 상이한 이미지로부터 추출하는 단계;
    c1) 상기 방법의 시작 후에 제 1 윤곽에 대하여, 윤곽을 시작 템플리트으로 취하고; 모든 부가적인 윤곽에 대하여, 현재 윤곽을 가중되는 방식으로 템플리트에 결합시키는 단계; 및
    d1) 단계 a1)으로 되돌아가는 단계를 포함하는 것을 특징으로 하는 위치 결정 방법.
  3. 제 2항에 있어서,
    만약 대상물이 소정의 영역을 벗어나 움직이면, 상기 방법은 다음의 연속적 단계들, 즉
    a2) 현재의 상이한 이미지를 계산하는 단계;
    b2) 대상물의 현재 윤곽을 현재의 상이한 이미지로부터 추출하는 단계;
    c2) 현재 윤곽과 청구항 제 2항에서 생성된 템플리트와의 교차적 상관관계에 의하여 대상물의 위치를 계산하는 단계;
    d2) 만약 상관관계의 크기가 소정의 양을 초과하면, 측정 윈도우는 현재 윤곽에 중심을 맞추고, 템플리트는 현재 윤곽에 의해 대체되며, 시퀀스는 단계 e2)를 따라서 계속되고; 만약 상관관계의 크기가 소정의 양을 초과하지 않으면 단계 a1)으로 되돌아가고, 상이한 이미지가 존재할 경우 단계 a2)로 되돌아 가는 단계;
    e2) 만약 윤곽이 다시 소정 영역내에 위치할 경우 단계 a1)으로 되돌아가는 단계;
    f2) 만약 윤곽이 소정의 경고 영역내로 움직이면, 경고 신호를 발생시키는 단계;
    h2) 단계 a2)로 되돌아가는 단계를 포함하는 것을 특징으로 하는 위치 결정 방법.
  4. 소정의 영역내의 대상물의 위치, 특히 차량의 앞좌석 승객의 머리(6) 위치를 결정하기 위한 장치로서,
    소정의 프레임 시퀀스 시간을 가지는 비디오 카메라(2), 그리고 컴퓨터 유니트, 프레임 저장부(18) 및 평가 소프트웨어를 가지는 제어 유니트(16)를 포함하고,
    상기 평가 소프트웨어는 청구항 제 1항 내지 제 3항 중 어느 한 항에 따른 방법으로 동작하는 것을 특징으로 하는 위치 결정 장치.
  5. 제 4항에 있어서,
    상기 프레임 저장부(18)는 적어도 5개의 프레임을 저장할 수 있는 것을 특징으로 하는 위치 결정 장치.
  6. 제 4항에 있어서,
    상기 비디오 카메라는 CCD 또는 CMOS 카메라인 것을 특징으로 하는 위치 결정 장치.
  7. 차량의 앞좌석 승객의 머리(6) 위치를 결정하기 위한 청구항 제 4항 내지 제 6항 중 어느 한 항에 따른 장치에 있어서,
    비디오 카메라(2)는 광축이 앞좌석과 계기판(10) 사이에서 앞좌석 승객이 통상 움직이는 평면에 거의 수직으로 정렬되는 방식으로 배치되고, 그리고
    카메라의 광학장치는 앞좌석 승객과 계기판 사이의 영역을 적어도 대략적으로 기록(register)할 수 있는 것을 특징으로 하는 위치 결정 장치.
  8. 제 4항 내지 제 7항 중 어느 한 항에 있어서,
    적외선 광원(12)이 구비되고, 그리고
    상기 비디오 카메라(2)는 적외선 영역 근처에서 그 이하의 파장을 제거하는 필터를 구비하는 것을 특징으로 하는 위치 결정 장치.
  9. 제 4항 내지 제 7항 중 어느 한 항에 있어서,
    급정지가 발생할 때, 급정지 신호가 제어 장치(16)에 공급되는 것을 특징으로 하는 위치 결정 장치.
  10. 제 7항에 있어서,
    머리가 위험 영역으로 이동하는 것을 머리(6)의 궤도 및 속도에 기초하여 예측하고, 그리고
    에어백 제어 장치(20)가 이에 상응하여 동작하는 것을 특징으로 하는 위치 결정 장치.
KR10-2001-7013559A 1999-04-23 2000-04-03 소정 영역내 대상물의 위치를 판단하기 위한 방법 및 장치 KR100465608B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP99108091.2 1999-04-23
EP99108091A EP1049046A1 (de) 1999-04-23 1999-04-23 Verfahren und Vorrichtung zur Ermittlung der Position eines Objektes innerhalb einer Szene
PCT/EP2000/002961 WO2000065538A1 (de) 1999-04-23 2000-04-03 Verfahren und vorrichtung zur ermittlung der position eines objektes innerhalb einer szene

Publications (2)

Publication Number Publication Date
KR20010113887A true KR20010113887A (ko) 2001-12-28
KR100465608B1 KR100465608B1 (ko) 2005-01-13

Family

ID=8238036

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-7013559A KR100465608B1 (ko) 1999-04-23 2000-04-03 소정 영역내 대상물의 위치를 판단하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US6834116B2 (ko)
EP (2) EP1049046A1 (ko)
JP (1) JP4469508B2 (ko)
KR (1) KR100465608B1 (ko)
DE (1) DE50000878D1 (ko)
WO (1) WO2000065538A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596242B2 (en) * 1995-06-07 2009-09-29 Automotive Technologies International, Inc. Image processing for vehicular applications
DE10063697B4 (de) 2000-12-20 2006-07-13 Siemens Ag Verfahren und Vorrichtung zur Erfassung der Position eines Elements in einem Fahrzeug, insbesondere für Insassenschutzsysteme
US6493620B2 (en) * 2001-04-18 2002-12-10 Eaton Corporation Motor vehicle occupant detection system employing ellipse shape models and bayesian classification
JP2002374441A (ja) * 2001-06-13 2002-12-26 Mitsubishi Electric Corp 車窓内センサ
DE10131198A1 (de) * 2001-06-28 2003-01-16 Bosch Gmbh Robert Verfahren und Vorrichtung zur Beeinflussung wenigstens eines Parameters eines Fahrzeugs
US6856694B2 (en) * 2001-07-10 2005-02-15 Eaton Corporation Decision enhancement system for a vehicle safety restraint application
DE10133511A1 (de) * 2001-07-10 2003-01-30 Siemens Ag Verfahren und Vorrichtung zur optischen Erkennung des Öffnungszustands einer Fahrzeugtür
KR100862109B1 (ko) 2001-07-10 2008-10-09 지멘스 악티엔게젤샤프트 차량 내부를 모니터링하기 위한 시스템
JP3943367B2 (ja) * 2001-10-31 2007-07-11 株式会社デンソー 車両用乗員頭部検出装置
DE10163910A1 (de) * 2001-12-22 2003-07-03 Bosch Gmbh Robert Vorrichtung zur Insassenklassifizierung und Verfahren zur Insassenklassifizierung
DE10227221A1 (de) * 2002-06-18 2004-01-15 Daimlerchrysler Ag Verfahren zur Überwachung des Innen- bzw. Außenraums eines Fahrzeugs sowie ein Fahrzeug mit wenigstens einer Rundsichtkamera
DE10250781B4 (de) * 2002-10-30 2007-07-26 Orga Systems Gmbh Verfahren und Vorrichtung zur automatischen Segmentierung eines Vordergrundobjektes in einem Bild
WO2004100551A1 (de) * 2003-05-08 2004-11-18 Siemens Aktiengesellschaft Verfahren und vorrichtung zum erfassen eines objektes oder einer person
US7379559B2 (en) * 2003-05-28 2008-05-27 Trw Automotive U.S. Llc Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system
US7084385B2 (en) * 2003-08-19 2006-08-01 Autoliv Asp, Inc. Range discriminating optical sensor having a wide angle lens with a fixed focal length
US7049947B2 (en) * 2003-09-29 2006-05-23 Nattel Group, Inc. System and method for monitoring the operational condition of a motor vehicle
JP4623501B2 (ja) * 2005-02-18 2011-02-02 タカタ株式会社 検知システム、報知装置、駆動装置、車両
US20070146482A1 (en) * 2005-12-23 2007-06-28 Branislav Kiscanin Method of depth estimation from a single camera
DE102006024609A1 (de) * 2006-05-26 2007-11-29 Bayerische Motoren Werke Ag Verfahren zur Überwachung des Schwenkraums einer Fahrzeugtür
WO2018105290A1 (ja) * 2016-12-07 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 画像センサ
KR20180098058A (ko) 2017-02-24 2018-09-03 삼성전자주식회사 디스플레이에 포함된 픽셀을 이용하여 센서의 위치를 확인하는 방법 및 전자 장치

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5845000A (en) * 1992-05-05 1998-12-01 Automotive Technologies International, Inc. Optical identification and monitoring system using pattern recognition for use with vehicles
JPS6199803A (ja) * 1984-10-22 1986-05-17 Nippon Denso Co Ltd 車両運転者位置認識装置
JPH04234284A (ja) * 1990-12-28 1992-08-21 Nec Corp 動画像切り出し装置
US5835613A (en) * 1992-05-05 1998-11-10 Automotive Technologies International, Inc. Optical identification and monitoring system using pattern recognition for use with vehicles
JP3288086B2 (ja) * 1992-10-26 2002-06-04 株式会社東芝 動物体抽出装置
CA2119327A1 (en) * 1993-07-19 1995-01-20 David Crawford Gibbon Method and means for detecting people in image sequences
JPH07329639A (ja) * 1994-06-06 1995-12-19 Mitsubishi Electric Corp 車内の人体検出装置および車載機器制御装置
JP3171030B2 (ja) * 1994-10-28 2001-05-28 トヨタ自動車株式会社 乗員検知装置及びこれを用いた補機制御装置
US5528698A (en) * 1995-03-27 1996-06-18 Rockwell International Corporation Automotive occupant sensing device
DE19601661C1 (de) * 1996-01-18 1997-07-17 Leuze Electronic Gmbh & Co Verfahren zum Erfassen von Objekten in einem Überwachungsbereich
GB9606477D0 (en) * 1996-03-27 1996-06-05 Rover Group A sensing system for a vehicle
DE19620886A1 (de) * 1996-05-23 1997-11-27 Bayerische Motoren Werke Ag Vorrichtung zum Ausführen einer Sicherheitsmaßnahme
US5974175A (en) * 1997-01-22 1999-10-26 Fujitsu Limited Image processing apparatus and method for detecting a contour of an object from images of a motion picture and extracting the object therefrom
US5983147A (en) * 1997-02-06 1999-11-09 Sandia Corporation Video occupant detection and classification
JP3930935B2 (ja) * 1997-02-28 2007-06-13 三菱電機株式会社 画像処理装置
JP3812985B2 (ja) * 1997-04-04 2006-08-23 富士通株式会社 自動監視装置
US6005958A (en) * 1997-04-23 1999-12-21 Automotive Systems Laboratory, Inc. Occupant type and position detection system
US6118887A (en) * 1997-10-10 2000-09-12 At&T Corp. Robust multi-modal method for recognizing objects
DE19809210A1 (de) 1998-03-04 1999-09-16 Siemens Ag Verfahren und Vorrichtung zur Überwachung einer Szene
JP4031122B2 (ja) * 1998-09-30 2008-01-09 本田技研工業株式会社 差分画像を用いた被写体の検出装置
US6608910B1 (en) * 1999-09-02 2003-08-19 Hrl Laboratories, Llc Computer vision method and apparatus for imaging sensors for recognizing and tracking occupants in fixed environments under variable illumination

Also Published As

Publication number Publication date
US20020085739A1 (en) 2002-07-04
EP1049046A1 (de) 2000-11-02
US6834116B2 (en) 2004-12-21
JP2002543503A (ja) 2002-12-17
WO2000065538A1 (de) 2000-11-02
EP1173828A1 (de) 2002-01-23
JP4469508B2 (ja) 2010-05-26
DE50000878D1 (de) 2003-01-16
KR100465608B1 (ko) 2005-01-13
EP1173828B1 (de) 2002-12-04

Similar Documents

Publication Publication Date Title
KR100465608B1 (ko) 소정 영역내 대상물의 위치를 판단하기 위한 방법 및 장치
EP1801730B1 (en) Method of detecting vehicle-operator state
US6757009B1 (en) Apparatus for detecting the presence of an occupant in a motor vehicle
US6198998B1 (en) Occupant type and position detection system
JP4926437B2 (ja) 車両の運転支援装置
US7619668B2 (en) Abnormality detecting apparatus for imaging apparatus
US20040164851A1 (en) Lane tracking system employing redundant image sensing devices
US20060280336A1 (en) System and method for discriminating passenger attitude in vehicle using stereo image junction
EP1671216A2 (en) Moving object detection using low illumination depth capable computer vision
EP2706384A1 (en) Occupant sensing device
JP2005247224A (ja) 車両用表示装置
US20060126897A1 (en) Vehicle surroundings monitoring apparatus
KR100782629B1 (ko) 차량 승객들의 머리의 현재 위치를 식별하기 위한 방법
US9308918B2 (en) Object collision warning system and method for a motor vehicle
US7805230B2 (en) Apparatus for triggering personal protection means
JP4701961B2 (ja) 歩行者検知装置
JP6747176B2 (ja) 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
WO2017122688A1 (ja) 車載カメラのレンズ異常検出装置
JP2024029977A (ja) 表示制御装置
JPH07167618A (ja) 運転者位置認識装置
JPH11339195A (ja) 車線異常検出回路及びそれを用いた追突警報装置
CN117647889A (zh) 车辆用显示装置
JP2023047835A (ja) 車載装置および搭乗者モニタリング方法
KR20210115800A (ko) 차선 변경시 hud를 이용한 충돌 경고 안내 장치 및 방법
CN117622208A (zh) 车辆控制装置、车辆控制方法以及车辆控制用计算机程序

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121220

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20131220

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20141218

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee