KR20030007080A

KR20030007080A - 이미지 프로세싱 시스템 및 이미지 움직임 예측 방법

Info

Publication number: KR20030007080A
Application number: KR1020020039682A
Authority: KR
Inventors: 파머마이클에드워드
Original assignee: 이턴 코포레이션
Priority date: 2001-07-10
Filing date: 2002-07-09
Publication date: 2003-01-23
Also published as: JP2003160021A; US6925193B2; BR0202828A; US20030016845A1; EP1278159A2; MXPA02006791A

Abstract

본 발명은, 에어백에 대한 탑승자의 접근도에 따라 에어백의 전개가 디스에이블되거나 변형되어야 하는지 판정하는데 이용되는 시스템에 관한 것이다. 특히, 본 발명은, 탑승자가 에어백에 너무 가까이 있는지, 또는 에어백이 전개되는 시간까지 그 에어백에 너무 가까이 접근할 것인지 판정하기 위하여 비디오 카메라에 의한 실시간 흐름 비디오 이미지(real-time streaming video-image)를 이용하는 이미지 및 신호 프로세스를 처리하는 이미지 프로세싱 시스템에 관한 것이다. 충돌 상황에서, 시스템은 그 에어백이 디스에이블되어야 하는지 또는 변형되어야 하는지를 빠르게 판정해야 한다. 본 프로세스에서는 병렬 모델 칼먼 필터를 이용하여 2차원 이미지 시퀀스로부터 3차원 정보를 추론한다. 본 시스템은 카메라가 데이터를 수집하는 속도보다 더 빠른 속도로 탑승자의 위치와 형상을 예측한다.

Description

이미지 프로세싱 시스템 및 이미지 움직임 예측 방법{IMAGE PROCESSING SYSTEM FOR DYNAMIC SUPPRESSION OF AIRBAGS USING MULTIPLE MODEL LIKELIHOODS TO INFER THREE DIMENSIONAL INFORMATION}

본 발명은 일반적으로 탑승자(occupant)가 에어백(airbag)에 근접한 정도(proximity)에 따라 그 에어백의 전개(deployment)가 방해를 받거나 변형되는지 판정하는데 이용되는 시스템에 관한 것이다. 특히, 본 발명은 2차원 이미지 스트림(stream)을 수신하여 반복적인 확률 가중형(probability-weighted) 프로세스를적용해서 그 이미지에 대한 3차원 특성을 도출해내고, 에어백이 실제로 전개되는 시간까지 탑승자의 상반신이 위험 지역(At-Risk-Zone ; ARZ)내에 있게 될 것인지 예측하는 이미지 프로세싱 시스템(image processing system)에 관한 것이다.

통상적으로 에어백 전개 시스템은 자동차 사고에서 탑승자의 안전에 크게 기여해왔다. 그러나, 탑승자가 에어백에 근접한 정도에 따라, 에어백의 전개가 바람직하지 않은 경우도 있을 수 있다. 에어백 기능억제(disablement) 시스템이 당해 기술 분야에 알려져 있다. 그 시스템 중 일부는 탑승자와 에어백 사이의 거리 프로세스를 시도한다. 그러나, 기존의 기술에 있어서는 여러 가지 많은 문제점이 있다.

우선, 그러한 시스템은 매우 값비싼 카메라를 필요로 한다. 에어백이 전개되어야 하는지 아닌지를 판정하는데 이용되는 시스템에서는 그것이 어떤 것이든 타이밍(timing)이 결정적이다. 표준 비디오 카메라는 50 내지 100 hz의 빈도로 동작하고 초당 50 내지 100 사이의 이미지 프레임을 캡쳐한다. 유효한 에어백 판정은 더 많은 빈도의 갱신, 대략 초당 200회 정도의 갱신(200hz)을 필요로 한다. 또한, 이미지 프로세싱 시스템은, 단순히 이미지가 캡쳐되는 시간에 탑승자의 위치를 식별하는 것이 아니라 탑승자의 위치를 미리 예측하도록 하는 것이 바람직할 것이다. 또한, 정확한 예측이 카메라 속도보다 더 빠른 속도로 이루어져서, 값비싼 고도의 특수 고속 카메라를 대신하여 보다 저렴한 표준 비디오 카메라가 이용될 수 있다면 바람직할 것이다.

둘째, 종래의 시스템은 가장 최근의 이미지에만 초점을 맞추고 바로 이전에캡쳐되었던 일련의 이미지는 무시하기 때문에, 종래의 시스템은 "잡음(noise)"에 극도로 민감하다. "잡음"은 여러 요인에 기인하는데, 주변 이미지(ambient image), 즉 탑승자 이미지와 그 주위 영역 이미지로부터, 주위 영역(surrounding area)과 분리되어, 세그먼트형(segmented) 이미지, 즉 탑승자 이미지를 추출하는 프로세스인 세그먼테이션 프로세스(segmentation process)에 있어서의 고유 결함(inherent imperfection)이 그 요인에 포함된다. 이미지 프로세싱 시스템은, 가장 최근 이미지에 포함된 정보를 종래의 예측(prediction) 및 간접적으로, 그 종래의 예측에 이용된 종래의 이미지를 포함하는 포괄적 프레임워크(comprehensive framework)로 통합하게 하는 것이 바람직할 것이다. 또한, 모든 예측은 가중형 예측(weighted prediction)인 것이 바람직할 것이다. 또한, 그러한 가중형 예측에는, 운전자 쪽으로 좌측으로 기울어진 상태, 운전자 반대쪽으로 오른쪽으로 기울어진 상태, 또는 똑바로 앉아있는 상태 등 미리 정해진 탑승자 상태와, 충돌, 정지, 그리고 휴먼 모드 등 미리 정해진 탑승자 모드에 관한 확률을 포함하는 것이 유용할 것이다.

종래의 시스템에 관한 세 번째 문제점은 그것이 2차원 이미지에 의존한다는 점이다. 비디오 카메라 등의 카메라에 의하여 캡쳐되는 이미지는 본질적으로 2차원 이미지이다. 일련의 2차원 이미지로부터 3차원 정보가 도출될 수 있다면, 이것이 유용할 것이다. 또한, 이는, 미리 정해진 탑승자 상태가 일련의 2차원 이미지로부터 3차원 정보를 도출하는 반복적 프로세스에 통합된다면, 유용할 것이다.

본 발명은 시트에 앉아 있는 탑승자가 에어백에 근접한 정도가 그 에어백 전개 시스템이 디스에이블되거나 변형될 만큼 매우 가까운 정도인지 판정하는데 이용되는 이미지 프로세싱 시스템에 관한 것이다. 특히, 본 발명은, 에어백 전개 시스템의 위치와 관련된 탑승자의 위치를 판정하기 위하여 현재의 측정치(current measurement)를 과거의 예측치(past prediction)에 통합하는 이미지 프로세싱 시스템에 관한 것이다.

두 개의 반복적인 병렬 모델 칼먼 필터(two iterative multiple model Kalman filter)를 이용해서 탑승자의 위치 및 형상에 관련하여 가장 최근의 이미지 측정치를 진행 중인 일련의 과거 예측치와 통합한다.

카메라 또는 기타 다른 센서를 이용하여, 주변 이미지, 즉 탑승자 및 그 탑승자를 둘러싼 주위 영역의 이미지를 캡쳐한다. 그 이미지에서 주위 영역을 제거한 탑승자의 이미지, 즉 세그먼트형 이미지가 세그먼테이션이라고 불리는 프로세스를 통하여 얻어진다. 세그먼트형 이미지는 위쪽 형상(upper shape)을 탑승자의 상반신에 대해 피팅하는 형상 피팅 프로세스(shape fitting process) 처리된다. 아래쪽 형상은 탑승자의 엉덩이 아래로 탑승자의 발까지 피팅된다. 두 가지 형상이 한 지점, 즉 탑승자의 엉덩이에 해당하는 탑승자 중심(centroid)에서 겹쳐질 수 있다. 바람직한 실시예에서, 이용되는 형상은 타원이고 중심으로는 위쪽 타원의 중심이 적절하다.

추적 및 예측 프로세스(tracking and predicting process)는 병렬 모델 칼먼필터를 이용해서 수행된다. 그 프로세스는 두 개의 병렬 및 동시 서브 프로세스를 포함한다. 하나의 프로세스는 탑승자 이미지의 형상에 관련된 중요 정보를 추적하고, 다른 프로세스는 탑승자 이미지의 움직임에 관련된 중요 정보를 추적한다.

형상 추적기 및 예측기 프로세스는, 타원의 "장축(major axis)"(그 타원의 보다 긴 단면을 양분하는 라인)과, 타원의 "단축(minor axis)"(그 타원의 보다 짧은 단면을 양분하는 라인)과, 세그먼트형 이미지에서 중심의 "높이(height)" 즉 Y 좌표를 추적하고 예측함으로써 탑승자의 형상을 추적하고 예측한다. 각 형상 변수로는, 위치(position)와 더불어, 속도 및 가속도가 각각 추적되고 예측된다.

탑승자의 형상은, 운전자 쪽("좌측")으로 기울어진 상태와, 운전자와 반대쪽("오른쪽")으로 기울어진 상태와, 똑바로 앉아 있는 상태 등의 여러 미리 정해진 "상태" 중 하나로 정의된다. 형상 추적기에 의한 프로세싱 전체는 각각의 미리 정해진 상태에서 모델링된다. 일상태에서 다른 상태로의 잠재적인 변환에 관한 확률을 이용하고, 반복적 가중형 칼먼 필터를 통해서 과거의 예측치를 통합하여, 형상 추적기 및 예측기(shape tracker and predictor)는 가장 최근에 측정된 타원이 어떤 모델을 가장 닮았는지 판정함으로써 그 탑승자가 어떤 상태에 있는지 판정할 것이다. 그러므로, 운전자 쪽으로의 경사각(tilt angle) 또는 운전자 반대쪽으로의 경사각("측면 경사각(sideway tilt angle)"Φ)이 이미지 평면에 수직하고 그에 따라 2차원 이미지에서는 가시적이지 않은 경우라도, 시스템은 2차원 이미지에 관한 가치있는 3차원 정보를 추론할 수 있다.

전체 형상 변수에 대한 평가치(estimate)를 갱신하기 위하여 형상 상태의 판정(determination of shape)이 이루어진다. 새로운 측정치와, 상태 예측치와, 칼먼 필터 이득 행렬(Kalman filter gain matrices)을 이용하여 형상 평가치가 갱신된다. 형상 추적기 및 예측기가 이용되어 카메라가 이미지를 캡쳐할 수 있는 것보다 더 빈번하게 평가치를 생성한다. 따라서, 시스템은 고속 비디오 카메라의 이용을 필요로 하지 않게 된다.

움직임 추적기 및 예측기는 탑승자의 위치, 속도 및 가속도에 관한 정보를 프로세싱한다. "움직임 변수"에는, x축과 에어백 사이의 "거리"와, 차량 앞쪽으로 탑승자가 기울어진 정도를 말하는 "전방 경사각(forward tilt angle)"(θ)을 측정하는데 이용되는 중심의 x좌표가 포함된다.

모든 움직임 변수에 있어서, 위치와, 속도와, 가속도가 추적되고 예측된다. 탑승자의 움직임은, "정지"와, "휴먼"과, "충돌" 등의 미리 정해진 여러 "모드" 중 하나로 정의된다. 움직임 추적기 및 예측기에 의한 전체 프로세싱이 미리 정해진 모드 각각에서 모델링된다. 각 모드에 있어서 예측이 이루어진다. 하나의 모드에서 다른 모드로의 잠재적 변환에 관련된 확률을 이용하고, 반복적 가중형 칼먼 필터를 이용해서 과거의 예측치를 통합하여, 움직임 추적기 및 예측기는 각 움직임 변수마다 하나의 결합형 평가치를 발생시킨다. 움직임 추적기 및 예측기가 이용되어 카메라가 이미지를 캡쳐할 수 있는 것보다 더 빈번하게 평가치를 발생시킬 수 있다. 따라서, 시스템이 고속 비디오 카메라의 이용을 필요로 하지 않는다.

최종 단계는 탑승자가 위험 지역(ARZ)내에 있는지 여부를 실제로 판정하는 것이다. ARZ 침입 표시기(ARZ intrusion indicator)는 에어백이 전개될 때 탑승자의 상반신이 ARZ 내에 있는지를 판정한다. ARZ 침입 표시기는 또한 그 사람이 운전자 쪽으로 기울어져 있어서 ARZ를 벗어나는지 판정한다. 서로 다른 차량 모델에 있어서, ARZ는 서로 달리 설정될 것이다. 카메라가 데이터를 수집하는 속도보다 훨씬 더 빠른 속도로 시스템이 앞으로의 위치 및 형상을 예측할 수 있게 하는 출력형 상태 변환 행렬(outputted state transition matrix)을 이용해서 이 계산값은 매우 빨리 갱신된다.

당업자라면, 첨부 도면을 참조하여 바람직한 실시예에 관한 다음의 상세한 설명을 통하여 본 발명의 여러 다양한 특징을 명백히 알 수 있을 것이다.

도 1은 본 발명에 있어서 잠재적 일실시예에 대한 주위 환경(surrounding environment)의 일부분을 도시하는 도면,

도 2는 이미지 프로세싱 시스템 이용에 관한 하이 레벨 프로세스를 도시하는 도면,

도 3은 이미지 프로세싱 시스템의 하이 레벨 블록도,

도 4는 타원 피팅 프로세스(ellipse fitting process)의 애플리케이션을 도시하는 도면,

도 5는 대응하는 형상 변수 및 움직임 변수(속도와 가속도 유도 값은 배제함) 모두를 포함하는 상반신 타원을 도시하는 도면,

도 6은 세 개의 잠재적 형상 상태 및 3개의 잠재적 측면 경사각을 도시하는 도면,

도 7은 좌측, 우측, 그리고 중앙의 3가지 형상 상태에 관한 확률의 마르코프 체인(markov chain)을 도시하는 도면,

도 8은 휴먼, 정지, 그리고 충돌의 3가지 움직임 모드에 관한 확률의 마르코프 체인을 도시하는 도면,

도 9는 탑승자의 형상을 판정하기 위한 세부적 프로세스를 도시하는 흐름도,

도 10은 탑승자의 움직임을 판정하기 위한 세부적 프로세스를 도시하는 흐름도.

도면의 주요 부분에 대한 부호의 설명

18 : 탑승자20 : 시트

22 : 카메라24 : 루프 라이너

26 : 프론트 방풍 유리30 : 컴퓨터 시스템

32 : 에어백 제어기34 : 기기 패널

36 : 에어백 전개 시스템38 : 주변 이미지

A. 주위 환경의 일부 도면

도면을 참조하면, 본 발명에 관한 잠재적 일실시예인 이미지 프로세싱 시스템(16)에 대한 주위 환경의 일부를 도시하는 도면이 도 1에 도시되어 있다. 탑승자(18)가 존재한다면, 그 탑승자(18)는 시트(20)에 앉아있다. 바람직한 실시예에서, 카메라나 기타 센서(22)는, 탑승자(18) 위쪽으로 탑승자(18)보다 프론트 방풍유리(front windshield)(26)에 더 가까이 있는 루프 라이너(roof liner)(24)에 부착되어 있다. 시트(20)에서 앞뒤로 움직이는 탑승자(18)의 상반신 각도 변화를 캡쳐하기 위하여 카메라(22)가 탑승자(18)쪽으로 약간 하향하는 각도로 배치되어야 한다. 물론, 종래 기술에서 카메라가 존재할 수 있는 위치는 많이 알려져 있다. 마찬가지로, 차량 어디에나 실제로 컴퓨터 시스템(30)이 배치될 수 있다. 바람직한 실시예에서는, 컴퓨터 시스템(30)이 카메라 근처에 배치되어 긴 전선을 통해서 카메라 이미지를 전송하지 않아도 되도록 한다. 에어백 제어기(airbag controller)(32)는 기기 패널(instrument panel)(34)에서 볼 수 있으며, 에어백 전개 시스템이 이와 다른 환경에 배치되더라도 본 발명은 여전히 제대로 동작할 것이다. 마찬가지로, 에어백 전개 시스템(36)은 또한 탑승자(18)와 시트(20) 앞의 기기 패널(34)에 배치된다.

B. 하이 레벨 프로세스 흐름

도 2는 이미지 프로세싱 시스템(16)의 이용을 둘러싼 매우 기초적이고 하이 레벨의 프로세스를 도시하고 있다. 탑승자(18)와 시트 영역(21)을 모두 포함하는 시트 영역(21)의 주변 이미지(38)가 비디오 카메라(22) 또는 일련의 이미지를 신속하게 캡쳐할 수 있는 임의의 기타 센서에 의하여 캡쳐된다. 도면에서, 시트 영역(21)은 탑승자 전체를 포함하지만, 일부 환경 및 실시예에서는, 탑승자(18)의 일부 이미지만이 캡쳐될 것이며, 특히, 아래쪽 끝은 볼 수 없는 위치에 카메라(22)가 배치되는 경우에 그러하다. 주변 이미지(38)가 컴퓨터 시스템(30)으로 전송된다. 컴퓨터 시스템(30)은 탑승자(18)가 에어백 전개 시에 위험 지역(ARZ)에 위치하는지 여부를 판정한다. ARZ 판정 결과가 에어백 제어기로 전송되고 에어백 제어기(32)는 그 에어백 전개 시스템(36)을 제어한다.

C. 컴퓨터 시스템 프로세스 흐름

도 3은 컴퓨터 시스템(30)의 내부 작업에 관한 하이 레벨 프로세스 흐름을 제공한다. 탑승자(18)와 주위 시트 영역(21)에 관한 주변 이미지(38)가 컴퓨터 시스템(30)으로 입력된다. 세그먼테이션 루틴(40)이 수행되어 탑승자의 세그먼트형 이미지(42)를 검출하는데, 그 이미지는 주변 이미지(38)에서 주변 시트 영역(21)을 제외하고 탑승자만을 포함하는 이미지이다. 세그먼테이션 프로세스(40)는 종래 기술에서 잘 알려져 있다. 세그먼테이션(40)은 소프트웨어를 이용하여 전자적으로 달성되고, 그에 따라 세그먼테이션이 컴퓨터 시스템(30)과 분리된 컴퓨터에서 수행될 수 있다.

탑승자의 세그먼트형 이미지(42)는 타원 피팅 루틴(44)에 적용된다. 위쪽 타원은 탑승자(18)의 상반신 주변으로 피팅된다. 상반신은 탑승자(18)의 머리에서부터 탑승자(18)의 엉덩이까지 전체를 포함한다. 아래쪽 타원은 탑승자의 발끝에서부터 탑승자(18)의 엉덩이까지 피팅된다. 양쪽 타원은 중심이라고 말할 수 있는 지점에서 중첩되는데, 그 중심(54)은 위쪽 타원(58)의 중심으로 결정되는 것이 바람직하다. 타원 피팅 루틴(44)은 도 4 내지 도 6에 관한 설명과 함께 이하에서 보다 상세히 논의될 것이다. 탑승자(18)의 서로 다른 부분들을 나타내는 위쪽 타원과, 아래쪽 타원과, 중심을 생성하는 프로세스가 종래 기술에 있어서 잘 알려져 있다. 본 발명의 바람직한 실시예에서는, 타원 피팅 루틴(44)이 컴퓨터 시스템(30)에 의하여 적용되지만, 다른 실시예에서는, 타원 피팅 루틴(44)이 컴퓨터 시스템(30)과 별도의 컴퓨터에 의하여 수행된다.

위쪽 타원과, 아래쪽 타원과, 중심에 관한 정보가 추적 및 예측 시스템(46)으로 전송된다. 추적 및 예측 시스템(46)은 서로 별도의 서브 프로세스를 동시에 적용한다. 형상 추적기(48)는 위쪽 타원의 "형상"에 관한 변수를 추적한다. 이 프로세스는 도 9에 관한 논의에서 보다 상세히 설명된다. 움직임 추적기(50)는 위쪽 타원의 "움직임"에 관한 변수, 특히, 탑승자(18)와 기기 패널(34)의 에어백 전개 시스템(36) 사이의 수평 거리에 관한 변수를 추적한다. 이하 도 10에 관한 논의에서 이 프로세스가 상세히 설명된다.

모든 실시예에서의 컴퓨터 시스템(30)은, 진행 중인 일련의 측정 및 예측치에 최종 측정치를 통합하는, 병렬 모델의 반복적 프로세스를 이용해서, 탑승자(18) 상반신의 형상 및 움직임에 관한 소정의 주요 측정 대상인 위치, 속도, 그리고 가속도를 추적하고 예측할 것을 요구한다. 본 발명의 바람직한 실시예에서, 추적 및 예측 시스템(46)은 종래 기술에서 칼먼 필터라고 알려져 있는 필터를 통합한다. 칼먼 필터는 매우 강력하여 과거의 예측 및 측정치를 가중형 형태로 통합하고, 과거, 현재, 나아가 장래의 상태에 관한 평가를 지원하며, 모델링되는 시스템의 정확한 속성이 알려지지 않은 때에도 그렇게 할 수 있다. "An Introduction to the Kalman Filter"라는 명칭의 Greg Welch와 Gary Bishop에 의한 학술 논문이 참조로써 인용된다. 칼먼 필터에 대한 일반 방정식은 다음과 같다.

X_{(신규 예측치)}= X_{(구 예측치)}+ 이득[-X_{(구 예측치)}+ X_{(측정된 값)}]

칼먼 필터에서, "이득"은 가장 최근의 측정치에 관하여 인지된 정확도(perceivedaccuracy)를 나타낸다. 이득 0은 너무 조악한 측정으로서 아무런 가치가 없고 따라서 신규 평가치 X_{(신규 평가치)}가 단순히 구 평가치 X_{(구 평가치)}의 값일 뿐임을 나타낸다.

X_{(신규 평가치)}= X_{(구 평가치)}+ 0[-X_{(구 평가치)}+ X_{(측정된 값)}]

X_{(신규 평가치)}= X_{(구 평가치)}+ 0

X_{(신규 평가치)}= X_{(구 평가치)}

이득 1은 가장 최근의 측정치 X_{(측정된 값)}가 확실하여 새로운 예측치 X_{(신규 예측치)}가 단순히 가장 최근의 측정치 X_{(측정된 값)}임을 나타낸다.

X_{(신규 평가치)}= X_{(구 평가치)}+ 1[-X_{(구 평가치)}+ X_{(측정된 값)}]

X_{(신규 평가치)}= X_{(구 평가치)}- X_{(구 평가치)}+ X_{(측정된 값)}

X_{(신규 평가치)}= X_{(측정된 값)}

실제 애플리케이션에서, 실제로 이득은 항상 0보다 크고 1보다 적은 값이다. 따라서 이득은, 본 발명의 경우에, 새로운 측정치가 목적물(탑승자(18)가 추적되는 목적물임) 위치에 관한 앞서의 종합적 평가치나 예측치를 변화시킬 수 있는 정도를 판정한다. 형상 추적기(48) 및 움직임 추적기(50) 양자는 도 9 및 도 10을 각각 참조하여 이하에서 보다 상세히 설명된다.

형상 추적기(48) 및 움직임 추적기(50) 양자로부터의 출력은 위험 지역(ARZ)침입 표시기(52)로 전송된다. ARZ 침입 표시기(52)는 기기 패널(34)에 대한 위쪽 타원의 최근접점의 근접도, 즉 ARZ를 정의하는 거리를 판정한다. ARZ 침입 표시기(52)는 또한 탑승자(18)가 운전자 쪽으로 기울어져 ARZ를 완전히 벗어날 것인지 판정한다. ARZ 침입 표시기(52)에서의 계산은 카메라(22)가 데이터를 수집하는 속도보다 훨씬 빠르게 이루어진다. ARZ 침입 표시기(52)는 특정한 차량 모델마다 구체적으로 구성된다. 따라서, 미니밴은 소형 자동차와 다른 ARZ를 가지는 것이 보통이다. ARZ 침입 표시기는 도 5에 관한 논의에서 이하 보다 상세히 논의된다.

ARZ 침입 표시기(52)에 의한 판정이 에어백 제어기(32)로 전송되고 에어백 제어기(32)가 에어백 전개 시스템(36)에 대한 적절한 반응을 실현할 수 있다. 에어백(36)의 전개는 ARZ 침입 표시기(52)에서 이루어진 ARZ 판정의 결과에 따라 완전히 디스에이블될 수도 있고 단순히 변형될 수도 있다.

D. 타원 피팅 루틴

도 4는 컴퓨터 시스템(30)에 의하여 구현된 타원 피팅 루틴(44)을 도시한다. 위쪽 타원(58)은 탑승자(18)의 엉덩이 위쪽으로부터 머리까지 펼쳐진다. 아래쪽 타원(56)은 탑승자의 엉덩이 아래에서부터 발끝까지를 펼쳐진다. 탑승자(18)의 엉덩이 아래쪽으로 탑승자(18)의 발끝까지의 전체 영역이 가시적이지 않다면, 아래쪽 타원은 가시적인 것을 보여주도록 생성된다. 두 타원은 중심(54)이라고 알려진 지점에서 중첩되며, 바람직하게 그 중심이 위쪽 타원(58)의 중앙인 경우라도 그러하다. 바람지하지 않은 실시예에서는, 탑승자(18)의 위쪽 부분과 아래쪽 부분을 나타내는데 타원이 아닌 형상을 이용한다. 타원 피팅 루틴은 종래 기술에서 잘 알려져 있다. 이미지 프로세싱 시스템은 아래쪽 타원(56)을 이용할 필요가 없으며, 위쪽 타원(58)에 관한 중심(54)을 생성하는 것이 바람직하다.

도 5는 타원 피팅 루틴(44)에서부터 컴퓨터 시스템(30)으로 입력될 수 있는 많은 특징을 도시하고 있다. 움직임 특징은 중심(54)의 x 좌표("거리")와 전방 경사각(forward tilt angle)(θ)(62)을 포함하고 있다. 형상 측정치는 중심(54)의 y 좌표("높이")와, 타원의 장축 길이("메이저(major)")와, 타원의 단축 길이("마이너(minor)")를 포함한다. 또한 속도와 가속도 등의 정보가 변화하는 속도는, 전체 형상 및 움직임 측정치마다 캡쳐되어, 본 발명의 바람직한 실시예에 있어서는 9개의 형상 특징(높이, 높이´, 높이˝, 메이저, 메이저´, 메이저˝, 마이너, 마이너´, 마이너˝)과 6개의 움직임 특징(거리, 거리´, 거리˝, θ, θ´, θ˝)이 있다. 이미지 평면에 수직하기 때문에 측면 경사각(φ)은 도시되지 않고, 이 측면 경사각(φ)은, 이하에서 논의되는 바와 같이, 측정되는 것이 아니라 유도된다.

도 6은 측면 경사각(φ)(73)을 도시한다. 본 발명의 바람직한 실시예에서는, 세 가지 형상 상태, 즉 운전자 쪽으로 좌측으로 기울어진 상태(좌측)(76)와, 똑바로 앉아있는 상태(중앙)(72)와, 운전자 반대쪽으로 우측으로 기울어진 상태(우측)(74) 만이 있고, 그 각도는 각각 -φ, 0, 그리고 φ이다. 바람직한 실시예에서, φ는 이용되는 차량의 속성에 따라서 15도 내지 40도의 각도로 설정된다.

E. 마르코프 확률 체인

본 발명은 어떠한 형상 특성이든 어떠한 움직임 특성이든 그 전체에 대하여 칼먼 필터의 병렬 모델 확률 가중형 구현을 제시한다. 각 형상 특성은 각 형상 상태마다 별도의 칼먼 필터 방정식을 갖는다. 마찬가지로, 각 움직임 특성은 각 움직임 모드마다 별도의 칼먼 필터 방정식을 갖는다. 본 발명에 관한 모든 실시예에서, 탑승자(18)는 적어도 하나의 형상 상태와 적어도 하나의 움직임 상태를 갖는다. 하나의 상태에서 다른 상태로의 변환에 관하여 미리 정해진 소정의 확률이 있다. 이들 확률은 마르코프 체인을 이용해서 가장 잘 도시될 수 있다.

도 7은 본 발명의 바람직한 실시예에서 이용되는 세 가지 형상 상태를 도시하고 있다. 바람직한 실시예에서는, 탑승자(18)는 운전자 쪽으로 기울어져 있는 상태("좌측")(80)와, 똑바로 앉아있는 상태("중앙")(78)와, 운전자에서 멀어지는 쪽으로 기울어진 상태("우측")(82)중 하나이다. 탑승자가 특정 상태에 있는 확률 및 특정 상태가 될 확률은, 특정 형상 상태에서 시작되어 그 다음 형상 상태 쪽을 가리키는 화살표를 갖는 라인에 의하여, 확인할 수 있다. 예컨대, 중앙 상태에 있는 탑승자가 중앙 상태에 남아있을 확률(P^C-C)은 화살표(84)로 표시된다. 중앙에서 좌측으로 이동할 확률(P^C-L)은 화살표(92)로 표시되고, 중앙에서 우측으로 이동할 확률(P^C-R)은 화살표(98)로 표시된다. 처음에 중앙(78) 상태에 있다가 그 다음 상태로 될 확률의 총합은 1이 되어야 한다.

P^C-C+ P^C-L+ P^C-R= 1.0

뿐만 아니라, 어떠한 임의의 상태라도 그 상태에서 시작되는 확률의 총합은 1.0이 되어야 한다.

화살표(86)는 좌측으로 기울어진 탑승자(18)가 다음 시간 인터벌까지 중앙 상태가 될 확률(P^L-C)을 나타낸다. 마찬가지로, 화살표(96)는 좌측으로 기울어진 탑승자가 다음 시간 인터벌까지 우측으로 기울어질 확률(P^L-R)을 나타내고, 화살표(90)는 좌측으로 기울어진 탑승자가 계속 좌측으로 기울어진 상태로 남아있을 확률(P^L-L)을 표시한다. 처음에 좌측으로 기울어진 상태에서 시작하는 가능한 확률 전체의 합은 1이 되어야만 한다.

P^L-C+ P^L-L+ P^L-R= 1.0

마지막으로, 화살표(100)는 우측으로 기울어진 탑승자가 다음 시간 인터벌까지 계속 우측으로 기울어진 상태로 남아있을 확률(P^R-R)을 나타내고, 화살표(88)는 우측으로 기울어진 상태의 탑승자가 중앙 상태가 될 확률(P^R-C)을 나타내고, 화살표(94)는 탑승자가 좌측으로 기울어질 확률(P^L-R)을 나타낸다. 처음에 우측으로 기울어진 상태에서 시작하는 모든 가능한 확률의 합은 1이다.

P^R-C+ P^R-L+ P^R-R= 1.0

실제로, 바람직한 실시예에서 이용되는 전형적인 비디오 카메라(22)는 초당 50 내지 100 프레임을 캡쳐한다. 따라서, 단지 1/50초 내에, 좌측으로 기울어진 상태(80)의 탑승자가 우측으로 기울어진 상태(82)가 되는 것은 본질적으로 불가능하고, 우측으로 기울어진 상태(82)의 탑승자가 좌측으로 기울어진 상태(80)가 되는 것도 본질적으로 불가능하다. 좌측으로 기울어진 상태(80)는 우측으로 기울어진 상태(82)가 되기 전에 중앙 상태(78)가 될 가능성이 훨씬 더 크고, 좌측으로 기울어진 상태(80)의 탑승자는 우측으로 기울어진 상태(82)가 되기 이전에 중앙 상태(78)가 되는 것이 훨씬 더 사실적이다. 따라서, 바람직한 실시예에서는, 확률(P^L-R)(96)이 항상 0으로 설정되고, 확률(P^R-L)(94)도 또한 항상 0으로 설정될 것이다. 형상 상태에 관한 세 개의 확률 방정식은 다음과 같다.

P^C-C+ P^C-L+ P^C-R= 1.0

P^R-C+ P^R-R= 1.0

P^L-C+ P^L-L= 1.0

도 8은 움직임 모드에 관한 관련 확률을 표시하는 유사 마르코프 체인을 도시하고 있다. 본 발명의 바람직한 실시예는 3가지 움직임 모드를 이용하는바, 사람 탑승자(18)가 잠자고 있는 때와 같이 부동 모드에 있음을 나타내는 정지 상태(102)와, 자동차 또는 기타 차량에서 보통의 승객이 그러한 것과 같이, 탑승자(18)가 행동하는 것(극단적인 방법이 아니라면 움직이는 것을 포함함)을 나타내는 휴먼 상태(104)와, 충돌 모드에 있는 차량의 탑승자(18)를 나타내는 충돌 상태(122)를 이용한다.

탑승자가 특정 상태에서 특정 상태로 이어지는 확률은 현재 상태에서 시작하여 새로운 상태를 가리키는 화살표를 갖는 라인에 의하여 알 수 있다. 예컨대, 정지 상태에 있는 탑승자가 정지 상태로 남아있을 확률(P^S-S)은 화살표(108)로 표시된다. 정지 상태에서 휴먼 상태로 변할 확률(P^S-H)은 화살표(114)에 의하여 표시되고 정지 상태에서 충돌 상태로 변할 확률(P^S-C)은 화살표(90)로 표시된다. 처음에 정지 상태(102)에서 시작하는 전체 확률은 총합 1이 되어야 한다.

P^S-S+ P^S-H+ P^S-C= 1.0

마찬가지로, 휴먼 상태에서 휴먼 상태로의 확률(P^H-H)은 화살표(116)로 표시되고, 휴먼 상태에서 정지 상태로의 확률(P^H-S)은 화살표(120)로 표시되고, 정지 상태에서 충돌 상태가 될 확률(P^H-C)은 화살표(90)로 표시된다. 처음에 정지 상태(102)에서 시작하는 전체 확률은 총합이 1이어야 한다.

P^H-H+ P^H-C+ P^H-S= 1.0

마지막으로, 충돌 상태에서 충돌 상태로 가는 확률(P^C-C)은 화살표(124)로 표시되고, 충돌 상태에서 정지 상태로의 확률(P^C-S)은 화살표(110)로 표시되고, 충돌상태에서 휴먼 상태로의 확률(P^C-H)은 화살표(118)로 표시된다. 처음에 충돌 상태(122)에서 시작하는 전체 확률은 총합 1이 되어야 한다.

P^C-C+ P^C-S+ P^C-H= 1.0

실제로, 탑승자(18)가 일단 충돌 상태에 들어가면 그 충돌 상태(122)를 벗어나기가, 불가능하지는 않더라도, 그다지 용이하지 않다. 대개의 시나리오에서는, 충돌 상태(122)에서 탑승자(18)의 여행이 끝나게 된다. 그러므로, 바람직한 실시예에서는, P^C-H가 0에 매우 가까운 수로 설정되고 P^C-S도 또한 0에 가까운 수로 설정된다. 바람직한 실시예에서 움직임 모드 확률에 대한 세 개의 방정식은 다음과 같다.

P^C-C+ P^C-H+ P^C-S= 1.0

P^H-H+ P^H-C+ P^H-S= 1.0

P^S-C+ P^S-H+ P^S-S= 1.0

다양한 형상 상태 및 움직임 모드에 관한 변환 확률을 이용하여 각 특성 및 상태 조합마다 칼먼 필터를 발생시킨다. 다양한 확률에 따라 각 칼먼 필터에 대해 적절한 가중치를 부여하면, 그 필터 결과가 하나의 결과로 종합될 수 있다. 확률 전체는 본 발명의 사용자에 의하여 미리 정해진다.

마르코프 체인 확률은 각 특성 및 각 상태와 각 모드마다 다양한 칼먼 필터에 가중치를 부여하는 수단을 제공한다. 추적 및 예측 시스템(46)은 두 개의 서브 시스템, 즉 형상 추적기 및 예측기(48)와 움직임 추적기 및 예측기(50)에서의 마르코프 체인 확률을 통합한다.

F. 형상 추적기 및 예측기

도 9는 형상 추적기 및 예측기(48)에 대한 세부적 흐름도를 도시하고 있다. 본 발명의 바람직한 실시예에서, 형상 추적기 및 예측기(48)는 위쪽 타원의 장축("메이저")과, 위쪽 타원의 단축("마이너")과, 중앙의 y 좌표("높이")를 추적하고 예측한다. 각각의 특징은 특정 특징마다 위치와, 속도와, 가속도 정보를 나타내는 벡터를 갖는다. 메이저 벡터는 [메이저, 메이저´, 메이저˝]인데, 메이저´는 메이저 속도에서의 변화율을 나타내고, 메이저˝는 메이저 속도 또는 가속도의 변화율을 나타낸다. 따라서, 마이너 벡터는 [마이너, 마이너´, 마이너˝]이고, 높이 벡터는 [높이, 높이´,높이˝]이다. 이와 다른 임의의 형상 벡터도 마찬가지로 위치, 속도, 가속도 성분을 가질 것이다. 형상 추적 및 예측 프로세스의 첫 번째 단계(126)는 형상 예측을 갱신하는 것이다.

1. 형상 예측 갱신

형상 예측 갱신 프로세스가 단계(126)에서 수행된다. 이 프로세스는 최종 형상 평가치를 얻어서 변환 행렬을 이용하여 장래 예측(future prediction)으로 그 평가치를 외삽한다.

갱신 벡터 예측 = 변환 행렬 * 최종 벡터 평가치

변환 행렬은 최종 벡터 평가치에 대하여 뉴턴 역학(Newtonian mechanics)을 적용하고, 탑승자(18)의 과거 위치, 속도, 및 가속도에 기초하여 그 탑승자(18)가 앞으로 있을 장소에 대한 예측을 도모한다. 이하에서 설명되는 단계(130)에서 최종 벡터 평가치가 생성된다. 단계(126)에서 단계(128)로, 단계(128)에 단계(130)로, 그리고 단계(130)에서 단계(132)로 진행한 프로세스는 다시 단계(126)로 복귀한다. 단계(126)에서의 프로세스는 이전에 단계(130)에서 평가치가 발생하였을 것을 요구하며, 따라서 처음으로 단계(126) 내지 단계(132)의 반복 루프에 들어간 때는 단계(126) 및 단계(128)에서의 프로세싱이 수행되지 않는다.

그런 다음, 다음의 방정식이 모든 형상 변수 및 모든 형상 상태에 대하여 적용되는데, x는 형상 변수(shape variable)이고, Δt는 시간에 따른 (속도) 변화를 나타내고, ½Δt²는 가속도를 나타낸다.

(1Δt½Δt²)(x)

갱신 벡터 예측 =(01Δt) *(x´)

(001)(x˝)

본 발명의 바람직한 실시예에서는, 3개의 형상 상태와 3개의 비유도형(non-derived) 형상 변수가 있고, 3×3 = 9 이기 때문에 단계(126)에는 9개의 갱신 벡터 예측이 있을 것이다.

갱신된 형상 벡터 예측은,

중앙 상태에 대하여 갱신된 메이저.

우측 상태에 대한 갱신된 메이저.

좌측 상태에 대한 갱신된 메이저.

중앙 상태에 대한 갱신된 마이너.

우측 상태에 대한 갱신된 마이너.

좌측 상태에 대한 갱신된 마이너.

중앙 상태에 대한 갱신된 높이.

우측 상태에 대한 갱신된 높이.

좌측 상태에 대한 갱신된 높이.

2. 공분산 및 이득 행렬 갱신

단계(126)에서 형상 예측이 전체 변수와 전체 상태에 대하여 갱신된 다음, 단계(128)에서 형상 예측 공분산 행렬과, 형상 이득 행렬과, 형상 평가치 공분산 행렬이 갱신되어야한다. 형상 예측 공분산은 예측 프로세스에서 에러를 설명한다. 이득은, 전술된 바와 같이, 가장 최근의 측정치가 측정 세그먼테이션 프로세스에서의 에러를 수용하고 이를 설명하도록 하는 가중치를 나타낸다. 형상 평가 공분산은 평가 프로세스에서의 에러를 설명한다.

예측 공분산이 가장 먼저 갱신된다. 각 형상 예측 공분산 행렬을 갱신하는데 이용되는 방정식은 다음과 같다.

형상 예측 공분산 행렬 =

[상태 변환 행렬 * 구 평가 공분산 행렬 * 전치(상태 변환 행렬)] + 시스템 잡음

상태 변환 행렬은 앞서 형상 예측을 갱신하는데 이용된 뉴턴 역학을 구현하는 행렬이다. 구 평가 공분산 행렬은 앞서의 루프의 단계(130)에서 발생한다. 단계(126)부터 단계(132)까지의 첫 번째 루프에서는, 단계(128)가 스킵된다. 행렬을 전치시키는 것은 단순히 열을 행으로 교환하고, 행을 열로 교환하는 것이라고 당해 기술 분야에 알려져 있다. 그러므로, 상태 변환 행렬의 전치는 행을 열로 그리고 열을 행으로 가지는 상태 변환 행렬이다. 시스템 잡음은 시스템에서 잡음 개념(idea)을 구체화하는데 이용되는 상수의 행렬이다. 시스템 잡음 행렬에서 이용되는 상수가 본 발명의 사용자에 의하여 설정되지만, 잡음 상수를 선택하는 실시(practice)는 당해 기술 분야에 이미 알려져 있다.

다음으로 이득 행렬이 갱신된다. 전술된 바와 같이, 이득은 새로운 측정치에 주어져야만 하는 가중치의 신뢰도(confidence)이다. 이득 1은 가장 정확한 측정치를 나타내는데, 여기서는 과거의 평가치가 무시된다. 이득 0은 가장 정확하지 않은 측정치를 나타내고, 여기서는 가장 최근의 측정치가 무시되고 대신에 본 발명의 사용자는 과거의 평가치에만 의존한다. 이득이 수행하는 역할은 기본 칼먼 필터 방정식에서 증명된다.

X_{(신규 평가치)}= X_{(구 평가치)}+ 이득[-X_{(구 평가치)}+ X_{(측정된 값)}]

형상 변수 및 형상 상태의 각 조합마다 하나의 이득이 있기 때문에 이득은 단순히 수 한 개가 아니다. 이득을 갱신하는 일반적 방정식은 다음과 같다.

이득 = 형상 예측 공분산 행렬 * 전치(측정 행렬) * inv(나머지 공분산)

앞서 형상 공분산 행렬이 계산된다. 측정 행렬은 단지 이득을 판정하기 위하여 속도 및 가속도 성분을 무시하면서 형상 벡터의 위치 성분을 격리하고 검출하는 방법이다. 측정 행렬의 전치는 단순히 [1 0 0]이다. 형상 변수의 위치 성분을 격리하는 이유는 속도와 가속도가 실제로 유도형 성분이고, 스냅 사진에 의해서는 위치만이 측정될 수 있기 때문이다. 이득은 실제 측정에 기인하는 가중치에 관련된다.

칼먼 필터의 일반 표현식, X_{(신규 평가치)}= X_{(구 평가치)}+ 이득[-X_{(구 평가치)}+ X_{(측정된 값)}]에서, 나머지(residue)는 구 평가치와 신규 측정치 사이의 차이를 나타낸다. 나머지 공분산의 전체 행렬이 있다. 나머지 공분산 행렬의 역(inverse)이 이득 행렬 갱신에 이용된다. 역행렬을 얻는 방법은 당해 기술 분야에 잘 알려져 있으며, 이는 간단한 선형 대수적 프로세스이다. 나머지 공분산 행렬에 대한 방정식은 다음과 같다.

나머지 공분산 = [측정 행렬 * 예측 공분산 * 전치(측정 행렬)] + 측정 잡음

측정 행렬은 속도 및 가속도 성분으로부터 형상 벡터의 위치 성분을 격리하는데 이용되는 간단한 행렬이다. 앞서 예측 공분산이 계산된다. 측정 행렬의 전치 행렬은 동일한 값을 가지는 하나의 열 행렬이 아니라 하나의 행 행렬 [1 0 0]이다. 측정 잡음은 센서(22) 및 세그먼테이션 프로세스(40)에 관련된 에러를 통합하는데 이용되는 상수이다.

마지막으로 갱신될 행렬은 형상 평가 공분산 행렬이고, 이는 평가 에러를 나타낸다. 평가치가 현재 측정치와 과거 예측치에 근거하므로, 평가 에러는 일반적으로 예측 에러보다 덜 중요할 것이다. 형상 평가 공분산 행렬을 갱신하는 방정식은 다음과 같다.

형상 평가 공분산 행렬 =

(단위 행렬 - 이득 행렬 * 측정 행렬) * 형상 예측기 공분산 행렬

단위 행렬은 당해 기술 분야에 이미 알려져 있고, 좌측 위에서부터 우측 아래로 이어지는 1의 대각선을 가지고, 나머지 다른 위치에서는 0으로 구성된다. 이득 행렬은 이전에 계산되고 설명되었다. 또한, 측정 행렬은 앞서 설명되었으며, 속도 및 가속도 성분에서 형상 벡터의 위치 성분을 격리하는데 이용된다. 예측기 공분산 행렬이 또한 앞서 계산되고 설명되었다.

3. 형상 평가치 갱신

형상 평가치 갱신 프로세스가 단계(130)에서 호출된다. 이 프로세스의 제 1 단계는 나머지를 계산하는 것이다.

나머지 = 측정치 - (측정 행렬 * 예측 공분산)

그 다음 형상 상태 그 자체가 갱신된다.

갱신 형상 벡터 평가치 = 형상 벡터 예측치 + (이득 * 나머지)

각각의 방정식으로 나누어보면, 그 결과는 다음과 같다.

X^C _{(t에서의 메이저)}= X^C _{(t에서의 메이저)}+ 이득[-X^C _{(t-1에서의 메이저)}+ X^C _{(측정된 메이저)}]

X^L _{(t에서의 메이저)}= X^L _{(t에서의 메이저)}+ 이득[-X^L _{(t-1에서의 메이저)}+ X^L _{(측정된 메이저)}]

X^R _{(t에서의 메이저)}= X^R _{(t에서의 메이저)}+ 이득[-X^R _{(t-1에서의 메이저)}+ X^R _{(측정된 메이저)}]

X^C _{(t에서의 마이너)}= X^C _{(t에서의 마이너)}+ 이득[-X^C _{(t-1에서의 마이너)}+ X^C _{(측정된 마이너)}]

X^L _{(t에서의 마이너)}= X^L _{(t에서의 마이너)}+ 이득[-X^L _{(t-1에서의 마이너)}+ X^L _{(측정된 마이너)}]

X^R _{(t에서의 마이너)}= X^R _{(t에서의 마이너)}+ 이득[-X^R _{(t-1에서의 마이너)}+ X^R _{(측정된 마이너)}]

X^C _{(t에서의 높이)}= X^C _{(t에서의 높이)}+ 이득[-X^C _{(t-1에서의 높이)}+ X^C _{(측정된 높이)}]

X^L _{(t에서의 높이)}= X^L _{(t에서의 높이)}+ 이득[-X^L _{(t-1에서의 높이)}+ X^L _{(측정된 높이)}]

X^R _{(t에서의 높이)}= X^R _{(t에서의 높이)}+ 이득[-X^R _{(t-1에서의 높이)}+ X^R _{(측정된 높이)}]

바람직한 실시예에서, C는 중앙 상태를 나타내고, L은 운전자 쪽으로 좌측으로 기울어진 상태를 나타내고, R은 운전자 반대쪽으로 우측으로 기울어진 상태를 나타낸다.

4. 결합형 형상 평가치 발생

단계(126) 내지 단계(132)로의 반복적 루프에 있어서 마지막 단계는 단계(132)에서 결합형 형상 평가치를 발생하는 것이다. 그 프로세스의 제 1 부분은 각 형상 벡터 평가치에 대하여 확률을 할당하는 것이다. 나머지 공분산은, 전술된 바와 동일한 공식을 이용해서 계산된다.

공분산 나머지 행렬 =

[측정 행렬 * 예측 공분산 행렬 * 전치(측정 행렬)] + 측정 잡음

그 다음, 실제 각 형상 벡터에 대한 확률(likelihood)이 계산된다. 시스템(16)은 형상 변수의 현재 값에 대한 최근의 가장 적절한 평가치와 다양한 상태에 대한 예측 값을 비교함으로써 탑승자의 상태가 어떠한지 판정한다.

본 발명의 바람직한 실시예에는 오프셋이 없는데, 이는 오프셋이 서로를 상쇄한다는 것과, 시스템(16)의 프로세스를 가정하기 때문이다. 시그마는 분산을 나타내고, 인간 개발자에 의하여 본 발명의 구현 단계에서 정의된다. 데이터를 관찰함으로써 시그마에 유용한 값을 할당하는 방법이 당해 기술 분야에 알려져 있다.

가장 높은 확률을 갖는 상태가 측면 경사각(Φ)을 판정한다. 탑승자(18)가 중앙 상태에 있다면, 측면 경사각은 0도이다. 탑승자(18)가 좌측으로 기울어져 있다면, 측면 경사각은 -Φ이다. 탑승자가 우측으로 기울어져 있다면, 측면 경사각은 Φ이다. 본 발명의 바람직한 실시예에서, Φ와 -Φ는 시스템(16)을 이용하여 차량의 타입과 모델에 근거하여 미리 정의된다.

그런 다음, 상태 확률은 앞서 발생한 확률과 전술된 바와 같이 미리 정해진 마르코비안 모드 확률(markovian mode probability)로부터 갱신된다.

P^C= P^C-C+ P^R-C+ P^L-C

P^R= P^R-R+ P^C-R

P^L= P^L-L+ P^C-L

갱신된 모드 확률에 대한 방정식은 다음과 같은데, L은 앞서 계산된 특정 모드의 확률을 나타낸다.

좌측 모드의 확률 =

1/[L^L*(P^L-L+P^C-L)+L^R*(P^R-R+P^C-R)+L^C*(P^C-C+P^R-C+P^L-C)]*L^L*(P^L-L+P^C-L)

우측 모드의 확률 =

1/[L^L*(P^L-L+P^C-L)+L^R*(P^R-R+P^C-R)+L^C*(P^C-C+P^R-C+P^L-C)]*L^R*(P^R-R+P^C-R)

중앙 모드의 확률 =

1/[L^L*(P^L-L+P^C-L)+L^R*(P^R-R+P^C-R)+L^C*(P^C-C+P^R-C+P^L-C)]*L^C*(P^C-C+P^L-C+P^L-C)

다양한 형상 벡터 평가치와 함께, 앞서의 확률 각각을 이용해서 결합형 형상 평가치가 최종적으로 계산된다.

X=좌측 모드의 확률 * X^좌측

+우측 모드의 확률 * X^우측

+중앙 모드의 확률 * X^중앙

X는 측정값의 속도 및 가속도 유도물을 포함하는 임의의 형상 변수이다.

G. 움직임 추적기 및 예측기

도 10에서의 움직임 추적기 및 예측기(50)는 많은 관점에서 도 9에서의 형상 추적기 및 예측기(48)와 유사하게 기능한다. 움직임 추적기 및 예측기(50)는 형상 추적기와 다른 특징 및 벡터를 추적한다. 본 발명의 바람직한 실시예에서, 중심의 x 좌표와 전방 경사각(θ), 그리고 그에 대응하는 속도 및 가속도(집합적으로 "움직임 변수")가 추적되고 예측된다. 중심의 x 좌표가 이용되어, 자동차 내부의 기기 패널(34), 에어백 전개 시스템(36), 또는 기타 다른 자동차 내부 위치와 탑승자(18) 사이의 거리를 판정한다. 바람직한 실시예에서는, 기기 패널(34)이 이용되는데 이는 일반적으로 에어백이 전개되는 곳이기 때문이다.

x 좌표 벡터는 위치 성분(x)과, 속도 성분(x´)과, 가속도 성분(x˝)을 포함한다. 마찬가지로, θ벡터는 위치 성분(θ)과, 속도 성분(θ´)과 가속도 성분(θ˝)을 포함한다. 다른 어떠한 움직임 벡터도 이와 마찬가지로 위치와, 속도와, 가속도 성분을 포함할 것이다.

1. 움직임 예측 갱신

움직임 예측 갱신 프로세스가 단계(134)에서 수행된다. 이 프로세스는 최종 움직임 평가치를 얻어서 변환 행렬을 이용하여 장래 예측으로 그 평가치를 외삽한다.

갱신 벡터 예측 = 변환 행렬 * 최종 벡터 평가치

변환 행렬은 최종 벡터 평가치에 대하여 뉴턴 역학을 적용하고, 탑승자(18)의 과거 위치, 속도, 및 가속도에 기초하여 그 탑승자(18)가 앞으로 있을 장소에 대한 예측을 도모한다. 이하에서 설명되는 단계(138)에서 최종 벡터 평가치가 생성된다. 단계(134)에서 단계(136)로, 단계(136)에 단계(138)로, 그리고 단계(138)에서 단계(140)로 진행한 프로세스는 다시 단계(134)로 복귀한다. 단계(134)에서의 프로세스는 이전에 단계(138)에서 평가치가 발생하였을 것을 요구하며, 따라서 처음으로 단계(134) 내지 단계(140)의 반복 루프에 들어간 때는 단계(134) 및 단계(136)에서의 프로세싱이 수행되지 않는다.

그런 다음, 다음의 방정식이 모든 움직임 변수 및 모든 움직임 모드에 대하여 적용된다.

(1Δt½Δt²)(x)

갱신 벡터 예측 =(01Δt) *(x´)

(001)(x˝)

본 발명의 바람직한 실시예에서는, 3개의 움직임 모드와 2개의 움직임 변수가 있고, 3×2 = 6 이기 때문에, 단계(134)에는 6개의 갱신 벡터 예측이 있을 것이다. 갱신된 움직임 벡터 예측은,

충돌 모드에 대한 갱신된 x 좌표.

휴먼 모드에 대한 갱신된 x 좌표.

정지 모드에 대한 갱신된 x 좌표.

충돌 모드에 대한 갱신된 θ.

휴먼 모드에 대한 갱신된 θ.

정지 모드에 대한 갱신된 θ.

2. 공분산 및 이득 행렬 갱신

단계(134)에서 움직임 예측이 전체 움직임 변수와 전체 모드에 대하여 갱신된 다음, 단계(136)에서 움직임 예측 공분산 행렬과, 움직임 이득 행렬과, 움직임 평가치 공분산 행렬이 갱신되어야한다. 움직임 예측 공분산은 예측 프로세스에서 에러를 설명한다. 이득은, 전술된 바와 같이, 가장 최근의 측정치가 측정 세그먼테이션 프로세스에서의 에러를 수용하고 이를 설명하도록 하는 가중치를 나타낸다. 움직임 평가 공분산은 평가 프로세스에서의 에러를 설명한다.

예측 공분산이 가장 먼저 갱신된다. 각 움직임 예측 공분산 행렬을 갱신하는데 이용되는 방정식은 다음과 같다.

움직임 예측 공분산 행렬 =

상태 변환 행렬은 앞서 움직임 예측을 갱신하는데 이용된 뉴턴 역학을 구현하는 행렬이다. 구 평가 공분산 행렬은 앞서의 루프의 단계(136)에서 발생한다. 단계(134)부터 단계(140)까지의 첫 번째 루프에서는, 단계(134)가 스킵된다. 행렬을 전치시키는 것은 단순히 열을 행으로 교환하고, 행을 열로 교환하는 것이라고 당해 기술 분야에 알려져 있다. 그러므로, 상태 변환 행렬의 전치는 행을 열로 그리고 열을 행으로 가지는 상태 변환 행렬이다. 시스템 잡음은 시스템에서 잡음 개념을 구체화하는데 이용되는 상수의 행렬이다. 시스템 잡음 행렬에서 이용되는 상수가 본 발명의 사용자에 의하여 설정되지만, 그러한 상수를 선택하는 실시가 당해 기술 분야에 이미 알려져 있다.

다음으로 이득 행렬이 갱신된다. 전술된 바와 같이, 이득은 새로운 측정치에 주어져야만 하는 가중치의 신뢰도이다. 이득 1은 가장 정확한 측정치를 나타내는데, 여기서는 과거의 평가치가 무시된다. 이득 0은 가장 정확하지 않은 측정치를 나타내고, 여기서는 가장 최근의 측정치가 무시되고 대신에 본 발명의 사용자는 과거의 평가치에만 의존한다. 이득이 수행하는 역할은 기본 칼먼 필터 방정식에서 증명된다.

움직임 변수 및 움직임 모드의 각 조합마다 하나의 이득이 있기 때문에 이득은 단순히 수 한 개가 아니다. 이득을 갱신하는 일반적 방정식은 다음과 같다.

이득 = 움직임 예측 공분산 행렬 * 전치(측정 행렬) * inv(나머지 공분산)

앞서 움직임 공분산 행렬이 계산된다. 측정 행렬은 단지 이득을 판정하기 위하여 속도 및 가속도 성분을 무시하면서 움직임 벡터의 위치 성분을 격리하고 검출하는 방법이다. 측정 행렬의 전치는 단순히 [1 0 0]이다. 움직임 변수의 위치 성분을 격리하는 이유는 속도와 가속도가 실제로 유도형 성분이기 때문이다. 위치만이 실제로 측정되는 성분이고, 이득은 실제 측정치에 근거해야 하는 가중치와 관련되기 때문에, 유도형 변수는 격리되어야 한다.

칼먼 필터의 일반 표현식, X_{(신규 평가치)}= X_{(구 평가치)}+ 이득[-X_{(구 평가치)}+ X_(측정된값)]에서, 나머지는 구 평가치와 신규 측정치 사이의 차이를 나타낸다. 나머지 공분산의 전체 행렬이 있다. 나머지 공분산 행렬의 역이 이득 행렬 갱신에 이용된다. 역행렬을 얻는 방법은 당해 기술 분야에 잘 알려져 있으며, 이는 간단한 선형 대수적 프로세스이다. 나머지 공분산 행렬에 대한 방정식은 다음과 같다.

측정 행렬은 속도 및 가속도 성분으로부터 움직임 벡터의 위치 성분을 격리하는데 이용되는 간단한 행렬이다. 앞서 예측 공분산이 계산된다. 측정 행렬의 전치 행렬은 동일한 값을 가지는 하나의 열 행렬이 아니라 하나의 행 행렬 [1 0 0]이다. 측정 잡음은 센서(22) 및 세그먼테이션 프로세스(40)에 관련된 에러를 통합하는데 이용되는 상수이다.

마지막으로 갱신될 행렬은 움직임 평가 공분산 행렬이고, 이는 평가 에러를 나타낸다. 평가치가 현재 측정치와 과거 예측치에 근거하므로, 평가 에러는 일반적으로 예측 에러보다 덜 중요할 것이다. 움직임 평가 공분산 행렬을 갱신하는 방정식은 다음과 같다.

움직임 평가 공분산 행렬 =

(단위 행렬 - 이득 행렬 * 측정 행렬) * 움직임 예측기 공분산 행렬

단위 행렬은 당해 기술 분야에 이미 알려져 있고, 좌측 위에서부터 우측 아래로 이어지는 1의 대각선을 가지고, 나머지 다른 위치에서는 0으로 구성된다. 이득 행렬은 이전에 계산되고 설명되었다. 또한, 측정 행렬은 앞서 설명되었으며,속도 및 가속도 성분에서 움직임 벡터의 위치 성분을 격리하는데 이용된다. 예측기 공분산 행렬이 또한 앞서 계산되고 설명되었다.

3. 움직임 평가치 갱신

움직임 평가치 갱신 프로세스가 단계(138)에서 호출된다. 이 프로세스의 제 1 단계는 나머지를 계산하는 것이다.

나머지 = 측정치 - (측정 행렬 * 예측 공분산)

그 다음 움직임 상태 그 자체가 갱신된다.

움직임 벡터 평가치 = 움직임 벡터 예측치 + (이득 * 나머지)

각각의 방정식으로 나누어보면, 그 결과는 다음과 같다.

X^H _{(t에서의 x 좌표)}= X^H _{(t에서의 x 좌표)}+ 이득[-X^H _{(t-1에서의 x 좌표)}+ X^H _{(측정된 x 좌표)}]

X^S _{(t에서의 x 좌표)}= X^S _{(t에서의 x 좌표)}+ 이득[-X^S _{(t-1에서의 x 좌표)}+ X^S _{(측정된 x 좌표)}]

X^C _{(t에서의 x 좌표)}= X^C _{(t에서의 x 좌표)}+ 이득[-X^C _{(t-1에서의 x 좌표)}+ X^C _{(측정된 x 좌표)}]

X^H _{(t에서의 θ)}= X^H _{(t에서의 θ)}+ 이득[-X^H _{(t-1에서의 θ)}+ X^H _{(측정된 θ)}]

X^S _{(t에서의 θ)}= X^S _{(t에서의 θ)}+ 이득[-X^S _{(t-1에서의 θ)}+ X^S _{(측정된 θ)}]

X^C _{(t에서의 θ)}= X^C _{(t-1에서의 θ)}+ 이득[-X^C _{(t-1에서의 θ)}+ X^C _{(측정된 θ)}]

바람직한 실시예에서, H는 휴먼 모드를 나타내고, C는 충돌 모드를 나타내고, S는 정지 모드를 나타낸다.

4. 결합형 움직임 평가치 발생

단계(134) 내지 단계(140)로의 반복적 루프에 있어서 마지막 단계는 단계(140)에서 결합형 움직임 평가치를 발생하는 것이다. 그 프로세스의 제 1 부분은 각 움직임 벡터 평가치에 대하여 확률을 할당하는 것이다. 나머지 공분산은, 전술된 바와 동일한 공식을 이용해서 계산된다.

공분산 나머지 행렬 =

그 다음, 각 움직임 벡터에 대한 실제 확률이 계산된다.

본 발명의 바람직한 실시예에는 오프셋이 없는데, 이는 오프셋이 서로를 상쇄한다고 가정하기 때문이며, 시스템(16)의 프로세스는 0평균 가우스 신호(zero-mean Gaussian signal)를 프로세싱 한다. 시그마는 분산을 나타내고, 인간 개발자에 의하여 본 발명의 구현 단계에서 정의된다. 데이터를 관찰함으로써 시그마에 유용한 값을 할당하는 방법이 당해 기술 분야에 알려져 있다.

그런 다음, 모드 확률은 앞서 발생한 확률과 전술된 바와 같이 미리 정해진 마르코비안 모드 확률(markovian mode probability)로부터 갱신된다.

P^C= P^C-C+ P^S-C+ P^H-C

P^H= P^H-H+ P^S-H+ P^C-H

P^S= P^S-S+ P^H-S+ P^C-S

정지 모드의 확률 =

1/[L^S*(P^S-S+P^H-S+P^C-S)+L^H*(P^H-H+P^S-H+P^C-H)+L^C*(P^C-C+P^S-C+P^H-C+P^C-S)]*L^S*(P^S-S+P^H-S)

휴먼 모드의 확률 =

1/[L^S*(P^S-S+P^H-S+P^C-S)+L^H*(P^H-H+P^S-H+P^C-H)+L^C*(P^C-C+P^S-C+P^H-C)]*L^H*(P^H-H+P^S-H+P^C-S)

충돌 모드의 확률 =

1/[L^S*(P^S-S+P^H-S+P^C-S)+L^H*(P^H-H+P^S-H+P^C-H)+L^C*(P^C-C+P^S-C+P^H-C)]*L^C*(P^C-C+P^S-C+P^H-C)

다양한 움직임 벡터 평가치와 함께, 앞서의 확률 각각을 이용해서 결합형 움직임 평가치가 최종적으로 계산된다.

X=휴먼 모드의 확률 * X^휴먼

+충돌 모드의 확률 * X^충돌

+정지 모드의 확률 * X^정지

X는 속도 및 가속도 유도물을 포함하는 임의의 움직임 변수이다.

H. 에너지 예측기

단계(52)에서의 에너지 예측기는 단계(26)에서의 형상 표시기와 단계(28)에서의 움직임 추적기 양자의 출력을 취하여 에너지 예측을 계산한다. 본 발명의 바람직한 실시예에서, 에너지 예측은 전개되는 에어백과 탑승자가 충돌할 때 탑승자의 운동 에너지를 계산하는 것이다.

운동 에너지 = ½ * 질량 * 속도²

에너지 예측기의 또 다른 실시예는 다른 계산값을 이용하여 에어백 배치에 있어서의 바람직한 강도를 나타낼 수 있다. 운동량(momentum)과, 힘과, 시스템에 의하여 추적되고 예측되는 탑승자 특성으로부터 유도될 수 있는 기타 다른 측정치가 이용될 수 있다.

또 다른 실시예에서는, 에어백 전개에 있어서 바람직한 강도를 판정하는 프록시(proxy)로서 운동량, 힘 등의 기타 다른 계산값을 이용할 수 있다, 운동 에너지는 탑승자가 위험 지역(ARZ) 내에 있는지, 그리고 미리 정해진 영역이 에어백에 너무 가까이 있어서 그 에어백 전개가 안전하게 이루어질 수 없는지 판정한다. 이 계산은 임의의 움직임이나 형상 변수를 이용할 수도 있고, 형상이나 움직임 변수가 아니라도 다른 어떤 특징을 이용할 수도 있다. 바람직한 실시예에서, ARZ 침입 표시기(52)는 위쪽 타원(58) 상의 최근접점이 미리 정해진 ARZ 내부에 있는지 아닌지 판정한다. 바람직한 실시예에서, ARZ는 자동차의 특정 타입으로 표현되는 특정한 환경을 고려하여 정의된다. ARZ 침입 표시기(52)는 또한 탑승자(18)가 자동차의운전자 옆으로 어느 정도 기울어져 있는지 아닌지, 탑승자(18)가 ARZ 내부에 있지 않은지를 판정한다. ARZ 계산값은 시스템(16)이 위치와 형상을 미리 예측할 수 있도록 하는 출력형 상태 변환 행렬을 이용해서 매우 빨리, 센서(22)가 데이터를 수집하는 것보다 더 빠른 속도로 갱신된다.

특허법 조문과 관련하여, 본 발명의 원리 및 동작 모드는 바람직한 실시예의 관점에서 설명되고 도시되었다. 그러나, 본 발명은, 그 사상과 영역을 벗어나지 않는 범위에서, 구체적으로 설명되고 도시된 바와 달리 실시될 수 있음을 알아야만 한다.

본 발명은 시트에 앉아 있는 탑승자가 에어백에 근접한 정도가 그 에어백 전개 시스템이 디스에이블되거나 변형될 만큼 매우 가까운 정도인지 판정하는데 이용되는 이미지 프로세싱 시스템을 제공한다.

Claims

시트(seat)(20)와, 상기 시트 상의 탑승자(occupant)(18)와, 센서 측정치(sensor measurement)를 발생시키는 센서(22)와, 에어백(airbag)(36)을 구비한 에어백 전개 시스템(airbag deployment system)과 함께 이용하는 이미지 프로세싱 시스템(image processing system)(16)으로서,

반복적 추적 및 예측 시스템(iterative tracking and predicting system)(46)- 상기 추적 및 예측 시스템은 가장 최근의 센서 측정치와 과거 예측치를 상기 탑승자 위치 평가(estimate of the occupant's position)에 통합함으로써 탑승자의 움직임을 추적하고 예측함 -을 포함하는

이미지 프로세싱 시스템(16).
제 1 항에 있어서,

상기 센서가 측정치를 캡쳐(capture)하는 속도보다 더 빠른 속도로 예측치를 발생시킬 수 있는

이미지 프로세싱 시스템(16).
제 1 항에 있어서,

상기 반복적 추적 및 예측 시스템은 다수의 칼먼 필터(Kalman filter)를 이용하는

이미지 프로세싱 시스템(16).
제 1 항에 있어서,

위험 지역 침입 표시기(at-risk-zone intrusion indicator)(52)- 상기 위험 지역 침입 표시기는 상기 반복적 추적 및 예측 시스템으로부터의 상기 예측치를 이용하여 에어백이 전개될 시간까지 미리 정해진 위험 영역에 있을 것인지를 판정함 -를 더 포함하는

이미지 프로세싱 시스템(16).
제 1 항에 있어서,

상기 추적 및 예측 시스템은

형상 추적기 및 예측기 서브시스템(shape tracker and predictor subsystem)(48)- 상기 형상 추적기 및 예측기 서브시스템은 상기 탑승자의 상기 형상을 표시하는 특성을 추적하고 예측함 -과,

움직임 추적기 및 예측기 서브시스템(motion tracker and predictor subsystem)(50)- 상기 형상 추적기 및 예측기 서브시스템은 상기 탑승자의 상기 움직임을 표시하는 특성을 추적하고 예측함 -을 더 포함하는

이미지 프로세싱 시스템(16).
제 5 항에 있어서,

상기 형상 추적기 및 예측기에 의하여 추적되고 예측되는 상기 특성은

상기 탑승자의 높이(height)(58)와,

상기 탑승자 상반신의 형상을 포함하는

이미지 프로세싱 시스템(16).
제 5 항에 있어서,

상기 움직임 추적기 및 예측기 서브시스템에 의하여 추적되고 예측되는 상기 특성은

상기 탑승자와 상기 에어백 사이의 거리(60)와,

전방 경사각(forward tilt angle)(62)을 포함하는

이미지 프로세싱 시스템(16).
제 5 항에 있어서,

상기 형상 추적기 및 예측기는 사전 정의형 형상 상태[72,74,76]를 이용하는

이미지 프로세싱 시스템(16).
제 8 항에 있어서,

상기 미리 정해진 상태는

좌측으로 기울어진 상태(80)와,

우측으로 기울어진 상태(82)와,

보통 똑바로 앉아있는 상태(78)를 포함하는

이미지 프로세싱 시스템(16).
제 5 항에 있어서,

상기 움직임 추적기 및 예측기는 미리 정해진 움직임 모드[102,104,122]를 이용하는

이미지 프로세싱 시스템(16).
제 10 항에 있어서,

상기 미리 정해진 움직임 모드는

충돌(crashing) 모드(122)와,

정지(stationary) 모드(102)와,

휴먼(human) 모드(104)를 포함하는

이미지 프로세싱 시스템(16).
제 5 항에 있어서,

상기 형상 추적기 및 예측기는

갱신 형상 예측기(update shape predictor)(126)와,

갱신 공분산(update covariance) 및 이득 행렬 발생기(gain matrices generator)(128)와,

갱신 형상 평가기(update shape estimator)(130)와,

결합형 형상 평가 발생기(combined shape estimate generator)(132)를 포함하는

이미지 프로세싱 시스템(16).
제 5 항에 있어서,

상기 움직임 추적기 및 예측기는

갱신 움직임 예측기(134)와,

갱신 공분산 및 이득 행렬 발생기(136)와,

갱신 움직임 평가기(138)와,

결합형 움직임 평가 발생기(140)를 포함하는

이미지 프로세싱 시스템(16).
제 5 항에 있어서,

상기 형상 추적기 및 예측기가 상기 탑승자의 측면 경사각(sideway tilt angle)(Φ)을 판정하는

이미지 프로세싱 시스템(16).
시트(20)와, 상기 시트 상의 탑승자(18)와, 광센서(optical sensor)(22)와, 에어백(36)과, 세그먼테이션 장치(segmentation device)(30)와, 에어백 제어기(airbag controller)(32)를 구비한 에어백 전개 시스템과 함께 이용되는 이미지 프로세싱 시스템으로서,

추적 및 예측 시스템(46)- 상기 추적 및 예측 시스템은 상기 탑승자에 관한 여러 변수를 추적함 -과,

ARZ 침입 표시기(52)- 상기 ARZ 침입 표시기는 상기 탑승자의 상반신 어느 지점이 상기 에어백에 가장 근접한지 판정하고, 상기 에어백이 전개될 수 있는 시간까지 미리 정해진 위험 지역(danger zone)내 위치에 상기 탑승자가 있을 것인지 판정함 -를 포함하되

상기 추적 및 예측 시스템이 확률 가중형 경험(probability weighted heuristics)을 이용하는 현재 측정치에 과거 예측치를 통합하는

이미지 프로세싱 시스템.
제 15 항에 있어서,

상기 추적 및 예측 시스템은 상기 탑승자의 상기 상반신을 나타내는 위쪽 타원(upper ellipse)(58)을 이용하는

이미지 프로세싱 시스템.
제 15 항에 있어서,

상기 추적 및 예측 시스템은 다양한 이미지 특성마다 여러 칼먼 필터를 이용하는

이미지 프로세싱 시스템.
제 15 항에 있어서,

상기 추적 및 예측 시스템은 센서가 탑승자 이미지(38)를 캡쳐하는 것보다 더 빈번한 기준(more frequent basis)으로 평가치를 생성할 수 있는

이미지 프로세싱 시스템.
제 15 항에 있어서,

상기 추적 및 예측 시스템은

형상 추적기 및 예측기 서브시스템(48)- 상기 형상 추적기 및 예측기 서브시스템은 상기 탑승자의 상기 형상을 표시하는 특성을 추적하고 예측함 -과,

움직임 추적기 및 예측기 서브시스템(50)- 상기 형상 추적기 및 예측기 서브시스템은 상기 에어백의 위치에 관련된 상기 탑승자 이미지의 상기 움직임을 표시하는 특성을 추적하고 예측함 -을 더 포함하는

이미지 프로세싱 시스템.
이미지 프로세싱 시스템으로서,

시트 영역(seat area)의 이미지를 캡쳐하기 위한 센서(22)와,

시트 영역(21)의 주변 이미지(ambient image)(38)로부터 탑승자(18)의 세그먼트형 이미지(segmented image)를 검출하는 세그먼테이션 서브시스템(segmentation subsystem)(40)과,

탑승자의 상기 상반신에 대하여 위쪽 타원(58)을 피팅하고, 탑승자의 아래쪽 부분에 대하여 아래쪽 타원(56)을 피팅하고, 상기 위쪽 타원에서 중심(centroid)(54)을 피팅하는 타원 피팅 서브시스템(ellipse fitting subsystem)(44)과,

추적 및 예측 시스템(46)- 형상 추적기 및 예측기(48)와 움직임 추적기 및 예측기(50)를 더 포함함 -과,

위험 지역 침입 예측기(52)- 상기 위험 지역 침입 표시기는 위쪽 타원 상 어느 지점이 상기 에어백에 가장 근접한지 판정하고, 상기 위험 지역 침입 표시기는 상기 에어백 제어기에 대하여 상기 에어백이 전개되는 시간까지 미리 정해진 위험 지역 내 위치에 상기 탑승자가 있을 것인지 알림 -를 포함하되

상기 형상 추적기 및 예측기는 미리 정해진 형상 상태[72,74,76] 각각마다 칼먼 필터 방정식을 이용하여 미리 정해진 형상 특성을 추적하고 예측하며, 상기 형상 추적기 및 예측기는 상기 형상 상태에 관하여 미리 정해진 확률을 이용해서 각 칼먼 필터를 가중하여 상기 특성 각각마다 종합적 예측치를 발생시키고,

상기 움직임 추적기 및 예측기는 미리 정해진 움직임 모드 각각마다 칼먼 필터 방정식을 이용해서 미리 정해진 움직임 특성을 추적하며, 상기 움직임 모드에 관하여 미리 정해진 확률을 가중하여 상기 움직임 특성 각각마다 종합적 예측치를 발생시키는

이미지 프로세싱 시스템.
이미지(38)의 상기 움직임을 예측하는 방법으로서,

다수의 이미지 특성에 대하여 다수의 수학적 경험을 적용하여 과거의 측정치 및 과거의 예측치를 상기 다수의 이미지 특성에 관한 갱신된 종합적 예측으로 통합- 상기 이미지는 미리 정해진 다수의 이미지 특성[102,104,122] 및 상태[72,74,76] 중 하나임 -하는 단계와,

상기 갱신된 특성 예측을 이용하여 상기 이미지가 ARZ에 들어갈 것인지 판정하는 단계를 포함하는

이미지 움직임 예측 방법.