KR102303612B1

KR102303612B1 - 다중 센서 융합 방법 및 그 장치

Info

Publication number: KR102303612B1
Application number: KR1020190172310A
Authority: KR
Inventors: 정정주; 이승희; 최우영
Original assignee: 한양대학교 산학협력단
Priority date: 2019-12-20
Filing date: 2019-12-20
Publication date: 2021-09-16
Also published as: KR20210079992A

Abstract

다중 센서 융합 방법 및 그 장치가 개시된다. 다중 센서 융합 방법은, (a) 자 차량에 장착된 복수의 센서로부터 감지 정보를 각각 획득하는 단계; (b) 상기 복수의 센서에 의해 서로 다르게 감지된 각각의 감지 정보를 이용하여 하나의 타겟 객체로의 연관을 위한 상기 타겟 객체에 대한 조정점을 결정하는 단계; 및 (c) 상기 조정점을 이용하여 복수의 센서의 각각의 감지 정보를 융합하는 단계를 포함한다.

Description

다중 센서 융합 방법 및 그 장치{Multi-sensor fusion method and apparatus}

본 발명은 다중 센서 융합 방법 및 그 장치에 관한 것이다.

오브젝트 추적(object tracking)은 센서로부터 계측된 데이터를 기반으로 오브젝트의 이동 경로를 추적하는 기법을 말한다. 이러한 오브젝트 추적은 차량에 적용되어 자동 긴급 제동 장치(AEBS; Auto Emergency Braking System) 등 능동 안전 시스템(Active safety system)에서 많이 활용되고 있다.

그러나, 종래의 기술들은 서로 다른 위치에 장착된 센서에 따라 서로 다른 지점을 인지(감지)함에 따라 발생되는 문제를 해결하는 방안을 제시하지 못하고 있다.

(01) 대한민국공개특허공보 제10-2018-0079880호(2018.07.11.)

본 발명은 다중 센서 융합 방법 및 그 장치를 제공하기 위한 것이다.

또한, 본 발명은 서로 다른 위치에 장착된 다중 센서에 의해 측정된 정보들을 이용하여 객체의 원하는 지점을 측정할 수 있는 다중 센서 융합 방법 및 그 장치를 제공하기 위한 것이다.

또한, 본 발명은 센서의 정확도를 고려하여 센서 융합이 가능한 다중 센서 융합 방법 및 그 장치를 제공하기 위한 것이다.

또한, 본 발명은 자 차량에 영향을 미치는 일부 영역에서 다중 센서를 통해 객체의 원하는 지점을 측정할 수 있는 다중 센서 융합 방법 및 그 장치를 제공하기 위한 것이다.

본 발명의 일 측면에 따르면, 다중 센서 융합 방법이 제공될 수 있다.

본 발명의 일 실시예에 따르면, (a) 자 차량에 장착된 복수의 센서로부터 감지 정보를 각각 획득하는 단계; (b) 상기 복수의 센서에 의해 서로 다르게 감지된 각각의 감지 정보를 이용하여 하나의 타겟 객체로의 연관을 위한 상기 타겟 객체에 대한 조정점을 결정하는 단계; 및 (c) 상기 조정점을 이용하여 복수의 센서의 각각의 감지 정보를 융합하는 단계를 포함하는 다중 센서 융합 방법이 제공될 수 있다.

상기 (b) 단계 이전에, 센서 정확도 모델을 이용하여 에러 특성값을 도출하는 단계; 및 상기 에러 특성값을 이용하여 칼만 필터를 적용하여 조합된 상태 및 공분산을 계산하는 단계를 더 포함하되, 상기 조정점은 상기 조합된 상태 및 공분산을 이용하여 계산될 수 있다.

상기 에러 특성값을 도출하는 단계는, 상기 복수의 센서에 의해 감지 가능한 영역(FOV)을 고려하여 복수의 점유 구역을 구성하는 단계; 상기 자 차량의 센서의 장착 위치 및 상기 타겟 객체의 기준점, 상기 타겟 객체의 GPS 장착 위치를 이용하여 상기 타겟 객체의 표면상으로 보간된 센서 및 GPS 위치를 결정하는 단계; 상기 보간된 센서 및 GPS 위치를 이용하여 종축 오차 및 횡축 오차를 계산하는 단계; 및 상기 각각의 점유 구역에서 상기 종축 오차 및 횡축 오차의 평균값이 제로(0)가 되도록 에러 특성값이 도출하는 단계를 포함할 수 있다.

상기 조합된 상태 및 공분산을 계산하는 단계는, 상기 복수의 점유 구역 중 상기 자 차량에 영향을 미치는 적어도 4개의 점유 구역을 선택하여 상기 조합된 상태 및 공분산을 계산할 수 있다.

상기 (b) 단계는, 상기 조합된 상태 및 공분산을 이용한 Mahalanobis 거리를 계산하고, 상기 계산된 Mahalanobis 거리가 최소인 거리를 이용하여 상기 조정점을 계산 할 수 있다.

상기 (c) 단계는, 타겟 객체 표면에서 적어도 두개의 보간된 센서 위치와 조정점 사이의 거리를 계산하는 단계; 및

상기 계산된 거리를 상기 감지 정보를 융합하는 단계를 포함할 수 있다.

본 발명의 다른 측면에 따르면, 다중 센서 융합 장치가 제공될 수 있다.

본 발명의 일 실시예에 따르면, 자 차량에 장착된 복수의 센서로부터 감지 정보를 각각 획득하는 획득부; 상기 복수의 센서에 의한 각각의 감지 정보를 이용하여 하나의 타겟 객체로의 연관을 고려하여 상기 타겟 객체에 대한 조정점을 결정하는 조정부; 및 상기 조정점을 이용하여 복수의 센서의 각각의 감지 정보를 융합하는 융합부를 포함하는 다중 센서 융합 장치가 제공될 수 있다.

상기 조정부는, 센서 정확도 모델을 이용하여 에러 특성값을 도출하고, 상기 에러 특성값을 이용하여 칼만 필터를 적용하여 조합된 상태 및 공분산을 계산하되, 상기 조정점은 상기 조합된 상태 및 공분산을 이용하여 계산될 수 있다.

상기 조정부는, 상기 복수의 센서에 의해 감지 가능한 영역(FOV)을 고려하여 복수의 점유 구역을 구성하며, 상기 자 차량의 센서의 장착 위치 및 상기 타겟 객체의 기준점, 상기 타겟 객체의 GPS 장착 위치를 이용하여 상기 타겟 객체의 표면상으로 보간된 센서 및 GPS 위치를 결정하고, 상기 보간된 센서 및 GPS 위치를 이용하여 종축 오차 및 횡축 오차를 계산하며, 상기 각각의 점유 구역에서 상기 종축 오차 및 횡축 오차의 평균값이 제로(0)가 되도록 에러 특성값을 도출할 수 있다.

상기 조정부는, 상기 복수의 점유 구역 중 상기 자 차량에 영향을 미치는 적어도 4개의 점유 구역을 선택하여 상기 조합된 상태 및 공분산을 계산할 수 있다.

상기 조정부는, 상기 조합된 상태 및 공분산을 이용한 Mahalanobis 거리를 계산하고, 상기 계산된 Mahalanobis 거리가 최소인 거리를 이용하여 상기 조정점을 계산할 수 있다.

상기 융합부는, 타겟 객체 표면에서 적어도 두개의 보간된 센서 위치와 조정점 사이의 거리를 계산하고, 상기 계산된 거리를 상기 감지 정보를 융합할 수 있다.

본 발명의 일 실시예에 따른 다중 센서 융합 방법 및 그 장치를 제공함으로써, 서로 다른 위치에 장착된 다중 센서에 의해 측정된 정보들을 이용하여 객체의 원하는 지점을 측정할 수 있다.

또한, 본 발명은 센서의 정확도를 고려하여 센서 융합이 가능하다.

또한, 본 발명은 자 차량에 영향을 미치는 일부 영역에서 다중 센서를 통해 객체의 원하는 지점을 측정할 수 있다.

도 1은 본 발명의 일 실시예에 따른 다중 센서 융합 방법을 나타낸 순서도.
도 2는 본 발명의 일 실시예에 따른 센서 장착 위치를 예시한 도면.
도 3은 본 발명의 일 실시예에 따른 점유 구역을 설명하기 위해 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 센서 정확도 모델을 설명하기 위해 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 선택 구역을 설명하기 위해 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 필터 과정을 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 조정점을 설명하기 위해 도시한 도면.
도 8은 본 발명의 일 실시예에 따른 센서 융합 장치의 내부 구성을 개략적으로 도시한 블록도.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 다중 센서 융합 방법을 나타낸 순서도이며, 도 2는 본 발명의 일 실시예에 따른 센서 장착 위치를 예시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 점유 구역을 설명하기 위해 도시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 센서 정확도 모델을 설명하기 위해 도시한 도면이며, 도 5는 본 발명의 일 실시예에 따른 선택 구역을 설명하기 위해 도시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 필터 과정을 도시한 도면이고, 도 7은 본 발명의 일 실시예에 따른 조정점을 설명하기 위해 도시한 도면이다.

단계 110에서 센서 융합 장치(100)는 자 차량에 각각 부착된 복수의 센서로부터 각각 객체를 감지한 감지 정보를 획득한다.

자 차량에 부착된 각각의 센서의 위치 및 각도에 따라 각각의 센서가 동일 객체를 감지하더라도 서로 다른 객체로 인식될 수 있다. 이하에서는 이해와 설명의 편의를 도모하기 위해 자 차량에 부착된 각각의 센서가 레이더인 것을 가정하여 이를 중심으로 설명하기로 한다. 도 2는 차량에 부착된 레이더 센서의 위치를 설명하기 위해 도시한 도면이다. 예를 들어, 도 2에 도시된 바와 같이, 차량의 전방 왼쪽, 차량의 전방 오른쪽, 차량의 후방 왼쪽, 차량의 후방 오른쪽과 같이 레이더 센서가 4개가 설치되어 있는 것을 가정하기로 한다. 도 2에 도시된 레이더 센서의 위치는 이해와 설명의 편의를 위해 도시한 것일 뿐이며, 레이더의 위치 및 개수는 상이할 수 있음은 당연하다.

단계 115에서 센서 융합 장치(100)는 센서 정확도 모델을 이용하여 에러 특성값을 도출한다.

본 발명의 일 실시예에 따르면, 센서 융합 장치(100)는 도 3에 도시된 바와 같이, 레이더의 감지 가능한 영역(FOV)를 고려하여 점유 구역을 구성할 수 있다.

도 3에서 {X,Y}는 글로벌 좌표계를 나타내고, {x,y}는 자 차량의 좌표계를 나타낸다. 점유 구역은 차 차량의 좌표계에 기초하여 x-축은 자 차량의 길이(전체 길이)의 배수로 구획되며, y -축은 차선 간격을 고려하여 구획될 수 있다. 도 3의 점유 구역의 일 예는 예시일 뿐이며, 점유 구역의 x-축 및 y-축으로의 구획 방법은 다양할 수 있음은 당연하다.

레이더 센서에 의해 감지된 분할된 점유 구역은 도 4에서 보여지는 바와 같이, 레이더 센서 데이터와 GT를 비교하여 레이더 정확도를 분석할 수 있다.

이에 대해 우선 설명하기로 한다.

본 발명의 일 실시예에 따르면, 센서 융합 장치(100)는 레이더와 가상 다각형 상자(타겟 차량 감지 영역)의 기준점을 연결하는 제1 직선과 레이더와 DGPS 탑재 지점을 연결하는 제2 직선을 사용하여 타겟 차량 표면에서 보간된 레이더 및 DGPS 위치(지점)을 찾는다.

이어, 센서 융합 장치(100)는 보간된 레이더 및 DGPS 위치(지점)을 이용하여 종축 레이더 에러와 횡축 레이더 에러를 각각 계산할 수 있다.

보다 상세히 설명하면, 다음과 같다.

측정 순간(k)에서, 상태(

) 및 출력(

) 변수를 포함하는 레이더 측정 모델은 수학식 1과 같이 정의될 수 있다.

여기서,

C는 항등 행렬(identity matrix)이며,

는 종방향 상대 거리를 나타내고,

는 횡방향 상대 거리를 나타내며,

는 종방향 상대 속도를 나타내고,

는 횡방향 상대 속도를 나타내며, m은 횡방향 상대 위치 구역 인덱스를 나타내고, n은 종방향 상대 위치 구역 인덱스를 나타내고, M은 Y축의 구역 개수를 나타내고, N은 X축의 구역 개수를 나타낸다.

본 발명의 일 실시예에서는 레이더 측정 정확도(

)가 각 구역에서 제로 평균 백색 가우시안 분포 특성을 가지는 것을 가정하기로 한다.

각각의 구역에서 레이더 측정 정확도 공분산(

)은 에러 특성에 기초하여 설정될 수 있다. 따라서, 위치 오차의 평균값이 "0"이 되도록 각 레이더는 각 구역에서 캘리브레이션될 수 있다. 그러므로, 제로 평균 백색 가우시안 분포 특성을 가지는 레이더 에러는 수학식 2와 같이 나타낼 수 있다.

또한, 이에 대한 공분산은 수학식 3과 같이 나타낼 수 있다.

여기서, GT는 지면 데이터를 나타내고, RADAR는 캘리브레이트된 레이더 데이터를 나타낸다.

단계 120에서 센서 융합 장치(100)는 에러 특성값을 이용하여 칼만 필터를 적용하여 조합된 상태 및 공분산을 계산한다. 이를 통해 본 발명의 일 실시예에 따른 센서 융합 장치(100)는 분할된 각각의 점유 구역에 대한 모호성 문제를 해결할 수 있다.

이미 전술한 바와 같이, 본 발명의 일 실시예에서는 레이더 센서에 의해 감지 가능한 영역을 복수의 점유 구역으로 구성하고 있으며, 각각의 점유 구역은 멀티 모델로 정의될 수 있다. 이하에서 설명되는 멀티 모델은 각각의 분할된 점유 구역으로 이해되어야 할 것이다.

본 발명의 일 실시예에서는 에러 특성값을 이용하여 필터를 통해 각 점유 구역간의 모호성 문제를 해결할 수 있다.

우선, 본 발명의 일 실시예에 따른 센서 융합 장치(100)는 복수의 분할된 점유 구역 중 자 차량에 영역을 미치는 4개의 구역을 도 5에 도시된 바와 같이 선택할 수 있다.

기본적으로 자 차량에 영약을 미치는 4개의 구역이 선택될 수 있다. 다만, 도 5에 도시된 바와 같이, 알려지지 않은 구역이 포함되는 경우, 해당 알려지지 않는 구역은 제외하고 점유 구역 중 차 차량과 가장 가까운 4개의 구역이 선택될 수 있다.

차량이 종 방향 및 횡 방향으로 각각 일정한 상대 속도로 움직이는 것을 가정하면, 타겟 차량 추종을 위한 모델은 이산 시간 상태-공간 모델로 표현될 수 있다. 이를 수학식으로 나타내면 수학식 4와 같이 나타낼 수 있다.

여기서,

는 시스템 잡음을 나타낸다. 전술한 바와 같이, 센서 정확도 모델은 공분산(

)이 사용되는 KF 필터를 통해 시스템 잡음 공분산(

)을 조정함으로써 각 구역에서 최소값에 근접한 추정 에러를 획득할 수 있다.

따라서, 센서 융합 장치(100)는 각각의 점유 구역에 대한 시스템 잡음 공분산(

)을 각각 설정할 수 있다.

다중 모델 필터는 도 6에 도시된 바와 같이 동작된다.

본 발명의 일 실시예에서 센서 융합 장치(100)는 타겟 차량에 대해 4개의 선택된 구역에 상응하여 도 6에 도시된 바와 같이, 믹싱, 필터링 및 병합 과정을 수행할 수 있다.

이해와 설명의 편의를 도모하기 위해 이에 대해 보다 상세히 설명하기로 한다.

단계 610에서 센서 융합 장치(100)는 이전 샘플 시간에서 예측된 상태와 공분산을 믹싱 확률을 이용하여 믹싱한다.

믹싱 확률은 수학식 6과 같이 나타낼 수 있다.

여기서,

는 k시간에서 모델 i의 모델 확률을 나타내고,

이며, 모델 인덱스는

이다.

또한,

는 정규화 인자를 나타내고,

는 모델 개수를 나타내며,

는 타겟 차량이 점유한 점유 구역의 인덱스를 나타내고,

는 모델 i에서 모델 j로 전이할 Markov 확률을 나타내고, 상태 전이 확률 행렬(

)는 수학식 7과 같이 나타낼 수 있다.

모델 j의 믹스된 초기 상태(

)와 믹스된 초기 공분산(

)은 수학식 8과 같이 나타낼 수 있다.

여기서,

는 이전 샘플 시간(k-1)에서 모델 j의 예측된 상태를 나타내고,

는 이전 샘플 시간(k-1)에서 모델 j의 예측된 공분산을 나타낸다.

단계 615에서 센서 융합 장치(100)는 이전 샘플 시간에서 모델 j의 예측된 상태 및 공분산에 칼만 필터를 기반으로 현재 상태 및 공분산을 추정한다.

예측 및 보정 과정은 수학식 9 및 수학식 10과 같이 나타낼 수 있다.

여기서,

는 j 조건부 필터의 공분산을 나타내고, I는 항등 행렬을 나타낸다. 최적의 IMM-KF(칼만 필터) 게인은 모델링된 레이더 정확도 특성(에러 특성값)을 사용하여 각 점유 구역에 맞게 설계될 수 있다.

다계 620에서 센서 융합 장치(100)는 추정된 현재 상태 및 공분산을 병합하여 조합된 상태 및 공분산을 출력한다.

시간 k에서 각 모델(j)의 우도 함수(

)는 가우시안 가정 하에 수학식 11과 같이 나타낼 수 있다.

각 모델의 모델 확률은 수학식 12와 같이 계산될 수 있다.

여기서,

이다.

조합된 상태(

)와 공분산(

)은 모델 j로부터의 상태 추정치의 차이를 설명하기 위해 공분산 행렬에 대한 증분과 함께 표준 가우시안 혼합 평균 및 공분산 공식을 사용하여 수학식 13과 같이 계산될 수 있다.

다시 도 1을 참조하여, 단계 125에서 센서 융합 장치(100)는 계산된 조합된 상태 및 공분산을 이용하여 조정점을 계산한다.

이에 대해 보다 상세히 설명하기로 한다. 도 7은 본 발명의 일 실시예에 따른 복수의 레이더 센서에 의해 동일한 타겟 객체의 서로 다른 표면 점을 융합하는 방법을 설명하기 위해 예시한 도면이다. 도 7에 도시된 바와 같이, 복수의 센서에 의해 동일한 타겟 객체의 다른 표면위치를 계산할 때, 동일한 타겟 객체를 다른 타겟으로 인식하지 않도록 타겟 객체의 연결은 신중하게 수행되어야 한다.

각각의 레이더 센서가 자체 측정을 수행하고, 감지 영역을 각각 유지하는 멀티 레이더 네트워크 환경에서, 연관(association)은 다른 센서가 중첩 영역에서 동일 타겟 객체를 표현할지를 결정하는 방법이다.

연관을 위해, 본 발명의 일 실시예에서는 센싱된 타겟 객체의 비교를 통해 최소 거리에 해당하는 센서 인덱스와 타겟 객체 인덱스를 찾을 수 있다.

각 레이더의 중첩 영역을 위한 연관 문제를 해결하기 위해, 본 발명의 일 실시예에서는 수학식 13을 이용한다.

간단히 표현하기 위해, 수학식 13에서 계산되는 조합된 상태(

)와 공분산(

)은 k 시간에 다른 센서(

)를 사용하여 센서 예측치(

)와 공분산 행렬(

)로 나타낼 수 있다.

인접한 타겟 객체 위치를 찾기 위해 본 발명의 일 실시예에서는 Mahalanobis 거리 방법을 사용한다.

를 포함하는 Mahalanobis 거리는 수학식 14와 같이 계산될 수 있다.

여기서,

는 일반적인 유클리드 거리와 달리 레이더 특성을 고려하기 위해 사용될 수 있다.

이는 멀티 센서와 각 레이더 센서가 다수의 타겟 객체를 감지하는 연관 구조이다.

본 발명의 일 실시예에서는 MOMS 최소화(MOMS minimiztion)을 통한 최소 거리를 가지는 연관된 센서 인덱스와 연관된 센싱된 타겟 객체 인덱스를 찾을 수 있다. 이를 수학식으로 나타내면 수학식 15와 같다.

여기서,

는 센싱된 레이더 셋을 나타낸다. 따라서, 연관된 타겟 객체의 포즈는

,

이다.

자율 주행 환경에서 2개의 레이더 센서가 중첩 영역을 구성한다. 따라서, 두 개의 서로 다른 센서로 구성된 중첩된 영역에 대한 연관 및 융합 문제를 해결했다.

센서 융합 장치(100)는 연관된 타겟 객체의 포즈(

,

)를 이용하여 조정점을 획득한다.

연관된 타겟 객체의 포즈(

,

)는 동일한 객체에 대한 값이나 동일한 위치(포인트)는 아니다. 이는 복수의 레이더가 동일한 타겟 객체에 대해 다른 점을 계산하는 비-일치 지점의 문제이다.

따라서, 본 발명의 일 실시예에서는 도 7에서 도시된 바와 같이, 자 차량의 기준점에 영향을 주는 조정점을 획득할 수 있다.

이상적인 상황에서 타겟 객체 표면의 여러 지점을 자기 차량의 기준점의 영향력을 미치는 표면 지점으로 조정할 수 있다.

이상적인 상황에서 타겟 차량 표면의 조정된 포즈(

)는 수학식 16과 같이 나타낼 수 있다.

여기서,

와

는 정규화된 조정 가중치 행렬을 나타낸다.

예를 들어, 기하학적 정보가

및

과 같이 주어진 경우,

와

는 도 7에 도시된 바와 같이 쉽게 획득될 수 있다.

즉, 센서 융합 장치(100)는 타겟 객체 표면에서 두개의 통합된 레이더 위치(

)와 자 차량의 DGPS 장착 지점 위치(

)를 알고 있으므로, 도 7과 같이 기하학적 증명(즉, 두 위치에 의해 정의된 선)에 의해 타겟 객체 표면의 조정된 조정점(

)를 계산할 수 있다.

즉, 도 7에서 보여지는 바와 같이, 보간된 레이터 위치(

)와 조정점(

) 사이의 거리(

)가 계산될 수 있다. 계산된 거리(

)는 조정점에 대한 보간된 레이더 위치의 가중치 행렬로 표현될 수 있다. 이를 수학식으로 나타내면 수학식 17과 같이 나타낼 수 있다.

,

가 즉각적으로 계산될 수 있다.

정규화된 조정된 가중치 행렬은 수학식 18과 같이 나타낼 수 있다.

정규화된 조정된 가중치 행렬

와

은 보간된 레이더 위치(

,

)와 조정점(

)의 거리에 관한 비율로 계산될 수 있다.

계산된 정규화된 조정된 가중치 행렬은 보간된 레이더 위치의 종축 및 횡축 상대 거리(

) 및 종축/횡축 상대 속도(

)와 관련될 수 있다.

단계 130에서 센서 융합 장치(110)는 조정점을 이용하여 복수의 센서에 의해 중복되는 감지 구역에 대한 감지 정보를 융합한다.

센서 융합 장치(100)는 연관된 타겟 객체 포즈(

)를 융합하기 위해 이전 획득된 정규화된 조정된 가중치 행렬(

)과 공분산 행렬(

)을 이용할 수 있다.

센서가 동일한 타겟 객체의 다른 표면점을 계산하는 경우(예를 들어, 타겟 객체가 감지 영역보다 크거나 센서에 매우 근접한 경우) 센서 융합 오류가 증가할 수 있다. 이는 센서가 동일 타겟 객체에 대해 다른 위치를 계산하기 때문이다. 서로 다른 센서가 감지하는 중첩되는 구역(영역)은 독립적이므로, 수학식 19와 같이 융합 알고리즘에 의해 추정된 상태(좌표)가 획득될 수 있다.

예측된 조정된 공분한은 수학식 20과 같이 계산될 수 있다.

도 8은 본 발명의 일 실시예에 따른 센서 융합 장치의 내부 구성을 개략적으로 도시한 블록도이다.

도 8을 참조하면, 본 발명의 일 실시예에 따른 센서 융합 장치(100)는 복수의 센서(810), 획득부(815), 조정부(820), 융합부(825), 메모리(830) 및 프로세서(835)를 포함하여 구성된다.

복수의 센서(810)는 차량의 각각의 위치에 부착되며, 각각의 감지 영역을 감지할 수 있다. 복수의 센서(810)에 의해 감지되는 영역은 중복될 수도 있다.

획득부(815)는 자 차량에 장착된 복수의 센서로부터 감지 정보를 각각 획득하기 위한 수단이다.

조정부(820)는 복수의 센서에 의한 각각의 감지 정보를 이용하여 하나의 타겟 객체로의 연관을 고려하여 타겟 객체에 대한 조정점을 결정하기 위한 수단이다.

융합부(825)는 조정점을 이용하여 복수의 센서의 각각의 감지 정보를 융합하기 위한 수단이다.

조정부(820) 및 융합부(825)의 세부 기능은 도 1 내지 도 7에서 설명한 바와 같으므로 중복되는 설명은 생략하기로 한다.

메모리(830)는 본 발명의 일 실시예에 따른 센서 융합 방법을 수행하기 위해 필요한 프로그램 코드들(명령어들)을 저장하기 위한 수단이다.

프로세서(835)는 본 발명의 일 실시예에 따른 센서 융합 장치(100)의 내부 구성 요소들(에를 들어, 센서(810), 메모리(830) 등)을 제어하기 위한 수단이다.

또한, 프로세서(835)에 의해 실행된 명령어들은 도 1 내지 도 7을 참조하여 설명한 바와 같이 센서 융합 방법을 수행할 수 있다. 이는 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.

본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100: 다중 센서 융합 장치
810: 센서
815: 획득부
820: 조정부
825: 융합부
830: 메모리
835: 프로세서

Claims

(a) 자 차량에 장착된 복수의 센서로부터 감지 정보를 각각 획득하는 단계;
(b) 상기 복수의 센서에 의해 서로 다르게 감지된 각각의 감지 정보를 이용하여 하나의 타겟 객체로의 연관을 위한 상기 타겟 객체에 대한 조정점을 결정하는 단계; 및
(c) 상기 조정점을 이용하여 복수의 센서의 각각의 감지 정보를 융합하는 단계를 포함하되,
상기 (b) 단계 이전에,
센서 정확도 모델을 이용하여 에러 특성값을 도출하는 단계; 및
상기 에러 특성값을 이용하여 칼만 필터를 적용하여 조합된 상태 및 공분산을 계산하는 단계를 더 포함하되,
상기 조정점은 상기 조합된 상태 및 공분산을 이용하여 계산되는 것을 특징으로 하는 다중 센서 융합 방법.
삭제
제1 항에 있어서,
상기 에러 특성값을 도출하는 단계는,
상기 복수의 센서에 의해 감지 가능한 영역(FOV)을 고려하여 복수의 점유 구역을 구성하는 단계;
상기 자 차량의 센서의 장착 위치 및 상기 타겟 객체의 기준점, 상기 타겟 객체의 GPS 장착 위치를 이용하여 상기 타겟 객체의 표면상으로 보간된 센서 및 GPS 위치를 결정하는 단계;
상기 보간된 센서 및 GPS 위치를 이용하여 종축 오차 및 횡축 오차를 계산하는 단계; 및
상기 각각의 점유 구역에서 상기 종축 오차 및 횡축 오차의 평균값이 제로(0)가 되도록 에러 특성값을 도출하는 단계를 포함하는 다중 센서 융합 방법.
제3 항에 있어서,
상기 조합된 상태 및 공분산을 계산하는 단계는,
상기 복수의 점유 구역 중 상기 자 차량에 영향을 미치는 적어도 4개의 점유 구역을 선택하여 상기 조합된 상태 및 공분산을 계산하는 것을 특징으로 하는 다중 센서 융합 방법.
제1 항에 있어서,
상기 (b) 단계는,
상기 조합된 상태 및 공분산을 이용한 Mahalanobis 거리를 계산하고, 상기 계산된 Mahalanobis 거리가 최소인 거리를 이용하여 상기 조정점을 계산하는 것을 특징으로 하는 다중 센서 융합 방법.
제1 항에 있어서,
상기 (c) 단계는,
타겟 객체 표면에서 적어도 두개의 보간된 센서 위치와 조정점 사이의 거리를 계산하는 단계;
상기 계산된 거리를 이용하여 상기 감지 정보를 융합하는 단계를 포함하는 다중 센서 융합 방법.
제1 항, 제3항 내지 제6 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체 제품.
자 차량에 장착된 복수의 센서로부터 감지 정보를 각각 획득하는 획득부;
상기 복수의 센서에 의해 서로 다르게 감지된 각각의 감지 정보를 이용하여 하나의 타겟 객체로의 연관을 위한 상기 타겟 객체에 대한 조정점을 결정하는 조정부; 및
상기 조정점을 이용하여 복수의 센서의 각각의 감지 정보를 융합하는 융합부를 포함하되,
상기 조정부는,
센서 정확도 모델을 이용하여 에러 특성값을 도출하고, 상기 에러 특성값을 이용하여 칼만 필터를 적용하여 조합된 상태 및 공분산을 계산하되,
상기 조정점은 상기 조합된 상태 및 공분산을 이용하여 계산되는 것을 특징으로 하는 다중 센서 융합 장치.
삭제
제8 항에 있어서,
상기 조정부는,
상기 복수의 센서에 의해 감지 가능한 영역(FOV)을 고려하여 복수의 점유 구역을 구성하며, 상기 자 차량의 센서의 장착 위치 및 상기 타겟 객체의 기준점, 상기 타겟 객체의 GPS 장착 위치를 이용하여 상기 타겟 객체의 표면상으로 보간된 센서 및 GPS 위치를 결정하고, 상기 보간된 센서 및 GPS 위치를 이용하여 종축 오차 및 횡축 오차를 계산하며, 상기 각각의 점유 구역에서 상기 종축 오차 및 횡축 오차의 평균값이 제로(0)가 되도록 에러 특성값을 도출하는 것을 특징으로 하는 다중 센서 융합 장치.
제10 항에 있어서,
상기 조정부는,
상기 복수의 점유 구역 중 상기 자 차량에 영향을 미치는 적어도 4개의 점유 구역을 선택하여 상기 조합된 상태 및 공분산을 계산하는 것을 특징으로 하는 다중 센서 융합 장치.
제8 항에 있어서,
상기 조정부는,
상기 조합된 상태 및 공분산을 이용한 Mahalanobis 거리를 계산하고, 상기 계산된 Mahalanobis 거리가 최소인 거리를 이용하여 상기 조정점을 계산하는 것을 특징으로 하는 다중 센서 융합 장치.
제8 항에 있어서,
상기 융합부는,
타겟 객체 표면에서 적어도 두개의 보간된 센서 위치와 조정점 사이의 거리를 계산하고, 상기 계산된 거리를 이용하여 상기 감지 정보를 융합하는 것을 특징으로 하는 다중 센서 융합 장치.
자 차량에 장착된 복수의 센서; 및
상기 복수의 센서에 의해 획득된 각각의 감지 정보를 이용하여 하나의 타겟 객체로의 연관을 고려하여 상기 타겟 객체에 대한 조정점을 결정한 후 상기 조정점을 이용하여 복수의 센서의 각각의 감지 정보를 융합하는 다중 센서 융합부를 포함하되,
상기 다중 센서 융합부는,
센서 정확도 모델을 이용하여 에러 특성값을 도출하고, 상기 에러 특성값을 이용하여 칼만 필터를 적용하여 조합된 상태 및 공분산을 계산하되,
상기 조정점은 상기 조합된 상태 및 공분산을 이용하여 계산되는 것을 특징으로 하는 차량.