KR101689335B1

KR101689335B1 - 복수 개의 불확실성 또는 상호 상관성이 있을 수 있는 데이터를 융합하는 방법 및 장치

Info

Publication number: KR101689335B1
Application number: KR1020150058160A
Authority: KR
Inventors: 이석한; 아부바커
Original assignee: 성균관대학교산학협력단
Priority date: 2015-04-24
Filing date: 2015-04-24
Publication date: 2016-12-23
Also published as: KR20160126722A; US10061784B2; US20160314574A1

Abstract

본 발명은 데이터 융합 방법을 개시하고 있다. 상기 방법은 복수의 N 차원 - N은 임의의 자연수임 - 의 불확실 데이터를 입력하는 단계, 상기 입력된 복수의 불확실 데이터를 기반으로 2N 차원의 확장된 공간에 데이터 세트의 제 1 형태로 표현하는 단계, 상기 확장된 공간에서의 화이트닝 변환(WT: Whitening Transform)을 수행하여 데이터 세트의 변환된 제 2 형태를 생성하는 단계, 상기 데이터 세트의 제 2 형태로부터 변환된 제약 매니폴드(constraint manifold)까지의 선형 프로젝션(linear projection)을 통해 제 1 지점 또는 제 1 벡터를 획득하는 단계 및 상기 획득된 제 1 지점 또는 제 1 벡터를 역화이트닝 변환하여 N 차원의 융합 데이터를 생성하는 단계를 포함한다.

Description

복수 개의 불확실성 또는 상호 상관성이 있을 수 있는 데이터를 융합하는 방법 및 장치{METHOD AND APPARATUS FOR FUSING A PLURALITY OF DATA BEING ABLE TO HAVE CORRELATION OR UNCERTAINTY}

본 발명은 데이터를 융합하는 방법 및 장치에 관한 것으로, 보다 상세하게는 불확실성 또는 상호 상관성(correlation)이 있는 복수의 데이터를 융합하는 최적화된 방법 및 장치에 관한 것이다.

데이터의 통합(integration) 또는 융합(fusion)은 다수의 소스들로부터 이용가능한 중복 정보를 적극적으로 활용함으로써 더 정확하고 덜 불확실한 정보를 획득하는 것이다. 중복 정보는 확장된 시간 구간동안 모니터링되는 하나의 센서로부터 오거나 또는 공통 시간 동안 모니터링되는 다수의 센서들로부터 올 수 있다. 데이터 융합은 모바일 로봇 공학, 원격 센싱, 자동화, 의료 영상 및 무선 센서 네트워크 등에 광범위하게 응용되고 있다. 최대 우도, 칼말 필터(Kalman filter), 퍼지 로직(Fuzzy logic) 및 공분산 기반 방법과 같은 서로 다른 접근법들이 데이터 융합 분야에서 개발되어왔다.

특히, 공분산 기반 방법은 공분산 합집합(CU: Covariance union) 및 공분산 교집합(CI: Covariance Intersection)으로 분류될 수 있다. 다만, 이러한 방식은 가중치를 갖는 추정치들의 복잡한 조합을 이용하여 서로 다른 공분산 값을 병합하는데, 이에 따라 비선형 비용 함수의 최적화를 요구하고 반복 연산이 요구되기 때문에, 연산 복잡도 측면에서 좋지 않다. 또한, 동일한 공분산 매트릭스를 갖는 두 추정치를 고려해야 하므로 사용이 용이하지 않다는 문제점을 갖는다.

즉, 종래에는, 칼만필터와 같이, 데이터 간의 상관성(correlation)이 있는 경우 적용이 어려운 문제점이 있었고, 기껏해야 근사해(covariance Intersection)만을 구할 수밖에 없는 문제점이 있다. 또한, 최적 융합해를 구하는 과정에서 반복 연산이 필요하여 계산 시간이 길어지는 문제점이 있다.

상술한 문제점을 해결하기 위한 본 발명의 목적은 데이터들 간의 상관성이 있는 경우에도 근사해가 아닌 정확한 해를 반복 계산에 의존하지 않고 폐쇄형(closed form)으로 한번에 빠르고 정확하게 구하는 데이터 융합 방법을 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명의 데이터 융합 방법은 복수의 N 차원 - N은 임의의 자연수임 - 의 불확실 데이터를 입력하는 단계, 상기 입력된 복수의 불확실 데이터를 기반으로 2N 차원의 확장된 공간에 데이터 세트의 제 1 형태로 표현하는 단계, 상기 확장된 공간에서의 화이트닝 변환(WT: Whitening Transform)을 수행하여 데이터 세트의 변환된 제 2 형태를 생성하는 단계, 상기 데이터 세트의 제 2 형태로부터 변환된 제약 매니폴드(constraint manifold)까지의 선형 프로젝션(linear projection)을 통해 제 1 지점 또는 제 1 벡터를 획득하는 단계 및 상기 획득된 제 1 지점 또는 제 1 벡터를 역화이트닝 변환하여 N 차원의 융합 데이터를 생성하는 단계를 포함할 수 있다.

상기 제 1 지점 또는 제 1 벡터는 상기 데이터 세트의 제 2 형태의 중심점과 상기 변환된 제약 매니폴드의 중심점 사이의 유클리드 거리(Euclidean distance)를 최소화하는 지점 또는 벡터일 수 있다.

상기 복수의 데이터는 복수의 센서에서 측정된 데이터의 평균값 및 공분산 값을 포함할 수 있다.

상기 데이터 세트의 제 1 형태는 상기 평균값 및 공분산 값을 이용하여 형성되는 타원형의 데이터 세트일 수 있다.

상기 데이터 세트의 제 2 형태는 원형의 데이터 세트일 수 있다.

상기 복수의 불확실 데이터는 서로 다른 소스(source)로부터 동일한 값을 센싱한 데이터들일 수 있다.

상기 제 1 벡터는 상기 융합 데이터의 평균 벡터(mean vector)일 수 있다.

상기 데이터 세트의 제 1 형태와, 프로젝션된 변환된 제약 매니폴드의 교집합 데이터를 이용하여 상기 융합 데이터의 조합된 공분산 값을 산출할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 데이터 융합 장치는 복수의 N 차원 - N은 임의의 자연수임 - 의 불확실 데이터를 입력하는 데이터 입력부, 상기 입력된 복수의 불확실 데이터를 기반으로 2N 차원의 확장된 공간에 데이터 세트의 제 1 형태로 표현하는 공간 표현부, 상기 확장된 공간에서의 화이트닝 변환(WT: Whitening Transform)을 수행하여 데이터 세트의 변환된 제 2 형태를 생성하는 화이트닝 변환부, 상기 데이터 세트의 제 2 형태로부터 변환된 제약 매니폴드(constraint manifold)까지의 선형 프로젝션(linear projection)을 통해 제 1 지점 또는 제 1 벡터를 획득하는 프로젝션부 및 상기 획득된 제 1 지점 또는 제 1 벡터를 역화이트닝 변환하여 N 차원의 융합 데이터를 생성하는 역변환부를 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 적어도 3개의 영상으로부터 융합된 데이터를 생성하는 방법은 제 1 상태 - 상태는 디바이스의 위치 및 회전값을 포함함 - 에서 디바이스가 센싱한 제 1 영상과 제 2 상태에서 상기 디바이스가 센싱한 제 2 영상을 기반으로 디바이스의 움직임을 추정한 제 1 추정 데이터를 생성하는 단계, 상기 제 2 영상과 제 3 상태에서 상기 디바이스가 센싱한 제 3 영상을 기반으로 상기 디바이스의 움직임을 추정한 제 2 추정 데이터를 생성하는 단계, 상기 제 1 추정 데이터 및 상기 제 2 추정 데이터를 이용하여 상기 제 1 지점과 상기 제 3 지점까지의 상기 디바이스 움직임을 추정한 제 3 추정 데이터를 생성하는 단계, 상기 제 1 영상과 상기 제 3 영상을 기반으로 상기 디바이스의 움직임을 추정한 제 4 추정 데이터를 생성하는 단계 및 상기 제 3 추정 데이터와 상기 제 4 추정 데이터의 융합 데이터를 산출하는 단계를 포함하되, 상기 융합 데이터 산출 단계는, 상기 제 3 및 제 4 추정 데이터를 2N 차원의 확장된 공간에 데이터 세트의 제 1 형태로 표현하는 단계, 상기 확장된 공간에서의 화이트닝 변환(WT: Whitening Transform)을 수행하여 데이터 세트의 변환된 제 2 형태를 생성하는 단계, 상기 데이터 세트의 제 2 형태로부터 변환된 제약 매니폴드(constraint manifold)까지의 선형 프로젝션(linear projection)을 통해 제 1 지점 또는 제 1 벡터를 획득하는 단계 및 상기 획득된 제 1 지점 또는 제 1 벡터를 역화이트닝 변환하여 상기 융합 데이터를 생성하는 단계를 포함할 수 있다.

상기 제 1 추정 데이터, 상기 제 2 추정 데이터 및 상기 제 4 추정 데이터는 VO(Visual Odometry)를 이용하여 추정될 수 있다.

상기 최적 지점 또는 상기 평균 벡터는 상기 데이터 세트의 제 2 형태의 중심점과 상기 변환된 제약 매니폴드의 중심점 사이의 유클리드 거리(Euclidean distance)를 최소화하는 지점 또는 벡터일 수 있다.

상기 상기 제 3 및 제 4 추정 데이터는 평균값 및 공분산 값을 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 적어도 3개의 영상으로부터 융합된 데이터를 생성하는 장치는 제 1 상태 - 상태는 디바이스의 위치 및 회전값을 포함함 - 에서 디바이스가 센싱한 제 1 영상과 제 2 상태에서 상기 디바이스가 센싱한 제 2 영상을 기반으로 디바이스의 움직임을 추정한 제 1 추정 데이터를 생성하는 제 1 추정 데이터 생성부, 상기 제 2 영상과 제 3 상태에서 상기 디바이스가 센싱한 제 3 영상을 기반으로 상기 디바이스의 움직임을 추정한 제 2 추정 데이터를 생성하는 제 2 추정 데이터 생성부, 상기 제 1 추정 데이터 및 상기 제 2 추정 데이터를 이용하여 상기 제 1 지점과 상기 제 3 지점까지의 상기 디바이스 움직임을 추정한 제 3 추정 데이터를 생성하는 제 3 추정 데이터 생성부, 상기 제 1 영상과 상기 제 3 영상을 기반으로 상기 디바이스의 움직임을 추정한 제 4 추정 데이터를 생성하는 제 4 추정 데이터 생성부 및 상기 제 3 추정 데이터와 상기 제 4 추정 데이터의 융합 데이터를 산출하는 융합 데이터 생성부를 포함하되, 상기 융합 데이터 생성부는, 상기 제 3 및 제 4 추정 데이터를 2N 차원의 확장된 공간에 데이터 세트의 제 1 형태로 표현하는 공간 표현부, 상기 확장된 공간에서의 화이트닝 변환(WT: Whitening Transform)을 수행하여 데이터 세트의 변환된 제 2 형태를 생성하는 화이트닝 변환부, 상기 데이터 세트의 제 2 형태로부터 변환된 제약 매니폴드(constraint manifold)까지의 선형 프로젝션(linear projection)을 통해 제 1 지점 또는 제 1 벡터를 획득하는 프로젝션부 및 상기 획득된 제 1 지점 또는 제 1 벡터를 역화이트닝 변환하여 상기 융합 데이터를 생성하는 역변환부를 포함할 수 있다.

본 발명의 복수 개의 데이터를 융합하는 방법 및 장치에 따르면, 중복 데이터를 통한 데이터 융합으로 보다 정확하고 정밀한 정보를 쉽고 빠르게 얻을 수 있기 때문에, 데이터 융합 모바일 로봇, 원격 감지, 자동화, 응료 영상 및 무선 센서 네트워크 등 다양한 분야에서 광범위하게 응용 가능한 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 복수 개의 데이터를 융합하는 방법을 나타낸 흐름도,
도 2는 본 발명의 일 실시예에 따른 복수 개의 데이터를 융합하는 방법에 따라 1차원 입력 데이터를 2차원 데이터 영역에 표현하는 방법을 설명하기 위한 개념도,
도 3은 본 발명의 일 실시예에 따른 복수 개의 데이터를 융합하는 방법에 따라 2차원 데이터 영역의 표현을 화이트닝 변환하고 선형 프로젝션을 수행하는 방법을 설명하기 위한 개념도,
도 4는 본 발명의 일 실시예에 따른 복수 개의 3차원 데이터를 융합하는 방법을 설명하기 위한 도면,
도 5는 본 발명의 일 실시예에 따른 복수 개의 데이터를 융합하는 장치를 나타낸 블록도,
도 6은 본 발명의 다른 실시예에 따라 서로 다른 3 지점의 영상 데이터를 가비고 움직임 최적화를 수행하는 방법을 설명하기 위한 도면,
도 7은 본 발명의 다른 실시예에 따른 서로 다른 3 지점의 영상 데이터를 가비고 움직임 최적화를 수행하는 장치를 나타낸 블록도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 복수 개의 데이터를 융합하는 방법을 나타낸 흐름도이다.

도 1을 참조하면, 데이터 융합 장치(미도시)는 복수 개의 센서로부터 측정 데이터(102, 104)를 수신할 수 있다. 센서가 측정한 측정 데이터(102, 104)는 예컨대, 거리, 높이와 같은 동일한 양을 나타내는 두 개 이상의 불확실한 데이터일 수 있다. 이를 융합된 하나의 데이터와 그 데이터에 대한 불확실성으로 정의할 수 있다. 상기 측정 데이터(102, 104)는 각각 하나의 센서에서 측정한 여러 데이터의 평균값과 공분산 값을 포함할 수 있다. 이 값들은 일부 실제 상태를 추정한 값일 수 있다. 측정 데이터(102, 104)는 n차원의 차원을 가질 수 있다. n은 자연수이며, 1에서 3의 값을 가질 수 있다. 즉, 1차원부터 3차원의 특정 공간 상의 지점을 나타낼 수 있다.

이러한 불확실한 측정 데이터(102, 104) 값을 장치에 입력하면, 장치는 2n 차원의 확장된 공간에서 측정 데이터(102, 104)를 표현한다(S110). 이는 도 2를 통해 상세히 설명한다.

도 2는 본 발명의 일 실시예에 따른 복수 개의 데이터를 융합하는 방법에 따라 1차원 입력 데이터를 2차원 데이터 영역에 표현하는 방법을 설명하기 위한 개념도이다.

도 2의 (a)를 참조하면, 측정 데이터는 1차원(n=1)으로 데이터 1은 μ₁과 Σ₁로 표현 가능하고, 데이터 2는 μ₂와 Σ₂로 표현가능하다. 여기서, μ는 평균 값을 의미하고, Σ는 공분산 값을 의미한다. 따라서, 이러한 데이터 값을 1차원으로 맵핑하면 하나의 선 위에 평균 값을 중심으로 공분산 값만큼의 구간에 매핑될 수 있다. 예컨대, 2차원 이상의 데이터는 x_k = [x₁, x₂, ..., x_n]^T로 표현가능하고, 이때, μ_k = [μ₁, μ₂, ..., μ_n]^T로 표현가능하며, 공분산 값은 Σ_k = diag[Σ₁, Σ₂, ..., Σ_n]^T로 표현가능할 수 있다.

이를 2n, 즉, 2차원으로 매핑하면 도 2의 (b)와 같이 표현할 수 있다. 도 2의 (b)와 같이, x₁ 축 및 x₂ 축을 갖는 2차원의 공간에 데이터 1의 평균점 μ₁과 데이터 2의 평균점 μ₂를 중심점으로 갖으며, 데이터 1 및 2의 공분산 값을 높이 및 폭으로 갖는 타원형의 데이터 세트(210)로 표현될 수 있다. 이러한 확장된 공간에서의 데이터 세트(210)를 통해 중복성을 이용하여 측정의 정확성을 개선할 수 있다. 타원형의 데이터 세트(210)는 아래의 공식으로 정의할 수 있다.

여기서, F는 확장된 공간에서의 데이터 세트를 의미하고, x_k는 서로 다른 소스 정보로부터 수신되는 측정 데이터를 의미하고, 여기서, k 값은 n개가 될 수 있다. n이 3인 경우는 하이퍼-타원(hyper-ellipsoid)의 형태를 가질 수 있다. 이는 이하 도 4를 통해 상세히 설명한다.

도 2b로 돌아가서, 이러한 타원형의 데이터 세트(210)는 원칙적으로 제약 매니폴드(220: constraint manifold)를 만족해야 한다. 여기서 제약 매니폴드(220)는 동일한 양을 측정한 데이터라는 가정 하에, 2차원의 확장된 공간에서는 x₁ = x₂의 매니폴드(220)일 수 있다. 2차원보다 고차원의 공간에서의 제약 매니폴드(220)는 다음과 같이 표현될 수 있다.

따라서, 최적 융합 데이터를 산출하는 것은 이러한 타원형의 데이터 세트(210)의 중심점으로부터 상기 제약 매니폴드(220) 상의 지점 사이의 가장 가까운 거리를 찾는 것이다. 즉, 타원형의 데이터 세트(210)를 확장시키면서 제약 매니폴드(220)와의 접점을 획득하는 것인데, 이러한 타원형의 데이터 세트(210)의 확장은 그 연산 복잡도가 매우 높고 비효율적이다.

따라서, 다시 도 2로 돌아가서, 장치는 2n 차원의 공간에 측정 데이터를 표현한 후, 확장된 공간에서의 화이트닝 변환(WT: Whitening Transform)을 적용한다(S120). 화이트닝 변환은 소정 공분산을 갖는 데이터 세트를 전혀 상관성이 없는 데이터 세트 및 단위 공분산으로 변환하는 선형 변환 방법이다. 화이트닝 변환을 수행한 후에는, 확장된 공간에서 원형 데이터 세트를 변형된 제약 매니폴드로 선형 프로젝션(projection)을 적용하여 최적해를 구할 수 있다(S130). 즉, 원형 데이터 세트의 중심점에서 매니폴드로 수선을 내리는 동작을 수행하여 수선이 매니폴드와 만나는 접점을 최적해로 획득할 수 있다. 이는 도 3을 통해 보다 상세히 설명한다.

도 3은 본 발명의 일 실시예에 따른 복수 개의 데이터를 융합하는 방법에 따라 2차원 데이터 영역의 표현을 화이트닝 변환하고 선형 프로젝션을 수행하는 방법을 설명하기 위한 개념도이다.

도 3을 참조하면, 화이트닝 변환을 적용하면, x₁ 및 x₂ 축을 갖는 2차원 공간은 x₁' 및 x₂'를 갖는 변형된 2차원 공간으로 바뀌고, 2차원의 타원 형태의 데이터 세트는 원형의 데이터 세트(310)로 변형된다. 그리고, 제약 매니폴드(320) 역시 변형될 수 있다. 변환 전과 후의 데이터 세트는 아래와 같이 정의될 수 있다.

여기서, μ'_k = [μ'₁, μ'₂]^T이다.

이와 같이, 원형의 데이터 세트(310)로 변환되면 제약 매니폴드(320)와의 최소 거리를 구하는 방법이 용이하게 된다. 즉, 원형의 데이터 세트(310)를 확장하면서 변형된 제약 매니폴드(320)와의 접점을 구하면 되는데, 이 지점을 최적 지점(330)으로 정의할 수 있다. 변형된 제약 매니폴드(320)에 프로젝션(projection)을 내려 매니폴드(320)와 만나는 지점을 최적 지점(330)으로 정의할 수 있다.

다시 도 2로 돌아가서, 변형된 확장 공간에서 최적 지점을 구하고 나면, 다시 역화이트닝 변환을 적용하여 2N 차원의 확장된 공간으로 나타내고, 이를 다시 N차원으로 변환하여 N차원의 융합 데이터를 생성할 수 있다(S140).

도 4는 본 발명의 일 실시예에 따른 복수 개의 3차원 데이터를 융합하는 방법을 설명하기 위한 도면이다.

도 4의 (a)를 참조하면, 1차원의 데이터가 아닌 x, y 및 z의 공간 상의 좌표를 갖는 3차원의 데이터를 가지고도 본 발명의 데이터 융합 방법을 적용할 수 있다. 복수 개의 3차원 데이터를 융합하기 위해선 본 발명의 특징에 따라 6차원의 확장된 공간이 필요하다. 따라서, 실제 상태(μ, Σ)의 두 추정값들(μ₁ = [α₁, β₁, γ₁], Σ₁) 및 (μ₂ = [α₂, β₂, γ₂], Σ₂)를 가정하고, 이 두 추정값의 융합을 고려할 수 있다. 이 두 값들의 불확실성은 그것의 중심으로 평균 벡터(mean vector)를 갖는 3차원의 타원을 이용하여 각각 표현될 수 있다. 다만, 이러한 두 추정값의 융합을 위해서는, x₁, x₂, y₁, y₂, z₁ 및 z₂ 축으로 이루어진 6차원의 공간이 요구될 수 있다.

장치는 데이터 1 및 2를 입력으로 받으면, 6차원의 확장된 공간 상에 하이퍼-타원(E: hyper-ellipsoid)를 생성한다. 그리고는, 전술한 바와 같이,

의 매니폴드(M)를 생성할 수 있다. 여기서 융합 최적해를 찾기 위해서는, 하이퍼-타원(E)과 선형 매니폴드(M) 상의 특정 지점(P) 사이의 스퀘어 마할라노비스 거리(Square Mahalanobis Distance)를 최소화하는 값을 찾아야 한다.

본 발명의 실시예에 따라, 화이트닝 변환을 하고 나면, 도 4의 (b)와 같이, 하이퍼-타원(E)가 하이퍼-구(S: hyper-sphere)로 변형될 수 있다. 매니폴드 역시 새로운 공간에서 M'로 변형될 수 있다. 본 발명의 실시예에 따르면, 이러한 구 상에 매니폴드(M')를 프로젝션함으로써 최적해를 구할 수 있다. 보다 상세하게, 융합 데이터의 최적해를 찾는 방법은 변형된 매니폴드(M') 상의 지점(P')와 상기 하이퍼-구 S의 중심점(μ') 사이의 유클리드 거리를 최소화하는 값을 찾는 것이다. 최적해를 찾기 위해 다음의 부분 미분을 수행해야 한다.

장치는 위 수학식 4의 해를 구함으로써, 융합된 타원의 최적화된 평균 벡터를 획득할 수 있다. 이렇게 구한 해는 역화이트닝 변환을 이용하여 원래 공간으로 변환될 수 있다.

도 4의 (c)를 참조하면, 하이퍼-타원(E)의 매니폴드의 프로젝션 이후, M과 E의 교집합이 에러 바운드(error bound)가 될 수 있다. 앞선 단계에서 장치는 융합된 타원의 평균 벡터를 산출하였으므로, 이번 단계에서는 조합된 공분산을 산출한다.

중심점(μ)를 통과하는 하이퍼-타원(E) 상의 선형 매니폴드를 변환하면 다음과 같이 표현할 수 있다.

또한, 하이퍼-타원의 함수는 다음과 같다.

따라서, 제약 매니폴드(M)과 하이퍼-타원(E)의 교집합인 3D 타원(I)는 수학식 5 및 수학식 6을 이용하여 해를 구하면, 조합된 공분산을 다음과 같이 산출할 수 있다.

이를 통해, 복수 개의 3차원 데이터의 융합 데이터의 해인 평균 벡터 및 조합된 공분산 값을 산출할 수 있다.

도 5는 본 발명의 일 실시예에 따른 복수 개의 데이터를 융합하는 장치를 나타낸 블록도이다. 도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 데이터 융합 장치는 복수 개의 센서(510-1~510-N), 데이터 입력부(520), 공간 표현부(530), 화이트닝 변환부(540), 프로젝션부(550) 및 역변환부(560)를 포함할 수 있다.

복수 개의 센서(510-1~510-N)는 n차원의 데이터를 각각 센싱하여 획득할 수 있다. 복수 개의 센서(510-1~510-N)는 동일한 값을 센싱하여 측정 데이터를 각각 획득할 수 있다.

데이터 입력부(520)는 상기 복수 개의 센서(510-1~510-N)가 센싱한 측정 데이터를 입력한다.

공간 표현부(530)는 2n 차원의 확장된 공간에서 측정 데이터를 표현한다. 이는 평균값과 공분산 값을 이용하여 표현가능하고, 데이터의 평균 값을 중심점으로 하고, 각 데이터의 공분산 값을 높이와 폭으로 하는 타원형의 데이터로 표현될 수 있다. 3차원의 데이터인 경우, 하이퍼-타원으로 표현할 수 있다. 공간 표현부(530)는 2n 차원의 확장된 공간에 제약 매니폴드를 생성할 수 있다.

화이트닝 변환부(540)는 상기 확장된 공간을 화이트닝 변환한다. 화이트닝 변환에 따라 타원형의 데이터 세트는 원형 또는 구형으로 변형되고, 제약 매니폴드 역시 공간의 특성에 맞게 변형된다. 이에 따라 원형 또는 구형의 데이터 세트와 변형된 제약 매니폴드가 획득되고, 이를 이용하면 용이하게 최적해를 구할 수 있다.

프로젝션부(550)는 원형 또는 구형의 데이터의 중심으로부터 상기 변형된 제약 매니폴드에 프로젝션을 수행하여 최적해를 생성한다. 최적해는 2차원의 경우, 하나의 지점(point)로 생성될 수 있다. 또는, 평균 벡터로 산출될 수 있고, 그에 대한 에러 바운드로, 평균 벡터와 조합된 공분산 값을 같이 산출할 수 있다.

역변환부(560)는 산출되는 데이터를 역화이트닝 변환하여, 2n 차원의 확장된 공간으로 되돌려 놓고, 이를 원래 n차원의 데이터로 역변환하여 융합 데이터의 최적해를 획득할 수 있다.

도 6은 본 발명의 다른 실시예에 따라 서로 다른 3 지점의 영상 데이터를 가비고 움직임 최적화를 수행하는 방법을 설명하기 위한 도면이다.

도 6을 참조하면, 카메라 또는 로봇 차량 등과 같은 센싱 디바이스를 통해 하나의 객체를 서로 다른 위치에서 촬영한 적어도 3개의 영상의 서로 다른 움직임 추정 데이터를 융합하여 디바이스 움직임의 최적해를 산출할 수 있다. 여기서, 움직임은 센싱 디바이스 변형 또는 회전 등을 나타낼 수 있다. 움직임을 추정하기 위해 VO(Visual Odometry)가 사용되는데, 이는 시각적 영상을 이용하여 카메라나 로봇 차량의 자아 움직임을 추정하는 프로세스이다. VO를 이용하여 움직임을 추정하는 것은 에러가 많을 수 있고, 에러는 도 6에 도시된 바와 같이, 하나의 지점에서 다른 지점으로 센싱 디바이스가 움직임에 따라 누적될 수 있다. VO에서, 센싱 디바이스의 현재 움직임은 이후 뷰들로부터의 움직임들을 연쇄적으로 더함으로써 계산된다. 즉, 지점 1에서 지점 3까지의 움직임은 지점 1에서 지점 2까지의 움직임과 지점 2에서 지점 3까지의 움직임을 누적한 값과 같아야 한다. 즉, 측정된 물체의 포즈(pose)와 지점 3에서 계산된 포즈는 동일한 장면에 대한 중복 정보를 주고, 이는 본 발명의 데이터 융합 방법을 통해, 더 작은 불확실성을 갖는 포즈의 더 좋은 추정치를 주도록 활용될 수 있다.

도 7은 본 발명의 다른 실시예에 따른 서로 다른 3 지점의 영상 데이터를 가비고 움직임 최적화를 수행하는 장치를 나타낸 블록도이다. 도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 움직임 최적화 수행 장치는 카메라(710), 제 1 추정 데이터 생성부(720), 제 2 추정 데이터 생성부(722), 제 3 추정 데이터 생성부(724), 제 5 추정 데이터 생성부(726) 및 데이터 융합부(730)를 포함할 수 있다.

도 7을 참조하면, 카메라(710)는 이동하면서 적어도 3개의 영상(영상 1(702), 영상 2(704) 및 영상 3(706)을 포함함)을 획득할 수 있다. 획득되는 영상(702, 704, 706)은 RGB-D 시퀀스일 수 있다. 카메라(710)는 지점 1에서 영상 1(702)을, 지점 2에서 영상 2(704)를, 지점 3에서 영상 3(706)을 센싱할 수 있다(도 6 참조). 즉, 지점 1, 지점 2 및 지점 3은 카메라의 위치와 회전량에 변화가 있다. 즉, x,y 및 z 축의 좌표가 각각 다를 수 있다.

제 1 추정 데이터 생성부(720)는 영상 1(702)과 영상 2(704)를 입력하여 VO를 적용하여 지점 1로부터 지점 2까지의 카메라(710)의 움직임을 추정한다.

제 2 추정 데이터 생성부(722)는 영상 2(704)와 영상 3(706)을 입력하여 VO를 적용하여 지점 2로부터 지점 3까지의 카메라(710)의 움직임을 추정한다.

제 3 추정 데이터 생성부(724)는 제 1 및 제 2 추정 데이터 생성부(720, 722)에서 추정한 추정 움직임 데이터를 이용하여 지점 1로부터 지점 3까지의 카메라(710)의 움직임을 추정한다.

제 4 추정 데이터 생성부(726)는 영상 1(702)과 영상 3(706)를 입력하여 VO를 적용하여 지점 1로부터 지점 3까지의 카메라(710)의 움직임을 추정한다.

이론적으로, 제 3 추정 데이터 생성부(724)에서 추정한 움직임 데이터와 제 4 추정 데이터 생성부(726)에서 추정한 움직임 데이터가 같아야 하나 데이터의 불확실성에 의해 두 값은 다른 값을 갖을 수 있다.

따라서, 데이터 융합부(730)는 제 3 추정 데이터 생성부(724)와 제 4 추정 데이터 생성부(726)에서 생성한 복수 개의 추정 움직임 데이터를 입력받아 최적의 융합 움직임 데이터를 산출할 수 있다.

데이터 융합부(730)는 추정된 움직임 데이터(n차원)를 입력받아 2n 차원의 확장된 공간에서 추정된 움직임 데이터를 표현하고, 이를 화이트닝 변환한다. 화이트닝 변환에 따라 확장된 공간에서의 타원형의 데이터 세트는 원형 또는 구형으로 변형되고, 제약 매니폴드 역시 공간의 특성에 맞게 변형된다. 그리고는, 데이터 융합부(730)는 원형 또는 구형의 데이터의 중심으로부터 상기 변형된 제약 매니폴드에 프로젝션을 수행하여 최적해를 생성한다. 데이터 융합부(730)는 생성된 최적해를 원래의 공간에 되돌려 놓기 위해, 역화이트닝 변환 및 2n 차원의 공간에서 n차원의 공간으로의 공간 역변환을 수행할 수 있다.

이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

복수의 N 차원 - N은 임의의 자연수임 - 의 불확실 데이터를 입력하는 단계;
상기 입력된 복수의 불확실 데이터를 기반으로 2N 차원의 확장된 공간에 데이터 세트의 제 1 형태로 표현하는 단계;
상기 확장된 공간에서의 화이트닝 변환(WT: Whitening Transform)을 수행하여 데이터 세트의 변환된 제 2 형태를 생성하는 단계;
상기 데이터 세트의 제 2 형태로부터 변환된 제약 매니폴드(constraint manifold)까지의 선형 프로젝션(linear projection)을 통해 제 1 지점 또는 제 1 벡터를 획득하는 단계;
상기 획득된 제 1 지점 또는 제 1 벡터를 역화이트닝 변환하여 N 차원의 융합 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 복수 개의 데이터를 융합하는 방법.
제 1 항에 있어서,
상기 제 1 지점 또는 제 1 벡터는 상기 데이터 세트의 제 2 형태의 중심점과 상기 변환된 제약 매니폴드의 중심점 사이의 유클리드 거리(Euclidean distance)를 최소화하는 지점 또는 벡터인 것을 특징으로 하는 복수 개의 데이터를 융합하는 방법.
제 1 항에 있어서,
상기 복수의 불확실 데이터는 복수의 센서에서 측정된 데이터의 평균값 및 공분산 값을 포함하는 것을 특징으로 하는 복수 개의 데이터를 융합하는 방법.
제 3 항에 있어서,
상기 데이터 세트의 제 1 형태는 상기 평균값 및 공분산 값을 이용하여 형성되는 타원형의 데이터 세트인 것을 특징으로 하는 복수 개의 데이터를 융합하는 방법.
제 1 항에 있어서,
상기 데이터 세트의 제 2 형태는 원형의 데이터 세트인 것을 특징으로 하는 복수 개의 데이터를 융합하는 방법.
제 1 항에 있어서,
상기 복수의 불확실 데이터는 서로 다른 소스(source)로부터 동일한 값을 센싱한 데이터들인 것을 특징으로 하는 복수 개의 데이터를 융합하는 방법.
제 1 항에 있어서,
상기 제 1 벡터는 상기 융합 데이터의 평균 벡터(mean vector)인 것을 특징으로 하는 복수 개의 데이터를 융합하는 방법.
제 1 항에 있어서,
상기 데이터 세트의 제 1 형태와, 프로젝션된 변환된 제약 매니폴드의 교집합 데이터를 이용하여 상기 융합 데이터의 조합된 공분산 값을 산출하는 것을 특징으로 하는 복수 개의 데이터를 융합하는 방법.
복수의 N 차원 - N은 임의의 자연수임 - 의 불확실 데이터를 입력하는 데이터 입력부;
상기 입력된 복수의 불확실 데이터를 기반으로 2N 차원의 확장된 공간에 데이터 세트의 제 1 형태로 표현하는 공간 표현부;
상기 확장된 공간에서의 화이트닝 변환(WT: Whitening Transform)을 수행하여 데이터 세트의 변환된 제 2 형태를 생성하는 화이트닝 변환부;
상기 데이터 세트의 제 2 형태로부터 변환된 제약 매니폴드(constraint manifold)까지의 선형 프로젝션(linear projection)을 통해 제 1 지점 또는 제 1 벡터를 획득하는 프로젝션부;
상기 획득된 제 1 지점 또는 제 1 벡터를 역화이트닝 변환하여 N 차원의 융합 데이터를 생성하는 역변환부를 포함하는 것을 특징으로 하는 복수 개의 데이터를 융합하는 장치.
적어도 3개의 영상으로부터 융합된 데이터를 생성하는 방법에 있어서,
제 1 상태 - 상태는 디바이스의 위치 및 회전값을 포함함 - 에서 디바이스가 센싱한 제 1 영상과 제 2 상태에서 상기 디바이스가 센싱한 제 2 영상을 기반으로 디바이스의 움직임을 추정한 제 1 추정 데이터를 생성하는 단계;
상기 제 2 영상과 제 3 상태에서 상기 디바이스가 센싱한 제 3 영상을 기반으로 상기 디바이스의 움직임을 추정한 제 2 추정 데이터를 생성하는 단계;
상기 제 1 추정 데이터 및 상기 제 2 추정 데이터를 이용하여 상기 제 1 영상과 연관된 지점 1과 상기 제 3 영상과 연관된 지점 3까지의 상기 디바이스 움직임을 추정한 제 3 추정 데이터를 생성하는 단계;
상기 제 1 영상과 상기 제 3 영상을 기반으로 상기 디바이스의 움직임을 추정한 제 4 추정 데이터를 생성하는 단계; 및
상기 제 3 추정 데이터와 상기 제 4 추정 데이터의 융합 데이터를 산출하는 단계를 포함하되, 상기 융합 데이터 산출 단계는,
상기 제 3 및 제 4 추정 데이터를 2N 차원의 확장된 공간에 데이터 세트의 제 1 형태로 표현하는 단계;
상기 확장된 공간에서의 화이트닝 변환(WT: Whitening Transform)을 수행하여 데이터 세트의 변환된 제 2 형태를 생성하는 단계;
상기 데이터 세트의 제 2 형태로부터 변환된 제약 매니폴드(constraint manifold)까지의 선형 프로젝션(linear projection)을 통해 제 1 지점 또는 제 1 벡터를 획득하는 단계; 및
상기 획득된 제 1 지점 또는 제 1 벡터를 역화이트닝 변환하여 상기 융합 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 적어도 3개의 영상으로부터 융합된 데이터를 생성하는 방법.
제 10 항에 있어서,
상기 제 1 추정 데이터, 상기 제 2 추정 데이터 및 상기 제 4 추정 데이터는 VO(Visual Odometry)를 이용하여 추정되는 것을 특징으로 하는 적어도 3개의 영상으로부터 융합된 데이터를 생성하는 방법.
제 10 항에 있어서,
상기 제 1 지점 또는 상기 제 1 벡터는 상기 데이터 세트의 제 2 형태의 중심점과 상기 변환된 제약 매니폴드의 중심점 사이의 유클리드 거리(Euclidean distance)를 최소화하는 지점 또는 벡터인 것을 특징으로 하는 적어도 3개의 영상으로부터 융합된 데이터를 생성하는 방법.
제 10 항에 있어서,
상기 제 3 및 제 4 추정 데이터는 평균값 및 공분산 값을 포함하는 것을 특징으로 하는 적어도 3개의 영상으로부터 융합된 데이터를 생성하는 방법.
제 13 항에 있어서,
상기 데이터 세트의 제 1 형태는 상기 평균값 및 공분산 값을 이용하여 형성되는 타원형의 데이터 세트인 것을 특징으로 하는 적어도 3개의 영상으로부터 융합된 데이터를 생성하는 방법.
제 10 항에 있어서,
상기 데이터 세트의 제 2 형태는 원형의 데이터 세트인 것을 특징으로 하는 적어도 3개의 영상으로부터 융합된 데이터를 생성하는 방법.
제 10 항에 있어서,
상기 제 1 벡터는 상기 융합 데이터의 평균 벡터(mean vector)인 것을 특징으로 하는 적어도 3개의 영상으로부터 융합된 데이터를 생성하는 방법.
제 10 항에 있어서,
상기 데이터 세트의 제 1 형태와, 프로젝션된 변환된 제약 매니폴드의 교집합 데이터를 이용하여 상기 융합 데이터의 조합된 공분산 값을 산출하는 것을 특징으로 하는 적어도 3개의 영상으로부터 융합된 데이터를 생성하는 방법.
적어도 3개의 영상으로부터 융합된 데이터를 생성하는 장치에 있어서,
제 1 상태 - 상태는 디바이스의 위치 및 회전값을 포함함 - 에서 디바이스가 센싱한 제 1 영상과 제 2 상태에서 상기 디바이스가 센싱한 제 2 영상을 기반으로 디바이스의 움직임을 추정한 제 1 추정 데이터를 생성하는 제 1 추정 데이터 생성부;
상기 제 2 영상과 제 3 상태에서 상기 디바이스가 센싱한 제 3 영상을 기반으로 상기 디바이스의 움직임을 추정한 제 2 추정 데이터를 생성하는 제 2 추정 데이터 생성부;
상기 제 1 추정 데이터 및 상기 제 2 추정 데이터를 이용하여 상기 제 1 영상과 연관된 지점 1과 상기 제 3 영상과 연관된 지점 3까지의 상기 디바이스 움직임을 추정한 제 3 추정 데이터를 생성하는 제 3 추정 데이터 생성부;
상기 제 1 영상과 상기 제 3 영상을 기반으로 상기 디바이스의 움직임을 추정한 제 4 추정 데이터를 생성하는 제 4 추정 데이터 생성부; 및
상기 제 3 추정 데이터와 상기 제 4 추정 데이터의 융합 데이터를 산출하는 융합 데이터 생성부를 포함하되, 상기 융합 데이터 생성부는,
상기 제 3 및 제 4 추정 데이터를 2N 차원의 확장된 공간에 데이터 세트의 제 1 형태로 표현하는 공간 표현부;
상기 확장된 공간에서의 화이트닝 변환(WT: Whitening Transform)을 수행하여 데이터 세트의 변환된 제 2 형태를 생성하는 화이트닝 변환부;
상기 데이터 세트의 제 2 형태로부터 변환된 제약 매니폴드(constraint manifold)까지의 선형 프로젝션(linear projection)을 통해 제 1 지점 또는 제 1 벡터를 획득하는 프로젝션부; 및
상기 획득된 제 1 지점 또는 제 1 벡터를 역화이트닝 변환하여 상기 융합 데이터를 생성하는 역변환부를 포함하는 것을 특징으로 하는 적어도 3개의 영상으로부터 융합된 데이터를 생성하는 장치.