KR102019990B1 - 움직임에 따른 흐림 현상의 보정을 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치 - Google Patents

Abstract

움직임에 따른 흐림 현상의 보정을 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치가 개시된다. 그 방법은 촬영 이미지에서 제1 가로등 내 제1 LED에 대응하는 블러 영역(blur area)을 추출하는 단계와, 상기 블러 영역에 관한 평균 이미지 좌표를 계산하는 단계와, 상기 평균 이미지 좌표에 대응하는 카메라의 제1 변위 값을 결정하는 단계와, 상기 제1 변위 값을 상기 제1 가로등의 월드 좌표에 반영하는 단계와, 상기 제1 변위 값이 반영된 월드 좌표 및 상기 평균 이미지 좌표 사이의 기하학적인 관계에 기초하여 방정식을 구성하는 단계와, 상기 방정식에 기초하여 상기 차량의 위치를 추정하는 단계를 포함한다.

Description

움직임에 따른 흐림 현상의 보정을 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치{METHOD AND APPARATUS FOR ESTIMATING VEHICLE POSITION BASED ON VISIBLE LIGHT COMMUNICATION THAT CONSIDERING MOTION BLUR COMPENSATION}

아래 실시예들은 움직임에 따른 흐림 현상의 보정을 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치에 관한 것이다.

이미징 분야에서는 CCD(charge coupled device)와 CMOS(complementary metal-oxide semiconductor)의 두 가지 유형의 센서가 이용될 수 있다. CCD의 경우 우수한 이미지 품질을 제공하는 것으로 여겨져 왔고, 디지털 시대 초기에는 대부분의 카메라에 CCD 센서가 장착되었다. 그러나 최근 몇 년 동안 CMOS 센서의 급격한 발전으로 CMOS 센서가 이미지 품질, 프레임 속도 및 생산 비용을 비롯한 다양한 측면에서 CCD 센서보다 우수한 성능을 발휘하게 되었다. 결과적으로 CMOS 센서는 대부분의 이미징 장치의 빌딩 블록으로 사용되고 있으며, 널리 보급되어 가시 광선 통신 (visible light communication, VLC) 및 VLC 기반 위치 추정 분야에서 수신 장치로 사용하기에 적합하다.

현재 차량의 위치를 추정하는 방법으로는 크게 세 가지가 존재한다. 첫째로, GPS(global positioning system)를 이용하는 것이다. 이 방법은 비용이 저렴하지만, 높은 건물로 인해 GPS 신호가 방해 받을 수 있는 도시 지역의 터널이나 거리에서는 GPS를 사용할 수 없다. 둘째로, 4G, LTE(long term evolution)와 같은 데이터 통신 기반으로 차량의 위치를 추정하는 것으로, 이 방법을 통해 GPS의 가용성과 관련된 한계를 극복할 수 있다. 다만, 이 방법은 수십 미터의 위치 정확도만을 제공하며 자율 차량과 같은 높은 수준의 정확도가 필요한 애플리케이션에는 충분하지 않다. 셋째로, LIDAR(light detection and ranging)을 잉용하는 것으로, 이 방법은 매우 높은 정확도를 제공한다. 그러나, LIDAR를 구현하기 위해서는 일반적으로 매우 높은 비용의 추가 장비가 요구된다. 이러한 이유로 인해 차량의 위치를 추정하기 위한 새로운 기술이 요구된다.

최근 몇 년 동안, 가시 광선 통신을 기반으로 한 새로운 종류의 기술이 차량 위치를 추정하기 위해 제안되었다. 일례로, 차량의 미등이나 헤드 라이트는 다른 차량에 설치된 두 개의 포토 다이오드로 위치 신호를 전송하는 데 사용될 수 있고, 차량 간의 상대 위치를 결정하기 위해 일종의 도착 시간차 (time difference of arrival, TDOA) 알고리즘이 사용될 수 있다. 다만, TDOA를 사용하면 시간 측정 시 발생하는 작은 오차로 인해 큰 위치 오차가 발생하기 때문에 실제로는 높은 정확도를 달성하기가 어렵다. 다른 예로, LED(light emitting diode) 신호등과 포토 다이오드를 사용하여 차량의 위치가 결정될 수 있다. 그러나, 포토 다이오드는 서로 다른 광원을 구별 할 수 없으므로, 이 방법은 주변 광, 특히 햇빛에 매우 취약할 수 있다. 또 다른 예로, 제1 차량이 후방 LED를 통해 VLC 포지셔닝 신호를 보내면 제2 차량이 두 대의 카메라를 사용하여 포지셔닝 신호를 수신 하고, 신경망을 이용하여 타겟 차량의 위치를 추정할 수 있다. 이 경우에서 카메라 기반 위치 추정에서 정확도는 LED 인 참조 점 간의 거리에 크게 의존할 수 있다. 제1 차량의 뒤쪽 LED가 두 차량 사이의 거리에 비해 상대적으로 가까운 경우 위치 정확도는 높지 않을 수 있다.

일 실시예에 따르면 가시광 통신을 이용하여 차량의 위치를 추정하는 방법은 촬영 이미지에서 제1 가로등 내 제1 LED에 대응하는 블러 영역(blur area)을 추출하는 단계; 상기 블러 영역에 관한 평균 이미지 좌표를 계산하는 단계; 상기 평균 이미지 좌표에 대응하는 카메라의 제1 변위 값을 결정하는 단계; 상기 제1 변위 값을 상기 제1 가로등의 월드 좌표에 반영하는 단계; 상기 제1 변위 값이 반영된 월드 좌표 및 상기 평균 이미지 좌표 사이의 기하학적인 관계에 기초하여 방정식을 구성하는 단계; 및 상기 방정식에 기초하여 상기 차량의 위치를 추정하는 단계를 포함한다.

일 실시예에 따르면 가시광 통신을 이용하여 차량의 위치를 추정하는 장치는 차량이 이동하는 동안 가로등들을 촬영하여 상기 가로등들 내 LED들을 포함하는 촬영 이미지를 생성하는 촬영부; 및 상기 촬영 이미지에서 제1 가로등 내 제1 LED에 대응하는 블러 영역(blur area)을 추출하고, 상기 블러 영역에 관한 평균 이미지 좌표를 계산하고, 상기 평균 이미지 좌표에 대응하는 카메라의 제1 변위 값을 결정하고, 상기 제1 변위 값을 상기 제1 가로등의 월드 좌표에 반영하고, 상기 제1 변위 값이 반영된 월드 좌표 및 상기 평균 이미지 좌표 사이의 기하학적인 관계에 기초하여 방정식을 구성하고, 상기 방정식에 기초하여 상기 차량의 위치를 추정하는 위치 추정부를 포함한다.

도 1은 일 실시예에 따른 차량 위치 추정 시스템을 나타낸 도면.
도 2는 일 실시예에 따른 차량 위치 추정 과정을 나타낸 동작 흐름도.
도 3은 일 실시예에 따른 핀홀 카메라 모델을 나타낸 도면.
도 4는 일 실시예에 따른 CMOS 센서의 이미지 획득 과정을 나타낸 도면.
도 5는 일 실시예에 따른 카메라의 이동에 따른 촬영 이미지를 나타낸 도면.
도 6은 일 실시예에 따른 카메라 변위와 LED 변위 사이의 관계를 나타낸 도면.
도 7은 일 실시예에 따른 블러 영역, 평균 이미지 좌표 및 각 시점 별 카메라의 위치를 나타낸 도면.
도 8은 일 실시예에 따른 블러 현상을 보상하여 방정식을 구성하는 과정을 나타낸 동작 흐름도.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.

본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 “~사이에”와 “바로~사이에” 또는 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, “포함하다” 또는 “가지다” 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일 실시예에 따른 차량 위치 추정 시스템을 나타낸 도면이다.

도 1을 참조하면, 가로등(120)은 가시광 신호를 전송할 수 있다. 가시광 신호는 가로등(120)의 식별 코드를 포함할 수 있으며, 식별 코드를 통해 가로등(120)의 위치에 대응하는 가로등(120)의 월드 좌표가 획득될 수 있다.

장치(110)는 촬영부(111) 및 위치 추정부(112)를 포함할 수 있고, 가시광 통신에 기초하여 차량의 위치를 추정할 수 있다. 촬영부(111)는 CMOS 이미지 센서에 기반하는 적어도 하나의 카메라를 포함할 수 있고, 가로등(120)을 촬영하여 촬영 이미지를 생성할 수 있다. 위치 추정부(112)는 촬영부(111)로부터 촬영 이미지를 획득하고, 촬영 이미지에 기초하여 가로등(120)의 가시광 신호를 획득할 수 있다.

위치 추정부(112)는 가시광 신호에서 식별 코드를 추출하고, 가로등(120)의 식별 코드 및 가로등(120)의 월드 좌표가 매칭되어 저장된 데이터베이스를 참조하여 상기 추출된 식별 코드에 대응하는 월드 좌표를 획득할 수 있다.

가로등(120)은 LED(121)를 포함할 수 있다. 위치 추정부(112)는 촬영 이미지에서 LED(121)의 이미지 좌표를 획득할 수 있다. 위치 추정부(112)는 월드 좌표 및 이미지 좌표 간의 기하학적 관계, 및 카메라의 고유 파라미터에 기초하여 차량의 위치를 추정할 수 있다. 카메라의 고유 파라미터는 센서의 크기, 센서 해상도 및 렌즈의 초점 길이 등을 포함할 수 있다. 또한, 차량의 속도계를 통해 차량의 속도가 측정될 수 있고, 차량의 속도는 롤링 셔터 보정에 사용될 수 있다.

도 2는 일 실시예에 따른 차량 위치 추정 과정을 나타낸 동작 흐름도이다.

도 2를 참조하면, 단계(210)에서 촬영부는 가로등을 촬영하고, 위치 추정부는 촬영부로부터 촬영 이미지를 획득한다. 촬영 이미지는 가로등들 내 LED들을 포함할 수 있다.

단계(220)에서 위치 추정부는 촬영 이미지에 기초하여 가로등들의 가시광 신호들 및 LED들에 대응하는 이미지 좌표들을 획득한다. 가로등들 각각은 VLC 기법을 통해 LED에서 출력되는 가시광을 통해 데이터를 전송할 수 있고, 위치 추정부는 가로등에 의해 전송된 가시광 신호로부터 데이터를 획득할 수 있다.

단계(230)에서 위치 추정부는 가시광 신호에 기초하여 데이터베이스에서 가로등의 월드 좌표를 추출한다. 위치 추정부는 가시광 신호들에 기초하여 가로등들의 식별 코드들을 결정할 수 있다. 예를 들어, 위치 추정부는 가시광 신호들을 복조하여 가시광 신호들로부터 가로등들 각각의 식별 코드를 획득할 수 있다. 식별 코드는 가로등을 식별하기 위해 가로등 마다 고유하게 할당될 수 있다. 데이터베이스에는 가로등들의 식별 코드들 및 가로등들의 월드 좌표들이 서로 매칭되어 저장될 수 있다. 위치 추정부는 상기 결정된 식별 코드들에 대응하는 가로등들의 월드 좌표들을 데이터베이스에서 추출할 수 있다.

단계(240)에서 위치 추정부는 획득된 이미지 좌표들 및 추출된 월드 좌표들 사이의 기하학적인 관계에 관한 방정식들을 구성한다. 핀홀 카메라 모델에 따르면 이미지 좌표 및 월드 좌표 간에는 일정한 기하학적 관계가 형성될 수 있고, 이러한 기하학적인 관계에 따라 방정식들이 구성될 수 있다. 방정식들을 구성하는 구체적인 과정은 후술한다.

단계(250)에서 위치 추정부는 상기 구성된 방정식들에 기초하여 상기 차량의 위치를 추정한다. 위치 추정부는 방정식들을 통해 솔루션을 구함으로써 가로등이 촬영된 순간의 카메라 위치를 추정할 수 있으며, 카메라의 위치에 기초하여 차량의 위치를 추정할 수 있다. 방정식들의 솔루션을 구하는 구체적인 과정은 후술한다.

도 3은 일 실시예에 따른 핀홀 카메라 모델을 나타낸 도면이다. 카메라를 이용한 위치 추정 알고리즘은 핀홀 카메라 모델을 기반으로 할 수 있다.

도 3을 참조하면, 3 차원 월드 좌표계, 3 차원 카메라 좌표계 및 2 차원 이미지 좌표계의 3 가지 유형의 좌표계가 도시되어 있다. 카메라의 3차원 월드 좌표는

로 표시된다. 주점(principal point)은 이상적으로는 센서의 중심에 위치하며,

와 같은 2D 이미지 좌표로 나타낼 수 있다.

일반적으로 이미지에는 여러 개의 LED가 촬영될 수 있다.

,

가 i 번째 LED의 월드 좌표 및 이미지 좌표를 나타낸다고 가정하면, 각 월드 좌표와 각 이미지 좌표 간의 기하학적 관계는 수학식 1로 나타낼 수 있다.

여기서

는 스칼라이고, K는 렌즈 초점 거리 f와 주점

을 포함하는 카메라의 고유 파라미터(intrinsic parameter)에 의해 정의 된 3 x 4 카메라 캘리브레이션 행렬(calibration matrix)이며, R은 4 x 3 회전 행렬(rotation matrix)이고

는 4 x 1 변환 행렬(translation matrix)이다.

카메라 기반 포지셔닝 알고리즘은 수학식 1의 형태로 여러 방정식 세트를 해결하는데 의존한다. 카메라의 고유 파라미터가 산출된 이후, 관성 센서(inertial sensor)가 카메라에 대한 정보를 얻는데 사용되는지 여부에 따라, 수학식 1에서 카메라 위치를 도출하는 두 가지 방법이 있다. 관성 센서를 이용하는 방법과 포지셔닝 알고리즘을 이용하는 방법이다. 이러한 방법들에는 각각 장단점이 존재할 수 있다.

카메라 위치를 찾는 간단한 알고리즘은 관성 센서를 사용하여 카메라의 포즈(즉, 방향)에 대한 정보를 얻는 것이다. 이 정보를 통해 회전 행렬 R을 얻을 수 있다. 그러면 수학식 1은 카메라 위치가 발견 될 수 있는 공선 조건(collinearity condition)으로 결정될 수 있다. 이 방법의 장점은 카메라 위치를 결정하는데 2 개의 장면 점(scene point)만 있으면 된다는 것이다. 그러나 이 경우 정확도는 카메라 포즈를 얻는데 사용되는 관성 센서의 정확도에 크게 의존한다. 실내 환경에서 관성 센서의 정확도는 일반적으로 충분하다. 그러나, 실시예에 따른 시스템의 경우 카메라에서 LED까지의 거리가 실내 시스템의 거리보다 매우 길기 때문에 각도 측정에서 동일한 오류로 인해 위치 지정 오류가 높아질 수 있다.

포지셔닝 알고리즘에서 카메라의 자세는 알려지지 않았기 때문에 카메라 회전 행렬 R도 알 수 없다. 그러면 카메라 위치를 찾는 문제는 수학식 1을 사용하여 행렬 [R t]를 구하는 것으로 귀결된다. 이 문제를 해결하기 위해 수학식 1은 일종의 일차 방정식으로 변형될 필요가 있으며 이것은 직접 선형 변환(direct linear transformation, DLT) 기법을 통해 수행될 수 있다.

가 행렬 [R t]를 나타낸다고 가정하자. 행렬 [R t]의 각 행

, m = 1, 2, 3은 1 x 4 벡터

으로 나타낼 수 있다.

이고, 두 벡터

와

는 평행하므로, 이들의 외적(cross-product)은 0이다. 외적을 계산함으로써 수학식 2를 얻을 수 있다.

수학식 2에서 0=[0 0 0 0]이다. 쌍

각각은 수학식 2의 형태로 두 선형 방정식의 집합을 공식화 할 수 있다. 모든 장면 점에 대응하는 방정식들을 결합하여 수학식 3을 얻을 수 있다.

수학식 3은 수학식 4로 나타낼 수 있다.

수학식 4에서 M은 2N x 12 행렬이고, v는 12 x 1 벡터이다. 여기서 N은 장면 점의 수이다.

수학식 4에서 12개의 알려지지 않은 요소들이 있기 때문에, 이들이 해결되기 위해서는 6개의 장면 점들이 필요하다. 잡음이 없는 이상적인 경우, v의 정확한 솔루션은 Mv = 0이 만족되도록 하여 찾을 수 있다. 실제 구현 시의 잡음 때문에 Mv = 0는 정확한 솔루션을 갖지 않을 수 있다. 그러므로, 이 문제는 수학식 5와 같이 솔루션 v를 찾는 최소 제곱 문제가 된다.

위의 최소 제곱 문제는 SVD(singular value decomposition)라고 불리는 기법으로 생성된 솔루션을 가질 수 있다. 그러나, 장면 점

가 수학식 5에 대해 선형이 되지 않아야 한다. 다시 말해, 카메라 위치를 찾기 위해서는 LED가 동일 선상에 위치하지 않아야 한다. 이러한 솔루션을 통해 카메라의 위치가 추정될 수 있다.

도 4는 일 실시예에 따른 CMOS 센서의 이미지 획득 과정을 나타낸 도면이다.

도 4를 참조하면, 센서의 각 행은 서로 다른 시간에 순차적으로 노출된다. 두 개의 연속된 행에서 노출의 시작점 사이의 간격은

로 표시되며, 이는 한 행의 판독 시간과 동일하다. 센서의 다른 행이 서로 다른 시간에 노출되기 때문에, 센서의 다른 행에서 촬영된 LED 이미지는 다른 위치 상의 LED 이미지에 해당하므로, LED가 카메라에 더 가까운 것과 같은 이미지 아티팩트가 발생한다. 도 5는 일 실시예에 따른 카메라의 이동에 따른 촬영 이미지를 나타낸 도면이다. 카메라(510)가 이동하면서 LED들(520)을 촬영할 때, 아티팩트가 발생하지 않는다면 촬영 이미지(530)가 획득되지만, 아티팩트가 발생한다면 촬영 이미지(540)가 획득되게 된다. 즉, LED들(520)이 카메라(510)에 더 가까운 것과 같은 이미지 아티팩트가 발생할 수 있다.

및

가 i번째 LED의 월드 좌표 및 이미지 좌표인 경우, 이들 두 좌표 간의 관계는 수학식 6과 같이 나타낼 수 있다.

수학식 6에서

는 i번째 LED가 캡쳐된 때 카메라의 위치

에 대응하는 변환 벡터를 나타낸다.

수학식 6에서 카메라의 포즈는 단일 이미지를 촬영하는 동안 변경되지 않는다고 가정한다. 따라서 카메라 회전 행렬은 다른 LED와 동일하게 유지된다. 이미지의 모든 LED가 카메라의 다른 위치에 해당하기 때문에, 이러한 LED를 기반으로 카메라의 단일 위치를 찾는 것이 정확한 결과로 이어지지 않는다. 차량이 더 빨리 움직일 때, 수학식 6의 변환 벡터

사이의 차이는 더 커지고, 그에 따른 포지셔닝 오류를 발생시킨다.

도 6은 일 실시예에 따른 카메라 변위와 LED 변위 사이의 관계를 나타낸 도면이다.

앞에서 설명한 두 가지 유형의 위치 추정 알고리즘 중 관성 센서를 사용하는 방법은 카메라에서 LED까지의 거리가 비교적 짧은 실내 환경에서 사용하는 것이 더 적합할 수 있다. 실시예들에서 고려된 시스템에서 대부분의 관성 센서는 바람직한 위치 정확도를 산출하기에 충분히 정확하지 않을 수 있다. 또한 관성 센서의 오류로 인한 위치 결정 오차는 관리하기 매우 어렵다는 문제점이 있다.

따라서 실시예들에서는 포지셔닝 알고리즘을 사용하여 카메라의 위치를 추정한다. 이를 위해 LED의 동일 선상 배열 및 롤링 셔터 아티팩트가 문제될 수 있다. 실시예들에서는 두 개의 카메라와 융합 알고리즘을 사용하여 첫 번째 문제가 해결 될 수 있으며, 두 번째 문제는 보상 방법을 사용하여 해결될 수 있다. 이 두 가지 문제의 해결책은 아래에서 설명되는 카메라 변위와 LED 변위 사이의 변환을 기반으로 한다.

x와 X는 각각 장면 점의 이미지 좌표와 월드 좌표를 나타낸다. C는 카메라 위치를 나타내고 ΔC는 카메라 위치의 변화, 즉 변위를 나타낸다. 카메라 위치의 변화로 인한 장면 점 X의 이미지 좌표 x에 대한 결과는 수학식 7과 같이 장면 위치의 변화와 동일(equivalent)하다.

도 6을 참조하면, 처음에는 카메라가 카메라 위치로 간주되는 위치 C에 머물러 있고, 그런 다음 카메라는 위치 C + ΔC로 이동하여 X에 위치한 LED의 이미지를 촬영한다. 수학식 7에 따르면 C + ΔC에서 촬영된 이미지는 위치 X에 배치된 LED의 이미지와 동일하다. 두 이미지 내 두 LED 들의 좌표들을

,

로 나타내면 수학식 8을 얻을 수 있다.

수학식 8에서

및

는 두 임의의 스케일을 나타낸다. 수학식 7에 따르면

이다. 따라서 두 개의 촬영된 이미지에서 두 LED의 이미지 좌표는 동일하다.

아래에서 설명될 것처럼, 동일 선상의 LED 배열과 롤링 셔터 아티팩트의 두 가지 문제에 대한 솔루션은 모두 서로 다른 위치에 배치된 카메라로 촬영한 여러 개의 LED 이미지와 관련된다. 이러한 LED 이미지로 공식화된 방정식들은 카메라의 여러 위치들에 대응하여 구성되며, 문제는 카메라 변위의 관점에서는 이러한 방정식 세트를 해결할 수 없다는 것이다.

수학식 7을 이용하면 카메라 변위를 LED 변위로 변환할 수 있다. 그러면 서로 다른 위치의 카메라에서 촬영된 동일한 LED에 대한 서로 다른 이미지들은 고정된 위치의 카메라에서 촬영된 다른 위치에 배치된 별개 LED의 이미지로 간주될 수 있다. 이 경우, 카메라 위치의 차이를 알게되면 가상 LED의 위치를 알 수 있다. 따라서, 풀 수 있는 방정식의 세트가 결정될 수 있다.

도 7은 일 실시예에 따른 블러 영역, 평균 이미지 좌표 및 각 시점 별 카메라의 위치를 나타낸 도면이다.

차량의 위치는 가로등 내 LED 가 촬영된 촬영 이미지를 기반으로 결정되는데, 차량이 고속으로 움직일 경우 LED를 포함하는 촬영 이미지는 모션 블러(motion blur)의 영향을 받는다. LED 이미지가 흐려지면 차량 위치 추정에 오류가 발생할 수 있는데, 아래 실시예에 따르면 모션 블러를 보정하여 LED 이미지가 흐려져도 높은 측위 정확도를 달성할 수 있게 된다.

도 7을 참조하면, 촬영 이미지(710)는 모션 블러가 발생한 LED 이미지를 포함한다. 모션 블러와 같은 흐림 현상이 발생한 LED 이미지 영역은 블러 영역(blur area)으로 지칭될 수 있다. 실시예에 따르면 블러 영역에 관한 평균 이미지 좌표(711)가 계산될 수 있다. 평균 이미지 좌표(711)는 블러 영역 내 모든 픽셀의 좌표들의 평균 값에 기초하여 결정될 수 있다. 평균 이미지 좌표(711)에 대응하는 카메라의 변위가 계산되면 계산된 카메라 변위에 따라 차량의 위치를 추정하기 위한 방정식이 수정될 수 있다. 수정된 방정식을 통해 차량의 위치가 높은 정확도로 추정될 수 있다.

평균 이미지 좌표(711)에 대응하는 픽셀은 블러 영역에 대응하는 노출 기간의 중간에 촬영된 것일 수 있다. 촬영 이미지(710)가 제n 프레임에 대응한다고 가정한다. 이 때, 위치(720)는 촬영 이미지(710)가 노출되기 시작한 시점에 대응하는 카메라 위치를 나타내고, 위치(730)는 촬영 이미지(710) 내 LED가 노출되기 시작한 시점에 대응하는 카메라 위치를 나타내고, 위치(750)는 촬영 이미지(710) 내 LED가 노출된 마지막 시점에 대응하는 카메라 위치를 나타낸다. 위치(740)은 촬영 이미지(710) 내 LED가 노출된 기간의 중간 시점에 대응하는 카메라 위치를 나타낸다. 따라서, 평균 이미지 좌표(711)에 대응하는 픽셀은 위치(740)에서 촬영된 것으로 볼 수 있다.

따라서, LED의 이미지 좌표를 평균 이미지 좌표(711)로 두고, 평균 이미지 좌표(711)에 대응하는 픽셀이 촬영된 시점의 카메라 변위를 구하고, 이들을 이용하여 차량의 위치를 높은 정확도로 추정할 수 있다. 우선 상술된 일련의 과정을 위해 수학식 6에 기초하여 수학식 9를 도출할 수 있다.

여기서

는 i번째 LED에 대응하는 블러 영역에 관한 평균 이미지 좌표를 나타내고,

는

가 촬영된 시점의 카메라의 세계 좌표이다.

수학식 9는 방정식의 수보다 더 많은 미지수가 있기 때문에 그 솔루션을 찾을 수 없는 상태이다. 그러나, 카메라 세계 좌표 C의 차이, 즉 ΔC를 알고 있다면 수학식 7을 이용하여 카메라 변위가 LED 변위로 변환 될 수 있고, 이에 따라 수학식 9의 솔루션을 찾을 수 있게 된다.

보다 구체적으로, C가 현재 프레임의 노출 초기에 카메라 위치이고,

, i = 1, 2, 3 ...이 i번째 평균 LED를 촬영하는 동안 C와 카메라 위치 사이의 차이라고 둘 수 있다 수학식 9에

를 대입하여 수학식 10을 얻을 수 있다.

는 차량의 속도 및 센서의 판독 시간에 기초하여 결정될 수 있다.

을 센서의 행 판독 시간으로 두고,

를 i번째 평균 LED에 대응하는 i번째 평균 이미지 좌표를 포함하는 행으로 두자. i번째 평균 이미지 좌표에 대응하는 경과 시간

은 수학식 11과 같이 나타낼 수 있다.

차량의 속도가

라고 하면, 차이

는 수학식 12와 같이 나타낼 수 있다.

수학식 10에 수학식 12를 적용하여 수학식 13을 얻을 수 있다.

수학식 13에서

이다.

수학식 13은 롤링 셔터 보정을 위한 기본 방정식이 될 수 있다. 실제 솔루션을 계산하기 위해 수학식 13은 수학식 14과 같이 변형될 수 있다.

수학식 14에 SVD를 적용하여 카메라의 위치가 추정될 수 있다.

도 8은 일 실시예에 따른 블러 현상을 보상하여 방정식을 구성하는 과정을 나타낸 동작 흐름도이다.

도 8을 참조하면, 위치 추정부는 단계(810)에서 i를 초기화한다. 예를 들어, i는 1로 초기화될 수 있다. 위치 추정부는 촬영 이미지에서 제i 가로등 내 제i LED에 대응하는 제i 블러 영역을 추출하고, 추출된 제i 블러 영역에 관한 제i 평균 이미지 좌표를 계산할 수 있다.

위치 추정부는 단계(820)에서 제i 평균 이미지 좌표에 대응하는 카메라의 제i 변위 값을 결정한다. 위치 추정부는 차량의 속도, 및 CMOS 센서에 의해 현재 프레임의 촬영이 시작된 순간부터 상기 CMOS 센서에 포함된 복수의 행들 중 제i 평균 이미지 좌표에 대응하는 행이 촬영된 순간까지의 제i 경과 시간에 기초하여 제i 변위 값을 결정할 수 있다. 상기 제i 경과 시간은 CMOS 센서의 행 판독 시간 및 CMOS 센서에 포함된 복수의 행들 중 제i 평균 이미지 좌표에 대응하는 행에 기초하여 결정될 수 있다.

위치 추정부는 단계(830)에서 제i 변위 값을 제i 가로등에 대응하는 제i 월드 좌표에 반영하고, 단계(840)에서 제i 평균 이미지 좌표, 제i 변위 값이 반영된 제i 월드 좌표, 카메라의 고유 파라미터에 기초하여 제i 방정식을 결정한다. 단계(850)에서 i 및 I가 비교된다. I는 촬영 이미지 내 LED의 수이다. 비교 결과, i가 I보다 작다면 i가 증가되며 단계(820)이 수행된다. 도 8의 과정을 통해 생성된 방정식은 수학식 13에 대응할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

1. 가시광 통신을 이용하여 차량의 위치를 추정하는 방법에 있어서,
   촬영 이미지에서 제1 가로등 내 제1 LED에 대응하는 블러 영역(blur area)을 추출하는 단계;
   상기 블러 영역에 관한 평균 이미지 좌표를 계산하는 단계;
   상기 평균 이미지 좌표에 대응하는 카메라의 제1 변위 값을 결정하는 단계;
   상기 제1 변위 값을 상기 제1 가로등의 월드 좌표에 반영하는 단계;
   상기 제1 변위 값이 반영된 월드 좌표 및 상기 평균 이미지 좌표 사이의 기하학적인 관계에 기초하여 방정식을 구성하는 단계; 및
   상기 방정식에 기초하여 상기 차량의 위치를 추정하는 단계
   를 포함하고,
   상기 방정식은 하기 수학식에 기초하여 구성되는,
   

   

   
   -상기 수학식에서 λ는 스칼라를 나타내고,

   

   는 상기 평균 이미지 좌표를 나타내고, X는 상기 제1 가로등의 월드 좌표를 나타내고, K는 카메라의 고유 파라미터를 나타내고, R은 회전 행렬을 나타내고, C는 카메라의 위치를 나타내고, ΔC는 CMOS 센서에 의해 현재 프레임의 촬영이 시작된 순간부터 CMOS 센서에 포함된 복수의 행들 중 상기 평균 이미지 좌표에 대응하는 행이 촬영된 순간까지의 카메라의 변위를 나타냄-
   방법.
2. 제1항에 있어서,
   상기 제1 변위 값을 결정하는 단계는
   상기 차량의 속도, 및 CMOS 센서에 의해 현재 프레임의 촬영이 시작된 순간부터 상기 CMOS 센서에 포함된 복수의 행들 중 상기 평균 이미지 좌표에 대응하는 행이 촬영된 순간까지의 제1 경과 시간에 기초하여 상기 제1 변위 값을 결정하는 단계
   를 포함하는, 방법.
3. 제2항에 있어서,
   상기 제1 경과 시간은 상기 CMOS 센서의 행 판독 시간 및 상기 CMOS 센서에 포함된 상기 복수의 행들 중 상기 평균 이미지 좌표에 대응하는 행에 기초하여 결정되는, 방법.
4. 삭제
5. 제1항에 있어서,
   상기 촬영 이미지에 기초하여 상기 제1 가로등의 가시광 신호를 획득하는 단계; 및
   상기 가시광 신호에 기초하여 상기 제1 가로등의 상기 월드 좌표를 결정하는 단계
   를 더 포함하는, 방법.
6. 제5항에 있어서,
   상기 제1 가로등의 상기 월드 좌표를 결정하는 단계는
   상기 가시광 신호에 기초하여 상기 제1 가로등의 식별 코드를 결정하는 단계; 및
   가로등들의 식별 코드들 및 상기 가로등들의 월드 좌표들이 서로 매칭되어 저장된 데이터베이스에서, 상기 결정된 식별 코드에 대응하는 상기 제1 가로등의 월드 좌표를 추출하는 단계
   를 포함하는, 방법.
7. 제1항에 있어서,
   상기 방정식을 구성하는 단계는
   직접 선형 변환(direct linear transformation, DLT)에 기초하여 상기 방정식을 구성하는 단계를 포함하는, 방법.
8. 제1항에 있어서,
   상기 차량의 위치를 추정하는 단계는
   상기 방정식에 SVD(singular value decomposition)을 적용하여 상기 차량의 위치를 추정하는 단계를 포함하는, 방법.
9. 가시광 통신을 이용하여 차량의 위치를 추정하는 장치에 있어서,
   차량이 이동하는 동안 가로등들을 촬영하여 상기 가로등들 내 LED들을 포함하는 촬영 이미지를 생성하는 촬영부; 및
   상기 촬영 이미지에서 제1 가로등 내 제1 LED에 대응하는 블러 영역(blur area)을 추출하고, 상기 블러 영역에 관한 평균 이미지 좌표를 계산하고, 상기 평균 이미지 좌표에 대응하는 카메라의 제1 변위 값을 결정하고, 상기 제1 변위 값을 상기 제1 가로등의 월드 좌표에 반영하고, 상기 제1 변위 값이 반영된 월드 좌표 및 상기 평균 이미지 좌표 사이의 기하학적인 관계에 기초하여 방정식을 구성하고, 상기 방정식에 기초하여 상기 차량의 위치를 추정하는 위치 추정부
   를 포함하고,
   상기 방정식은 하기 수학식에 기초하여 구성되는,
   

   

   
   -상기 수학식에서 λ는 스칼라를 나타내고,

   

   는 상기 평균 이미지 좌표를 나타내고, X는 상기 제1 가로등의 월드 좌표를 나타내고, K는 카메라의 고유 파라미터를 나타내고, R은 회전 행렬을 나타내고, C는 카메라의 위치를 나타내고, ΔC는 CMOS 센서에 의해 현재 프레임의 촬영이 시작된 순간부터 CMOS 센서에 포함된 복수의 행들 중 상기 평균 이미지 좌표에 대응하는 행이 촬영된 순간까지의 카메라의 변위를 나타냄-
   장치.
10. 제9항에 있어서,
    상기 위치 추정부는
    상기 차량의 속도, 및 CMOS 센서에 의해 현재 프레임의 촬영이 시작된 순간부터 상기 CMOS 센서에 포함된 복수의 행들 중 상기 평균 이미지 좌표에 대응하는 행이 촬영된 순간까지의 제1 경과 시간에 기초하여 상기 제1 변위 값을 결정하는, 장치.

Images