KR101689252B1 - 광카메라통신(occ)을 이용한 차량 위치 측정방법 - Google Patents

광카메라통신(occ)을 이용한 차량 위치 측정방법 Download PDF

Info

Publication number
KR101689252B1
KR101689252B1 KR1020150071108A KR20150071108A KR101689252B1 KR 101689252 B1 KR101689252 B1 KR 101689252B1 KR 1020150071108 A KR1020150071108 A KR 1020150071108A KR 20150071108 A KR20150071108 A KR 20150071108A KR 101689252 B1 KR101689252 B1 KR 101689252B1
Authority
KR
South Korea
Prior art keywords
vehicle
camera
right camera
coordinate point
light source
Prior art date
Application number
KR1020150071108A
Other languages
English (en)
Other versions
KR20160136895A (ko
Inventor
장영민
셔립입데카르
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Priority to KR1020150071108A priority Critical patent/KR101689252B1/ko
Publication of KR20160136895A publication Critical patent/KR20160136895A/ko
Application granted granted Critical
Publication of KR101689252B1 publication Critical patent/KR101689252B1/ko

Links

Images

Classifications

    • G06T7/004
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes

Abstract

본 발명은 제1차량의 좌우 광원을 제2차량의 좌우 카메라장치로 촬영하는 제1단계; 상기 좌우 카메라장치에서 촬영된 상기 좌우 광원의 2D 이미지를 이용하여 상기 좌우 광원에 대해 2D 이미지 지점과 3D 월드 좌표지점 간에 일치하는 지점의 쌍으로부터 기초행렬(fundamental matrix)을 추출하는 제2단계; 상기 좌우 카메라장치에서 상기 추출된 기초행렬로부터 상기 좌우 카메라장치의 좌우 카메라 행렬 Pl 및 Pr을 계산하는 제3단계; 상기 좌우 카메라장치에서 상기 좌우 카메라 행렬 Pl 및 Pr로부터 상기 제1차량의 3D 월드 좌표 지점을 계산하는 제4단계; 상기 좌우 카메라장치에서 상기 촬영된 좌우 광원의 이미지로부터 상기 광원의 온/오프에 대응하는 상기 좌우 광원의 실제 좌표지점을 추출하는 제5단계; 상기 좌우 카메라장치에서 상기 제4단계에서 계산된 3D 월드 좌표 지점과 상기 제5단계에서 추출된 실제 좌표 지점으로부터 비특이 호모그래피 행렬(H: non-singular homography matrix)을 계산하는 제6단계; 및 상기 좌우 카메라장치에서 상기 좌우 카메라 행렬 Pl 및 Pr을 각각 PlH-1 및 PrH-1로 치환하여(H-1: H의 역행렬) 상기 제1차량의 실제 좌표지점을 측정하는 제7단계를 포함한다.

Description

광카메라통신(OCC)을 이용한 차량 위치 측정방법{Vehicle positioning method using OCC}
본 발명은 차량 위치 측정방법에 관한 것으로서, 특히 제1차량에 탑재된 광원의 온/오프 이미지를 제2차량에 탑재된 카메라장치로 촬영하여 제1차량의 위치를 측정하는 광카메라통신(OCC:optical camera communication)을 이용한 차량 위치 측정방법에 관한 것이다.
최근 심각해지는 교통 문제를 효과적으로 대응하기 위해 추진하고 있는 지능형 교통 시스템(ITS:intelligent transport system)은 전기, 전자, 정보, 통신, 자동차 기술을 교통에 적용하여 통행의 편의와 교통량의 원활한 소통을 이루기 위한 시스템이다. 이러한 ITS 시스템에서는 정확한 차량의 위치결정이 필수요소이다.
현재 차량에서 가장 흔히 사용되는 위치결정 기술은 GPS이다. 이러한 GPS는 방향정보를 제공할 수 없을 뿐만 아니라 위성신호가 차단되는 경우에는 정밀도가 저하된다. 또한, 인접 차량 위치는 GPS로 획득될 수 없다. 따라서, 미래의 지능형 차량 및 ITS 시스템에 GPS 시스템을 적용하기에는 문제점이 있다. 
또한, 오랜 기술개발을 통해 상용화를 앞두고 있는 자율주행차량(autonomous vehicle)은 안전거리 유지를 위해 전방 및 측면의 차량에 대한 정확한 위치를 측정해야 한다. 실제 단거리 전용통신(DSRC:dedicated short-range communication) 표준은 안정적인 물리링크를 제공하는 V2V(vehicle-to-vehicle)통신이 상용화되어 차량에 탑재되었다. 하지만, DSRC 기법의 복잡성으로 인해 소비자에게 추가비용을 발생시키고, 복잡한 도시 교통상황에서 차량이 다른 차량과 매우 가까운 거리에 있으면 간섭이 발생하므로 위치결정의 정확성을 저하시키는 문제점이 있다.
또한, 종래의 차량 위치결정에 있어서 LIDAR(light detection and ranging)와 FMCW(frequency modulated continuous wave) 레이더가 이용되고 있다. LIDAR는 3차원 지점을 측정하기 위해 펄스레이저 광을 사용하는 원격감지기술로서 측정 정확도가 낮다는 문제점이 있다. FMCW 레이더는 연속파(CW:continuous-wave)를 전송하여 그 전송신호와 수신신호의 주파수 차이를 비교하여 차량의 거리 및 속도를 측정한다. 그러나, 이들 종래의 시스템은 구현하는데 비용이 많이 들고 복잡한 장비가 필요하다는 문제점이 있다.
등록특허 제0388756호 등록특허 제1484814호
본 발명은 차량 위치측정에 광 카메라 통신(OCC)을 적용하여 제1차량에 탑재된 광원의 온/오프 이미지를 제2차량에 탑재된 카메라로 촬영하고 그 촬영된 온/오프 이미지로부터 차량의 위치정보를 확인함으로써 제2차량에서 제1차량의 위치를 측정하도록 하는 광카메라통신을 이용한 차량 위치 측정장치 및 그 측정방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 광 카메라 통신(OCC)을 이용하여 측정된 제1차량의 3D 월드 좌표 지점(world cordinate point)를 신경망을 이용하여 보다 정확하게 제1차량을 측정하도록 하는 광카메라통신을 이용한 차량 위치 측정장치 및 그 측정방법을 제공하는데 다른 목적이 있다.
본 발명의 일 실시 예에 따른 광카메라통신을 이용한 차량 위치 측정방법은,
광원과 카메라장치 간에 통신을 통해 정보를 전송하는 광카메라통신(OCC)을 이용한 차량 위치 측정방법에 있어서, 제1차량의 좌우 광원을 제2차량의 좌우 카메라장치로 촬영하는 제1단계; 상기 좌우 카메라장치에서 촬영된 상기 좌우 광원의 2D 이미지를 이용하여 상기 좌우 광원에 대해 2D 이미지 지점과 3D 월드 좌표지점 간에 일치하는 지점의 쌍으로부터 기초행렬(fundamental matrix)을 추출하는 제2단계; 상기 좌우 카메라장치에서 상기 추출된 기초행렬로부터 상기 좌우 카메라장치의 좌우 카메라 행렬 Pl 및 Pr을 계산하는 제3단계; 상기 좌우 카메라장치에서 상기 좌우 카메라 행렬 Pl 및 Pr로부터 상기 제1차량의 3D 월드 좌표 지점을 계산하는 제4단계; 상기 좌우 카메라장치에서 상기 촬영된 좌우 광원의 이미지로부터 상기 광원의 온/오프에 대응하는 상기 좌우 광원의 실제 좌표지점을 추출하는 제5단계; 상기 좌우 카메라장치에서 상기 제4단계에서 계산된 3D 월드 좌표 지점과 상기 제5단계에서 추출된 실제 좌표 지점으로부터 비특이 호모그래피 행렬(H: non-singular homography matrix)을 계산하는 제6단계; 및 상기 좌우 카메라장치에서 상기 좌우 카메라 행렬 Pl 및 Pr을 각각 PlH-1 및 PrH-1로 치환하여(H-1: H의 역행렬) 상기 제1차량의 실제 좌표지점을 측정하는 제7단계를 포함한다.
본 발명에서, 상기 제5단계는, 상기 좌우 광원에서 각각 자신의 실제 좌표지점 데이터에 대응되도록 기설정된 주파수 펄스로 온/오프되고 상기 좌우 카메라장치에서 각각 상기 각 광원의 온/오프 이미지를 촬영하고 상기 온/오프 이미지에 대응하는 상기 실제 좌표지점 데이터를 추출한다.
삭제
본 발명에서, 상기 좌우 카메라 행렬 Pl 및 Pr은 하기 수학식을 이용하여 계산된다.
Figure 112016061438632-pat00085
(이때, []x는 교대행렬(skew symmetric matrix), I는 3x3 항등행렬(identity matrix), F는 상기 좌우 카메라장치 간 에피폴라 기하학(epipolar geometry)을 나타내는 기초행렬, er은 상기 우측 카메라장치의 에피폴(epipole)임)
삭제
본 발명에서, 상기 호모그래피 행렬은 하기 수학식을 이용하여 계산된다.
Figure 112016061438632-pat00086
(여기서, Xi는 상기 광원의 3D 월드 좌표 지점, XEi는 상기 광원의 월드 좌표 지점, H는 상기 3D 월드 좌표 지점과 월드 좌표 지점 간의 호모그래피 행렬임)
본 발명의 다른 실시예에 따른 광카메라통신을 이용한 차량위치 측정방법은,
광원과 카메라장치 간에 통신을 통해 정보를 전송하는 광카메라통신(OCC)을 이용한 차량 위치 측정방법에 있어서, 제1차량의 좌우 광원을 제2차량의 좌우 카메라장치로 촬영하는 제1단계; 상기 좌우 카메라장치에서 촬영된 상기 좌우 광원의 각 2D 이미지 좌표지점 (xll,yll),(xlr,ylr),(xrl,yrl),(xrr,yrr)을 입력으로 하고 상기 좌우 카메라장치에서 상기 좌우 광원까지의 각 거리 dll,dlr,drl,drr을 출력으로 하는 기설정된 신경망(neural network)을 학습하는 제2단계; (상기 (xll,yll)는 상기 좌우 카메라장치 중 좌측 카메라장치에서 촬영된 좌측 광원의 2D 이미지 좌표지점, 상기 (xlr,ylr)는 상기 좌측 카메라장치에서 촬영된 우측 광원의 2D 이미지 좌표지점, 상기 (xrl,yrl)는 상기 좌우 카메라장치 중 우측 카메라장치에서 촬영된 상기 좌측 광원의 2D 이미지 좌표지점, 상기 (xrr,yrr)는 상기 우측 카메라장치에서 촬영된 상기 우측 광원의 2D 이미지 좌표지점이고, 상기 dll은 제2차량의 좌측 카메라장치에서 제1차량의 좌측 광원까지의 거리, 상기 dlr은 제2차량의 좌측 카메라장치에서 제1차량의 우측 광원까지의 거리, 상기 drl은 제2차량의 우측 카메라장치에서 제1차량의 좌측 광원까지의 거리, 상기 drr은 제2차량의 우측 카메라장치에서 제1차량의 우측 광원까지의 거리임), 상기 좌우 카메라장치에서 상기 신경망의 출력을 이용하여 t시간에서 상기 좌우 카메라장치의 각 중점으로부터 상기 좌우 카메라장치로부터 상기 좌우 광원까지의 각 거리(dll,t, dlr,t, drl,t, drr,t)를 반경으로 하는 원을 각각 설정하는 제3단계; 상기 좌우 카메라장치에서 상기 좌우 광원에 대하여 각각 설정된 2개의 원에 형성된 교차점을 이용하여 상기 t시간에서의 상기 좌우 광원의 월드 좌표지점을 계산하는 제4단계를 포함한다.
본 발명에서, t시간에 상기 제2차량의 좌측 카메라장치에서 반경 dll,t인 원의 파라미터 방정식(Xl,t(k)), 상기 제2차량의 우측 카메라장치에서 반경 drl,t인 원의 파라미터 방정식(X'l,t(k)), 상기 제2차량의 좌측 카메라장치에서 반경 drl,t인 원의 파라미터 방정식(Xr,t(k))과, 상기 제2차량의 우측 카메라장치에서 반경 drr,t인 원의 파라미터 방정식(X'r,t(k))은 하기 수학식을 이용하여 계산된다.
Figure 112016061438632-pat00087
삭제
삭제
삭제
(여기서, 상기 u는 상기 제2차량의 좌우 카메라장치의 각 중점과 제1차량의 좌우 광원이 이루는 동일 평면의 단위벡터(unit vector), 상기 n은 상기 u 벡터의 수직벡터(normal vector), Cl,t 및 Cr,t는 각각 t시간에서 상기 제2차량의 좌우 카메라의 월드 좌표지점임)
본 발명에서, 상기 Cl,t 및 Cr,t는 하기 수학식에 의해 계산된다.
Figure 112016061438632-pat00088
삭제
(여기서, 상기 tl 및 tr은 차량 좌표 시스템에서 좌우 카메라장치의 위치벡터(position vector)이고, WRB,t는 3×3 회전행렬(rotation matrix)이고, WTB,t는 월드 좌표 시스템에서 t시간에서 제2차량의 위치벡터(position vector)임)
본 발명에서, 상기 제2차량의 좌우 카메라장치의 각 중심점 좌표지점과 상기 제1차량의 좌우 광원의 좌표지점은 동일한 평면 상에 위치한다.
본 발명에 의하면 전방 차량에 탑재된 LED 광원의 온/오프 이미지를 후방 차량에 탑재된 카메라로 촬영하여 후방 차량에서 전방 차량의 위치를 정확하게 측정할 수 있다.
또한, 본 발명에 의하면 두 차량 간의 광 카메라 통신(OCC)을 이용하여 차량 간의 거리 및 범위를 측정할 수 있으므로 GPS 음영지역이나 멀티패스의 간섭과 상관없이 정확한 위치측정이 가능하다.
또한, 본 발명에 의하면 두 차량 간의 거리가 멀어서 직접적인 무선 링크가 구축되지 않더라도 주변 차량의 위치를 이용하여 거리를 측정할 수 있다.
도 1은 본 발명에 적용되는 광카메라통신(OCC)시스템의 구성도,
도 2는 본 발명에 따른 광카메라통신(OCC)의 동작원리를 설명하는 도면,
도 3은 본 발명에 따른 광카메라통신(OCC)을 이용한 차량 위치 측정장치의 구성도,
도 4은 본 발명에 따른 광카메라통신(OCC)을 이용한 차량 위치 측정장치의 개념도,
도 5는 본 발명에 따른 광카메라통신(OCC)을 이용한 차량 위치 측정장치의 카메라장치의 매핑과정을 설명하기 위한 도면,
도 6은 본 발명의 일 실시 예에 따른 광카메라통신(OCC)을 이용한 차량 위치측정방법을 도시한 흐름도,
도 7은 본 발명의 다른 실시 예에 따른 광카메라통신(OCC)을 적용한 차량 위치장치에 적용되는 신경망(neural network) 모델의 개념도,
도 8은 본 발명의 다른 실시 예에 따른 광카메라통신(OCC)을 이용한 차량 위치 측정장치에 대한 모식도,
도 9는 본 발명에 따른 차량의 카메라 및 월드 좌표 시스템의 모식도,
도 10 및 도 11은 본 발명에 따른 궤적 1과 관련하여 각각 제1차량 및 제2차량에 대한 방향 및 속도의 시뮬레이션 결과,
도 12는 본 발명에 따른 궤적 1에 대한 신경망의 성능을 나타낸 시뮬레이션 결과,
도 13은 본 발명에 따른 궤적 1에 따른 제1,2 차량의 궤적 및 신경망 기반의 위치 측정 시뮬레이션 결과 그래프,
도 14는 본 발명에 따른 궤적 1에 따른 제1,2 차량의 궤적 및 신경망 기반의 위치 측정 시뮬레이션 결과 표,
도 15 및 도 16은 본 발명에 따른 궤적 1의 경우 각각 제1차량의 후방 좌측 및 우측 광원의 거리대 에러 곡선,
도 17 및 도 18은 본 발명에 따른 궤적 2와 관련하여 각각 제1차량 및 제2차량에 대한 방향 및 속도의 시뮬레이션 결과,
도 19는 본 발명에 따른 궤적 2에 대한 신경망의 성능을 나타낸 시뮬레이션 결과,
도 20은 본 발명에 따른 궤적 2에 따른 제1,2 차량의 궤적 및 신경망 기반의 위치 측정 시뮬레이션 결과 그래프,
도 21은 본 발명에 따른 궤적 2에 따른 제1,2 차량의 궤적 및 신경망 기반의 위치 측정 시뮬레이션 결과 표,
도 22 및 도 23은 본 발명에 따른 궤적 2의 경우 각각 제1차량의 후방 좌측 및 우측 광원의 거리대 에러 곡선.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세히 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 실시 예의 구성요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성요소 사이에 또 다른 구성요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명에 적용되는 광카메라통신(OCC)시스템의 구성도이고, 도 2는 이러한 광카메라통신(OCC)의 동작원리를 설명하는 도면이다.
도 1을 참조하면, 본 발명의 OCC시스템(10)은 광원(11)과 카메라장치(12)를 포함하여 구성된다. OCC 시스템(10)은 광원(11)이 일정한 조명을 유지하면서 온/오프(on/off)에 따른 광세기를 변조하여 통신을 수행하는 무선통신기술이다. 따라서, 광원(11)는 OCC시스템에서 송신기(transmitter)의 역할을 수행하며 기설정된 펄스속도(pulse rate)에 따라 온(on) 또는 오프(off)된다. 광원(11)은 전송하고자 하는 데이터(전송데이터)에 따라 온/오프가 결정된다. 예컨대, 서로 다른 이진 데이터 1과 0에 각각 온(on)과 오프(off)를 대응시키도록 할 수 있다. 본 실시 예에서 이러한 광원(11)은 예컨대 LED(light emitting diode)로 구현될 수 있다.
카메라장치(12)는 OCC 시스템에서 수신기(receiver)의 역할을 수행하며 상기 광원(11)을 촬영하고 그 촬영된 광원(11)의 온/오프 이미지에 대응하는 데이터를 추출하도록 하는 장치이다. 구체적으로, 기설정된 프레임속도(frame rate)에 따라 광원(11)의 온/오프 이미지를 연속 프레임으로 촬영하고 그 촬영된 온/오프 이미지로부터 데이터를 추출한다. 본 실시 예에서 카메라장치(12)는 예컨대, 디지털 카메라, 휴대폰이나 스마트기기 등에 탑재된 카메라를 포함할 수 있다.
도 2에서 광원(11)은 기설정된 펄스속도에 따라 온/오프(on/off)되는 동안 카메라장치(12)가 각 프레임별로 광원(11)의 온/오프 이미지를 촬영한다. 이때, 도 2에는 제1프레임(13a)과 제3프레임(13c)은 광원(11)의 온(on) 이미지를 촬영하고 제2프레임(13b)과 제4프레임(13d)에서는 광원(11)의 오프(off) 이미지를 촬영한 일례를 도시한다. 본 발명의 카메라장치(12)에서는 온(on) 이미지는 디지털 데이터 1로, 오프(off)이미지는 디지털 데이터 0으로 처리하여 각 프레임(13a~13d)의 순서대로 디지털 데이터 1010을 얻게 된다.
이와 같이, 본 발명에 따른 OCC 시스템에서는 광원(11)에서 전송하고자 하는 전송데이터에 대응하는 온/오프를 설정하고, 그 설정된 온/오프에 따라 광원(11)이 온/오프되면 카메라장치(12)에서 이러한 광원(11)의 온/오프 이미지를 촬영하여 그에 대응하는 데이터를 추출하도록 하는 것이다. 도 1에는 1개의 광원(11)과 카메라장치(12)가 각각 도시되어 있으나 적용되는 분야에 따라 개수는 변경이 가능하다.
도 3은 본 발명에 따른 광카메라통신(OCC)을 이용한 차량 위치 측정장치의 구성도이다.
도 3을 참조하면, 본 발명에 따른 차량 위치 측정장치(100)는 전방의 제1차량(101)의 후방에 설치된 다수의 광원(110)과, 후방의 제2차량(102)의 전방에 설치된 다수의 카메라장치(120)를 포함한다. 이러한 광원(110)과 카메라장치(120)는 각각 적어도 하나씩 설치될 수 있다. 하지만, 이하 본 실시 예에서는 설명의 편의상 각각 2개의 광원(110)과 카메라장치(120)에 대하여 설명한다. 두 광원(110)은 제1차량(101)의 후방에 서로 일정간격을 두고 설치되며, 예컨대 후미등 또는 브레이크등으로 구현될 수 있다. 또한, 두 카메라장치(120)는 제2차량(102)의 전방에 서로 일정간격을 두고 설치되며, 바람직하게는 제1차량(101)의 후방에서 제1차량(101)의 광원(110)을 촬영하고 그 촬영된 광원(110)의 온/오프 이미지로부터 필요한 데이터를 추출한 후, 이를 이용하여 제1차량(101)의 위치를 측정한다.
도 4은 본 발명에 따른 광카메라통신(OCC)을 이용한 차량 위치 측정장치의 개념도이다.
도 4를 참조하면, 상기한 바와 같이 일례로 제1차량(101)의 후방에는 좌측 및 우측에 각각 광원(111,112)이 장착되고 제2차량(120)의 전방에는 좌측 및 우측에 각각 카메라장치(121,122)가 장착된다. 두 카메라장치(121,122)는 제1차량(101)의 좌우측 광원(111,112)을 촬영하며 그 촬영된 이미지를 이용하여 제1차량(101)의 위치를 측정한다. 도면에서 dll,dlr,drl,drr은 각각 제2차량(120)의 전방 좌측 및 우측 카메라장치(121,122)에서 제1차량(110)의 후방 좌측 및 우측 광원(111,112)까지의 거리를 나타낸다. 제2차량(120)에서는 이러한 거리를 이용하여 제1차량(110)의 위치를 측정한다.
도 5는 본 발명에 따른 광카메라통신(OCC)을 이용한 차량 위치 측정장치의 카메라장치의 매핑과정을 설명하기 위한 도면이다.
도 5를 참조하면 본 발명에 따른 카메라장치(120)는 2D 이미지와 3D 월드 좌표 간에 매핑(mapping)이 가능하다. 즉, 사진을 촬영할 때 카메라장치(120)의 내부 파라미터와 외부 기하학 특성을 알고 있다면 2D 이미지를 3D 월드 좌표 지점(world cordinate point)으로의 매핑이 가능하다는 것이다. X를 3D 월드 좌표 프레임 상의 한 지점을 나타내는 균일벡터(homogeneous vector)이고, x는 2D 카메라 좌표 프레임 상에서 X지점과 동일한 지점을 나타낸다고 가정하면, x는 하기 수학식 1과 같이 나타낼 수 있다.
Figure 112016061438632-pat00094
여기서, A는 카메라장치의 초점길이나 스큐 파라미터(skew parameter)와 같은 카메라장치의 고유의 조정파라미터를 나타내는 3×3 행렬이고, R은 월드(world)와 카메라장치의 좌표 간의 회전을 나타내는 3×3 회전행렬(rotation matrix)이고, C는 월드 좌표 프레임에서 카메라장치의 중점 좌표이며, I는 항등행렬(identity matrix)이다. 상기 수학식 1은 하기 수학식 2로 나타낼 수 있다.
Figure 112015048972774-pat00011
여기서, P는 3×4 카메라 행렬로서, 하기 수학식 3과 같다.
Figure 112016061438632-pat00095
만약, 두 카메라장치(120)가 2D 이미지 지점에 동일한 3D 월드 좌표 지점을 나타낸다면 하기 수학식 4 및 5가 성립한다.
Figure 112015048972774-pat00013
Figure 112015048972774-pat00014
여기서, xli 및 xri는 각각 좌측 및 우측 카메라장치에 대한 3D 월드 좌표 지점 Xi의 2D 이미지 지점이고, Pl 및 Pr은 각각 좌측 및 우측 카메라장치에 대한 카메라 행렬이다.
상기 수학식 4 및 5에서 기술한 바와 같이 동일한 3D 월드 좌표 지점 Xi가 좌측 및 우측 카메라장치에서 이미지화되며, 이미지 지점 xli 및 xri는 하기 수학식 6과 같은 방정식이 성립된다.
Figure 112015048972774-pat00015
여기서, F는 두 카메라장치(120) 간 에피폴라 기하학(epipolar geometry)을 나타내는 기초행렬(fundamental matrix)이다. 만약, 좌측 및 우측 카메라장치에 대한 8개의 이미지 지점의 쌍이 주어지면 8-지점(eight-point) 알고리즘을 통해 F를 구하기 위해 선형법(linear manner)으로 상기 수학식 6을 푸는 것이 가능하다. 좌우측 카메라장치의 이미지에 대한 에피폴라는 하기 수학식 7 및 8을 이용하여 구할 수 있다.
Figure 112015048972774-pat00016
Figure 112015048972774-pat00017
만약, 3D 월드 좌표가 좌측 카메라장치의 좌표와 일치한다고 가정하면 좌측 및 우측 카메라장치에 대한 카메라 행렬은 하기 수학식 9 및 10과 같이 나타낼 수 있다.
Figure 112016061438632-pat00096
Figure 112016061438632-pat00097
여기서, []x는 교대행렬(skew symmetric matrix)이고, I는 3×3 항등행렬(identity matrix)이고, er은 우측 카메라장치(122)의 에피폴(epipole)이다. 따라서, 미지의 3D 월드 좌표 지점(측정하고자 하는 객체의 위치)은 상기 수학식 4 및 5를 풀어서 구해질 수 있지만, 이는 기초행렬로부터 단지 카메라 행렬을 결정하기는 불가능하므로(즉, Pl 및 Pr을 PlH-1 및 PrH-1로 치환은 기초행렬을 변경하는 것이 아님 - 이때, H는 4×4 비특이 호모그래피 행렬(non-singular homography matrix)임), 이러한 미지의 3D 월드 좌표 지점은 투영변환(projective transformation)까지 계산될 수 있다. 따라서, 계산된 3D 월드 좌표 지점은 실제 월드(true-world) 좌표 지점이 아니라 실제 3D 월드 좌표 지점의 호모그래픽 투영일 수 있다. 만약 XEi가 실제 월드 좌표 지점이라고 하면, 그 계산된 3D 좌표 지점 Xi는 하기 수학식 11과 같은 관계가 있다.
Figure 112015048972774-pat00020
따라서, 측정된 3D 월드 좌표 지점과 실제 월드 좌표지점 간의 호모그래피 행렬 H를 알고 있는 경우에는 실제 월드 좌표 지점은 구해질 수 있다. 이는 측정된 3D 월드 좌표 지점과 이에 대응하는 호모그래피 행렬을 알고 있다면 실제 월드 좌표지점을 구할 수 있다는 것이다. H는 15 자유도를 가지기 때문에 H는 상기 수학식 11을 이용하여 실제 월드 좌표 지점 및 그에 대응하는 계산된 3D 월드 좌표 지점으로부터 계산될 수 있다. 이는 사용자 설정 좌표 지점에서 미지의 객체 위치가 좌측 및 우측 카메라장치의 카메라 행렬을 이용하여 PEl = PlH-1 및 PEr = PrH-1와 같이 치환함으로써 구해질 수 있다는 것이다.
미지의 개체 위치를 예측하기 위해서는 2D 이미지 상의 지상실측정보(ground truth)를 알고 있어야 한다. 하지만 모든 장면마다 지상실측정보를 알고 있다는 것은 불가능하다. 이에, 본 발명에 따른 OCC 시스템의 경우 광원(110)은 자신의 좌표 정보를 전송할 수 있고 카메라장치(120)는 그 좌표 정보를 수신하여 디코딩할 수 있기 때문에 지상실측정보(ground truth)를 몰라도 차량 위치결정이 가능하다. 예컨대, 제1차량(101)이 제2차량(102)으로부터 너무 멀리 있어 제2차량(102)과의 OCC 무선링크를 직접적으로 구축할 수 없는 경우, 제1차량(101)의 범위와 좌표를 결정하기 위해 필요한 지상실측정보는 근처에 있는 임의의 차량의 광원뿐만 아니라 임의의 신호등 광원 등으로부터 얻을 수 있다. 물론 이들 광원은 자신의 좌표 정보를 전송할 수 있도록 구현되어야 하며, 본 발명에서는 제2차량(102)은 이들 좌표 정보를 수신하여 디코딩함으로써 제1차량(101)의 위치를 측정하도록 한다. 이를 도 6을 참조하여 하기에서 설명한다.
도 6은 본 발명의 일 실시 예에 따른 광카메라통신(OCC)을 이용한 차량 위치측정방법을 도시한 흐름도이다.
도 6을 참조하면, 본 발명에 따른 일 실시 예에 따른 광카메라통신(OCC)을 이용한 차량 위치측정방법은 제2차량(102)의 좌측 및 우측 카메라장치(120)에서 제1차량(101)의 좌측 및 우측 광원(110)을 촬영한다(S101). 그 촬영된 2D 이미지를 이용하여 상기 광원(110)에 대하여 2D 이미지 지점과 3D 월드 좌표 지점 간에 일치하는 지점의 쌍으로부터 기초행렬을 추출한다(S103). 즉, 이러한 지점의 쌍은 광원(110)의 3D 월드 좌표 지점과 두 카메라장치(120)에서 상기 3D 월드 좌표 지점을 촬영한 2D 이미지 상에서 그 3D 월드 좌표 지점과 매핑되는 2D 이미지 지점 간의 쌍을 의미한다. 여기서, 이러한 기초행렬은 두 카메라장치(120) 간 에피폴라 기하학(epipolar geometry)을 나타낸다.
이어, 추출된 기초행렬로부터 좌측 및 우측 카메라장치(121,122)에 대한 각각의 카메라 행렬 Pl 및 Pr을 상기 수학식 9 및 10을 이용하여 계산한 후(S105), 상기 각 카메라 행렬 Pl 및 Pr로부터 제1차량(101)의 위치를 측정한다(S107). 이러한 제1차량(101)의 위치는 지상실측정보(ground truth)로 이용된다. 여기서, S107단계에서 측정된 제1차량(101)의 위치는 실제 월드(true-world) 좌표지점이 아니라 실제 월드 좌표 지점의 호모그래픽 투영인 3D 좌표지점이다. 따라서, 호모그래피 매트릭스를 이용하여 변환하는 과정이 필요하다.
이후에, 제2차량(102)의 좌측 및 우측 카메라장치(121,122)에서 상기 촬영된 좌측 및 우측 광원(111,112)의 이미지로부터 각 광원(111,112)의 위치정보를 디코딩한다(S109). 이는 상술한 OCC 기법을 이용하는 것이다. 즉, 제2차량(102)의 설치된 두 카메라장치(121,122)에서 제1차량(101)의 설치된 두 광원(111,112)의 온/오프 이미지를 촬영하고 그 촬영된 온/오프 이미지에 대응하는 위치정보 데이터를 추출하는 것이다. 이는 두 광원(111,112)의 실제 좌표 지점에 대한 위치정보이다.
계속하여, 상기 수학식 11을 이용하여 S105 단계에서 측정된 제1차량(101)의 두 광원(111,112)의 위치정보와 S107 단계에서 측정된 두 광원(111,112)의 실제 좌표지점으로부터 호모그래피 행렬 H를 계산한다(S111). 상기 좌우측 카메라 행렬 Pl 및 Pr을 각각 PlH-1 및 PrH-1로 치환하여(S113), 제1차량(101)의 실제 월드 좌표 지점을 측정한다(S115).
만약, 상기한 차량 위치측정 방법에서 제1차량(101)이 제2차량(102)으로부터 멀리 떨어져 있어 제2차량(102)의 카메라장치(120)가 제1차량(101)의 광원(110)을 촬영할 수 없는 경우, 즉 OCC 기법을 적용함에 있어서 제1 및 제2 차량(101,102) 간에 OCC 무선링크가 구현되지 못하는 경우에는 PlH-1 및 PrH-1를 이용하여 제1차량(101)의 실제 좌표 지점을 측정하도록 한다. 이는 제2차량(102)은 자신의 근처에 있는 임의의 다른 차량의 광원 또는 신호등의 광원으로부터 지상실측정보를 획득하여 상기 과정을 통해 제1차량(101)의 실제 좌표 지점을 측정할 수 있다. 이 경우 다른 차량의 광원 또는 신호등의 광원도 제1차량(101)의 광원(110)과 같이 OCC 시스템에서의 전송기(transmitter)의 역할을 수행함으로써 자신의 위치정보를 전송하도록 미리 설정됨이 바람직하다.
도 7은 본 발명의 다른 실시 예에 따른 광카메라통신(OCC)을 적용한 차량 위치장치에 적용되는 신경망(neural network) 모델의 개념도이다.
도 7을 참조하면, 본 발명에 적용되는 신경망(20)은 입력정보와 출력정보 간에 선형 또는 비선형 관계를 확인하는데 사용될 수 있다. 본 발명에 따른 신경망 모델은 감독학습(supervised training)의 결과로서 에러 역전파 알고리즘(error back propagation algorithm)를 이용하여 어렵고 다양한 문제를 해결할 수 있는 다층 퍼셉트론(MLP:multilayerperceptron)을 이용한다. 이 알고리즘은 네트워크의 서로 다른 계층을 통해 두 과정(pass), 즉 포워드 패스와 백워드 패스로 나뉜다. 포워드 패스는 계층의 모든 신경이 모든 입력의 가충치(시냅스 가중치) 합계에 따라 출력을 생성하고, 이후에 전달함수(transfer function)는 다음 계층의 입력으로서 이 출력을 제공한다. 따라서, 모든 입력 패턴의 효과가 전방으로 층층이 진행되어 최종적으로 출력계층으로부터 출력 패턴을 생성한다. 만약 Y(k)가 신경망으로부터 생성된 출력이고 t(k)는 요구된 출력이라고 가정하면 평균제곱에러(mean square error)(mse)는 하기 수학식 12와 같이 나타낼 수 있다.
Figure 112016061438632-pat00098
여기서, Q는 출력의 개수이다. 백워드 패스 동안 평균제곱에러(mse)는 에러 교정 규칙(error correction rule)에 의해 시냅스 가중치를 조정하는데 사용된다. 이러한 에러 교정은 출력계층으로부터 시작하여 후방으로 층층이 진행하여 최종적으로 신경망의 모든 가중치를 조정한다. 학습기간 동안 신경망은 회귀적으로 포워드 패스 및 백워드 패스를 수행하여 특정 레벨 내에서 에러를 최소화한다. 이로써 입력과 출력 간의 관계를 확인하도록 한다. 본 발명에 따른 신경망에서는 일례로 숨겨진 계층(hidden layer)이 32개의 뉴런(neurons)을 포함하는 3계층 전파 신경망을 사용한다. 이것은 숨겨진 계층(hidden layer)을 위한 탄-시그모이드 비선형 활성화 기능(tan-sigmoid nonlinear activation function) 및 출력계층을 위한 선형 활성화 기능을 사용한다. 도 7은 본 발명에 따른 신경망 구조로서 Xmn 및 Ymn은 카메라 좌표 시스템에서 지점을 나타내고 dmn은 제2차량(102)의 카메라장치(120)로부터 제1차량(101)의 광원(110)까지의 거리를 나타낸다. 여기서, m은 제2차량(102)의 전방 좌측 또는 우측 카메라장치(121,122)를 의미하고 n은 제1차량(101)의 전방 좌측 또는 우측 광원(111,112)을 의미한다. 이로써, dr은 제2차량(102)의 전방 좌측 카메라장치(121)에서 제1차량(101)의 후방 우측 광원(112)까지의 거리이다. 비록, 두 차량 간 거리를 측정하기 위해 이러한 신경망을 사용하지만, 신견망을 이용하여 다른 차량의 좌표(위치)를 직접 측정하는 것도 가능하다. 신경망과 두 카메라장치를 이용하여 목표차량의 좌표를 측정하기 위해서는 두 차량 사이의 거리를 추정하고 그 거리를 이용하여 목표 차량의 좌표를 계산하도록 신경망을 학습해야 한다.
도 8은 본 발명의 다른 실시 예에 따른 광카메라통신(OCC)을 이용한 차량 위치 측정장치를 설명하기 위한 차량이 모식도이고, 도 9는 본 발명에 따른 차량의 카메라장치 및 월드 좌표 시스템을 도시한 모식도이다.
도 8을 참조하면, 본 발명의 신경망의 입력은 제2차량(120)의 좌측 및 우측 카메라장치(121,122)에서 촬영된 제1차량(110)의 좌측 및 우측 광원(111,112)의 각 2D 이미지 좌표지점 (xll,yll),(xlr,ylr),(xrl,yrl),(xrr,yrr)이고, 출력은 제2차량(120)의 좌측 및 우측 카메라장치(121,122)에서 제1차량(110)의 좌측 및 우측 광원(111,112)까지의 각 거리 dll,dlr,drl,drr이다. 상기 (xll,yll)는 제2차량(120)의 좌측 카메라장치(121)에 의해 촬영된 제1차량(110)의 좌측 광원(111)의 2D 이미지 좌표지점이고, 상기 (xlr,ylr)는 제2차량(120)의 좌측 카메라장치(121)에 의해 촬영된 제1차량(110)의 우측 광원(112)의 2D 이미지 좌표지점이고, 상기 (xrl,yrl)는 제2차량(120)의 우측 카메라장치(122)에 의해 촬영된 제1차량(110)의 좌측 광원(111)의 2D 이미지 좌표지점이며, 상기 (xrr,yrr)는 제2차량(120)의 우측 카메라장치(122)에 의해 촬영된 제1차량(110)의 우측 광원(112)의 2D 이미지 좌표지점이다. 이러한 신경망은 t시간에 따라 변하는 입력에 대하여 출력을 학습하도록 한다.
구체적으로, dll,t 및 drl,t는 t시간에서의 신경망 출력으로서, 각각 t시간에서 제2차량(102)의 좌측 카메라장치(121)에서 제1차량(101)의 좌측 광원(111)까지의 거리와 제2차량(102)의 우측 카메라장치(122)에서 제1차량(101)의 좌측 광원(111)까지의 거리이다. 이때, 이들 dll,t 및 drl,t는 좌측 및 우측 카메라장치(121,122)로부터 동일한 지점을 지시한다. 즉, t시간에서 제1차량(101)의 후방 좌측 광원(111)의 좌표를 나타내는 것이다.
여기서, 제2차량(102)의 전방 좌측 카메라장치(121)과 우측 카메라장치(122)의 각 중점으로부터 각각 dll,t 및 drl,t를 반경으로 하는 두 개의 원을 그리면, 이들 두 원의 교차점 중 하나는 제1차량(101)의 후방 좌측 광원(111)의 좌표가 된다. 이와 동일하게 제2차량(102)의 전방 좌측 카메라장치(121)와 우측 카메라장치(122)의 각 중점으로부터 각각 dlr,t 및 drr,t를 반경으로 하는 두 개의 원을 그리면, 이들 두 원의 교차점 중 하나는 제1차량(101)의 후방 우측 광원(112)의 좌표가 된다. 그러나, 이러한 원은 3D 위치결정시에서 반드시 동일평면 상에 그려져야 한다. 만약 도로가 편평한 것으로 가정하면 제2차량(102)의 좌측 및 우측 카메라장치(122)의 각 중점은 제1차량(101)이 좌측 및 우측 광원(111,112)과 동일한 평면 상에 놓인다. 따라서, 제2차량(120)의 좌측 카메라장치(121)의 중심으로부터 dll,t를 반경으로 하는 원의 파라미터 방정식은 하기 수학식 13과 같이 나타낼 수 있다.
Figure 112016061438632-pat00099
여기서, 이와 동일하게, 제2차량(102)의 우측 카메라장치(122)의 중점으로부터 drl,t를 반경으로 하는 원의 파라미터 방정식은 하기 수학식 14와 같이 나타낼 수 있다.
Figure 112016061438632-pat00100
여기서, k는 0에서 2π이고, Xl,t(k) 및 X'l,t(k)는 제2차량(102)의 전방 좌측 카메라장치(121)와 우측 카메라장치(122)의 각 중점으로부터 각각 dll,t 및 drl,t를 반경으로 하는 두 개의 원, u는 제2차량(120)의 좌측 및 우측 카메라장치(121,122)의 각 중점과 제1차량(110)의 좌측 및 우측 광원(111,112)이 이루는 평면의 단위벡터(unit vector), n은 u 벡터의 수직벡터(normal vector), Cl,t 및 Cr,t는 각각 t시간에서 제2차량(120)의 좌,우 카메라장치(121,122)의 월드 좌표지점이다. 따라서, 제1차량(101)의 좌측 광원(111)의 좌표는 도 8에 도시된 바와 같이 수학식 13 및 14에서의 두 원의 교차점이 될 수 있다. 제2차량(102)의 카메라장치(120)가 전방에 있는 제1차량(101)의 광원(110)을 촬영하는 경우 제2차량(120)의 방향만 알면 수학식 13 및 14로부터 얻어진 다른 교차점은 배제할 수 있다. 다시 말하면, 수학식 13 및 14에서 얻어진 교차점은 두 개가 존재하는데 제2차량(102)이 전방의 제1차량(101)만 촬영한다고 가정하면 제2차량(102)의 카메라장치(120)보다 뒤쪽에 있는 교차점은 배제할 수 있다는 것이다. 제2차량(102)의 좌측 및 우측 카메라장치(121,122)에 대한 각 중점의 위치는 강체운동(rigid body motion)을 이용하여 구할 수 있다. 도 9에 도시된 바와 같이 제2차량(102)의 좌측 및 우측 카메라장치(120)가 고정된 위치에 설치되었다고 가정할 때, tl 및 tr은 차량 좌표 시스템에서 좌측 및 우측 카메라장치(121,122)의 위치벡터(position vector)이고, WRB,t는 3×3 회전행렬(rotation matrix)이고, WTB,t는 월드 좌표 시스템에서 t시간에서 제2차량(102)의 위치벡터(position vector)이다. 월드 좌표 시스템에서 t시간에 제2차량(102)의 좌측 및 우측 카메라장치(121,122)의 위치는 하기 수학식 15 및 16과 같이 각각 나타낼 수 있다.
Figure 112016061438632-pat00101
Figure 112016061438632-pat00102
만약, 도로가 평평하고, 그 도로로부터 제1차량(101)의 후방 광원(110)의 높이를 알고 있다면, 제2차량(102)의 전방 좌측 및 우측 카메라장치(121,122)의 각 중점과 같은 평면 상에 있는 다른 임의의 지점도 동일한 방법으로 계산될 수 있다. 이로써, 같은 평면에 있는 세 지점을 이용하여 그 평면의 단위벡터(unit vector) u와, 단위벡터 u의 수직벡터(normal vector) n을 계산할 수 있다. 이에, 제1차량의 후방 좌측 광원(111)의 좌표는 상기 수학식 13과 14를 이용하여 얻을 수 있다.
위와 동일한 방법으로, 제2차량(120)의 좌측 카메라장치(121)의 중심으로부터 drl,t를 반경으로 하는 원의 파라미터 방정식과, 제2차량(102)의 우측 카메라장치(122)의 중점으로부터 drr,t를 반경으로 하는 원의 파라미터 방정식은 각각 하기 수학식 17 및 18과 같이 나타낼 수 있다.
Figure 112016061438632-pat00103
Figure 112016061438632-pat00104
이와 같이 제1차량(110)의 좌측 및 우측 광원(111,112)의 3D 좌표지점을 구할 수 있다. 다른 실시 예에서는 선택적으로 하기 수학식 19 내지 23의 방정식을 이용하여 제1차량(101)의 좌측 및 우측 광원(111,112)의 좌표를 직접 계산할 수도 있다.
Figure 112015048972774-pat00028
Figure 112015048972774-pat00029
Figure 112015048972774-pat00030
Figure 112015048972774-pat00031
Figure 112015048972774-pat00032
여기서, Xl,t 및 Xr,t는 각각 t시간에서 제1차량(101)의 후방 좌측 및 우측 광원(111,112)의 좌표이고, tlr은 제1차량(101)의 후방 좌측 및 우측 광원(111,112) 간의 거리이다. 상기 수학식 17 내지 21로부터 미지의 파라미터 Xr,t 및 Xr,t를 갖는 5개의 방정식을 얻을 수 있다. 따라서, 총 6개의 미지의 파라미터(Xl,t 와 Xr,t는 각각 3개의 미지의 파라미터를 가짐)를 갖는다. 이들 방정식은 불특정 개수의 해답을 양산한다. 하지만, 도로가 평편하고 제1차량(101)의 Z축 좌표를 알고 있다면, 미지수의 개수는 4개로 줄어들고, 이들 방정식으로부터 2개의 해가 가능하다. 특히, 제2차량(102)의 방향을 안다면 실제 해는 쉽게 결정된다.
< 실험 예 : 차량 모델 성능 시뮬레이션>
본 발명에 따른 신경망의 성능테스트를 위해 6자유도(degree of freedom)를 갖는 차량 모델 시뮬레이터를 구현하였다. 이러한 차량 모델 시뮬레이터는 임의의 시간에 차량의 3축 위치변경 및 3축 회전이 가능하다. 이를 위하여 본 발명에서는 공지의 선행논문 「C. D Larsen, Comparison of Three Degree of Freedom and Six Degree of Freedom Motion Bases Utilizing Classical Washout Algorithms, Graduate Theses and Dissertations (2011) Paper 10139.」에 기술된 차량 모델 시뮬레이터를 이용하였다. 이러한 시뮬레이터는 동시에 풀 수 있는 10개의 차동 방정식을 기반으로 한다. 이는 차량의 위치 및 방향을 제어하기 위한 4개의 입력, 즉 조향각, 전방 제동력, 후방 제동력, 종방향 또는 전방 속도가 요구된다. 본 시뮬레이터는 이들 10개의 차동 방정식을 풀도록 하여 차량의 위치, 속도, 3D 공간에서의 방향을 정확하게 측정할 수 있다. 이들 공지의 방정식은 하기 수학식 24와 같다.
Figure 112015048972774-pat00033
Figure 112015048972774-pat00034
Figure 112016061438632-pat00105
Figure 112015048972774-pat00036
Figure 112015048972774-pat00037
Figure 112016061438632-pat00106
Figure 112016061438632-pat00107
Figure 112016061438632-pat00108
Figure 112016061438632-pat00109
Figure 112016061438632-pat00110
차량의 3축 위치와 회전과 같은 차량의 새로운 상태는 오일러 방법(Euler method)에 의해 계산될 수 있다. 이는 하기 수학식 25와 같이 나타낼 수 있다.
Figure 112015048972774-pat00043
차량의 측방향 힘은 하기 수학식 26과 같이 계산할 수 있다.
Figure 112015048972774-pat00044
Figure 112015048972774-pat00045
Figure 112015048972774-pat00046
Figure 112015048972774-pat00047
차량의 종방향 힘은 하기 수학식 27과 같이 계산될 수 있다.
Figure 112015048972774-pat00048
Figure 112015048972774-pat00049
Figure 112015048972774-pat00050
Figure 112015048972774-pat00051
여기서, 상기 수학식 24 내지 27에 따라 본 발명의 차량 모델 시뮬레이션에 사용된 파라미터는 다음 표 1 내지 표 3과 같다.
파라미터 정의
a 차량의 전방부터 무게중심(cg)까지의 종방향 거리
b 차량의 후방부터 무게중심(cg)까지의 종방향 거리
cg 차량의 무게중심
c 댐핑 계수 롤링(Damping coefficient rolling)
C 부하가 인가될 때 댐핑 계수
Cθr 뒷 타이어 코너링 강성(Cornering stiffness rear tires)
Cθf 앞 타이어 코너링 강성(Cornering stiffness front tires)
θmn 슬립각 m= 1 또는 r, n= f or r, (θlf는 좌측 앞 타이어의 슬립각)
δ 조향각(steer angle)
파라미터 정의
K 스프링 속도(spring rate)
Figure 112015048972774-pat00052
스프링 강성(spring stiffness)
m 차량의 무게
wf 앞 악셀 무게(Weight front axel)
wr 뒤 악셀 무게(Weight rear axel)
Fxmn 타이어의 종방향 힘(m=l 또는 r, n=f 또는 r, Fxlf는 좌측 전방 타이어의 종방향 힘)
Fymn 타이어의 측방향 힘(m=l 또는 r, n=f 또는 r, Fylf는 좌측 전방 타이어의 측방향 힘)
Bmn 제동력(m=l 또는 r, n=f 또는 r, BFlf는 좌측 전방 타이어의 제동력)
Fx 전체 종방향 힘
Fy 전체 측방향 힘
BFf 앞 악셀 제동력(Brake force front axel)
파라미터 정의
Ixx x축에 대한 관성 모멘트(Moment of inertia)
Iyy y축에 대한 관성 모멘트
Izz z축에 대한 관성 모멘트
u 종방향 속도
v 측방향 속도
αcar 롤 각(Roll angle)
βcar 피치 각(Pitch angle)
γcar 요 각(Yaw angle)
X 월드 좌표 시스템에서 X위치
Y 월드 좌표 시스템에서 Y위치
Z 월드 좌표 시스템에서 Z위치
상기 수학식 26 및 27에 의하면, 차량의 종방향과 측방향으로의 가속은 각각 차량의 종방향 힘과 측방향 힘에 의해 결정된다. 따라서, 제동력 변화는 차량을 가속 또는 감속하게 하고 조향각 변화는 차량의 방향을 변하게 한다. 본 발명에 따른 차량 모델 시뮬레이션에서는 서로 다른 초기 위치 및 속도를 갖는 두 개의 차량을 이용한다. 이들 두 차량 간의 거리를 증가 또는 감소시키기 위해 서로 다른 시간에 서로 다른 제동력을 가한다. 포지티브 또는 네거티브 제동력이 각각 차량의 감속 또는 가속을 위해 인가되고, 상기 두 차량에 대한 제동력은 후방 차량이 항상 전방의 목표 차량을 따라가도록 적용된다. 두 차량이 동일한 궤적으로 따라가도록 하기 위해 전방 차량의 뒤쪽 근거리에서 후방 차량의 조향각을 조정하도록 한다.
상기한 바와 같이 본 발명에 따른 신경망 모델의 유효성을 검증하고 차량의 위치 및 범위 결정의 신뢰성을 검증하기 위하여 두 차량의 궤적을 구현하고 MATLAB를 이용하여 시뮬레이션하였다. 이러한 시뮬레이션에서는 서로 다른 초기값을 갖는 두 차량이 선택되고 이들의 궤적은 제2차량(후방 차량)이 제1차량(전방 차량)을 뒤에서 따라가는 방법으로 시뮬레이션된다. 서로 다른 제동력이 두 차량에 적용되어 두 차량 간의 거리가 시간에 따라 변하는 방식으로 두 차량은 각각 가속 또는 감속된다. 다시 말하면 제1 및 제2 차량은 서로 다른 가속도를 갖는다. 그 결과 때로는 두 차량 간의 거리가 까까워지고 때로는 멀어진다. 궤도 1의 경우, 제2차량의 경로는 제1차량을 항상 따라가는 방식으로 시뮬레이션된다. 그러나, 궤적 2의 경우 제2차량을 순간적으로 가속하여 제1차량이 제2차량의 뒤로 가도록 한다. 이 경우에는 위치 추적 및 범위가 불가능하다. 왜냐하면 제1차량이 제2차량의 아웃 오브 포커스(out of focus)되기 때문이다. 따라서, 본 시뮬레이션에서는 두 가지 경우에 대한 알고리즘을 테스트하였다. 두 궤적은 아래와 같다.
사례1 : 위 궤적 1의 경우, 제2차량은 항상 제1차량의 뒤에 위치하여 그 궤적으로 따라간다. 다만, 두 차량 간의 거리를 변화시키기 위해 두 차량의 가속을 조정할 뿐이다. 또한, 두 차량의 조향각도 이들의 궤적을 유지하도록 적용된다.
사례2 : 위 궤적 2의 경우 제2차량이 전방으로 더 가속되어 제1차량을 앞서 가도록 하여 제1차량이 제2차량의 뒤에 위치하도록 한다.
위 두 사례 모두 컴퓨터 비전 방식 및 본 발명의 신경망 방식을 이용하여 두 차량 간의 거리관계로부터 두 차량 간의 유클리디안 거리(Euclidean distance)를 계산할 수 있다. 이러한 시뮬레이션에 사용된 파라미터 값은 표 3에 나타나 있다.
<실험 예 : 시뮬레이션 결과>
사례 1 : 궤적 1의 경우
도 10 및 도 11은 궤적 1과 관련하여 각각 제1차량 및 제2차량에 대한 방향 및 속도의 시뮬레이션 결과를 도시한다. 도 10에서와 같이 제1차량은 40ft/s의 초기속도로 [800,800,0]의 좌표에서 시작한다. 반대로 제2차량은 30ft/s의 초기속도로 [750,795,0]의 좌표에서 시작한다. 처음 5초 동안 두 차량에는 종방향 힘이 인가되지 않는다. 따라서, 두 차량은 동일한 속도로 움직이고 두 차량 간의 거리는 속도에 따라 선형적으로 증가한다. 포지티브 종방향 힘이 인가되는 경우에는 두 차량은 가속을 시작한다. 비록, 제2차량에 인가된 종방향 힘이 제1차량에 인가된 종방향 힘보다 조금 더 크더라도, 제1차량의 초기속도가 더 크기 때문에 이들 두 차량 간의 거리는 증가한다.
10초 이후, 제2차량의 최종속도가 제1차량의 최종속도보다 조금 낮다. 그러나, 제2차량의 더 낮은 속도로 인해 두 차량 모두 감속된다. 두 차량 간의 거리는 50초까지는 연속적으로 증가한다. 종방향 힘을 가하여 제2차량이 70초에 이르러 100ft/s 속도가 되고 제1차량은 이때 70ft/s에 도달한다. 따라서, 두 차량 간의 거리는 50초에서 감소하기 시작한다. 두 차량의 가속 및 감속에 따른 속도변화는 도 10(d) 및 도 11(d)에 명확히 도시된다. 각 시간에서 두 차량 간 거리는 도 12에 도시된다. 차량이 가속되는 동안 그 차량은 후방으로 피치(pitch)되고 감속되는 동안에는 전방으로 피치된다. 가속 및 감속이 없다면 도 10(b) 및 도 11(b)에 두 차량에 대하여 도시된 바와 같이 피치각(pitch angle)은 서스펜션에서의 댐핑에 의해 안정상태(steady state)를 유지한다. 차량 조향각은 요 레이트(yaw rate)에 직접적으로 영향을 준다. 따라서, 차량은 월드 좌표 시스템에서 X축 및 Y축을 따라 방향이 변한다. 도 10(c) 및 도 11(c)는 각각 제1차량 및 제2차량의 요 각도(yaw angle) 곡선을 나타낸다. 이는 차량의 조향각과 관련된다. 차량이 회전하는 경우에는 좌측 및 우측 타이어 간에 부하 이동이 일어난다. 이는 도 10(a) 및 도 11(a)에 도시된 바와 같이 차량의 롤링 각도에 영향을 준다. 이러한 롤링 각도는 각 차량의 좌측 및 우측 타이어 간 부하 이동으로 인해 전방/후방으로 변경된다.
본 발명에 따른 신경망을 테스트하기 전에 더미 차량 시뮬레이션을 이용하여 신경망을 학습시킨다. 이러한 학습을 위해 각 차량의 위치 및 방향을 임의로 결정하고 월드 좌표 프레임에서 제2차량의 전방 카메라장치와 제1차량의 후방 광원의 위치 및 방향을 상술한 바와 같이 각각의 변환행렬을 이용하여 계산한다. 이는 학습 데이터를 얻는데 사용된다. 학습과정 동안 두 차량 간의 거리는 X축을 따라 10ft에서 200ft로 변하고 학습데이터 지점은 50ft 간격에서 얻어진다. 반면, Y축의 경우 5ft 간격에서 Y축을 따라 -10에서 10ft의 거리가 신경망을 학습하는데 사용된다. 제1차량 및 제2차량의 다음 방향은 학습과정 동안, 즉 0.57도 간격에서 -0.57도에서 0.57도의 롤 및 피치 각도 동안, 28.6도 간격에서 -57도 에서 57도의 요 각도 동안 사용된다.
이에 따라, 16,281 데이터 지점이 신경망을 학습하기 위해 얻어진다. 이와 같이 학습된 신경망은 궤적 1 및 2에 대하여 두 차량 간의 거리를 추정하는데 사용된다. 또한, 잡음 환경에서 신경망의 성능을 평가하기 위해 두 카메라 모델에 백색 가우스 잡음(white Gaussian noise)이 추가된다. 도 12는 궤적 1에 대한 신경망의 성능을 나타낸다. 빨간색 곡선은 각각 제2차량의 전방 좌측 및 우측 카메라장치에서 제1차량의 후방 좌측 및 우측 광원까지의 실제 거리를 나타낸다. 파란색 곡선은 신경망의 출력을 나타낸다. 앞서 설명한 바와 같이, 두 차량 간의 거리는 차량이 가속 또는 감속함에 따라 변한다. 도 12 및 표 4를 참조하면, 신경망은 두 차량 간의 거리에 대한 오차가 증가한 후 200ft(약 60m)까지 정확하게 거리를 측정할 수 있음을 알 수 있다. 이와 같이, 본 발명에 따른 신경망은 목표 차량(제1차량)의 위치를 측정하는데 사용된다.
도 13은 본 발명에 따른 궤적 1에 따른 제1,2 차량의 궤적 및 신경망 기반의 위치 측정 시뮬레이션 결과이다. 도 13은 이러한 신경망의 성능을 나타낸 것으로서, 시간과 관련하여 X-Y 좌표에서 두 차량의 위치가 도시된다. 빨간색 곡선은 제1차량(110)의 위치를 나타내고 판란색 곡선은 제2차량(120)의 위치를 나타낸다. 또한 녹색 곡선은 제1차량(110)의 위치(제1차량의 후방 좌측 광원의 좌표)를 나타낸다. 이는 제2차량(120)을 기준으로 측정되는 것이다. 도 13 및 하기 표 4를 참조하면 신경망은 두 차량 간의 거리에 대한 오차가 증가한 후 200ft(약 60m)까지 정확하게 거리를 측정할 수 있다. 50초 시점에 두 차량 간의 거리는 352ft이고 신경망은 257ft로 측정한다. 이는 에러로 인하여 제1차량의 측정 위치가 실제 위치와 많이 차이가 난다. 다른 예에서 측정 위치가 실제 위치와 근접한다. 예컨대 80초 시점에서 제1차량의 위치는 [4806.5, 862.45, 0]이고 측정된 위치는 제1차량의 실제 위치와 매우 근접한 [4800, 860.72, 2.09]이다. 또한, 본 발명에서는 상술한 컴퓨터 비전 기법을 이용해서 차량의 위치를 측정할 수도 있다. 그러나, 컴퓨터 비전 기반의 위치결정 기법은 높은 에러로 인하여 도 13에 도시하지 않았다.
도 14 및 도 15는 궤적 1의 경우 각각 제1차량의 후방 좌측 및 우측 광원의 거리대 에러 곡선을 보여준다. 이 에러는 차량의 원 위치와 측정 위치 간의 뉴클리디안 규범(Euclidean norm)으로 간주된다. 도 14 및 도 15는 에러가 두 차량 간의 거리를 증가시키고 신경망 기반의 위치측정방법이 컴퓨터 비전 기반의 위치측정방법보다 더 나은 성능을 보여주고 있음을 나타낸다. 신경망 기반의 위치결정방법에서 에러는 200ft까지 거의 일정하고 그 이후에는 증가하기 시작한다. 컴퓨터 비전 기반의 방법은 더 큰 에러를 보인다. 앞서 시뮬레이션에서 추가적인 가우스 잡음에 대하여 언급한 바와 같이 카메라장치로부터의 두 광선(ray)는 일반적으로 만나지 않는다. 따라서, 뉴클리디언 복원(Euclidean reconstruction) 과정 중에는 에러가 개입되지 않는다. 또한, 시뮬레이션 동안 기본행렬을 계산하기 위하여 제1차량에서 미리 설정된 8개의 지점을 사용한다. 가끔씩 나쁜 사례(즉, 대응 이미지 지점이 기본행렬의 유일한 해법으로 허용하지 않은 경우)가 제1차량와 제2차량의 관련 위치로 인해 발생할 수 있으며, 이는 도 14 및 15에 도시된 바와 같이 컴퓨터 비전 기반 방법에서 많은 에러가 개입될 수 있다는 것을 의미한다.
사례 2 : 궤적 2의 경우
도 16 및 도 17은 궤도 2와 관련하여 각각 제1차량 및 제2차량에 대한 방향 및 속도 시뮬레이션을 나타낸다. 도 16에서와 같이 제1차량은 40ft/s의 초기속도로 [800, 800, 0]의 좌표에서 시작한다. 반면 제2차량은 30ft/s의 초기속도로 [750, 795, 0]의 좌표에서 시작한다. 처음 25초 동안에는 두 차량에 종방향 힘이 인가되지 않는다. 따라서, 두 차량은 일정한 속도로 움직이고 두 차량 간의 거리는 그 속도에 따라 선형적으로 증가한다. 포지티브 종방향 힘이 인가되면 두 차량은 가속을 시작한다. 제2차량에 인가된 종방향 힘이 더 크기 때문에 제2차량은 제1차량보다 더 가속되어 40초에서 두 차량의 속도는 80ft/s에 도달한다. 그러면 두 차량 간의 거리는 감소되기 시작한다. 제2차량의 최종속도는 50초에서 115ft/s가 되고, 제1차량은 50초에서 107ft/s가 된다. 그러나, 두 차량을 감속시키면 제2차량의 속도가 더 크기 때문에 제2차량은 제1차량을 지나쳐서 앞으로 위치하게 된다. 그 결과 제2차량의 카메라장치는 아웃 오브 포커스(out of focus)가 된다. 즉, 제1차량은 제2차량의 두 카메라장치로 촬영이 불가하다. 100초에는 두 차량이 75ft/s의 속도가 되지만, 제1차량은 제2차량의 뒤에 위치하게 된다. 표 5에 의하면 100초에서 제1차량의 위치는 [8039, 858.786, 0]이고 제2차량의 위치는 [8043, 813.4, 0]가 된다. 이후 두 차량을 가속시킨다. 그러나, 제1차량이 가속됨에 따라 결국 제1차량은 제2차량을 지나치게 되고 다시 제2차량의 카메라장치는 인 포커스(in focus)가 된다. 이는 132초에서 일어난다. 각 시간에서 두 차량 간의 거리는 도 18에 도시된다.
도 18은 궤적 2에 대한 신경망의 성능을 나타낸다. 제2차량의 전방 좌측 및 우측 카메라장치로부터 제1차량의 후방 좌측 및 우측 광원까지 각각 4개의 거리가 도시된다. 도면에 따르면 신경망은 두 차량 간의 거리를 200ft까지 측정할 수 있다. 거리 에러는 순차적으로 증가한다. 또한, 신경망은 83~ 132초의 구간에서는 거리를 측정하는데 실패한다. 그 이유는 제2차량의 카메라장치가 아웃 오브 포커스가 되기 때문이다. 신경망 출력은 상술한 바와 같이 제1차량의 위치를 측정하는데 사용된다. 도 19는 이의 성능을 보여준다.
도 19는 본 발명에 따른 궤적 2에 따른 제1,2 차량의 궤적 및 신경망 기반의 위치 측정 시뮬레이션 결과이다. 도 19에서, 시간과 관련하여 X-Y 좌표에서 두 차량의 위치가 표시된다. 빨간색 곡선과 파란색 곡선은 각각 제1차량 및 제2차량의 위치를 나타낸다. 녹색 곡선은 제1차량의 위치(제1차량의 후방 좌측 광원의 좌표)를 나타낸다. 이는 제2차량을 기반으로 측정된다. 궤적 2가 궤적 1보다 지그재그가 덜 하기 때문에 측정된 곡선은 궤적 1의 곡선보다 더 부드럽게 나타난다. 또한, 도 18에 도시된 바와 같이 신경망의 출력은 20~60초의 구간 동안 많이 벗어난다. 이는 더 부드러운 궤적이기 때문에 도 19에서 육안으로는 판별할 수 없다. 또한, 측정된 제1차량의 위치는 약간의 시간지연을 가지며 원래 궤적을 따라간다. 그러나, 도 19를 면밀히 살펴보면, 그 벗어남의 정도가 확인될 수 있다. 즉, 20초에서 제1차량의 위치는 [1600, 800, 0]이지만, 측정위치는 표 5와 같이 [1564, 798.47, 3]이다. 또한, 83~132초 구간 동안에는 제2차량의 카메라장치가 아웃 오브 포커스이기 때문에 제1차량의 위치를 측정하는 것은 불가능하다.
도 20 및 도 21은 궤적 2에 대하여 각각 제1차량의 후방 좌측 및 우측 광원에 대한 거리대 에러 곡선을 나타낸다. 실제 위치와 계산된 위치 간의 에러는 뉴클리드 규범(Euclidean norm)으로 간주된다. 궤적 1에 대한 도 14 및 도 15에 도시한 바와 같이, 신경망 기반의 위치결정이 컴퓨터 비전 기반의 위치결정보다 더 향상된 성능을 가짐을 확인할 수 있다. 비록 신경망 기반의 위치결정이 궤적 1 및 2에 대하여 동일한 성능을 가지지만, 컴퓨터 비전 기반 위치결정은 궤적 1보다 궤적 2의 경우에 대하여 더 우수한 성능을 보인다. 앞서 설명한 바와 같이 시뮬레이션 동안 기본행렬을 계산하기 위해 8개의 기설정된 제1차량 위치를 이용한다. 가끔 이는 컴퓨터 비전 기반 위치결정 기법이 적용될 때 많은 에러가 개입하는 나쁜 사례가 제1차량 및 제2차량의 관련 위치에 따라 발생할 수도 있다. 그러나, 궤적 2는 궤적 1보다 지그재그가 덜 하기 때문에 궤적 1보다는 나쁜 사례가 발생할 확률이 적다.
이상에서 설명한 바와 같이, 본 발명에서는 차량이 인접 차량과의 광무선링크를 통해 자신의 위치정보를 전송함으로써 차량의 위치를 측정하는 방법을 제공한다. 이러한 위치 정보는 컴퓨터 비전 기반 기법에서 OCC 링크를 구축하기에는 너무 멀리 있는 차량의 위치를 측정하기 위한 지상관측정보(ground truth)로 사용된다. 또한, 본 발명에서는 신경망 기반의 차량 위치결정장치 및 방법을 제공한다. 본 발명에 따른 신경망은 차량의 후방 광원에 대한 2D 이미지 지점으로부터 목표 차량의 위치를 측정하는데 이용된다. 이 경우에는 ground truth는 요구되지 않는다. 이들 신경망 기반 기법과 컴퓨터 비전 기반 기법이 후방 차량에 대하여 전방으로 이동중인 목표 차량의 위치를 측정하기 위해 두 가지 차량 시뮬레이션에 적용된다. 시뮬레이션 결과는 컴퓨터 비전 기법보다 신경망 기반 기법이 더 정확하게 측정된다는 것을 보여준다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
101 : 제1차량 102 : 제2차량
110 : 광원 111 : 제1차량의 좌측 광원
112 : 제1차량의 우측 광원 120 : 카메라장치
121 : 제2차량의 좌측 카메라장치 122 : 제2차량의 우측 카메라장치

Claims (9)

  1. 광원과 카메라장치 간에 통신을 통해 정보를 전송하는 광카메라통신(OCC)을 이용한 차량 위치 측정방법에 있어서,
    제1차량의 좌우 광원을 제2차량의 좌우 카메라장치로 촬영하는 제1단계;
    상기 좌우 카메라장치에서 촬영된 상기 좌우 광원의 2D 이미지를 이용하여 상기 좌우 광원에 대해 2D 이미지 지점과 3D 월드 좌표지점 간에 일치하는 지점의 쌍으로부터 기초행렬(fundamental matrix)을 추출하는 제2단계;
    상기 좌우 카메라장치에서 상기 추출된 기초행렬로부터 상기 좌우 카메라장치의 좌우 카메라 행렬 Pl 및 Pr을 계산하는 제3단계;
    상기 좌우 카메라장치에서 상기 좌우 카메라 행렬 Pl 및 Pr로부터 상기 제1차량의 3D 좌표지점을 계산하는 제4단계;
    상기 좌우 카메라장치에서 상기 촬영된 좌우 광원의 이미지로부터 상기 광원의 온/오프에 대응하는 상기 좌우 광원의 실제 좌표지점을 추출하는 제5단계;
    상기 좌우 카메라장치에서 상기 제4단계에서 계산된 3D 좌표지점과 상기 제5단계에서 추출된 실제 좌표지점으로부터 비특이 호모그래피 행렬(H: non-singular homography matrix)을 계산하는 제6단계; 및
    상기 좌우 카메라장치에서 상기 좌우 카메라 행렬 Pl 및 Pr을 각각 PlH-1 및 PrH-1로 치환하여(H-1: H의 역행렬) 상기 제1차량의 실제 좌표지점을 측정하는 제7단계; 를 포함하는 광카메라통신(OCC)을 이용한 차량 위치 측정방법.
  2. 제1항에 있어서, 상기 제5단계는,
    상기 좌우 광원에서 각각 자신의 실제 좌표지점 데이터에 대응되도록 기설정된 주파수 펄스로 온/오프되고 상기 좌우 카메라장치에서 각각 상기 각 광원의 온/오프 이미지를 촬영하고 상기 온/오프 이미지에 대응하는 상기 실제 좌표지점 데이터를 추출하는 광카메라통신(OCC)을 이용한 차량 위치 측정방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 좌우 카메라 행렬 Pl 및 Pr은 하기 수학식을 이용하여 계산되는 광카메라통신(OCC)을 이용한 차량 위치 측정방법.
    Figure 112016115445360-pat00089

    (이때, []x는 교대행렬(skew symmetric matrix), I는 3x3 항등행렬(identity matrix), F는 상기 좌우 카메라장치 간 에피폴라 기하학(epipolar geometry)을 나타내는 기초행렬, er은 상기 우측 카메라장치의 에피폴(epipole)임)
  5. 제1항에 있어서,
    상기 호모그래피 행렬은 하기 수학식을 이용하여 계산하는 광카메라통신(OCC)을 이용한 차량 위치 측정방법.
    Figure 112016115445360-pat00090

    (여기서, Xi는 상기 광원의 3D 월드 좌표 지점, XEi는 상기 광원의 월드 좌표 지점, H는 상기 3D 월드 좌표 지점과 월드 좌표 지점 간의 호모그래피 행렬임)
  6. 광원과 카메라장치 간에 통신을 통해 정보를 전송하는 광카메라통신(OCC)을 이용한 차량 위치 측정방법에 있어서,
    제1차량의 좌우 광원을 제2차량의 좌우 카메라장치로 촬영하는 제1단계;
    상기 좌우 카메라장치에서 촬영된 상기 좌우 광원의 각 2D 이미지 좌표지점 (xll,yll),(xlr,ylr),(xrl,yrl),(xrr,yrr)을 입력으로 하고 상기 좌우 카메라장치에서 상기 좌우 광원까지의 각 거리 dll,dlr,drl,drr을 출력으로 하는 기설정된 신경망(neural network)을 학습하는 제2단계;
    (상기 (xll,yll)는 상기 좌우 카메라장치 중 좌측 카메라장치에서 촬영된 좌측 광원의 2D 이미지 좌표지점, 상기 (xlr,ylr)는 상기 좌측 카메라장치에서 촬영된 우측 광원의 2D 이미지 좌표지점, 상기 (xrl,yrl)는 상기 좌우 카메라장치 중 우측 카메라장치에서 촬영된 상기 좌측 광원의 2D 이미지 좌표지점, 상기 (xrr,yrr)는 상기 우측 카메라장치에서 촬영된 상기 우측 광원의 2D 이미지 좌표지점이고, 상기 dll은 제2차량의 좌측 카메라장치에서 제1차량의 좌측 광원까지의 거리, 상기 dlr은 제2차량의 좌측 카메라장치에서 제1차량의 우측 광원까지의 거리, 상기 drl은 제2차량의 우측 카메라장치에서 제1차량의 좌측 광원까지의 거리, 상기 drr은 제2차량의 우측 카메라장치에서 제1차량의 우측 광원까지의 거리임)
    상기 좌우 카메라장치에서 상기 신경망의 출력을 이용하여 t시간에서 상기 좌우 카메라장치의 각 중점으로부터 상기 좌우 카메라장치로부터 상기 좌우 광원까지의 각 거리(dll,t, dlr,t, drl,t, drr,t)를 반경으로 하는 원을 각각 설정하는 제3단계;
    상기 좌우 카메라장치에서 상기 좌우 광원에 대하여 각각 설정된 2개의 원에 형성된 교차점을 이용하여 상기 t시간에서의 상기 좌우 광원의 월드 좌표지점을 계산하는 제4단계; 를 포함하는 광카메라통신(OCC)을 이용한 차량 위치 측정방법.
  7. 제6항에 있어서,
    t시간에 상기 제2차량의 좌측 카메라장치에서 반경 dll,t인 원의 파라미터 방정식(Xl,t(k)), 상기 제2차량의 우측 카메라장치에서 반경 drl,t인 원의 파라미터 방정식(X'l,t(k)), 상기 제2차량의 좌측 카메라장치에서 반경 drl,t인 원의 파라미터 방정식(Xr,t(k))과, 상기 제2차량의 우측 카메라장치에서 반경 drr,t인 원의 파라미터 방정식(X'r,t(k))은 각각 하기 수학식을 이용하여 계산되는 광카메라통신(OCC)을 이용한 차량 위치 측정방법.
    Figure 112016115445360-pat00091

    (여기서, 상기 u는 상기 제2차량의 좌우 카메라장치의 각 중점과 제1차량의 좌우 광원이 이루는 동일 평면의 단위벡터(unit vector), 상기 n은 상기 u 벡터의 수직벡터(normal vector), Cl,t 및 Cr,t는 각각 t시간에서 상기 제2차량의 좌우 카메라의 월드 좌표지점임)
  8. 제7항에 있어서, 상기 Cl,t 및 Cr,t는 하기 수학식에 의해 계산되는 광카메라통신(OCC)을 이용한 차량 위치 측정방법.
    Figure 112016115445360-pat00092

    (여기서, 상기 tl 및 tr은 차량 좌표 시스템에서 좌우 카메라장치의 위치벡터(position vector)이고, WRB,t는 3×3 회전행렬(rotation matrix)이고, WTB,t는 월드 좌표 시스템에서 t시간에서 제2차량의 위치벡터(position vector)임)
  9. 제6항에 있어서,
    상기 제2차량의 좌우 카메라장치의 각 중심점 좌표지점과 상기 제1차량의 좌우 광원의 좌표지점은 동일한 평면 상에 위치하는 광카메라통신(OCC)을 이용한 차량 위치 측정방법.
KR1020150071108A 2015-05-21 2015-05-21 광카메라통신(occ)을 이용한 차량 위치 측정방법 KR101689252B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150071108A KR101689252B1 (ko) 2015-05-21 2015-05-21 광카메라통신(occ)을 이용한 차량 위치 측정방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150071108A KR101689252B1 (ko) 2015-05-21 2015-05-21 광카메라통신(occ)을 이용한 차량 위치 측정방법

Publications (2)

Publication Number Publication Date
KR20160136895A KR20160136895A (ko) 2016-11-30
KR101689252B1 true KR101689252B1 (ko) 2016-12-23

Family

ID=57707721

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150071108A KR101689252B1 (ko) 2015-05-21 2015-05-21 광카메라통신(occ)을 이용한 차량 위치 측정방법

Country Status (1)

Country Link
KR (1) KR101689252B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3624002A3 (en) * 2018-09-12 2020-06-10 Samsung Electronics Co., Ltd. Training data generating method for image processing, image processing method, and devices thereof
KR102327440B1 (ko) 2021-05-17 2021-11-16 국민대학교산학협력단 Bppm 기반 하이브리드 파형 신호 수신 방법 및 장치
KR102343334B1 (ko) 2021-04-26 2021-12-23 국민대학교산학협력단 광학 카메라 통신(occ) 기반 송신 광원 탐지 방법 및 장치
KR102345777B1 (ko) 2021-02-23 2021-12-30 국민대학교산학협력단 광학 카메라 통신(occ) 기반 차량 위치 판단 방법 및 장치
KR102347767B1 (ko) 2021-02-23 2022-01-05 국민대학교산학협력단 광학 카메라 통신(occ) 기반 도로 형태 판단 방법 및 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102150193B1 (ko) * 2019-04-15 2020-08-31 연세대학교 산학협력단 카메라의 탈초점을 이용한 광 세기 측정과 이를 이용한 위치 추정 장치 및 방법
KR102324911B1 (ko) 2021-03-23 2021-11-10 국민대학교산학협력단 가시광 통신에 기반한 다중 통신 지원 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013083505A (ja) 2011-10-07 2013-05-09 National Institute Of Information & Communication Technology 3次元座標位置推定装置、その方法、そのプログラムおよび3次元座標推定システム、ならびに、カメラ較正情報生成装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100388756B1 (ko) 1998-08-21 2003-08-19 주식회사 만도 자동차전방레이다센서방식에서전방물체의위치및속도검출장치
KR100951309B1 (ko) * 2008-07-14 2010-04-05 성균관대학교산학협력단 광학식 모션 캡처 장비를 위한 다중 카메라 보정 방법
JP5314502B2 (ja) 2009-05-29 2013-10-16 三菱重工業株式会社 車両位置測定装置および車両位置測定方法
KR101665386B1 (ko) * 2010-11-15 2016-10-12 한화테크윈 주식회사 로봇 위치 추정 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013083505A (ja) 2011-10-07 2013-05-09 National Institute Of Information & Communication Technology 3次元座標位置推定装置、その方法、そのプログラムおよび3次元座標推定システム、ならびに、カメラ較正情報生成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3624002A3 (en) * 2018-09-12 2020-06-10 Samsung Electronics Co., Ltd. Training data generating method for image processing, image processing method, and devices thereof
US11670087B2 (en) 2018-09-12 2023-06-06 Samsung Electronics Co., Ltd. Training data generating method for image processing, image processing method, and devices thereof
KR102345777B1 (ko) 2021-02-23 2021-12-30 국민대학교산학협력단 광학 카메라 통신(occ) 기반 차량 위치 판단 방법 및 장치
KR102347767B1 (ko) 2021-02-23 2022-01-05 국민대학교산학협력단 광학 카메라 통신(occ) 기반 도로 형태 판단 방법 및 장치
KR102343334B1 (ko) 2021-04-26 2021-12-23 국민대학교산학협력단 광학 카메라 통신(occ) 기반 송신 광원 탐지 방법 및 장치
KR102327440B1 (ko) 2021-05-17 2021-11-16 국민대학교산학협력단 Bppm 기반 하이브리드 파형 신호 수신 방법 및 장치

Also Published As

Publication number Publication date
KR20160136895A (ko) 2016-11-30

Similar Documents

Publication Publication Date Title
KR101689252B1 (ko) 광카메라통신(occ)을 이용한 차량 위치 측정방법
Ifthekhar et al. Stereo-vision-based cooperative-vehicle positioning using OCC and neural networks
US11940539B2 (en) Camera-to-LiDAR calibration and validation
US20190236380A1 (en) Image generation system, program and method, and simulation system, program and method
US9802599B2 (en) Vehicle lane placement
KR102464863B1 (ko) 신경망을 사용하는 데이터 인코딩 및/또는 디코딩 시스템 및 방법
US11461915B2 (en) Object size estimation using camera map and/or radar information
US8326523B2 (en) Method of determining range
Hossan et al. A new vehicle localization scheme based on combined optical camera communication and photogrammetry
US20230382423A1 (en) System and method for free space estimation
EP2339295B1 (en) Relative navigation system and a method thereof
KR20190134231A (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
Sridhar et al. Cooperative perception in autonomous ground vehicles using a mobile‐robot testbed
CN115375770A (zh) 计算机实现的方法、运载工具、照相机和存储介质
Ivancsits et al. Visual navigation system for small unmanned aerial vehicles
Zheng et al. Multivehicle multisensor occupancy grid maps (MVMS-OGM) for autonomous driving
EP4020111B1 (en) Vehicle localisation
Hu et al. A reliable cooperative fusion positioning methodology for intelligent vehicle in non-line-of-sight environments
CN116710971A (zh) 物体识别方法和飞行时间物体识别电路
CN104236518B (zh) 一种基于光学成像与模式识别的天线主波束指向探测方法
Lee et al. Data association for autonomous ships based on virtual simulation environment
KR101759422B1 (ko) 불변 가상 투영을 이용한 신경망 기반의 실내 위치 인식 장치 및 방법
US20230145701A1 (en) Neural network object pose determination
US20230267640A1 (en) Pose estimation
EP4266261A1 (en) 3d road surface estimation for automated driving systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190923

Year of fee payment: 4