KR101709317B1 - 단일 카메라와 ｇｐｓ를 이용한 영상 내 객체의 좌표 산출 방법 - Google Patents

단일 카메라와 ｇｐｓ를 이용한 영상 내 객체의 좌표 산출 방법 Download PDF

Info

Publication number
KR101709317B1
KR101709317B1 KR1020150108960A KR20150108960A KR101709317B1 KR 101709317 B1 KR101709317 B1 KR 101709317B1 KR 1020150108960 A KR1020150108960 A KR 1020150108960A KR 20150108960 A KR20150108960 A KR 20150108960A KR 101709317 B1 KR101709317 B1 KR 101709317B1
Authority
KR
South Korea
Prior art keywords
distance
lat
camera
long
pixel
Prior art date
Application number
KR1020150108960A
Other languages
English (en)
Other versions
KR20170014916A (ko
Inventor
권기룡
이석환
성택영
Original Assignee
부경대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부경대학교 산학협력단 filed Critical 부경대학교 산학협력단
Priority to KR1020150108960A priority Critical patent/KR101709317B1/ko
Publication of KR20170014916A publication Critical patent/KR20170014916A/ko
Application granted granted Critical
Publication of KR101709317B1 publication Critical patent/KR101709317B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO

Abstract

본 발명은 단일 카메라와 GPS를 이용한 영상 내 객체의 좌표 산출 방법에 관한 것으로서, 차량에 설치된 단일 카메라의 영상에 포착된 제1 객체(T1)를 인식하고, 상기 제1 객체(T1)의 화소 크기로부터 상기 단일 카메라로부터 상기 제1 객체(T1)까지의 실제 거리(D1)를 추정하는 단계; 차량에 설치된 GPS 수신기를 이용하여 상기 차량의 좌표(Carlat, Carlong) 및 정북향(N=0°)에 대한 상기 차량의 진행 방향(θ)을 획득하는 단계; 및 상기 실제 거리(D1)와 상기 차량의 좌표(Carlat, Carlong) 및 상기 차량의 진행 방향(θ)에 기초하여, 상기 제1 객체(T1)의 좌표(T1lat, T1long)를 산출하는 단계;를 포함한다.

Description

단일 카메라와 ＧＰＳ를 이용한 영상 내 객체의 좌표 산출 방법{METHOD FOR CALCULATING AN OBJECT'S COORDINATES IN AN IMAGE USING SINGLE CAMERA AND GPS}
본 발명은 차량 내 탑재된 단일 카메라 및 GPS 수신기를 이용하여, 단일 카메라의 속성 정보, 영상 내 소실점, 객체의 화소 크기를 이용하여 카메라와 객체 간 거리를 추정한 뒤, GPS를 통해 획득한 차량의 진행 방향 및 차량의 좌표를 이용하여 객체의 좌표를 산출하는 방법에 관한 것이다.
ADAS(Advanced Driver Assistance Systems)와 더불어 자율 주행 자동차의 기술적 구현을 위해서는 전방의 보행자와 차량, 정지선과 신호등, 도로표지 등 차량 주변에 존재하는 객체에 대한 정보 수집이 반드시 필요하다. 수집해야 할 정보들 중 객체의 위치 정보는 차량의 가속/감속 및 충돌 회피 등을 위해 사용되는 중요한 정보이다. 또한, MMS(Moblie Mapping System)을 이용한 도로표지 정보 수집 및 관리 시스템의 경우에도 수집된 도로표지 영상들로부터 위치 정보를 산출하는 것이 요구된다.
영상 내 임의의 객체에 대한 거리 정보를 산출하기 위해 일반적으로 스테레오 카메라를 이용하는 방식을 따른다. 스테레오 카메라를 이용한 거리 추정 기법에서는 거리 추정에 사용되는 두 대의 카메라를 위한 매우 정교한 교정(Calibration) 과정을 수행해야 하며, 두 개의 시점을 통해 객체를 보기 때문에 멀리 있는 객체의 시차(disparity)는 0에 가깝다. 따라서, 이런 경우에는 객체의 거리 정보를 얻기 어렵다. 또한, 처리해야 할 정보의 양도 단일 카메라에 비해 2배 정도 많아, 계산 복잡도가 높은 단점도 있다.
스테레오 카메라를 이용한 방식이 가지는 계산 복잡도와 초기 교정(Calibration)의 어려움을 극복하고자 단일 카메라에서 획득한 영상 내 빛의 기하학적 분포를 분석해 객체의 거리 정보를 추정하는 방법이 있다. 초기의 연구 중, 빛의 전체 기하학적 분포를 나타내기 위해 플렌옵틱 함수를 사용한 시스템은 일반적인 렌즈를 사용하고 센서면에 곤충의 겹눈과 같은 집합렌즈 배열(Lenticular Array)을 두었다. 각각의 렌즈는 핀홀 카메라와 같은 역할을 하고, 렌즈로 입사되는 빛의 분포가 감광소자 배열에 감광된다. 집합렌즈 배열을 통과한 영상은 연속적으로 이동하는 시점을 가진다. 이에 따라, 상대적인 영상의 시점 변화를 측정하여 거리 정보를 측정할 수 있다. 또, 단일 렌즈와 단일의 센서만을 사용하여 깊이 정보를 추정하기 위한 기법으로 카메라 조리개의 구조를 바꾸어 센서에 닿는 빛의 경로를 변화시켜 거리 정보를 계산한다. 다른 방법으로는, 하나의 렌즈와 3개의 CCD(Charge-coupled Device)를 이용하여 깊이 정보를 추출하는 다중 초점 카메라가 있다. 또, 두 개의 평면거울을 이용하여 한 대의 카메라로 두 개의 영상을 획득하는 기술과 이중 프리즘(Biprism)을 이용한 단일 렌즈 스테레오 영상 생성 기술도 사용한다. 그러나, 플렌옵틱 함수를 이용한 방법 및 프리즘을 이용한 방법들은 단일 카메라로부터 거리 정보를 추정한다는 장점은 있으나 계산 복잡도 및 기계 장치 구성의 복잡성 면에서는 스테레오 카메라 방식보다 훨씬 높으며 해상도는 절반 정도로 낮다는 단점이 있다. 따라서, 본 발명에서는 단안 카메라가 가지는 해상도, 화각, 초점 거리와 같은 정보와 소실점으로부터 화면 외각으로 멀어지는 영상 내 객체의 상대 거리 추정 관계식을 이용한 좌표 정보 추정 방법을 제안한다. 본 방법은 해상도의 변화 없이 낮은 계산 복잡도로 단안 카메라로부터 획득한 영상 내 객체에 대한 위치 좌표 정보를 산출할 수 있다.
본 발명은 종래의 스테레오 비전에 기초한 상대 거리 산출 기법이 가지는 복잡한 계산 방식과, 원거리 객체에 대한 상대 거리 산출의 부정확도를 해결할 수 있는 새로운 영상 내 객체의 좌표 산출 방법을 제공하고자 한다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 단일 카메라와 GPS를 이용한 영상 내 객체의 좌표 산출 방법은, 차량에 설치된 단일 카메라의 영상에 포착된 제1 객체(T1)를 인식하고, 상기 제1 객체(T1)의 화소 크기로부터 상기 단일 카메라로부터 상기 제1 객체(T1)까지의 실제 거리(D1)를 추정하는 단계; 차량에 설치된 GPS 수신기를 이용하여 상기 차량의 좌표(Carlat, Carlong) 및 정북향(N=0°)에 대한 상기 차량의 진행 방향(θ)을 획득하는 단계; 및 상기 실제 거리(D1)와 상기 차량의 좌표(Carlat, Carlong) 및 상기 차량의 진행 방향(θ)에 기초하여, 상기 제1 객체(T1)의 좌표(T1lat, T1long)를 산출하는 단계;를 포함한다.
또한, 상기 제1 객체(T1)의 좌표(T1lat, T1long)를 산출하는 단계는, 상기 영상 내에서, 아래의 식 (1)을 이용하여, 가로 픽셀(Pixelx)의 중앙선으로부터 상기 제1 객체(T1)에 이르는 횡방향 거리(dx)를 산출하는 단계;
[dx = Pixelx(T1) - (Pixelx/2)] 식 (1)
상기 횡방향 거리(dx), 상기 단일 카메라의 해상도(Pixelx, Pixely) 및 상기 단일 카메라의 화각(α)로부터, 아래 식 (2)를 이용하여, 상기 차량의 진행 방향(θ)과 상기 제1 객체(T1) 사이의 방위각(az)을 산출하는 단계;
[az = {dx/(Pixelx/2)} × (α/2)] 식 (2)
상기 차량의 진행 방향(θ)과 상기 방위각(az)으로부터, 아래 식 (3)을 이용하여, 차량의 중심에 대한 상기 제1 객체(T1)의 위도 거리(dlat) 및 경도 거리(dlong)를 산출하는 단계; 및
[dlat= D1 × cos(θ+az)]
[dlong= D1 × sin(θ+az)] 식 (3)
상기 차량의 좌표(Carlat, Carlong), 상기 제1 객체(T1)의 위도 거리(dlat) 및 경도 거리(dlong)로부터, 아래의 식 (4)를 이용하여, 상기 제1 객체(T1)의 좌표(T1lat, T1long)를 산출하는 단계;
[T1lat = Carlat + dlat/(위도 1°길이)]
[T1long = Carlong + dlong/(경도 1°길이)] 식 (4)
를 포함할 수 있다.
또한, 상기 실제 거리(D1)를 추정하는 단계는, 상기 제1 객체(T1)를 상기 카메라로부터 거리를 일정하게 달리하여 위치 설치한 후, 동일한 카메라를 이용하여 상기 제1 객체(T1)를 각 위치마다 촬상하여 상기 카메라의 영상에 포착된 상기 제1 객체(T1)의 화소 크기를 각 거리 별로 매칭한 데이터를 준비하는 단계; 상기 데이터로부터 상기 카메라의 영상에 포착된 제1 객체(T1)의 화소 크기에 대응하는 거리를 상기 단일 카메라로부터 상기 제1 객체(T1)까지의 실제 거리(D1)로 추정하는 단계;를 포함할 수 있다.
또한, 상기 제1 객체(T1)의 크기와 상이한 크기를 갖는 제2 객체(T2)에 대해서는, 상기 제1 객체(T1)와 상기 제2 객체(T2)의 크기 비율에 기초하여, 상기 제2 객체(T2)의 화소 크기를 추정하고, 상기 데이터를 활용하여, 상기 추정된 제2 객체(T2)의 화소 크기에 대응하는 거리를 상기 단일 카메라로부터 상기 제2 객체(T2)까지의 실제 거리(D2)로 추정할 수 있다.
본 발명에 따르면, 단일 카메라를 사용하여 객체의 위치 좌표를 산출 가능하기 때문에, 종래의 스테레오 카메라를 이용한 좌표 산출 방식과 비교하여 단순하고 경제적으로 객체의 위치를 산출하는 효과가 있다.
또한, 차량 내 탑재된 단일 카메라와 GPS 수신기를 이용한 자동화된 객체 정보 수집 기술을 GIS(Geographic Information System)와 연동하여, 효과적으로 객체의 좌표를 산출하는 효과가 있다.
도 1a 및 도 1b는 단일 카메라(Single Camera)와 스테레오 카메라(Stereo Camera)의 객체 위치 정보 산출 기법을 나타내는 블록도이다.
도 2는 객체의 픽셀 길이(화소 크기)에 따른 카메라와 객체 간 거리의 변화를 나타낸 그래프이다.
도 3은 카메라에 포착된 객체의 위치를 예시한 영상 화면이다.
도 4는 차량과 객체 사이의 방위각을 설명하기 위한 도면이다.
도 5는 차량과 객체 사이의 방위각 및 거리 관계를 설명하기 위한 도면이다.
도 6은 차량과 객체 사이의 거리, 방위각 및 차량 진행 방향의 관계를 설명하기 위한 도면이다.
도 7은 스테레오 카메라 시점에서의 카메라의 외부 매개 변수를 나타낸 도면이다.
도 8은 스테레오 비전의 기하학적 구조를 나타낸 도면이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 뒤에 설명이 되는 실시 예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐를 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 뒤에 설명되는 용어들은 본 발명에서의 구조, 역할 및 기능 등을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 오로지 특허청구범위에 기재된 청구항의 범주에 의하여 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하에서는 첨부한 도면을 참조하며, 본 발명의 바람직한 실시 예들을 보다 상세하게 설명하기로 한다.
본 발명의 일 실시 예에 따르면, 차량에 설치된 단일 카메라의 영상에 포착된 제1 객체(T1)를 인식하고, 상기 제1 객체(T1)의 화소 크기로부터 상기 단일 카메라로부터 상기 제1 객체(T1)까지의 실제 거리(D1)를 추정하는 단계를 포함한다.
먼저, 이 단계에 앞서, 특정 크기를 갖는 제1 객체를 기준 타겟으로 정하고, 카메라와 이 기준 타겟 사이의 실제 거리 별로 제1 객체를 촬영하여 각각의 화상 크기를 측정하고, 이를 데이터로 저장한다. 즉, 제1 객체(T1)를 카메라로부터 거리를 일정하게 달리하여 위치 설정한 후, 동일한 카메라를 이용하여 제1 객체(T1)를 각 위치마다 촬상하여 카메라의 영상에 포착된 제1 객체(T1)의 화소 크기를 각 거리 별로 매칭한 데이터를 준비한다. 이에 따라, 제1 객체의 거리별 화소 크기에 대한 관계가 도출된다. 도 2는 객체의 픽셀 길이(화소 크기)에 따른 카메라와 객체 간 거리의 변화를 나타낸 그래프이다. 도 2에서는 제1 객체로서 도로 표지를 예로서 설명한다. 도로 표지는 표준 크기가 일반적으로 지름 60cm인 구조물로서, 실제 크기 60cm의 도로 표지를 예컨대, 카메라 전방으로 500cm, 1000cm, 1500cm, 2000cm, 2500cm, 3000cm, 35000cm에 위치를 변경하면서, 각 위치별로 도로 표지의 영상 내 화소 크기를 측정한다. 이에 따라, 화소 크기와 실제 거리 사이의 관계를 도출한다. 이에 더하여, 다른 표준 크기를 갖는 객체에 대해서도 동일한 방식을 수행하여 기록해두어도 좋다. 도 2에서와 같이, 실제 크기 19cm인 도로 표지와 실제 크기 100cm인 도로 표지에 대해서도 위와 동일한 방식을 수행해서 기록해두어도 좋다. 참고로, 본 단계에서의 영상을 통해 추정한 객체의 실제 크기별 화소 크기 관계는, 영상 내 가로, 세로축별 객체(도로 표지) 검출 영역의 크기 변화 평균값을 최소 제곱법을 이용하면 4차 추정 함수로 도출할 수도 있다. 이후, 이러한 데이터로부터 카메라의 영상에 포착된 제1 객체(T1)의 화소 크기에 대응하는 거리를 단일 카메라로부터 제1 객체(T1)까지의 실제 거리(D1)로 추정한다.
다음, 차량에 설치된 GPS 수신기를 이용하여, 차량의 좌표(Carlat, Carlong) 및 정북향(N=0°)에 대한 상기 차량의 진행 방향(θ)을 획득하는 단계를 포함한다. 단일 카메라로부터 획득한 영상은 정지 상태가 아니라 주행 중의 영상이기 때문에, 도로 표지의 좌표 정보 산출을 위해서는 GPS 수신기로부터 차량의 좌표(Carlat, Carlong) 및 차량의 진행 방향(θ)을 함께 수신할 필요가 있다. 차량의 좌표를 수신하는 GPS 수신기는 차량 내부(또는, 카메라 근처)에 설치되므로, GPS 수신기의 좌표 위치를 카메라의 좌표 위치와 같은 것으로 간주한다.
다음, 실제 거리(D1)와 차량의 좌표(Carlat, Carlong) 및 차량의 진행 방향(θ)에 기초하여, 제1 객체(T1)의 좌표(T1lat, T1long)를 산출하는 단계를 포함한다. 앞서, 제1 객체의 실제 크기와 화소 크기 사이의 관계를 도출하고, 제1 객체와 카메라 사이의 실제 거리(D1)를 추정한 이후, 실제 거리(D1)에 기초하여 제1 객체의 실제 좌표(T1lat, T1long)를 산출한다. 제1 객체의 실제 좌표(T1lat, T1long)를 산출하는 단계에 대하여 아래에서 구체적으로 설명한다.
본원의 도 3은 단일 카메라에 포착된 객체(T1)의 위치를 예시한 영상 화면이고, 도 4는 차량 중심부와 객체(T1) 사이의 방위각을 설명하기 위한 도면이다. 도 3에서는 카메라 영상은 1280(Pixelx)×720(Pixely) 화소이다. 이 경우, 영상의 가로 픽셀(Pixelx)의 중앙선은 640px(즉, Pixelx/2)에 위치하고, 가로 픽셀의 중앙선은 카메라의 시점과 차량의 진행 방향과 일치하므로, 도 3에서 차량의 진행 방향은 0도이다.
본 발명의 일 실시예에 따른 제1 객체의 실제 좌표(T1lat, T1long)를 산출하는 단계는, i) 영상 내에서, 가로 픽셀(Pixelx)의 중앙선으로부터 제1 객체(T1)에 이르는 횡방향 거리(dx)를 산출하는 단계를 포함한다. 가로 픽셀(Pixelx)의 중앙선으로부터 도로 표지까지의 횡방향 거리(dx)를 계산하면 식(A)와 같다.
dx = Pixel(T1)- (Pixelx/2) 식(A)
다음, ii) 횡방향 거리(dx), 단일 카메라의 해상도(Pixelx, Pixely) 및 단일 카메라의 화각(α)로부터, 차량의 진행 방향(θ)과 제1 객체(T1) 사이의 방위각(az)을 산출하는 단계를 포함한다. 도 4에 도시된 바와 같이 카메라의 화각은 α이므로, 카메라는 가로 픽셀의 중앙선을 기준으로 좌우측으로 각각 (α/2)도 만큼 촬영한다. 예컨대, 도 4에서 카메라의 화각(α)은 70.42도이므로, 카메라는 가로 픽셀의 중앙선을 기준으로 좌우측으로 각각 35.21도 만큼 촬영한다. 주어진 관계값들을 이용하여 방위각(az)을 추정하면 아래의 식(B)와 같다.
az = {dx/(Pixelx/2)} × (α/2) 식(B)
다음, iii) 차량의 진행 방향(θ)과 방위각(az)으로부터, 차량의 중심에 대한 제1 객체(T1)의 위도 거리(dlat) 및 경도 거리(dlong)를 산출하는 단계를 포함한다. 제1 객체(T1)의 좌표를 산출하려면, 차량이 어느 방향을 향해 이동하는지에 대한 정보가 필요하다. 이를 감안하여. 국제 표준 내비게이션 시스템에 따라 0°를 기준 방향인 북으로 두고, 카메라와 영상 내 객체 간의 상대적인 방위각(az)에 GPS 수신기로부터 수신한 차량의 이동 방향(θ)을 추가한다. 도 6은 차량과 제1 객체(T1) 사이의 거리 및 방향 관계를 설명하기 위한 도면이다. 도 6을 참조하면, 제1 객체(T1)의 위도 거리(loglat)와 경도 거리(loglong)는 아래의 (식 C)와 같이 나타낼 수 있다.
dlat= D1 × cos(θ+az)
dlong= D1 × sin(θ+az) (식 C)
다음, iv) 차량의 좌표(Carlat, Carlong), 제1 객체(T1)의 위도 거리(dlat) 및 경도 거리(dlong)로부터, 제1 객체(T1)의 좌표(T1lat, T1long)를 산출하는 단계를 포함한다. 먼저, 상기 (식 C)의 값을 위도 및 경도의 단위로 환산하면, 아래의 (식 D)과 같다. 이때, 지역에 따라 위도 1° 또는 경도 1°에 대응하는 실제의 거리가 다르다. 국내의 경우, 경도 1° 길이는 대략 90,127.18m이고, 위도 1° 길이는 대략 111,128,198m이다.
dlat/(위도 1°길이)
dlong/(경도 1°길이) (식 D)
이어서, 차량으로부터 수신한 차량의 위도(Carlat) 및 경도(Carlong) 좌표로부터, 객체의 좌표(T1lat, T1long)는 아래의 (식 E)와 같이 산출된다.
T1lat = Carlat + dlat/(위도 1°길이)
T1long = Carlong + dlong/(경도 1°길이) 식 (E)
한편, 본 발명의 일 실시예에 따르면, 제1 객체(T1)와 크기가 상이한 다른 객체(제2 객체; T2)에 대해서도, 전술한 바와 동일한 방법을 사용하여 좌표를 산출할 수 있다. 카메라의 영상에 포착된 제1 객체(T1)의 화소 크기를 각 거리 별로 매칭한 데이터를, 제2 객체(T2)에 활용한다. 구체적으로, i) 제1 객체(T1)의 크기와 상이한 크기를 갖는 제2 객체(T2)에 대해서는, 제1 객체(T1)와 제2 객체(T2)의 크기 비율에 기초하여, 제2 객체(T2)의 화소 크기를 추정하고, ii) 제1 객체를 기준으로 미리 준비한 데이터를 활용하여, 추정된 제2 객체(T2)의 화소 크기에 대응하는 거리를 단일 카메라로부터 제2 객체(T2)까지의 실제 거리(D2)로 추정한다.
이는, 제2 객체의 실제 크기가 제1 객체와 상이하다고 하더라도, 카메라의 영상에 포착되는 제1 객체의 화상 크기에 대한 제2 객체의 크기의 비율 역시, 제1 객체의 실제 크기에 대한 제2 객체의 크기 비율을 따라 변화한다는 점에 착안한 것이다. 예컨대, 도 2를 다시 참조하면, 제1 객체의 실제 크기가 60cm인 경우, 카메라의 영상 속에 화상 크기가 200px로 관측된다면, 그때의 실제 거리(D1)는 카메라 전방 300cm라고 추정할 수 있다. 그런데, 만일, 제2 객체의 실제 크기가 90cm라고 할 때, 제2 객체는 제1 객체에 비하여 실제 크기가 1.5배 크므로, 제2 객체의 각 거리에 따른 화소의 크기는 제1 객체의 1.5배라고 가정하는 것이다. 예컨대, 도 2에서, 제2 객체(T2)는 화소 크기가 200px의 1.5배인 300px인 지점에 있을 때 실제 거기(D2)가 카메라 전방 300cm라고 추정하는 것이다. 이러한 기술적 원리에 따르면, 특정 크기를 갖는 제1 객체(T1)를 기준으로 측정한 카메라 전방 거리와 각 거리에서의 화상 크기 사이의 관계 데이터를 활용하여, 크기가 상이한 다른 객체의 실제 거리까지 추정 가능하다.
한편, 본 발명의 다른 실시예에 따르면, 이동하는 카메라로부터 획득된 동일 객체에 대한 영상들 중, 카메라로부터 가까운 거리에 촬상된 객체에 대하여, 스테레오 카메라를 이용하여 깊이 정보를 추출함으로써 단일 카메라의 실제 위치 추정 값을 보정하는 단계를 더 포함할 수 있다. 이는 단일 카메라를 이용한 카메라와 객체 간 실제 거리(D) 추정에 포함될 수 있는 오차를 보정하기 위한 것이다.
카메라 보정은 두 카메라의 고유 및 비 외부 매개 변수를 얻기 위해 필요하다. 고유 변수는 초점 길이, 주점, 왜곡 계수 및 각 '카메라 행렬'이라 불리는 행렬 구조로 이루어진 각 각의 매개변수의 에러율에 따른 왜곡을 포함한다. 카메라 행렬의 모양은 다음과 같다.
Figure 112015074770601-pat00001
(식 F)
이때, f c ()는 초점거리(Focal length)이고, 픽셀 단위의 초점 거리는 2x1 f c () 벡터에 저장된다. 그리고, 주점(Principal Point)의 좌표들은 2x1 cc 벡터에 저장되고, 왜곡 계수(Skew Coeff.)는 x와 y 사이의 각도를 의미하며, 스칼라 αc에 저장된다. 그리고, 이미지 왜곡 계수(Distortions)는 5x1 k c 벡터에 저장된다.
본 발명의 실험에서 사용한 카메라를 통해 획득한 두 카메라의 고유 매개 변수는 아래의 [표 1], [표 2] 및 [도 7]과 같다.
구분 left right
Focal Length [922.94399 925.50895] ± [2.22386 2.26480 ] [923.80757 924.37776] ± [2.17846 2.21575 ]
Principal point [626.60441 362.77410] ± [ 3.79596 2.78089 ] [635.41989 346.12382] ± [ 3.55655 2.68932 ]
Skew [ 0.00000 ] ± [ 0.00000] [0.00000 ] ± [ 0.00000]
Distortion [0.12124 -0.22096 -0.00148 -0.00383 0.00000 ] ± [0.00746 0.02239 0.00109 0.00175 0.00000] [0.11451 -0.16217 -0.00253 -0.00356 0.00000] ± [ 0.00673 0.01472 0.00099 0.00162 0.00000]
구분 left
Rotation vector om =[-0.01248 0.01154 -0.00822]±[0.00240 0.00425 0.00037]
Translation
vector		 T =[198.90281 -3.02223 -0.22351]±[0.46586 0.33514 1.77596]
단일 카메라를 이용한 객체 검출 방법은 단일 카메라로부터 획득된 영상과 기지의 카메라 속성 정보만을 이용하여 카메라와 객체 간 상대 거리를 추정하는 방식이므로, 스테레오 카메라 방식에 비해 계산의 복잡도는 낮은 장점이 있다. 하지만, 단일 카메라를 이용한 상대 거리 추정 방법은, 카메라의 속성 정보로부터 깊이 정보를 추정하는 것이기 때문에, 카메라 교정 또는 조명의 변화에 따라 정확도가 민감하게 반응한다. 따라서, 본 발명의 다른 실시예에서는, 단일 카메라를 이용한 카메라와 객체 간 실제 거리 추정에 포함될 수 있는 오차를 보정하기 위하여, 이동하는 카메라로부터 획득된 동일 객체에 대한 영상들 중 카메라로부터 가까운 거리에 촬상된 객체에 대하여 스테레오 카메라를 이용하여 깊이 정보를 추출함으로써 단일 카메라의 실제 위치 추정 값을 보정한다. 즉, 단일 카메라와 함께 스테레오 카메라를 활용함으로써, 단일 카메라 영상에서 얻을 수 있는 소실점, 기지의 객체의 실제 크기를 이용하여, 객체와 카메라 간 상대 거리를 추정하는 방식에 의해, 전술한 문제점들을 해결할 수 있다.
스테레오 비전은 인간의 여러 시각 기능 중 양안의 시차를 이용하여 공간의 입체를 재구성하는 대뇌에서의 일련의 과정이다. 이와 유사하게 컴퓨터를 이용한 스테레오 비전은 영상에 대하여 서로 다른 위치에서 획득된 디지털 영상을 분석하여 시차 정보를 추정하고, 최종 3D 깊이 정보를 추출하는 과정을 말한다. 도 8은 스테레오 비전의 기하학적 구조를 나타낸 도면이다. 도 8에 도시된 바와 같이, 컴퓨터를 이용한 스테레오 비전에서는 기본적으로 삼각 측량의 원리를 이용하여서 스테레오 영상 간 매칭을 시킨 뒤 영상 내 특정한 지점의 거리를 알아낸다. 도 8에서, P는 3차원 공간상의 객체(객체)이고, Cl, Cr은 각각 좌측 및 우측 카메라의 중심이며, Pl, Pr은 각각 좌, 우 카메라의 영상 평면상에 맺힌 P의 상이다. 그리고, f는 카메라 내부 초점 거리이며, D는 객체와 카메라 사이의 수직 거리이다. 각 꼭지점에 의해 생성되는 삼각형들을 기하학적 관계식을 이용하여 D와 f에 관한 관계식을 구해보면, 아래 (식 G)과 같다.
Figure 112015074770601-pat00002
(식 G)
이때, xl + xr의 값을 시차(Disparity)라고 한다. 만약, f가 매우 작아지면, D-f는 D로 근사된다. 이때, f와 D는 이미 알고 있는 값이기 때문에, 시차만 구하면 전술한 오차가 보정된 정확한 거리를 구할 수 있다.
이상의 본 발명의 일 실시예에 따르면, 차량 내 탑재된 단일 카메라와 GPS 수신기를 이용한 자동화된 객체 정보 수집 기술과, GIS(Geographic Information System)의 연동을 통해, 효과적으로 객체의 좌표를 산출 가능한 효과가 있다. 또한, 영상 내 도로표지 자동 인식 및 영상 내 도로 표지 영역의 실제 위치 산출 기술, 수집된 정보의 GIS 연동 및 합성 기술들을 개발할 수 있다. 또한, 소실점 및 객체 부가 정보에 의한 위치 정보 산출 기법, 스테레오 카메라 기반 위치 정보 산출 기법을 사용함으로써, 스테레오 카메라와 같은 효과를 보이는 방식과 단일 카메라 영상에서 얻을 수 있는 소실점 및 잘 알고 있는 객체의 실제 크기를 이용해 객체와 카메라간 상대 거리를 추정하고, 2 이상의 카메라를 사용하는 스테레오 카메라 대신 하나의 단안 카메라를 사용함으로서, 경제적 문제도 해결할 수 있다.
이상, 본 발명의 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함되는 것으로 이해되어야 한다.
T1: 제1 객체 T2: 제2 객체
D1: 제1 객체까지의 실제 거리 D2: 제2 객체까지의 실제 거리
θ: 차량의 진행 방향 Carlat: 차량의 위도 좌표
Carlong: 차량의 경도 좌표 T1lat: 제1 객체의 위도 좌표
T1long: 제1 객체의 경도 좌표 Pixelx: 가로 픽셀
dx: 가로 픽셀의 중앙선으로부터 객체에 이르는 횡방향 거리
α: 단일 카메라의 화각
az: 차량의 진행 방향과 객체 사이의 방위각
dlat: 제1 객체의 위도 거리 dlong: 제1 객체의 경도 거리

Claims (4)

  1. 차량에 설치된 단일 카메라의 영상에 포착된 제1 객체(T1)를 인식하고, 상기 제1 객체(T1)의 화소 크기로부터 상기 단일 카메라로부터 상기 제1 객체(T1)까지의 실제 거리(D1)를 추정하는 단계;
    차량에 설치된 GPS 수신기를 이용하여 상기 차량의 좌표(Carlat, Carlong) 및 정북향(N=0°)에 대한 상기 차량의 진행 방향(θ)을 획득하는 단계; 및
    상기 실제 거리(D1)와 상기 차량의 좌표(Carlat, Carlong) 및 상기 차량의 진행 방향(θ)에 기초하여, 상기 제1 객체(T1)의 좌표(T1lat, T1long)를 산출하는 단계;
    를 포함하고,
    상기 제1 객체(T1)의 좌표(T1lat, T1long)를 산출하는 단계는,
    상기 영상 내에서, 아래의 식 (1)을 이용하여, 가로 픽셀(Pixelx)의 중앙선으로부터 상기 제1 객체(T1)에 이르는 횡방향 거리(dx)를 산출하는 단계;
    [dx = Pixelx(T1) - (Pixelx/2)] 식 (1)
    상기 횡방향 거리(dx), 상기 단일 카메라의 해상도(Pixelx, Pixely) 및 상기 단일 카메라의 화각(α)로부터, 아래 식 (2)를 이용하여, 상기 차량의 진행 방향(θ)과 상기 제1 객체(T1) 사이의 방위각(az)을 산출하는 단계;
    [az = {dx/(Pixelx/2)} × (α/2)] 식 (2)
    상기 차량의 진행 방향(θ)과 상기 방위각(az)으로부터, 아래 식 (3)을 이용하여, 차량의 중심에 대한 상기 제1 객체(T1)의 위도 거리(dlat) 및 경도 거리(dlong)를 산출하는 단계; 및
    [dlat= D1 × cos(θ+az)]
    [dlong= D1 × sin(θ+az)] 식 (3)
    상기 차량의 좌표(Carlat, Carlong), 상기 제1 객체(T1)의 위도 거리(dlat) 및 경도 거리(dlong)로부터, 아래의 식 (4)를 이용하여, 상기 제1 객체(T1)의 좌표(T1lat, T1long)를 산출하는 단계;
    [T1lat = Carlat + dlat/(위도 1°길이)]
    [T1long = Carlong + dlong/(경도 1°길이)] 식 (4)
    를 포함하는,
    단일 카메라와 GPS를 이용한 영상 내 객체의 좌표 산출 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 실제 거리(D1)를 추정하는 단계는,
    상기 제1 객체(T1)를 상기 카메라로부터 거리를 일정하게 달리하여 위치 설정한 후, 동일한 카메라를 이용하여 상기 제1 객체(T1)를 각 위치마다 촬상하여 상기 카메라의 영상에 포착된 상기 제1 객체(T1)의 화소 크기를 각 거리 별로 매칭한 데이터를 준비하는 단계;
    상기 데이터로부터 상기 카메라의 영상에 포착된 제1 객체(T1)의 화소 크기에 대응하는 거리를 상기 단일 카메라로부터 상기 제1 객체(T1)까지의 실제 거리(D1)로 추정하는 단계;를 포함하는,
    단일 카메라와 GPS를 이용한 영상 내 객체의 좌표 산출 방법.
  4. 제3항에 있어서,
    상기 제1 객체(T1)의 크기와 상이한 크기를 갖는 제2 객체(T2)에 대해서는, 상기 제1 객체(T1)와 상기 제2 객체(T2)의 크기 비율에 기초하여, 상기 제2 객체(T2)의 화소 크기를 추정하고,
    상기 데이터를 활용하여, 상기 추정된 제2 객체(T2)의 화소 크기에 대응하는 거리를 상기 단일 카메라로부터 상기 제2 객체(T2)까지의 실제 거리(D2)로 추정하는,
    단일 카메라와 GPS를 이용한 영상 내 객체의 좌표 산출 방법.
KR1020150108960A 2015-07-31 2015-07-31 단일 카메라와 ｇｐｓ를 이용한 영상 내 객체의 좌표 산출 방법 KR101709317B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150108960A KR101709317B1 (ko) 2015-07-31 2015-07-31 단일 카메라와 ｇｐｓ를 이용한 영상 내 객체의 좌표 산출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150108960A KR101709317B1 (ko) 2015-07-31 2015-07-31 단일 카메라와 ｇｐｓ를 이용한 영상 내 객체의 좌표 산출 방법

Publications (2)

Publication Number Publication Date
KR20170014916A KR20170014916A (ko) 2017-02-08
KR101709317B1 true KR101709317B1 (ko) 2017-02-22

Family

ID=58155120

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150108960A KR101709317B1 (ko) 2015-07-31 2015-07-31 단일 카메라와 ｇｐｓ를 이용한 영상 내 객체의 좌표 산출 방법

Country Status (1)

Country Link
KR (1) KR101709317B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102327872B1 (ko) 2020-12-23 2021-11-17 주식회사 인텔리빅스 영상기반 추적 객체의 gps 좌표추출장치 및 그 장치의 구동방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101940736B1 (ko) * 2017-02-17 2019-01-21 부산대학교 산학협력단 스케치 스마트 계산기
KR101880185B1 (ko) * 2017-12-22 2018-07-19 한화시스템(주) 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법
KR102006291B1 (ko) * 2018-03-27 2019-08-01 한화시스템(주) 전자 장치의 이동체 포즈 추정 방법
KR102167835B1 (ko) * 2019-05-08 2020-10-20 주식회사 카카오 영상 처리 방법 및 장치
KR102393840B1 (ko) * 2020-11-26 2022-05-03 주식회사 엘지유플러스 차량의 객체 위치추정 시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005043081A1 (ja) 2003-10-31 2005-05-12 Fujitsu Limited 距離算出装置および算出プログラム
JP2009300457A (ja) * 2009-09-16 2009-12-24 Fujitsu Ltd 距離算出装置および算出プログラム
JP2012080236A (ja) 2010-09-30 2012-04-19 Hitachi Solutions Ltd 電子機器、情報付き撮像画面表示方法及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100873474B1 (ko) * 2006-12-04 2008-12-15 한국전자통신연구원 영상상의 교통 시설물의 픽셀 사이즈 및 위치를 이용한차량 위치 추정 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005043081A1 (ja) 2003-10-31 2005-05-12 Fujitsu Limited 距離算出装置および算出プログラム
JP2009300457A (ja) * 2009-09-16 2009-12-24 Fujitsu Ltd 距離算出装置および算出プログラム
JP2012080236A (ja) 2010-09-30 2012-04-19 Hitachi Solutions Ltd 電子機器、情報付き撮像画面表示方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102327872B1 (ko) 2020-12-23 2021-11-17 주식회사 인텔리빅스 영상기반 추적 객체의 gps 좌표추출장치 및 그 장치의 구동방법

Also Published As

Publication number Publication date
KR20170014916A (ko) 2017-02-08

Similar Documents

Publication Publication Date Title
KR101709317B1 (ko) 단일 카메라와 ｇｐｓ를 이용한 영상 내 객체의 좌표 산출 방법
US11900619B2 (en) Intelligent vehicle trajectory measurement method based on binocular stereo vision system
KR101070591B1 (ko) 듀얼 스테레오 카메라를 구비한 거리 측정 장치
US20180293450A1 (en) Object detection apparatus
KR100671529B1 (ko) 복수의 항공 촬영 화상을 이용한 ３차원 입체지도의작성방법
CN109143215A (zh) 一种基于双目视觉与v2x通信的协同预警设备与方法
US20120134537A1 (en) System and method for extracting three-dimensional coordinates
CN108230392A (zh) 一种基于imu的视觉障碍物检测虚警剔除方法
CN109840922B (zh) 基于双目光场相机的深度获取方法和系统
JP2009529824A (ja) ３次元映像獲得用ｃｍｏｓステレオカメラ
US9373175B2 (en) Apparatus for estimating of vehicle movement using stereo matching
US20100328457A1 (en) Apparatus acquiring 3d distance information and image
CN110462682B (zh) 物体检测装置以及车辆
CN111260773A (zh) 小障碍物的三维重建方法、检测方法及检测系统
CN102997891A (zh) 场景深度的测量装置和方法
KR101255461B1 (ko) 도로시설물 자동 위치측정 방법
KR101076406B1 (ko) 장애물체 위치 및 속도 추정 장치 및 방법
CN113920183A (zh) 基于单目视觉的车前障碍物测距方法
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
US11620832B2 (en) Image based locationing
US20230351687A1 (en) Method for detecting and modeling of object on surface of road
CN108090930A (zh) 基于双目立体相机的障碍物视觉检测系统及方法
KR20180061803A (ko) 도로면 폐색 영역 복원 장치 및 방법
CN111986248B (zh) 多目视觉感知方法、装置及自动驾驶汽车
CN110088803A (zh) 摄像装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 4

R401 Registration of restoration