KR101463906B1 - 영상 부가정보를 이용한 위치보정 방법 - Google Patents

Abstract

본 발명은 모바일 기반의 영상 부가정보를 이용하여 위치를 보정하는 방법에 관한 것으로서, 타겟 객체까지의 거리를 정확하게 산출하는 것을 목적으로 한다.
이를 위하여 본 발명은, 모바일 기기에서 목표로 하는 타겟 객체의 위치를 선택하고 기준점의 위치를 설정하는 기준점 위치설정 단계(S10)와; 객체로부터 일정 거리 이격된 위치에서 레이저 측정기로 해당 객체의 내,외부 특징점을 추출하고 객체와의 거리 및 지면으로부터 객체 특징점까지의 높이를 산출하는 타겟정보 획득단계(S20)와; 부가정보 DB에 의해 목표로 하는 객체명, 객체의 위도 및 경도, 특징점의 거리 및 특징점의 높이를 획득하는 부가정보 획득단계(S30)와; 부가정보 DB를 통해 타겟 객체의 정확한 위치를 보정하는 타겟 객체 위치보정 단계(S40)와; 타겟 객체의 보정된 GPS 좌표를 화면상에 표시하는 위치 보정값 표시단계(S50);를 포함하는 것을 특징으로 한다.

Description

영상 부가정보를 이용한 위치보정 방법{Location Correction Method Using Additional Image Information}

본 발명은 모바일 기반의 영상 부가정보를 이용하여 타겟 객체의 위치를 보정하는 방법에 관한 것으로서, 더욱 상세하게는, 기준 부가정보 DB 내의 객체 영상 정보와 모바일 기기의 영상 정보를 이용하여 타겟 객체와의 거리를 정확하게 산출할 수 있도록 한 모바일 기반의 영상 부가정보를 이용한 위치보정 방법에 관한 것이다.

스마트폰을 비롯한 최근의 모바일 기기는 GPS 수신 기능이 있어 GPS 정보를 통해 특정 객체의 위치와 거리 등을 확인할 수 있다.

그런데, 모바일 기기가 수신한 GPS 위치 정보는 대략 30m 이상의 오차를 보이고 있고, 그로 인해 모바일 기기를 이용하여 특정 객체까지의 거리를 정확히 산출하기에는 한계가 있다.

또한 종래의 방식은 타겟 객체 영상의 촬영상태 및 영상의 선명도에 따라 오차가 발생하는 문제점이 있다.

한편, 아래의 특허문헌 1은, 카메라 영상 신호의 이전 프레임과 현재 프레임을 비교하여 감시 구역 내에 침입한 대상을 추출하고, 미리 저장된 바닥면 및 수직면에 대한 각도 및 바닥면으로부터의 높이를 이용하여 추출된 대상의 각 픽셀별로 대상의 실제 크기를 계산하는 방법을 기재하고 있다.

또, 특허문헌 2는, 영상에서 객체를 포함하는 객체 영역 박스를 검출하여 그 크기를 측정하고, 보간 함수를 이용하여 객체와 촬영부 사이의 거리를 추정하며, 추정된 거리와 촬영부의 회전 각도 및 위치정보에 근거하여 객체의 위치 정보를 생성하는 단일 카메라 영상 기반의 객체 위치 추정 방법을 기재하고 있다.

그리고, 특허문헌 3은, 제1단말기로부터 경로 소스정보를 수신하고 수신된 경로 소스정보를 근거로 제2단말기에서 증강현실정보가 포함된 제1단말기의 주변 영상을 표시하며, 표시된 주변 영상에 대한 사용자 입력에 따라 제2단말기가 제1단말기에게 실시간 경로 안내를 제공하도록 하는 증강현실을 이용한 경로 안내 방법을 기재하고 있다.

특허문헌 1: KR10-2007-0115000 A 특허문헌 2: KR10-2011-0064544 A 특허문헌 3: KR10-2011-0134177 A

본 발명은 상기한 종래기술의 문제점을 해결하기 위하여 안출된 것으로서, 모바일 기기로 촬영한 타겟 객체의 영상에서 특징점을 추출하고, 이를 부가정보 DB의 정보와 비교하여 타겟 객체의 위치를 보정함으로써, 타겟 객체까지의 거리를 정확하게 산출할 수 있도록 하는 데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명은, 모바일 기기에서 목표로 하는 타겟 객체의 위치를 선택하고 기준점의 위치를 설정하는 기준점 위치설정 단계(S10)와; 객체로부터 일정 거리 이격된 위치에서 레이저 측정기로 해당 객체의 내,외부 특징점을 추출하고 객체와의 거리 및 지면으로부터 객체 특징점까지의 높이를 산출하는 타겟정보 획득단계(S20)와; 부가정보 DB에 의해 목표로 하는 객체명, 객체의 위도 및 경도, 특징점의 거리 및 특징점의 높이를 획득하는 부가정보 획득단계(S30)와; 부가정보 DB를 통해 타겟 객체의 정확한 위치를 보정하는 타겟 객체 위치보정 단계(S40)와; 타겟 객체의 보정된 GPS 좌표를 화면상에 표시하는 위치 보정값 표시단계(S50);를 포함하는 것을 특징으로 한다.

상기 타겟정보 획득단계(S20)는, 영상의 코너 정보를 통해 타겟 객체의 특징점에 가중치를 부여하고, 좌,우변에 해당하는 막대를 화면상에 표시하여 4개의 대표 특징점을 추출하는 단계를 포함하는 것을 특징으로 한다.

상기 부가정보 획득단계(S30)에서의 타겟 객체의 높이(b)는, 피타고라스의 정리를 이용하여 레이저 측정기로부터 타겟 객체까지의 수평방향 직선 거리(a)와 레이저 측정기로부터 타겟 객체까지의 대각선 거리(c)로부터 산출하는 것을 특징으로 한다.

상기 타겟 객체 위치보정 단계(S40)는, 부가정보 기준 DB 값을 TM 좌표계로 변환하는 단계와; 4개의 대표 특징점의 양변 거리 값과 꼭지점의 TM 좌표를 통해 실제 위치를 계산하는 단계와; 실제 위치에 대한 TM 좌표계를 위,경도 좌표계로 변환하는 단계와; 원근법에 의해 실제 거리를 산출하는 단계를 포함하는 것을 특징으로 한다.

상기 타겟 객체 위치보정 단계(S40)에서 모바일 기기로부터 타겟 객체와의 실제 거리(X)는 아래의 수식에 의해 산출되는 것을 특징으로 한다.

X = (h × f)/hi

여기서 X는 모바일 기기로부터 객체와의 실제 거리이고, h:는 기준 부가정보 DB 내의 객체 높이이며, f는 모바일 기기의 내부 초점거리이고, hi는 실측 영상의 객체 높이를 나타낸다.

본 발명의 모바일 기반의 영상 부가정보를 이용한 위치보정 방법에 따르면, 모바일 기기에서 촬영한 객체의 영상을 기준 DB의 영상과 대비하여 객체와의 거리를 계산함으로써, 사용자가 타겟 객체에 대한 위치 정보를 정확하게 파악할 수 있는 효과가 있다.

또, 본 발명의 모바일 기반의 영상 부가정보를 이용한 위치보정 방법에 따르면, 기준 부가정보 DB에 저장된 객체의 다양한 정보와 모바일 기기에서 촬영한 영상을 대비함으로써 위치 정보 계산의 정확성이 향상되는 효과가 있다.

또한, 본 발명의 모바일 기반의 영상 부가정보를 이용한 위치보정 방법에 따르면, 피타고라스의 정리를 이용한 높이 산출 방법을 이용하여 객체의 높이를 계산하게 되므로 타겟 객체의 높이를 정확히 파악할 수 있는 효과가 있다.

또, 본 발명의 모바일 기반의 영상 부가정보를 이용한 위치보정 방법에 따르면, 타겟 객체의 인식 과정에서 실제 영상과 기준 부가정보 DB의 영상에 대한 특징점을 비교함과 아울러, 기준 DB의 객체 방위정보를 확인하여 실제 방위정보와 대비함으로써 검색 속도가 빨라지고 정확성이 높아지는 효과가 있다.

또한, 본 발명의 모바일 기반의 영상 부가정보를 이용한 위치보정 방법에 따르면, 위치정보 확인시 기준 부가정보 DB 내의 객체 높이와 실제 영상의 객체 높이를 대비하여 객체와의 거리를 산출함으로써 객체와의 거리를 정확하게 계산할 수 있는 효과가 있다.

도 1은 본 발명에 따른 영상 부가정보를 이용한 위치보정 방법을 개략적으로 나타낸 블록도.
도 2는 본 발명에 따라 타겟 정보를 획득하는 모습을 나타낸 참고도.
도 3은 본 발명에 따라 4개의 대표 특징점을 추출하는 과정을 나타낸 참고도.
도 4는 본 발명에 따른 코너 디텍션 방식에 의해 특징점을 추출하는 과정을 나타낸 참고도.
도 5는 본 발명에 따라 보정된 GPS 지점을 산출하는 과정을 나타낸 참고도.
도 6 및 도 7은 본 발명에 따라 타겟 객체의 위치를 실제로 산출한 결과를 나타낸 참고도.
도 8은 피타고라스 정리에 의해 타겟 객체의 높이를 산출하는 방법을 설명하기 위한 참고도.
도 9는 모바일 기기와 타겟 객체 사이의 거리를 산출하는 방법을 설명하기 위한 참고도.
도 10a 내지 도 10f는 LBP 알고리즘을 이용하여 타겟 정보를 획득하는 과정을 나타낸 도면.

이하, 첨부된 도면을 참조하여 본 발명의 모바일 기반의 영상 부가정보를 이용한 위치보정 방법의 바람직한 실시예를 설명한다.

본 발명에 따른 모바일 기반의 영상 부가정보를 이용한 위치보정 방법은 도 1에 도시된 바와 같이, 모바일 기기에서 목표로 하는 타겟 객체의 위치를 선택하고 기준점의 위치를 설정하는 기준점 위치설정 단계(S10)와; 객체로부터 일정 거리 이격된 위치에서 레이저 측정기로 해당 객체의 내,외부 특징점을 추출하고 객체와의 거리 및 지면으로부터 객체 특징점까지의 높이를 산출하는 타겟정보 획득단계(S20)와; 부가정보 DB에 의해 목표로 하는 객체명, 객체의 위도 및 경도, 특징점의 거리 및 특징점의 높이를 획득하는 부가정보 획득단계(S30)와; 부가정보 DB를 통해 타겟 객체의 정확한 위치를 보정하는 타겟 객체 위치보정 단계(S40)와; 타겟 객체의 보정된 GPS 좌표를 화면상에 표시하는 위치 보정값 표시단계(S50);를 포함하여 이루어진다.

상기 기준점 위치설정 단계(S10)는, 모바일 기기에서 목표로 하는 타겟(Target) 객체의 위치를 선택하고 모바일 기기의 위치 정보에 의해 기준점을 설정하는 단계이다.

상기 타겟정보 획득단계(S20)는, 레이저 측정기로 해당 객체의 내, 외부 특징점을 추출하고 객체와의 거리 및 지면으로부터 객체 특징점 까지의 높이를 산출하는 단계이다.

상기 타겟정보 획득단계(S20)에서 객체의 높이(b)는, 도 8에 도시된 직각 삼각형과 다음의 수학식 1에 기재된 피타고라스의 정리를 이용하여 산출할 수 있다.

여기서, a는 레이저 측정기로부터 객체까지의 수평방향 직선 거리이고, b는 객체의 높이이며, c는 레이저 측정기로부터 객체까지의 대각선 거리를 의미한다.

또한 상기 타겟정보 획득단계(S20)에서는, 영상의 코너 정보를 통해 특징점에 가중치를 부여하고 좌,우변에 해당하는 막대를 화면상에 표시하여 4개의 대표 특징점을 추출한다.

우선 도 2에 도시된 바와 같이, 해당 객체에 대하여 4개의 특징점 정보를 추출한다. 이때 특징점 추출 알고리즘인 SURF(Speeded Up Robust Features)를 이용할 수 있다.

모바일 기기에서 보이는 영상의 높이를 지정할 때 오차가 발생하면 실제 거리값에서는 많은 오차가 발생하게 되므로, 정확한 특징점의 위치를 설정하는 것이 중요하다.

이를 도 3을 참조하여 보다 상세히 설명하면, 먼저 영역기반의 특징을 검출하고, 가우시안 2차 미분과 근사화된 사각 필터 및 헤이시안 행렬식을 이용하는 SURF 알고리즘에 의해 주방향(Dominant Direction)을 결정한다. 이어서 영상에서의 코너 정보를 통해 추출된 특징점에 가중치를 부여한다.

이때 도 3의 오른쪽에 도시된 바와 같이, 좌, 우변에 해당하는 막대를 화면상에 표시하여 4개의 대표 특징점을 추출한다.

한편, 타겟 객체의 특징점 추출을 위해 사용자가 수동으로 특징점을 선택할 수도 있고, 4개의 특징점 정보 추출시 일몰 및 야간을 고려하여 사용자 선택기능을 부가할 수도 있다. 수동 정보 선택시에는 정확도 향상을 위해 주변 화소를 검색하고 화소간 차이점을 추출하여 특징점의 위치를 보정하는 것이 바람직하다.

화면상에 좌, 우변이 표시되면, 도 4에 도시된 바와 같이, 1차적으로 양변에 해당하는 위치를 지정하고, 2차적으로 주변 화소 양변에 해당하는 위치를 지정하여 주변 화소와의 비교를 통해 가장 유효한 지점으로 특징점의 위치를 보완한다.

즉, 도 4에 도시된 바와 같이, 작은 윈도우(5×5)를 상하좌우로 움직여 가면서 윈도우 안의 픽셀 값의 변화를 분석하여 4지점의 코너를 결정한다,

이때 사용자가 지정한 지점을 중심으로 하여 4방향의 픽셀에 대한 지역적 편차를 구하고 편차가 가장 큰 지점을 특징점으로 결정한다.

4개의 특징점의 보정이 완료되면 이를 부가정보 DB와 비교하여 타겟 객체의 위치를 보정한다.

또한 상기한 SURF 알고리즘 대신 LBP(Local Binary Pattern) 알고리즘을 사용하여 특징점 정보를 추출할 수도 있다.

이하 도 10a 내지 도 10f를 참조하여 LBP 알고리즘에 의해 특징점 정보를 추출하는 과정을 설명한다.

먼저 도 10a에 도시된 바와 같이, 타겟 영상을 선택하고, 이를 형태화 처리(도 10b 참조) 및 이진화 처리(도 10c 참조)를 한다.

이어서 도 10d에 도시된 바와 같이, 외곽선 및 타겟을 추출한 후 외곽선을 더욱 선명하게 추출하기 위해 LBP 알고리즘을 이용한다.

상기한 BLP 알고리즘은 도 10e에 도시된 바와 같이, 3*3 마스크를 사용하는 방식으로서 중간 화소의 값을 기준값으로 사용한다.

BLP 알고리즘은, 3*3 마스크에서 중간 화소값을 기준으로 하여 이보다 적으면 "0", 크면 "1"로 표현한 후, 중간 화소값을 제외한 "0", "1" 값을 좌측상단 → 우측 → 우측하단 → 하단 → 좌측으로 조합한다.

즉, 도 10e에서 중간값 "83"을 기준으로 이보다 작으면 "0", 크면 "0"로 표현하고 위 순서대로 조합하면 01111100이 된다. 이를 십진수로 변환하면 124가 되고 이값이 특징값이 된다.

상기한 방법을 사용하여 특징점을 추출하면, 도 10f에 도시된 바와 같이, 도 10d보다 더욱 선명한 특징점을 추출할 수 있다.

타겟 객체 위치보정 단계(S40)는, 부가정보 기준 DB 값을 TM(Transverse Mercator) 좌표계로 변환하는 단계와; 4개의 대표 특징점의 양변 거리 값과 꼭지점의 TM 좌표를 통해 실제 위치를 계산하는 단계와; 실제 위치에 대한 TM 좌표계를 위,경도 좌표계로 변환하는 단계와; 원근법에 의해 실제 거리를 산출하는 단계를 포함한다.

참고로 TM 좌표계는, 임의 지역에 대한 기준점을 좌표 원점으로 정하고 원점을 중심으로 투영한 평면상에서 원점을 지나는 자오선을 X축, 동서방향의 위도선을 Y축으로 하여 각 지점의 위치를 m단위의 평면 좌표계로 표시한 것이다.

우리나라에서는 TM 좌표의 기준점으로 서부 원점(125°E, 38°N), 중부 원점(127°E, 38°N), 동부원점(129°E, 38°N)의 3개 원점을 사용하고 있다. 여기서 X축은 북쪽 방향이 양의 값을 나타내고 Y축은 동쪽 방향이 양의 값을 나타낸다.

또한 타객 객체 위치보정 단계(S40)에서는, 추출한 실제 영상의 특징점과 기준 DB의 영상의 특징점을 비교함과 아울러, 상기 기준 DB의 객체 방위정보를 확인하여 실제 방위정보와 대비하는 것이 바람직하다. 이에 따라 객체에 대한 검색 시간이 단축될 수 있다.

또한 실측 위치의 위도 및 경도 계산은 도 5에 도시된 바와 같이, 원의 방정식을 이용하여 그 위치값을 계산할 수 있다.

즉, 두 원의 2개의 교점 중에서 모바일 기기에서 얻은 GPS 좌표와 근접한 교점을 보정된 GPS 위치로 판단한다.

도 6 및 도 7은 상기한 방법에 의해 실제 위도 및 경도, 타겟 객체의 높이를 실제로 산출한 결과를 나타낸 것이다.

GPS의 위치가 보정되면 산출된 타겟 객체의 높이(수학식 1 참조)를 참고하여 타겟 객체와의 실제 거리를 산출한다.

이때 모바일 기기로부터 타겟 객체와의 실제 거리(X)는, 아래의 수학식 2에 의해 정확히 산출될 수 있다(도 9 참조).

여기서 X는 모바일 기기로부터 타겟 객체와의 거리이고, h는 기준 DB 내의 객체 높이이며, hi는 실제 영상의 객체 높이이고, f는 모바일 기기의 내부 초점거리를 나타낸다.

이하 본 발명에 따른 작용 및 효과를 설명한다.

영상 부가정보를 이용하여 타겟 객체와의 거리를 산출하기 위해서는 우선 타겟 객체에 대한 기준 DB를 생성하여야 한다.

즉, 도 2에 도시된 바와 같이, 타겟 객체로부터 일정 거리 이격된 위치에서 레이저 측정기로 해당 객체의 특징점에 해당하는 객체의 꼭지점과의 거리를 측정한다.

이때, 상기 레이저 측정기로부터 객체의 특징점까지의 수평 방향 직선 거리와 대각선 거리를 모두 측정하며, 이를 기반으로 하여 지면으로부터 객체까지의 높이를 산출하여 해당 객체에 대한 기준 데이터를 설정한다.

여기서, 기준 데이터에는 객체명, 특징점의 위도 및 경도, 특징점의 좌우 높이 및 좌우거리가 모두 포함된다. 이와 같이 특정 타겟 객체에 대한 기준 데이터가 확보되면 이를 기반으로 부가정보 DB를 생성한다.

이어서, 모바일 기기를 소지한 사용자가 이동 중에 특정 객체에 대한 위치 정보를 확인하고자 해당 타겟 객체를 촬영하면, 해당 객체에 대한 GPS 정보를 수신하여 대략적인 위치 정보를 확인한다.

이어서 보정 알고리즘인 SURF를 이용하여 모바일 기기에 의해 촬영된 실제 영상으로부터 특징점을 추출한다.

또한 상기 SURF 알고리즘 대신 LBP 알고리즘을 이용하여 특징점을 추출할 수도 있다.

이어서 상기 특징점과 기준 부가정보 DB 내에 있는 해당 객체의 특징점을 비교한다. 이때, 상기 기준 부가정보 DB의 객체 방위정보를 확인하여 실제 방위정보와 대비하면 해당 타겟 객체를 신속히 검색할 수 있다.

이어서, 기준 부가정보 DB 내의 객체 높이(h) 및 모바일 기기의 내부 초점거리(f)와 실제 영상의 객체 높이(hi)의 비를 이용하여 객체와의 거리(X)를 산출하고 이를 화면상에 표시한다.

이에 따라 모바일 기기의 사용자와 해당 타겟 객체와의 거리를 정확하게 산출할 수 있으며, 이를 이용하여 GPS 위치 정보를 보정함으로써 타겟 객체에 대한 정확한 위치 정보를 수집할 수 있으므로 목적지에 쉽고 빠르게 도달할 수 있게 된다.

본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 이에 의해 한정되지 않는다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상의 범위를 벗어남이 없이 다양한 수정 및 변형이 가능하다는 것을 이해할 수 있을 것이다.

a: 레이저 측정기로부터 객체까지의 수평방향 직선 거리
b: 객체의 높이
c: 레이저 측정기로부터 객체까지의 대각선 거리
f: 모바일 기기의 내부 초점거리
h: 기준 DB 내의 객체 높이
hi: 실제 영상의 객체 높이
X: 모바일 기기로부터 객체와의 거리

Claims (5)

1. 삭제
2. 모바일 기기에서 목표로 하는 타겟 객체의 위치를 선택하고 기준점의 위치를 설정하는 기준점 위치설정 단계(S10)와;
   객체로부터 일정 거리 이격된 위치에서 레이저 측정기로 해당 객체의 내,외부 특징점을 추출하고, 객체와의 거리 및 지면으로부터 객체 특징점까지의 높이를 산출하는 타겟정보 획득단계(S20)와;
   부가정보 DB에 의해 목표로 하는 객체명, 객체의 위도 및 경도, 특징점의 거리 및 특징점의 높이를 획득하는 부가정보 획득단계(S30)와;
   부가정보 DB를 통해 타겟 객체의 정확한 위치를 보정하는 타겟 객체 위치보정 단계(S40)와;
   타겟 객체의 보정된 GPS 좌표를 화면상에 표시하는 위치 보정값 표시단계(S50);를 포함하여 이루어지는 영상 부가정보를 이용한 위치보정 방법에 있어서,
   상기 타겟정보 획득단계(S20)는, 영상의 코너 정보를 통해 타겟 객체의 특징점에 가중치를 부여하고, 좌,우변에 해당하는 막대를 화면상에 표시하여 4개의 대표 특징점을 추출하는 단계를 포함하는 것을 특징으로 하는 영상 부가정보를 이용한 위치보정 방법.
3. 제2항에 있어서,
   상기 부가정보 획득단계(S30)에서의 타겟 객체의 높이(b)는, 피타고라스의 정리를 이용하여 레이저 측정기로부터 타겟 객체까지의 수평방향 직선 거리(a)와 레이저 측정기로부터 타겟 객체까지의 대각선 거리(c)로부터 산출하는 것을 특징으로 하는 영상 부가정보를 이용한 위치보정 방법.
4. 제2항에 있어서,
   상기 타겟 객체 위치보정 단계(S40)는,
   부가정보 기준 DB 값을 TM 좌표계로 변환하는 단계와;
   4개의 대표 특징점의 양변 거리 값과 꼭지점의 TM 좌표를 통해 실제 위치를 계산하는 단계와;
   실제 위치에 대한 TM 좌표계를 위,경도 좌표계로 변환하는 단계와;
   원근법에 의해 실제 거리를 산출하는 단계를 포함하는 것을 특징으로 하는 영상 부가정보를 이용한 위치보정 방법.
5. 제4항에 있어서,
   상기 타겟 객체 위치보정 단계(S40)에서 모바일 기기로부터 타겟 객체와의 실제 거리(X)는 아래의 수식에 의해 산출되는 것을 특징으로 하는 영상 부가정보를 이용한 위치보정 방법.
   X = (h × f)/hi
   (X: 모바일 기기로부터 객체와의 실제 거리, h: 기준 부가정보 DB 내의 객체 높이, f: 모바일 기기의 내부 초점거리, hi: 실제 영상의 객체 높이)

Images