KR102127872B1 - 영상처리 및 위치정보를 이용한 위치결정 방법 및 장치 - Google Patents

영상처리 및 위치정보를 이용한 위치결정 방법 및 장치 Download PDF

Info

Publication number
KR102127872B1
KR102127872B1 KR1020180140705A KR20180140705A KR102127872B1 KR 102127872 B1 KR102127872 B1 KR 102127872B1 KR 1020180140705 A KR1020180140705 A KR 1020180140705A KR 20180140705 A KR20180140705 A KR 20180140705A KR 102127872 B1 KR102127872 B1 KR 102127872B1
Authority
KR
South Korea
Prior art keywords
image
matching
location
target image
equation
Prior art date
Application number
KR1020180140705A
Other languages
English (en)
Other versions
KR20200056708A (ko
Inventor
김은희
김가영
김현종
박지덕
이권수
장진혁
Original Assignee
충남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충남대학교산학협력단 filed Critical 충남대학교산학협력단
Priority to KR1020180140705A priority Critical patent/KR102127872B1/ko
Publication of KR20200056708A publication Critical patent/KR20200056708A/ko
Application granted granted Critical
Publication of KR102127872B1 publication Critical patent/KR102127872B1/ko

Links

Images

Classifications

    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/4671—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Abstract

본 발명의 일 실시예에 따른 영상처리 및 위치정보를 이용한 위치결정 방법은, 영상 촬영장치로부터 특정 촬영장소를 촬영한 대상이미지를 수신하는 단계, 상기 대상이미지로부터 적어도 하나의 특징점을 추출하는 단계, 상기 적어도 하나의 특징점과 기저장된 복수의 이미지의 특징점에 기초하여 상기 복수의 이미지중 적어도 하나의 매칭이미지를 선별하는 단계 및 상기 대상이미지 및 상기 적어도 하나의 매칭이미지 각각에 포함된 위치정보 및 상기 특징점에 기초하는 이미지간의 매칭유사도를 이용하여 최종위치를 결정하는 단계를 포함한다.

Description

영상처리 및 위치정보를 이용한 위치결정 방법 및 장치{METHOD AND APPARATUS FOR LOCATION DETERMINATION USING IMAGE PROCESSING AND LOCATION INFORMATION}
본 발명은 영상처리 및 위치정보를 이용한 위치결정 방법 및 장치에 관한 것으로, 보다 자세하게는 이미지의 매칭점 및 위치정보를 이용하여 보다 정확한 위치를 결정하는 방법 및 장치에 관한 것이다.
사진은 추억을 남기는데 상당히 효율적인 도구이며 스마트폰의 보급에 따라 누구나 쉽게 사진을 남길 수 있게 되었다. 특히 여행지에서의 사진은 특별한 의미로 남기 때문에 수많은 사람들이 각 여행지를 대표할 수 있는 장소에서 사진을 찍는다.
그러나 많은 사람들이 해당 여행지의 지리를 잘 알지 못 해 종종 명소들을 놓친다. 이를 위해서 현재 사용자가 사진을 찍은명소의 위치정보(GPS, Global Positioning System)와 사진정보를 바탕으로 현재위치를 파악한 후 현재 위치에서 사진을 찍었던 사람들이 이후에 많이 갔던 가까운 명소 몇 가지를 추천해주는 시스템이 필요할 수 있다. 장소 추천의 신뢰를 높이기 위해서는 현재 사용자의 위치를 정확하게 파악해야한다. 위치파악 방식으로 영상처리를 통한 방법과 GPS를 통한 방법이 있으나 영상처리는 이미지가 유사한 지점간의 구분에 신뢰도가 떨어지고 GPS의 경우 자체적인 위치 오차와 더불어 실내의 경우 GPS만으로 구별이 어렵다는 단점이 있다. 때문에 서로의 단점을 보완하기 위해서 두 정보를 결합한 복합적인 모델이 필요하다.
대한민국 공개특허공보 제10-2017-0052674호(2017. 05. 12)
본 발명의 목적은 이미지의 영상정보 및 위치정보를 이용하여, 보다 정확한 위치를 결정할 수 있는 방법 및 장치를 제공하는 것이다.
또한, 보다 정확한 위치를 기반으로 주변의 명소 및 장소를 사용자에게 알려줄 수 있는 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 영상처리 및 위치정보를 이용한 위치결정 방법은, 영상 촬영장치로부터 특정 촬영장소를 촬영한 대상이미지를 수신하는 단계, 상기 대상이미지로부터 적어도 하나의 특징점을 추출하는 단계, 상기 적어도 하나의 특징점과 기저장된 복수의 이미지의 특징점에 기초하여 상기 복수의 이미지중 적어도 하나의 매칭이미지를 선별하는 단계 및 상기 대상이미지 및 상기 적어도 하나의 매칭이미지 각각에 포함된 위치정보 및 상기 특징점에 기초하는 이미지간의 매칭유사도를 이용하여 상기 대상이미지의 최종위치를 결정하는 단계를 포함한다.
바람직하게는, 상기 특징점 추출은 SIFT (scale-invariant feature transform), SURF (speeded up robust features), 또는 ORB (Oriented FAST and Rotated BRIEF) 특징점 추출 알고리즘을 이용할 수 있다.
바람직하게는, 상기 매칭이미지를 선별하는 단계는, 비교 이미지간의 특징점 매칭(Feature Matching)에 의해 수행될 수 있다.
바람직하게는, 상기 이미지간의 매칭유사도를 이용하여 상기 대상이미지의 최종위치를 결정하는 단계는 수학식 1, 수학식 2 및 수학식 3을 이용할 수 있다.
[수학식 1]
IPlace(C)= MAX(IV(Pi,C))
여기서, IPlace(C)는 상기 매칭유사도가 가장 높은 값, IV(Pi,C)는 상기 적어도 하나의 매칭이미지와 상기 대상이미지의 매칭유사도, C는 상기 대상이미지, Pi는 i번째 상기 매칭이미지이다.
[수학식 2]
IV(Pi,C) = wD(G(Pi),G(C))+(1-w)Li (단 0< w <1)
여기서, w는 가중치, D(G(Pi),G(C))는 G(C)는 상기 대상이미지의 위치정보, G(Pi)는 i번째 매칭이미지의 위치정보, D(G(Pi),G(C))는 상기 대상이미지의 위치와 상기 매칭이미지의 위치간의 Euclidean 거리, Li는 Pi의 최적 일치점의 개수에 대한 softmax 함수이다.
[수학식 3]
Figure 112018113715067-pat00001
여기서, i는 i번째 상기 매칭이미지, npl은 상기 기저장된 복수의 이미지, j는 상기 기저장된 복수의 이미지 중 j번째 상기 매칭이미지, f는 각각 i 또는 j번째 매칭이미지의 최적 일치점 개수 정보이다.
바람직하게는, 상기 대상이미지의 최종위치에 기초하여 적어도 하나의 위치를 추천하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 적어도 하나의 위치를 추천하는 단계는 아래의 수학식 4 및 수학식 5를 이용하여 추천할 수 있다.
[수학식 4]
Order = freq*C(distance * gain)(단, 0< gain <1)
여기서 Order는 추천된 장소의 추천점수, freq는 복수의 사용자의 추천된 장소에 대한 방문 빈도수, distance는 상기 대상이미지의 최종위치와 추천된 장소의 위치 간의 거리, gain은 가중치이다.
[수학식 5]
Figure 112018113715067-pat00002
여기서,
Figure 112018113715067-pat00003
및
Figure 112018113715067-pat00004
은 상기 대상이미지의 최종위치의 위도 및 경도,
Figure 112018113715067-pat00005
및
Figure 112018113715067-pat00006
는 추천된 장소의 위도 및 경도이다.
또한, 영상처리 및 위치정보를 이용한 위치결정 장치는, 영상 촬영장치로부터 특정 촬영장소를 촬영한 대상이미지를 수신하는 수신부, 상기 대상이미지로부터 적어도 하나의 특징점을 추출하는 추출부, 상기 적어도 하나의 특징점과 기저장된 복수의 이미지의 특징점에 기초하여 상기 복수의 이미지중 적어도 하나의 매칭이미지를 선별하는 선별부 및 상기 대상이미지 및 상기 적어도 하나의 매칭이미지 각각에 포함된 위치정보 및 상기 특징점에 기초하는 이미지간의 매칭유사도를 이용하여 상기 대상이미지의 최종위치를 결정하는 확정부를 포함한다.
바람직하게는, 상기 대상이미지의 최종위치에 기초하여 적어도 하나의 위치를 추천하는 추천부를 더 포함할 수 있다.
본 발명은 이미지의 영상정보 및 위치정보에 대한 가중치를 달리하여 실내외 구분 없이 정확한 위치를 결정할 수 있는 효과가 있다.
또한, 본 발명은 정확한 위치를 기반으로 보다 정확한 주변의 추천 장소를 사용자에게 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 영상처리 및 위치정보를 이용한 위치결정 방법의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 매칭이미지를 나타낸 도면이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 실험 결과를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 대상이미지를 나타낸 도면이다.
도 7은 본 발명으 일 실시예에 따른 가중치 변화에 따른 확률의 변화를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 위치결정 장치를 설명하기 위하여 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 영상처리 및 위치정보를 이용한 위치결정 방법의 흐름도이다.
도 1을 참조하면, 단계(S110)에서는 위치결정 장치(800)가 영상 촬영장치로부터 특정 촬영장소를 촬영한 대상이미지를 수신한다.
영상 촬영장치는 디지털 카메라, 캠코더와 같은 전용 영상 촬영장치 및 휴대폰이나 게임기 등의 휴대용기기에 카메라 또는 캠코더 기능을 내장한 휴대폰과 융복합기기 등을 나타낼 수 있으나, 본 발명에서는 GPS 위치정보를 수신받아 촬영한 이미지의 위치를 대상이미지와 함께 저장할 수 있는 스마트기기의 카메라로 해석하는 것이 바람직하다.(이하, 영상 촬영장치라 한다.)
따라서, 위치결정 장치(800)는 영상 촬영장치로부터 위치에 관한 정보를 포함하고 있는 대상이미지를 수신하고 저장할 수 있다.
여기서 대상이미지가 포함하고 있는 위치정보는 외부조건(날씨, 전파간섭 등) 또는 영상 촬영장치의 내부조건에 따라 정확한 위치를 나타내지 않을 수 있는데 본 발명이 제안하는 위치결정 장치(800)를 통해 보다 정확한 위치를 제공하는 것이 본 발명의 목적이다.
단계(S120)에서는 위치결정 장치(800)가 대상이미지로부터 적어도 하나의 특징점을 추출한다.
위치결정 장치(800)가 이미지에서 물체를 추적하거나 인식할 때, 이미지와 이미지를 매칭할 때 가장 일반적인 방법은 이미지에서 주요 특징점(keypoint)을 뽑아서 매칭하는 것이다.
이러한 특징점의 조건으로는 물체의 형태나 크기, 위치가 변해도 쉽게 식별이 가능하거나 카메라의 시점, 조명이 변해도 이미지에서 해당 지점을 쉽게 찾아낼 수 있어야 한다. 이미지에서 이러한 조건을 만족하는 가장 좋은 특징점은 바로 코너점(corner point)이다. 그리고 대부분의 특징점 추출 알고리즘들은 이러한 코너점 검출을 바탕으로 하고 있으나 본 발명은 이에 한정되지 않는다.
위치결정 장치(800)가 이미지상에서 특징점을 추출하는 방법은 Harris corner, Harris corner, SIFT - DoG, FAST, AGAST 등을 이용하여 추출할 수 있다.
다른 실시예로서, 위치결정 장치(800)의 특징점 추출은 SIFT (scale-invariant feature transform), SURF (speeded up robust features), 또는 ORB (Oriented FAST and Rotated BRIEF) 특징점 추출 알고리즘을 이용할 수 있다.
예컨대, SIFT의 경우 이미지에서 코너 및 에지 등에서 특징점을 선택한 후 그를 중심으로 일정 블록 크기 영역 내에서 그레디언트(gradient)의 방향과 크기에 대한 히스토그램을 구한다. 그 후 각 빈(bin) 값들을 일정 차원 (128차원 등)의 벡터로 표현한 특징정보를 생성할 수 있다.
본 발명에서는 SIFT, SURF, ORB외의 BRIEF, FREAK 등과 같은 다양한 주요 불변 특징량 방법을 사용할 수 있음은 물론이다.
본 발명에서는 정밀도와 함께 반응속도를 동시에 확보하기위해 SIFT, SURF 그리고 ORB 특징점 추출 알고리즘을 이용하여 특징점을 추출하여 테스트하였다.
단계(S130)에서는 위치결정 장치(800)가 적어도 하나의 특징점과 기저장된 복수의 이미지의 특징점에 기초하여 복수의 이미지중 적어도 하나의 매칭이미지를 선별한다.
위치결정 장치(800)에는 별도의 데이터베이스(DB)가 마련되어 복수의 이미지가 미리 저장되어 있고, 복수의 이미지 각각에는 이미지 각각에 대응되는 위치에 관한 정보(예컨대, 위도 및 경도)가 포함되어 있을 수 있다.
다른 실시예로서, 위치결정 장치(800)가 매칭이미지를 선별하는 단계는 비교 이미지간의 특징점 매칭(Feature Matching)에 의해 수행될 수 있다.
예컨대, 위치결정 장치(800)가 K-NN 매칭(Matching)알고리즘을 이용해서 대상이미지와 데이터베이스에 기 저장된 복수의 이미지와 비교하여 소정의 기준보다 높은 유사도를 갖는 복수의 매칭이미지를 선별할 수 있는데 이하 구체적인 실시예를 통해 본 발명을 설명한다.
위치결정 장치(800)는 MySQL을 사용하여 사전에 복수의 이미지들의 GPS 위치정보와 특징점(keypoints) 및 서술자(descripters)를 데이터베이스(DB)에 저장하여 사용하였고, 충남대학교 내의 18가지의 포인트를 사용하였다. 모든 테스트는 위도 36.369443, 경도127.344408의 좌표의 이미지에 대해 실시하였다.
프로그램은 python3.5.4를 기반으로 openCV3.4.1을 사용하였으며 ‘spyder’를 사용하여 작업을 진행하였다.
먼저 위치결정 장치(800)가 현재 사용자의 GPS 위치정보를 기준으로 위도와 경도 각각 ±0.002도 이내에 있는 장소들을 DB에서 추출하여 매칭이미지를 추려내었다. 위치결정 장치(800)가 매칭이미지에서 특징점과 서술자들을 추출한후에 DB상의 매칭이미지와 일치하는지 알아보기 위한 매칭알고리즘으로 K-NN 매칭(Matching)알고리즘을 사용하였다. 해당 알고리즘은 각 특징점마다 k개의 일치점(match)을 찾으며 테스트를 위해서는 2개의 일치점을 찾아내도록 설정하였다. 이러한 일치점 셋들 중에서도 신뢰도가 높은 것들만 사용하기 위해서 두 일치점의 크기에 대한 ratio test를 진행하여 그 비가 0.75미만인 경우만을 최적 일치점(Good match)’라고 지정하였다. 이 최적 일치점들의 비율이 전체 일치점대비 20%를 넘어가지 못하는 경우 이미지를 완전히 인식하지 못한 것으로 처리하였다. 매칭이미지로서 총 여섯 이미지가 선정되었다.
도 2를 참고하면, 왼쪽 위부터 시계방향으로 장소1, 장소2, 장소3, 장소4, 장소5, 장소6으로 정의한다.
각 알고리즘별로 10번의 소요시간을 측정하였으며 그 결과 평균적으로 ORB(0.2565초), SURF(17.41초), SIFT(84.50초)의 순서로 빠르다는 것을 확인할 수 있었다. 매칭이미지(장소1 내지 장소6)에 대한 정밀도를 확인하기 위하여 각 알고리즘별 최적 일치점들의 수를 확인하였다. 도 3 내지 도 5를 참조하면 최적 일치점의 수 차이를 바탕으로 파악한 알고리즘 별 정밀도를 확인할 수 있다.
매칭이미지에 대한 정밀도는 ORB-90.32%, SIFT-93.18%, SURF-88.12%임을 확인할 수 있으며 대상이미지와 일치할 확률은 ORB-90.87%, SIFT-92.7%, SURF-89.08%임을 확인할 수있다. 이에 따라 이미지 판별의 정밀도는 SIFT가 제일 높음을 확인할 수 있다.
단계(S140)에서는, 위치결정 장치(800)가 대상이미지 및 적어도 하나의 매칭이미지 각각에 포함된 위치정보 및 특징점에 기초하는 이미지간의 매칭유사도를 이용하여 대상이미지의 최종위치를 결정한다.
위치결정 장치(800)는 이미지를 바탕으로 한 위치파악에 더불어 GPS 위치정보를 사용한다. 대상이미지을 촬영한 위치의 GPS 위치정보를 바탕으로 선정된 매칭이미지들과의 유클리드 거리(Euclidean distance)를 구한다.
여기에 소프트맥스(Softmax)함수화한 최적 일치점 개수 정보를 종합하여 매칭유사도가 가장 높은 장소를 파악한다.
다른 실시예에서는, 위치결정 장치(800)가 이미지간의 매칭유사도를 이용하여 대상이미지의 최종위치를 결정하는 단계는 수학식 1, 수학식 2 및 수학식 3을 이용한다.
[수학식 1]
IPlace(C)= MAX(IV(Pi,C))
여기서, IPlace(C)는 매칭유사도가 가장 높은 값, IV(Pi,C)는 적어도 하나의 매칭이미지와 대상이미지의 매칭유사도, C는 대상이미지, Pi는 i번째 매칭이미지이다.
[수학식 2]
IV(Pi,C) = wD(G(Pi),G(C))+(1-w)Li (단 0< w <1)
여기서, w는 가중치, D(G(Pi),G(C))는 G(C)는 대상이미지의 위치정보, G(Pi)는 i번째 매칭이미지의 위치정보, D(G(Pi),G(C))는 대상이미지의 위치와 매칭이미지의 위치간의 Euclidean 거리, Li는 Pi의 최적 일치점의 개수에 대한 softmax 함수이다.
[수학식 3]
Figure 112018113715067-pat00007
여기서, i는 i번째 매칭이미지, npl은 기저장된 복수의 이미지, j는 기저장된 복수의 이미지 중 j번째 매칭이미지, f는 각각 i 또는 j번째 매칭이미지의 최적 일치점 개수 정보이다.
대상이미지와 매칭이미지 간의 거리정보와 최적 일치점 개수, 두 정보의 값의 범위가 다르기 때문에 두 정보 모두 0부터 1사이의 값으로 정규화를 수행하였다.
위치결정 장치(800)는 가중치(w)에 따라 두 정보를 상호보완적으로 사용할 수 있다. 한 가지 예로 그림 3의 이미지는 실제 DB에 저장되어있는 이미지와 구도가 많이 뒤틀려있기 때문에 이미지 판별만으로는 해당 이미지가 ‘장소 2’에 해당한다는 것을 알 수 없다. 그러나 위치결정 장치(800)을 적용할 경우 거리의 보정을 받아 정확한 위치를 파악할 수 있다.
이는 곧 이미지 처리만을 통해서는 해당 사용자가 찍은 이미지가 정확히 그 지점을 지칭하는지 알기가 어려운데 반하여 위치결정 장치(800)을 적용할 경우 이를 보완해줄 수 있음을 의미한다.
도 6 및 도 7을 참조하면, 도 6은 동일한 이미지인 도 7에 대하여 가중치,w를 변경했을 경우의 각 장소별 확률의 변화를 보여준다.
위치결정 장치(800)는 w 값이 작을수록 이미지처리에 영향을 많이 받고, 클수록 GPS 위치정보에 영향을 많이 받는다. 도 6은 이미지처리만 했을 경우 결과가 다소 모호했던 이미지인 도 7을 바탕으로 테스트한 결과이기 때문에 w 값이 줄어들자 다른 장소들의 확률이 증가한 것을 확인할 수 있다. 반대로 w 값이 늘어나자 실제 거리가 가까운 장소들의 확률이 늘어난 것을 확인할 수 있다.
이 때문에 추가적으로 다른 장소들을 추가할 경우 각 장소에 대한 가중치를 적절하게 설정해주어야 한다.
결과적으로, 각 알고리즘별로 10번의 소요시간을 측정한 결과 평균적으로ORB(0.2565초), SURF(17.41초), SIFT(84.50초)의 순으로 빠른 반응속도를 확인할 수 있고, 특히 ORB의 경우 거의 즉시 결과를 보여줌을 알 수 있다.
이미지 판별의 정밀도는 SIFT가 93.18%로 제일 높다. 하지만 SIFT가 제일 정밀하다는 이유만으로 사용하기에는 반응속도가 ORB대비 330배 정도 느리기 때문에 이를 주 알고리즘으로 사용하기에는 적당하지 않다. 최종적으로 평균 반응속도가0.2565초이고 평균 정밀도가 90.32%인 ORB를 주요 알고리즘으로 사용하는 것이 가장 바람직하다.
위치결정 장치(800)는 가중치 w의 변화를 통해서 거리 정보와 이미지정보 중 어떤 정보를 더 중요하게 사용할 것인지를 결정할 수 있다. 예를 들어 GPS 위치정보가 크게 의미를 같지 못하는 건물 내의 층 구별에는 w 값을 낮춰 이미지정보에 가중치를 높이고, DB상의 복수의 이미지와 대상이미지의 밝기나 상태가 종종 바뀌어 일정한 영상처리의 정밀도를 기대할 수 없는 외부설치물의 경우 w 값을 높여 거리정보의 가중치를 높여 시스템의 정밀도를 높일 수 있는 효과가 있다.
다른 실시예로서, 위치결정 장치(800)는 대상이미지의 최종위치에 기초하여 적어도 하나의 위치를 추천할 수 있다.
위치결정 장치(800)가 GPS 위치정보와 이미지정보를 바탕으로 현재위치를 파악한 후 사용자가 현재 위치에서 사진을 찍었던 사람들이 이후에 많이 갔던 가까운 명소 몇 가지를 추천할 수 있다.
또 다른 실시예로서, 위치결정 장치(800)가 적어도 하나의 위치를 추천하는 단계는 아래의 수학식 4 및 수학식 5를 이용하여 추천할 수 있다.
[수학식 4]
Order = freq*C(distance * gain)(단, 0< gain <1)
여기서 Order는 추천된 장소의 추천점수, freq는 복수의 사용자의 추천된 장소에 대한 방문 빈도수, distance는 대상이미지의 최종위치와 추천된 장소의 위치 간의 거리, gain은 가중치이다.
[수학식 5]
Figure 112018113715067-pat00008
여기서,
Figure 112018113715067-pat00009
및
Figure 112018113715067-pat00010
은 대상이미지의 최종위치의 위도 및 경도,
Figure 112018113715067-pat00011
및
Figure 112018113715067-pat00012
는 추천된 장소의 위도 및 경도이다.
이를 통해, 현재 위치의 사용자는 현재 위치를 중심으로 적어도 하나의 명소를 추천받을 수 있으며, 최적의 관광경로를 생성할 수 있다.
도 8은 본 발명의 일 실시예에 따른 위치결정 장치(800)를 설명하기 위하여 블록도이다.
도 8을 참조하면, 위치결정 장치(800)는 수신부(810), 추출부(820), 선별부(830) 및 확정부(840)을 포함한다.
수신부(810)는 영상 촬영장치로부터 특정 촬영장소를 촬영한 대상이미지를 수신한다.
추출부(820)는 대상이미지로부터 적어도 하나의 특징점을 추출한다.
선별부(830)는 적어도 하나의 특징점과 기저장된 복수의 이미지의 특징점에 기초하여 복수의 이미지중 적어도 하나의 매칭이미지를 선별한다.
확정부(840)은 대상이미지 및 적어도 하나의 매칭이미지 각각에 포함된 위치정보 및 특징점에 기초하는 이미지간의 매칭유사도를 이용하여 대상이미지의 최종위치를 결정한다.
다른 실시예에서는, 위치결정 장치(800)는 대상이미지의 최종위치에 기초하여 적어도 하나의 위치를 추천하는 추천부를 더 포함할 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으나, 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.
800: 위치결정 장치
810: 수신부
820: 추출부
830: 선별부
840: 확정부

Claims (8)

  1. 영상 촬영장치로부터 특정 촬영장소를 촬영한 대상이미지를 수신하는 단계;
    상기 대상이미지로부터 적어도 하나의 특징점을 추출하는 단계;
    상기 적어도 하나의 특징점과 기저장된 복수의 이미지의 특징점에 기초하여 상기 복수의 이미지중 적어도 하나의 매칭이미지를 선별하는 단계; 및
    상기 대상이미지 및 상기 적어도 하나의 매칭이미지 각각에 포함된 위치정보 및 상기 특징점에 기초하는 이미지간의 매칭유사도를 이용하여 상기 대상이미지의 최종위치를 결정하는 단계를 포함하고,
    상기 이미지간의 매칭유사도를 이용하여 상기 대상이미지의 최종위치를 결정하는 단계는 수학식 1, 수학식 2 및 수학식 3을 이용하는 영상처리 및 위치정보를 이용한 위치결정 방법.
    [수학식 1]
    IPlace(C)= MAX(IV(Pi,C))
    여기서, IPlace(C)는 상기 매칭유사도가 가장 높은 값, IV(Pi,C)는 상기 적어도 하나의 매칭이미지와 상기 대상이미지의 매칭유사도, C는 상기 대상이미지, Pi는 i번째 상기 매칭이미지이다.
    [수학식 2]
    IV(Pi,C) = wD(G(Pi),G(C))+(1-w)Li (단 0< w <1)
    여기서, w는 가중치, D(G(Pi),G(C))는 G(C)는 상기 대상이미지의 위치정보, G(Pi)는 i번째 매칭이미지의 위치정보, D(G(Pi),G(C))는 상기 대상이미지의 위치와 상기 매칭이미지의 위치간의 Euclidean 거리, Li는 Pi의 최적 일치점의 개수에 대한 softmax 함수이다.
    [수학식 3]
    Figure 112020024771962-pat00027

    여기서, i는 i번째 상기 매칭이미지, npl은 상기 기저장된 복수의 이미지, j는 상기 기저장된 복수의 이미지 중 j번째 상기 매칭이미지, f는 각각 i 또는 j번째 매칭이미지의 최적 일치점 개수 정보이다.
  2. 제1항에 있어서,
    상기 특징점 추출은 SIFT (scale-invariant feature transform), SURF (speeded up robust features), 또는 ORB (Oriented FAST and Rotated BRIEF) 특징점 추출 알고리즘을 이용하는 것을 특징으로 하는 영상처리 및 위치정보를 이용한 위치결정 방법.
  3. 제1항에 있어서,
    상기 매칭이미지를 선별하는 단계는,
    비교 이미지간의 특징점 매칭(Feature Matching)에 의해 수행되는 것을 특징으로 하는 영상처리 및 위치정보를 이용한 위치결정 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 대상이미지의 최종위치에 기초하여 적어도 하나의 위치를 추천하는 단계를 더 포함하는 것을 특징으로 하는 영상처리 및 위치정보를 이용한 위치결정 방법.
  6. 제5항에 있어서,
    상기 적어도 하나의 위치를 추천하는 단계는 아래의 수학식 4 및 수학식 5를 이용하여 추천하는 것을 특징으로 하는 영상처리 및 위치정보를 이용한 위치결정 방법.
    [수학식 4]
    Order = freq*C(distance * gain)(단, 0< gain <1)
    여기서 Order는 추천된 장소의 추천점수, freq는 복수의 사용자의 추천된 장소에 대한 방문 빈도수, distance는 상기 대상이미지의 최종위치와 추천된 장소의 위치 간의 거리, gain은 가중치이다.
    [수학식 5]
    Figure 112018113715067-pat00014

    여기서,
    Figure 112018113715067-pat00015
    및
    Figure 112018113715067-pat00016
    은 상기 대상이미지의 최종위치의 위도 및 경도,
    Figure 112018113715067-pat00017
    및
    Figure 112018113715067-pat00018
    는 추천된 장소의 위도 및 경도이다.
  7. 영상 촬영장치로부터 특정 촬영장소를 촬영한 대상이미지를 수신하는 수신부;
    상기 대상이미지로부터 적어도 하나의 특징점을 추출하는 추출부;
    상기 적어도 하나의 특징점과 기저장된 복수의 이미지의 특징점에 기초하여 상기 복수의 이미지중 적어도 하나의 매칭이미지를 선별하는 선별부; 및
    상기 대상이미지 및 상기 적어도 하나의 매칭이미지 각각에 포함된 위치정보 및 상기 특징점에 기초하는 이미지간의 매칭유사도를 이용하여 상기 대상이미지의 최종위치를 결정하는 확정부를 포함하고,
    상기 확정부는 상기 이미지간의 매칭유사도를 이용하여 상기 대상이미지의 최종위치를 결정하는 단계는 수학식 1, 수학식 2 및 수학식 3을 이용하는 영상처리 및 위치정보를 이용한 위치결정 장치.
    [수학식 1]
    IPlace(C)= MAX(IV(Pi,C))
    여기서, IPlace(C)는 상기 매칭유사도가 가장 높은 값, IV(Pi,C)는 상기 적어도 하나의 매칭이미지와 상기 대상이미지의 매칭유사도, C는 상기 대상이미지, Pi는 i번째 상기 매칭이미지이다.
    [수학식 2]
    IV(Pi,C) = wD(G(Pi),G(C))+(1-w)Li (단 0< w <1)
    여기서, w는 가중치, D(G(Pi),G(C))는 G(C)는 상기 대상이미지의 위치정보, G(Pi)는 i번째 매칭이미지의 위치정보, D(G(Pi),G(C))는 상기 대상이미지의 위치와 상기 매칭이미지의 위치간의 Euclidean 거리, Li는 Pi의 최적 일치점의 개수에 대한 softmax 함수이다.
    [수학식 3]
    Figure 112020024771962-pat00028

    여기서, i는 i번째 상기 매칭이미지, npl은 상기 기저장된 복수의 이미지, j는 상기 기저장된 복수의 이미지 중 j번째 상기 매칭이미지, f는 각각 i 또는 j번째 매칭이미지의 최적 일치점 개수 정보이다.
  8. 제7항에 있어서,
    상기 대상이미지의 최종위치에 기초하여 적어도 하나의 위치를 추천하는 추천부를 더 포함하는 것을 특징으로 하는 영상처리 및 위치정보를 이용한 위치결정 장치.

KR1020180140705A 2018-11-15 2018-11-15 영상처리 및 위치정보를 이용한 위치결정 방법 및 장치 KR102127872B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180140705A KR102127872B1 (ko) 2018-11-15 2018-11-15 영상처리 및 위치정보를 이용한 위치결정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180140705A KR102127872B1 (ko) 2018-11-15 2018-11-15 영상처리 및 위치정보를 이용한 위치결정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200056708A KR20200056708A (ko) 2020-05-25
KR102127872B1 true KR102127872B1 (ko) 2020-06-29

Family

ID=70914529

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180140705A KR102127872B1 (ko) 2018-11-15 2018-11-15 영상처리 및 위치정보를 이용한 위치결정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102127872B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255449A (zh) * 2021-04-23 2021-08-13 东南大学 一种双目视频图像的实时匹配方法
KR102395166B1 (ko) * 2021-10-29 2022-05-09 주식회사 딥노이드 특징 좌표 기반의 유사도 산출 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101259957B1 (ko) * 2012-11-16 2013-05-02 (주)엔써즈 이미지 매칭을 이용한 부가 정보 제공 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090132485A (ko) * 2009-02-05 2009-12-30 김한준 지리정보 확인시스템의 제어방법 및 이동단말기
US10750153B2 (en) 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101259957B1 (ko) * 2012-11-16 2013-05-02 (주)엔써즈 이미지 매칭을 이용한 부가 정보 제공 시스템 및 방법

Also Published As

Publication number Publication date
KR20200056708A (ko) 2020-05-25

Similar Documents

Publication Publication Date Title
US8532400B1 (en) Scene classification for place recognition
US8768107B2 (en) Matching an approximately located query image against a reference image set
US20120148118A1 (en) Method for classifying images and apparatus for the same
US8144920B2 (en) Automated location estimation using image analysis
US9064171B2 (en) Detection device and method for transition area in space
CN104850563B (zh) 目的地图像比较检索装置、目的地图像比较检索系统、以及目的地图像比较检索方法
JP2015501982A (ja) 画像コンテンツに基づいた自動タグ生成
US10762372B2 (en) Image processing apparatus and control method therefor
US20140112545A1 (en) Information processing apparatus and information processing method
KR102127872B1 (ko) 영상처리 및 위치정보를 이용한 위치결정 방법 및 장치
KR20200012379A (ko) 이미지 기반 실내위치 검출장치 및 검출방법
CN109961103B (zh) 特征提取模型的训练方法、图像特征的提取方法及装置
Santos et al. RECOGNIZING AND EXPLORING AZULEJOS ON HISTORIC BUILDINGS’FACADES BY COMBINING COMPUTER VISION AND GEOLOCATION IN MOBILE AUGMENTED REALITY APPLICATIONS
WO2023093480A1 (zh) 物种游览方法、游览系统及可读存储介质
CN106354738B (zh) 一种平面图像录入及匹配的方法和系统
JP6244887B2 (ja) 情報処理装置、画像探索方法、及びプログラム
CN107016351A (zh) 拍摄指导信息的获取方法以及装置
CN104680143B (zh) 一种用于视频侦查的快速图像检索方法
CN106776777A (zh) 地理位置信息的识别方法、识别装置及终端
JP6278757B2 (ja) 特徴量生成装置、特徴量生成方法、およびプログラム
JP6959295B2 (ja) 情報処理システム、情報処理装置、情報処理方法、プログラム及び記憶媒体
JP2018195872A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP6913707B2 (ja) 情報処理システム、情報処理装置、情報処理方法、プログラム及び記憶媒体
JP2005301722A (ja) 顔領域検出装置
AU2013248183B2 (en) Matching an approximately located query image against a reference image set

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant