KR101224176B1 - 아웃도어 증강현실의 정확도 향상 시스템 및 그 방법 - Google Patents

아웃도어 증강현실의 정확도 향상 시스템 및 그 방법 Download PDF

Info

Publication number
KR101224176B1
KR101224176B1 KR1020110033754A KR20110033754A KR101224176B1 KR 101224176 B1 KR101224176 B1 KR 101224176B1 KR 1020110033754 A KR1020110033754 A KR 1020110033754A KR 20110033754 A KR20110033754 A KR 20110033754A KR 101224176 B1 KR101224176 B1 KR 101224176B1
Authority
KR
South Korea
Prior art keywords
building
point
image
edge
information
Prior art date
Application number
KR1020110033754A
Other languages
English (en)
Other versions
KR20120116168A (ko
Inventor
박준
박준석
Original Assignee
박준
네무스텍(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박준, 네무스텍(주) filed Critical 박준
Priority to KR1020110033754A priority Critical patent/KR101224176B1/ko
Publication of KR20120116168A publication Critical patent/KR20120116168A/ko
Application granted granted Critical
Publication of KR101224176B1 publication Critical patent/KR101224176B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • Studio Devices (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Instructional Devices (AREA)

Abstract

본 발명은 아웃도어 증강현실의 정확도 향상 시스템에 있어서, 단말기의 카메라로부터 촬영된 빌딩 이미지의 노이즈를 제거하는 확산 장치부; 상기 확산 장치부에 의해 노이즈가 제거된 이미지에서 빌딩 모서리에 대한 정보를 추출하는 수직 엣지 필터부; 빌딩 이미지의 모서리에 대한 GPS 정보가 저장된 맵 제공부로부터 초기 3자유도(3DOF) 위치 및 방향을 나타내는 보이는 쪽의 코너 지점을 선택하는 포인트 지점 선택부; 및 상기 수직 엣지 필터부로부터 추출된 빌딩 모서리에 대한 정보와 상기 포인트 지점 선택부로부터 추출된 빌딩 모서리를 갖는 코너 지점을 비교하면서 상응값을 추출하여 3자유도(3DOF) 트래킹 정보를 획득하는 3자유도(3DOF) 획득부;를 포함하는 것을 특징으로 하는 아웃도어 증강현실의 정확도 향상 시스템을 제공한다.
본 발명은 지도에서 이용 가능한 빌딩 코너 GPS 위치를 이용하여, 이미지에서 3개 이상의 수직 엣지 및 그에 상응하는 빌딩 코너 위치를 갖는 것으로 보다 정확한 3DOF 위치 및 방향을 얻을 수 있는 효과가 있다.
또한, 본 발명은 이미 사용되고 있는 지도(map)에서 추출하기 때문에 가공하기 쉬운 정보를 이용함으로써 실용적이며, GPS 신호감도가 떨어지는 높은 빌딩의 도시 환경에서 모바일 서비스를 제공하는데 유용하다.

Description

아웃도어 증강현실의 정확도 향상 시스템 및 그 방법{Accuracy improvement system for an outdoor Augmented Reality (AR) and the method}
본 발명은 아웃도어 증강현실의 정확도 향상 시스템에 관한 것으로, 이미지에서의 수직 엣지로써 측정된 빌딩의 코너 지점은 개선된 GPS 위치 및 컴퍼스 방향(compass orientation)으로 이용하고, 이방향성 확산 및 그레이 스케일 및 채도 이미지에서의 듀얼 수직 엣지 필터를 제공하는 아웃도어 증강현실의 정확도 향상 시스템 및 그 방법에 관한 것이다.
아웃도어 증강현실(AR)은 모바일 서비스를 기초로 한 위치적 잠재력 때문에 최근 인기를 끌고 있다. 그러나, 대부분의 상업적으로 이용되는 글로벌 위치 확인 시스템(GPS)은, 고가의 고급 모델을 제외하고는, 정보에 기초한 실제적으로 중요한 정보를 보여주는 정확한 위치 정보를 제공하지 않는다.
보다 자세하게 설명하면, 아웃도어 증강현실을 위한 글로벌 위치 확인 시스템(GPS) 및 디지털 컴퍼스는 INS 및 경사계(inclinometer)와 같은 이차 센서를 갖는 주요 트래킹 장치로써 이용되어지고 있다.
그러나, 이러한 센서들은 정확한 위치 및 방향 정보를 제공하지 않거나, 오직 이전 측정에 대한 상대적인 업데이트만을 나타낸다. 그러므로, 비록 최근에 LBS(위치 기반 서비스)에 기반한 증강현실이 대중적으로 주목받고 있지만, 대부분의 아웃도어 증강현실 시스템은 실용적인 서비스를 제공하지 않거나, 값비싼 고급형 GPS를 사용하고 있다.
그리고 선택적 또는 지지적 접근은 비전 모델을 기반으로 한다. 빌딩의 3D 모델이 가능한 경우, 모델 기반 방법은 견고한 6DOF (6자유도 : degrees of freedom) 트래킹을 이용할 수 있다. 그러나, 대부분의 LBS 장치들은 6자유도(6DOF)를 설치하는 것까지는 요구하지 않는다.
따라서, 본 발명은 종래 기술에 제기된 문제점을 해결하기 위한 것으로, 이미지에서의 수직 엣지로써 측정된 빌딩의 코너 포인트는 개선된 GPS 위치 및 컴퍼스 방향으로 이용하고, 이방향성 확산 및 그레이 스케일 및 채도 이미지에서의 듀얼 수직 엣지 필터를 제공함으로써, GPS 및 디지털 컴퍼스를 통해 향상된 3DOF 위치 및 방향(2D 위치 및 1D 방향)을 얻을 수 있는 아웃도어 증강현실의 정확도 향상 시스템 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 또 다른 목적은, 지도에서 이용 가능한 빌딩 코너 GPS 위치를 이용하여, 이미지에서 3개 이상의 수직 엣지 및 그에 상응하는 빌딩 코너 위치를 갖는 것으로 보다 정확한 3DOF 위치 및 방향을 얻을 수 있는 아웃도어 증강현실의 정확도 향상 시스템 및 그 방법을 제공하는데 있다.
상기의 목적을 달성하기 위하여, 본 발명은, 단말기의 카메라로부터 촬영된 빌딩 이미지의 노이즈를 제거하는 확산 장치부; 상기 확산 장치부에 의해 노이즈가 제거된 이미지에서 빌딩 모서리에 대한 정보를 추출하는 수직 엣지 필터부; 빌딩 이미지의 모서리에 대한 GPS 정보가 저장된 맵 제공부로부터 초기 3자유도(3DOF) 위치 및 방향을 나타내는 보이는 쪽의 코너 지점을 선택하는 포인트 지점 선택부; 및 상기 수직 엣지 필터부로부터 추출된 빌딩 모서리에 대한 정보와 상기 포인트 지점 선택부로부터 추출된 빌딩 모서리를 갖는 코너 지점을 비교하면서 상응값을 추출하여 3자유도(3DOF) 트래킹 정보를 획득하는 3자유도(3DOF) 획득부;를 포함하는 것을 특징으로 하는 아웃도어 증강현실의 정확도 향상 시스템을 제공한다.
이때, 상기 본 발명에 따른 아웃도어 증강현실의 정확도 향상 시스템은,
상기 포인트 지점 선택부로부터 포인트 지점 선택의 오류시 GPS 오류 경계로 판단하여 상기 코너 지점안에서 다른 GPS 위치를 통해 재추출하는 GPS 위치 재추출부;를 더 포함할 수 있다.
상기의 목적을 달성하기 위한 본 발명은 아웃도어 증강현실의 정확도 향상 방법에 있어서, 확산 장치부를 통해 단말기의 카메라로부터 촬영된 빌딩 이미지의 노이즈를 제거하는 단계; 수직 엣지 필터부를 통해 상기 확산 장치부에 의해 노이즈가 제거된 이미지에서 빌딩 모서리에 대한 정보를 추출하는 단계; 포인트 지점 선택부를 통해 빌딩 이미지의 모서리에 대한 GPS 정보가 저장된 맵 제공부로부터 초기 3자유도(3DOF) 위치 및 방향을 나타내는 보이는 쪽의 코너 지점을 선택하는 단계; 및 3자유도(3DOF) 획득부를 통해 상기 수직 엣지 필터부로부터 추출된 빌딩 모서리에 대한 정보와 상기 포인트 지점 선택부로부터 추출된 빌딩 모서리를 갖는 코너 지점을 비교하면서 상응값을 추출하여 3자유도(3DOF) 트래킹 정보를 획득하는 단계;를 포함하는 것을 특징으로 하는 아웃도어 증강현실의 정확도 향상 방법을 제공할 수 있다.
그리고 상기 촬영된 빌딩 이미지의 노이즈를 제거하는 단계에서 상기 확산 장치부는, 엣지(모서리)는 보존하면서 이미지 노이즈를 줄이기 위해, 하기의 식으로 정의된 바에 따라 이방향성 확산을 수행할 수 있다.
Figure 112011026732916-pat00001
(
Figure 112011026732916-pat00002
는 이미지,
Figure 112011026732916-pat00003
는 이미지에서의 픽셀 위치, t 는 반복 단계)
또한, 빌딩 모서리에 대한 정보를 추출하는 단계에서, 상기 빌딩 모서리에 대한 정보를 추출하는 방법은 그레이 스케일 및 채도 이미지에서의 케니 엣지 디텍션(Canny edge detection) 방법을 이용하여 해당 정보를 추출할 수 있다.
또한, 상기 빌딩 모서리에 대한 정보를 추출하는 단계는,
상기 케니 엣지 디텍션 방법으로 빌딩 모서리를 측정한 다음, 짧고 인접하고 수평인 에지를 제거하기 위해 마스크를 제공한 후에 허프 변환(Hough tramsform)법을 이용하여 선 등식을 검출할 수 있다.
또한, 상기 초기 3자유도(3DOF) 위치 및 방향을 나타내는 보이는 쪽의 코너 지점을 선택하는 단계는, GPS 위치 재추출부를 통해 상기 포인트 지점 선택부로부터 포인트 지점 선택의 오류시 GPS 오류 경계로 판단하여 상기 코너 지점안에서 다른 GPS 위치를 통해 재추출하는 단계를 더 포함할 수 있다.
이상에서 설명한 바와 같이, 본 발명은 이미지에서의 수직 엣지로써 측정된 빌딩의 코너 지점은 개선된 GPS 위치 및 컴퍼스 방향으로 이용하고, 이방향성 확산 및 그레이 스케일 및 채도 이미지에서의 수직 엣지 필터를 제공함으로써, GPS 및 디지털 컴퍼스(digital compass)를 통해 향상된 3DOF 위치 및 방향(2D 위치 및 1D 방향)을 얻을 수 있는 효과가 있다.
또한, 본 발명은 지도에서 이용 가능한 빌딩 코너 GPS 위치를 이용하여, 이미지에서 3개 이상의 수직 엣지 및 그에 상응하는 빌딩 코너 위치를 갖는 것으로 보다 정확한 3DOF 위치 및 방향을 얻을 수 있는 효과가 있다.
또한, 본 발명은 이미 사용되고 있는 지도(map)에서 추출하기 때문에 가공하기 쉬운 정보를 이용함으로써 실용적이며, GPS 신호감도가 떨어지는 높은 빌딩(120)의 도시 환경에서 모바일 서비스를 제공하는데 유용하다.
도 1은 본 발명의 실시예에 따른 아웃도어 증강현실의 정확도 향상 시스템에 대한 구성도이다.
도 2는 본 발명의 실시예에 따른 아웃도어 증강현실의 정확도 향상 방법에 대한 순서도이다.
도 3은 본 발명의 실시예에 따라 노이즈가 제거된 이미지에서 빌딩 모서리에 대한 정보를 추출하는 단계를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따라 3자유도(3DOF) 트래킹 정보를 획득하는 단계를 설명하기 위한 도면이다.
도 5의 a)는 로 측정(raw measurement)에 의한 POI정보와 재투영된 빌딩 모서리들을 나타낸 이미지이고, 도 5의 b)는 a)의 이미지에 본 발명의 정확도 향상법을 적용한 도면이고, 도5의 c)는 a)의 이미지에 대한 항공사진이다.
본 발명에 따른 아웃도어 증강현실의 정확도 향상 시스템 및 그 방법에 대한 기술적 구성을 비롯한 작용효과에 관한 사항은 본 발명의 바람직한 실시예가 도시된 도면을 참조하여 아래의 상세한 설명에 의해서 명확하게 이해될 것이다.
아웃도어 증강현실을 위한 3자유도(3DOF) 정확도 향상 시스템
도1은 본 발명의 실시예에 따른 아웃도어 증강현실의 정확도 향상 시스템에 대한 구성도이다.
도1을 참조하여 설명하면, 본 발명에 따른 아웃도어 증강현실의 정확도 향상 시스템(100)은 단말기(110)의 카메라(111)로부터 촬영된 빌딩(120) 이미지의 노이즈를 제거하는 확산 장치부(130, 이하, "이방향성 확산(Anisotropic Diffusion) 장치부"라 한다), 상기 이방향성 확산 장치부(130)에 의해 노이즈가 제거된 이미지에서 빌딩(120) 모서리에 대한 정보를 추출하는 수직 엣지 필터부(140, 이하, "듀얼 수직 엣지 필터부"라 한다), 빌딩(120) 이미지의 모서리에 대한 GPS 정보가 저장된 맵 제공부(150)로부터 초기 3자유도(3DOF) 위치 및 방향을 나타내는 보이는 쪽의 코너 지점(viewable corner point)을 선택하는 포인트 지점 선택부(160) 및 상기 듀얼 수직 엣지 필터부(140)로부터 추출된 빌딩(120) 모서리에 대한 정보와 상기 포인트 지점 선택부(160)로부터 추출된 빌딩(120) 모서리를 갖는 코너 지점을 비교하면서 상응값을 추출하여 3자유도(3DOF) 트래킹 정보를 획득하는 3자유도(3DOF) 획득부(170)를 포함하여 이루어질 수 있다.
또한, 상기 포인트 지점 선택부(160)로부터 포인트 지점 선택의 오류시 GPS 오류 경계로 판단하여 상기 코너 지점안에서 다른 GPS 위치를 통해 재추출하는 GPS 위치 재추출부(165)를 더 포함할 수 있다. 본 발명에서 엣지(edge)와 모서리는 같은 의미로서, 혼용하여 사용된다.
이에 따른 본 발명에 따른 아웃도어 증강현실 시스템의 구성을 통해 노이즈는 입력 비디오 이미지의 이방향성 확산 장치부(130)에 의해 제거되었고, 빌딩(120) 모서리는 듀얼 수직 엣지 필터부(140)를 이용하여 추출하였다. 주어진 초기 3DOF 위치 및 방향인 보이는 쪽의 코너 지점(viewable corner point)은 포인트 지점 선택부(160)를 통해 지도(map)로부터 선택되었고, 상응값은 빌딩(120) 모서리를 갖는 코너 지점을 비교하면서 3자유도(3DOF) 획득부(170)를 통해 추출되었다. 이때, 상응값이 추출되지 않으면, GPS 오류 경계부를 이용하여 다른 위치는 GPS 오류 경계 안에 있는 것으로 판단하여 상응값의 처리 후에, 3DOF 트래킹 정보는 최적화된 기술을 통해 정확한 설치를 획득하기 위해 개선시킬 수 있다. 이에 대해서는 이후에 자세하기 설명하기로 한다.
아웃도어 증강현실을 위한 3자유도 (3 DOF ) 정확도 향상 방법
도 2는 본 발명의 실시예에 따른 아웃도어 증강현실의 정확도 향상 방법에 대한 순서도이고, 도 5의 a)는 로 측정(raw measurement)에 의한 POI정보와 재투영된 빌딩 모서리들을 나타낸 이미지이고, 도 5의 b)는 a)의 이미지에 본 발명의 정확도 향상법을 적용한 도면이고, 도5의 c)는 a)의 이미지에 대한 항공사진이다.
도2 및 도5를 참조하여 설명하면, 본 발명의 실시예에 따른 아웃도어 증강현실의 정확도 향상방법은 앞서 설명한 도1과 같은 구성으로 이루어진 아웃도어 증강현실 시스템을 통한 방법으로 이하 중복되는 설명은 생략한다.
먼저, 상기 이방향성 확산 장치부(130)를 통해 단말기(110)의 카메라로부터 촬영된 빌딩(120) 이미지에서 노이즈를 제거한다.(S100) 일반적으로, 빌딩(120) 측정은 도시환경에 있어서 사소한 것이 아니다. 다른 그 무엇보다도, 이미지는 많은 노이즈를 갖는 모바일 서비스로부터 발생되어졌다. 간단하게 부드럽게 나타나는 이미지는 엣지(모서리) 또한 떨어뜨렸다. 따라서 본 발명은, 엣지(모서리)는 보존하면서 이미지 노이즈는 줄어들도록 하는 이방향성 확산 방법을 이용한다. 본 발명에 따른 이방향성 확산은 하기의 식으로 정의되어 진다.
Figure 112011026732916-pat00004
여기에서,
Figure 112011026732916-pat00005
는 이미지,
Figure 112011026732916-pat00006
는 이미지에서의 픽셀 위치, t 는 반복 단계를 나타내는 것이다.
Figure 112011026732916-pat00007
는 이미지의 절대 경사값을 가지고 단조조감소하는 확산 함수이다. 이 함수는 이미지 경사를 기반으로 한 확산의 각도에 맞출 수 있다.
Figure 112011026732916-pat00008
이미지 경사가 확산 상수
Figure 112011026732916-pat00009
(
Figure 112011026732916-pat00010
)와 유사할 때 확산효과는 크고, 그에 따라 노이즈는 줄어들고, 만일
Figure 112011026732916-pat00011
값이 노이즈의 경사값과 유사하다면, 엣지(모서리)는 보존된다. 이러한 실험에서, 확산 상수
Figure 112011026732916-pat00012
는 실증적으로 확인되었다.
다음으로, 듀얼 수직 엣지 필터부(140)를 통해 상기 이방향성 확산 장치부(130)에 의해 노이즈가 제거된 이미지에서 빌딩(120) 모서리에 대한 정보를 추출한다.(S110)
도3은 본 발명의 실시예에 따라 노이즈가 제거된 이미지에서 빌딩 모서리에 대한 정보를 추출하는 단계를 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 노이즈 제거 후 수직 엣지는 그레이 스케일 및 채도 이미지에서의 케니 엣지 디텍션(Canny edge detection) 방법을 이용하여 측정하였다. 채도 이미지는 파란 하늘 배경에서의 회색 빌딩(120)을 찾기 위해 이용된다. 몇몇 엣지(모서리)는 그레이 스케일에서 잘 측정되는 반면에 다른 것들은 채도 이미지에서 더 잘 측정되었다. 엣지(모서리) 측정 후, 짧고 인접하고 수평인 엣지(모서리)를 제거하기 위해 마스크를 제공하였다. 그런 후에 선 등식(line equation) 검출을 위해 허프 변환(Hough tramsform)법을 이용하였다.
다음으로, 포인트 선택부를 통해 빌딩(120) 이미지의 엣지(모서리)에 대한 GPS 정보가 저장된 맵 제공부(150)로부터 초기 3자유도(3DOF) 위치 및 방향을 나타내는 보이는 쪽의 코너지점을 선택한다.(S120) GPS 위치 및 컴퍼스 디렉션(compass direction)이 주어지면, 보이는 쪽의 코너는 맵 제공부(150) 데이터베이스로부터 선택될 수 있다. 안쪽 코너는 쉽게 측정될 수 있기 때문에 선택될 수 없다. 현재, 코너 지점은 수동으로 토지대장 데이터로부터 선택될 수 있으나, 컴퓨터 비전 기술의 공급을 통해 자동적으로 선택될 수 있다.
그리고 몇몇 상황에서는, 관련성 문제는 GPS 및 가장 가까운 엣지(모서리)와 매칭되는 디지털 컴퍼스의 초기 위치 및 방향성 측정(orientation measurement)으로부터 코너를 추정하는 것으로서, 해결될 수 있다. 즉, GPS 위치 재추출부(165)를 통해 상기 포인트 지점 선택부(160)로부터 포인트 지점 선택의 오류시 GPS 오류 경계로 판단하여 상기 코너 지점안에서 다른 GPS 위치를 통해 재추출하는 단계가 더 포함될 수 있다. GPS 위치 오류가 큰 경우는 이러한 이유로 한계점(threshold) 내에서의 엣지들(모서리들)과 매칭되지 않으며, GPS 오류 경계 및 재추정된 코너 지점들(re-preoject corner points)안에서의 다른 GPS 위치를 시도하였다. 이러한 오류 경계는 고정된 위치 및 분석된 오류 표준값에서의 GPS신호 오버타임 측정의 실험을 통해 알 수 있었다. 오류 경계 내에서, 샘플 위치는 측정된 GPS 위치로부터 밀집한 인근 지역 및 분산된 먼 지역의 표준값을 이용하여 얻을 수 있었다.
다음으로, 3자유도(3DOF) 획득부(170)를 통해 상기 듀얼 수직 엣지 필터부(140)로부터 추출된 빌딩(120) 모서리에 대한 정보와 상기 포인트 지점 선택부(160)로부터 추출된 빌딩(120) 모서리를 갖는 코너 지점을 비교하면서 상응값을 추출하여 3자유도(3DOF) 트래킹 정보를 획득한다.(S130)
도4는 본 발명의 실시예에 따라 3자유도(3DOF) 트래킹 정보를 획득하는 단계를 설명하기 위한 도면이다.
도 4에 도시된 바와 같이, 카메라 초점 거리 ()는 고정되었고, 이미 알려진 값을 이용하였다. 위치 및 방향의 초기 측정값 (
Figure 112011026732916-pat00013
)을 기초로 하였고, 카메라 초점 거리, 이미지 라인 방정식을 얻었다. 이미지 라인(image line)은 1자유도(1DOF) 방향을 사용하는 이미지 플레인(image plane)을 대신해서 사용하였다 광선(Ray)은 초점 포인트로부터 빌딩(120) 코너 위치 (
Figure 112011026732916-pat00014
)까지로부터 형성되었다. 그리고 나서 이미지 라인
Figure 112011026732916-pat00015
을 갖는 이러한 광선의 교차부분을 얻었다. 이러한 교차점은 초기 위치 및 방향(orientation)이 정확하다면, 빌딩(120) 모서리 수평적 조정된 측정값(
Figure 112011026732916-pat00016
)과 완전히 매칭되었다. 차이점은 정확한 위치 및 방향을 Lavenberg-Marquardt 비선형 최적화를 제공함으로써 찾아낼 수 있었다.
상기 단계들을 이용하여 아웃도어 증강현실을 위한 3자유도(3DOF) 정확도 향상 방법에 대한 실험은 GPS 및 디지털 컴퍼스 측정을 이용한 서울 시내의 비디오 캡쳐로 수행하였다. 재추정된(re-preoject) 코너의 위치는 고정된 뷰 포인트마저 변화시켰다. 왜냐하면 GPS 측정이 불안정했기 때문이다. 도5의 a)와 b)에 도시된 바와 같이, 굵은 선으로 표시된 부분이 재추정된(re-preoject) 코너이다. 다양한 실험예를 수행하여 평균 정확도 향상은 위치 면에서 15.0 미터 및 방향 면에서 2.2도 향상된 것을 알 수 있었다. 때때로, 수직 엣지는 특히 높은 빌딩(120) 근처에서 관측할 때 기울어져 보인다. 정확한 수직 위치는 사용자의 높이에서 측정되는 수직 조합에서의 가장 낮은 위치의 수평 조합을 이용하였다.
이처럼, 본 발명은 아웃도어 증강현실의 정확도 향상 시스템 및 그 방법을 제시하였다. 이미지에서의 수직 엣지로써 측정된 빌딩(120)의 코너 지점은 개선된 GPS 위치 및 컴퍼스 방향으로 이용되었다. 우리는 이방향성 확산 및 그레이 스케일 및 채도 이미지에서의 듀얼 수직 엣지 필터를 제공하였다.
본 발명은 현존하는 지도를 쉽게 이용할 수 있게 하고, 간단한 계산을 할 수 있게 한다. 이러한 방법은 GPS 측정이 부정확한 높은 빌딩(120)의 도시 환경에서 적합하다. 그러나, 이러한 방법은 3축 수직 엣지 이용 가능성 또는 초기 위치 및 방향 정보 정확성 또한 낮을 때 (e.g., GPS 위치 오류 > 20 meters), 잘 작용되지 않는다. GPS 위치 오류가 너무 큰 경우, GPS 오류 경계 내의 다른 위치를 시도해 볼 수 있다.
따라서, 본 발명은 이미지에서의 수직 엣지로써 측정된 빌딩(120)의 코너 포인트는 개선된 GPS 위치 및 컴퍼스 방향(compass orientation)으로 이용하고, 이방향성 확산 및 그레이 스케일 및 채도 이미지에서의 듀얼 수직 엣지 필터를 제공함으로써, GPS 및 디지털 컴퍼스(digital compass)를 통해 향상된 3DOF 위치 및 방향(2D 위치 및 1D 방향)을 얻을 수 있다, 또한, 지도에서 이용 가능한 빌딩(120) 코너 GPS 위치를 이용하여, 이미지에서 3개 이상의 수직 엣지 및 그것들에 상응하는 빌딩(120) 코너 위치를 갖는 것으로 보다 정확한 3DOF 위치 및 방향을 얻을 수 있다.
따라서, 본 발명은 이미 사용되고 있는 지도(map)에서 추출하기 때문에 가공하기 쉬운 정보를 이용함으로써 실용적이며, GPS 신호감도가 떨어지는 높은 빌딩(120)의 도시 환경에서 모바일 서비스를 제공하는데 유용하다.
100 : 아웃도어 증강현실 시스템
110 : 단말기 111 : 카메라
120 : 빌딩 130 : 이방향성 확산 장치부
140 : 듀얼 수직 엣지 필터부 150 : 맵 제공부
160 : 포인트 지점 선택부 170 : 3자유도(3DOF) 획득부

Claims (7)

  1. 아웃도어 증강현실을 위한 정확도 향상 시스템에 있어서,
    단말기의 카메라로부터 촬영된 빌딩이미지의 노이즈를 제거하는 확산장치부;
    상기 노이즈가 제거된 이미지에서 빌딩 모서리에 대한 정보를 추출하는 수직 엣지 필터부;
    빌딩 이미지의 모서리에 대한 GPS 정보가 저장된 맵 제공부로부터 초기 3자유도(3DOF) 위치 및 방향을 나타내는 보이는 코너 지점을 선택하는 포인트 지점 선택부; 및
    상기 수직 엣지 필터부로부터 추출된 빌딩 모서리에 대한 정보와 상기 포인트 지점 선택부가 선택한 초기 3자유도 위치 및 방향을 나타내는 보이는 쪽의 코너지점을 비교하면서 상응값을 추출하여 3자유도(3DOF) 트래킹 정보를 획득하는 3자유도(3DOF) 획득부를 포함하는 것을 특징으로 하는 아웃도어 증강현실의 정확도 향상 시스템.
  2. 제 1항에 있어서,
    상기 포인트 지점 선택부로부터 포인트 지점 선택의 오류시 GPS 오류 경계로 판단하여 상기 코너 지점안에서 다른 GPS 위치를 통해 재추출하는 GPS 위치 재추출부;를 더 포함하는 것을 특징으로 하는 아웃도어 증강현실의 정확도 향상 시스템.
  3. 아웃도어 증강현실을 위한 정확도 향상 방법에 있어서,
    확산 장치부를 통해, 단말기의 카메라로부터 촬영된 빌딩 이미지에서 노이즈를 제거하는 단계;
    수직 엣지 필터부를 통해, 상기 노이즈가 제거된 이미지에서 빌딩 모서리에 대한 정보를 추출하는 단계;
    포인트 지점 선택부를 통해, 빌딩 이미지의 모서리에 대한 GPS 정보가 저장된 맵 제공부로부터 초기 3자유도(3DOF) 위치 및 방향을 나타내는 보이는 쪽의 코너 지점을 선택하는 단계; 및
    3자유도(3DOF) 획득부를 통해, 상기 수직 엣지 필터부로부터 추출된 빌딩 모서리에 대한 정보와 상기 포인트 지점 선택부가 선택한 초기 3자유도 위치 및 방향을 나타내는 보이는 쪽의 코너 지점을 비교하면서 상응값을 추출하여 3자유도(3DOF) 트래킹 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 아웃도어 증강현실의 정확도 향상 방법.
  4. 제 3항에 있어서,
    상기 촬영된 빌딩 이미지의 노이즈를 제거하는 단계에서,상기 확산 장치부는
    엣지(모서리)는 보존하면서 이미지 노이즈를 줄이기 위해, 하기의 식으로 정의된 바에 따라 이방향성 확산을 수행하는 것을 특징으로 하는 아웃도어 증강현실의 정확도 향상 방법.
    Figure 112012042203581-pat00017

    (
    Figure 112012042203581-pat00018
    는 이미지,
    Figure 112012042203581-pat00019
    는 이미지에서의 픽셀 위치, t 는 반복 단계, 그리고
    Figure 112012042203581-pat00025
    는 이미지의 절대 경사값을 가지고 단조감소하는 확산 함수)
  5. 제 3항에 있어서, 상기 빌딩 모서리에 대한 정보를 추출하는 단계에서,
    상기 빌딩 모서리에 대한 정보를 추출하는 방법은 그레이 스케일 및 채도 이미지에서의 케니 엣지 디텍션(Canny edge detection) 방법을 이용하여 수행되는 것을 특징으로 하는 아웃도어 증강현실의 정확도 향상 방법.
  6. 제 5항에 있어서, 상기 빌딩 모서리에 대한 정보를 추출하는 단계는,
    상기 케니 엣지 디텍션 방법으로 빌딩 모서리를 측정하는 단계와;
    짧고 인접하고 수평인 에지를 제거하기 위해 마스크를 제공한 후에 허프 변환(Hough tramsform)법을 이용하여 선 등식을 검출하는 단계를 포함하는 것을 특징으로 하는 아웃도어 증강현실의 정확도 향상 방법.
  7. 제 3항에 있어서, 상기 초기 3자유도(3DOF) 위치 및 방향을 나타내는 보이는 쪽의 코너 지점을 선택하는 단계는,
    GPS 위치 재추출부를 통해, 상기 포인트 지점 선택부로부터 포인트 지점 선택의 오류시 GPS 오류 경계로 판단하여 상기 코너 지점안에서 다른 GPS 위치를 통해 재추출하는 단계를 포함하는 것을 특징으로 하는 아웃도어 증강현실의 정확도 향상 방법.
KR1020110033754A 2011-04-12 2011-04-12 아웃도어 증강현실의 정확도 향상 시스템 및 그 방법 KR101224176B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110033754A KR101224176B1 (ko) 2011-04-12 2011-04-12 아웃도어 증강현실의 정확도 향상 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110033754A KR101224176B1 (ko) 2011-04-12 2011-04-12 아웃도어 증강현실의 정확도 향상 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120116168A KR20120116168A (ko) 2012-10-22
KR101224176B1 true KR101224176B1 (ko) 2013-01-21

Family

ID=47284596

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110033754A KR101224176B1 (ko) 2011-04-12 2011-04-12 아웃도어 증강현실의 정확도 향상 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101224176B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103632374B (zh) * 2013-12-10 2017-04-26 深圳先进技术研究院 无标记增强现实系统及无标记增强现实系统目标跟踪方法
CN105933613A (zh) * 2016-06-28 2016-09-07 广东欧珀移动通信有限公司 一种图像处理的方法、装置及移动终端

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
논문1:COMPUTER SCIENCE *
논문1:COMPUTER SCIENCE*
논문2:ICME2010 *
논문2:ICME2010*
논문3 *
논문3*
논문4 *
논문4*

Also Published As

Publication number Publication date
KR20120116168A (ko) 2012-10-22

Similar Documents

Publication Publication Date Title
JP6763448B2 (ja) 視覚強化ナビゲーション
TWI483215B (zh) 根據相關３ｄ點雲端資料強化影像資料
JP4647514B2 (ja) 航空画像処理装置および航空画像処理方法
EP3358298B1 (en) Building height calculation method and apparatus, and storage medium
US10373035B2 (en) Method and system for determining spatial characteristics of a camera
CN105512646B (zh) 一种数据处理方法、装置及终端
US8665263B2 (en) Aerial image generating apparatus, aerial image generating method, and storage medium having aerial image generating program stored therein
US8325979B2 (en) Method and apparatus for detecting objects from terrestrial based mobile mapping data
CN106871906B (zh) 一种盲人导航方法、装置及终端设备
CN104964708B (zh) 一种基于车载双目视觉的路面坑槽检测方法
CN109916415B (zh) 道路类型确定方法、装置、设备及存储介质
KR101255461B1 (ko) 도로시설물 자동 위치측정 방법
KR20150095365A (ko) 비전 센서 데이터베이스를 이용한 거리 측정 방법
KR101793264B1 (ko) 균열의 발생 및 진행 분석 방법
US9232128B2 (en) Image capture position and image capture direction estimation device, image capture device, image capture position and image capture direction estimation method and program
JP6634502B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR101224176B1 (ko) 아웃도어 증강현실의 정확도 향상 시스템 및 그 방법
CN107291717B (zh) 确定兴趣点的位置的方法及装置
US9031281B2 (en) Identifying an area of interest in imagery
Park et al. 3DOF tracking accuracy improvement for outdoor Augmented Reality
JP2005115500A (ja) 情報処理装置及び情報処理方法
KR101463906B1 (ko) 영상 부가정보를 이용한 위치보정 방법
CN110617800A (zh) 基于民航客机的应急遥感监测方法、系统及存储介质
GB2523598A (en) Method for determining the position of a client device
US12026829B2 (en) Method for processing a shadow in a 3D scene, and corresponding device, system and computer program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160111

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170112

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180108

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190117

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200114

Year of fee payment: 8