KR20130123340A - 3차원 매칭을 이용한 영상 기반의 보행 경로 poi표출 시스템 - Google Patents

3차원 매칭을 이용한 영상 기반의 보행 경로 poi표출 시스템 Download PDF

Info

Publication number
KR20130123340A
KR20130123340A KR1020130106926A KR20130106926A KR20130123340A KR 20130123340 A KR20130123340 A KR 20130123340A KR 1020130106926 A KR1020130106926 A KR 1020130106926A KR 20130106926 A KR20130106926 A KR 20130106926A KR 20130123340 A KR20130123340 A KR 20130123340A
Authority
KR
South Korea
Prior art keywords
information
poi
terminal
area
unit
Prior art date
Application number
KR1020130106926A
Other languages
English (en)
Other versions
KR101404976B1 (ko
Inventor
김성표
강경훈
이승택
김기우
조우제
Original Assignee
(주)자올소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)자올소프트 filed Critical (주)자올소프트
Priority to KR1020130106926A priority Critical patent/KR101404976B1/ko
Publication of KR20130123340A publication Critical patent/KR20130123340A/ko
Application granted granted Critical
Publication of KR101404976B1 publication Critical patent/KR101404976B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

본 발명에 의한 3차원 매칭을 이용한 영상 기반의 보행 경로 POI 표출 시스템은 단말의 위치 정보, 상기 단말에 탑재된 카메라 모듈의 화각 정보, 줌 상태 정보 및 상기 단말의 해상도 정보를 포함하는 상태 정보를 상기 단말로부터 수신하는 수신부; POI의 위치, 형상, 크기에 대한 특성 정보 및 POI에 대한 3차원 맵데이터베이스가 저장된 저장부; 상기 3차원 맵데이터베이스에서 상기 단말로부터 수신된 상태 정보에 해당하는 POI인 표출POI를 추출하고 상기 표출 POI에 해당하는 3차원 표출POI를 추출하는 POI추출부; 상기 3차원 표출POI가 2차원으로 투영되는 상기 표출POI의 영역 정보를 생성하되, 상기 표출POI의 특성 정보와 상기 카메라 모듈의 현재 상태정보를 이용하여 상기 단말의 화면표시수단 상으로 투영되는 상기 표출POI의 영역 정보를 생성하는 영역정보생성부; 및 상기 생성된 각 표출POI의 영역 정보 내의 좌표값으로 상기 표출POI의 텍스트 정보가 출력될 위치 정보를 생성하고, 상기 생성된 위치 정보와 함께 상기 표출POI의 텍스트 정보를 상기 단말로 전송하는 정보처리부를 포함하는 것을 특징으로 한다.

Description

3차원 매칭을 이용한 영상 기반의 보행 경로 POI표출 시스템{System for generating a walking route POI based on image using 3Dmatching}
본 발명은 보행 경로와 관련된 POI 정보 등을 사용자 단말에서 출력되는 영상과 함께 표출되도록 하는 시스템에 관한 것으로서, 더욱 구체적으로는 사용자 단말에서 출력되는 영상의 각 POI 영역을 구분하고 POI텍스트의 출력 위치를 상기 구분된 각 POI 영역 내의 위치 정보와 연계시킴으로써 POI텍스트 정보의 겹침 현상을 원천적으로 방지함으로써 사용자 인지성을 비약적으로 증진시킨 3차원 매칭을 이용한 이용한 보행 경로 POI 표출 시스템에 관한 것이다.
근래 증강 현실(augmented reality) 기법 즉, 실세계 정보에 텍스트, 위치 정보, 범주 카테고리 등과 같은 부가 정보를 포함하는 가상 세계 정보를 합쳐서 하나의 영상으로 사용자에게 제공되도록 하는 기법이 이용되고 있다.
이러한 증강 현실 기법은 스마트폰과 같이 모바일 단말이 급속히 발전함에 따른 결과물로, 사용자가 모바일 단말에 구비된 카메라를 통하여 확인하게 되는 실제 세계 정보에 아이템 공급자가 제공하는 여러 가지 정보를 함께 제공하도록 함으로써 주변 지형 인식, 목적지 확인, 주변 건물의 정보 확인 등 다양한 사용자 편의 기능이 구현되도록 구성된다.
이러한 증강 현실 기법으로서 단순히 주변 지형물에 대한 정보를 제공하는 차원에서 한 걸음 더 나아가 사용자의 보행 경로에 대한 정보를 추가적으로 융합시킴으로써 사용자가 찾아갈 목적지를 더욱 쉽고 편하게 확인할 수 있도록 하는 서비스도 근래 소개되고 있다.
이러한 증강 현실 기법은 통상적으로 사용자 단말이 서비스 제공 주체 측으로 전달하는 GPS 정보 및 실세계 정보와 기 구축된 3D 기반의 지형 정보를 이용하여 사용자에게 주변 지형물의 위치 정보와 그 지형물의 관련 정보를 제공하여 사용자 단말을 기준으로 주변에 어떤 지형물이 있는지를 확인하게 하는 방법을 적용하게 된다.
그러나 이러한 방식의 경우, 사용자 단말로 제공되는 지형물 관련 정보들이 서로 연계되어 관계를 맺지 못하고 단순히 복수 개의 정보가 무차별적(broad casting)으로 사용자 단말로 제공되므로 사용자 단말의 카메라와 LCD 등의 화면표시수단을 통하여 사용자가 주변 지형물의 관련 정보를 확인하는 경우, 주변 지형물에 대한 관련 정보(건물명이 대표적인 예이다)가 서로 중첩되고 겹쳐지게 되어 주변 지형물 정보에 대한 사용자 인지성이 현저히 낮다는 본질적인 문제점을 가지고 있다.
또한, 증강 현실 기법을 활용한 서비스에는 단순히 서비스 제공자 측에서 제공하는 정보가 일방적으로 사용자 단말로 전달되는 정보에 그치고 있으므로 사용자 단말 즉, 사용자가 현재 존재하는 위치 및 사용자가 찾아갈 목적지 내지 경로 정보와 관련하여 양방향성을 통한 더욱 다양하고 효과적인 정보가 제공되지 못하고 있어 실제 활용도가 낮다는 점도 극복해야할 과제라고 할 수 있다.
본 발명은 이러한 배경에서 상기와 같은 문제점을 더욱 효과적으로 해결하기 위하여 창안된 것으로서, 사용자 단말로 표출되는 다양한 지형물(POI) 정보가 근본적으로 중첩되거나 겹쳐지지 않도록 구성함으로써, 주변 지형물에 대한 사용자의 인지성, 시인성 등을 비약적으로 극대화시킬 수 있는 시스템을 제공하는데 목적이 있다.
또한, 본 발명은 사용자의 현재 위치와 사용자가 도달하고자 하는 목적지 내지 경로 정보를 활용하여 단순히 주변 지형물에 대한 정보만을 제공하는 차원을 넘어, 경로에 더욱 부합되는 사용자 시각(view) 방향성 정보 등을 함께 제공하여 자신의 보행 경로 및 보행 경로 주변의 POI를 더욱 쉽고 빠르게 확인할 수 있도록 하는 시스템을 제공하는데 목적이 있다.
본 발명의 다른 목적 및 장점들은 아래에 설명될 것이며, 본 발명의 실시예에 의하여 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타난 구성과 그 구성의 조합에 의하여 실현될 수 있다.
상기 목적을 달성하기 위한 본 발명의 3차원 매칭을 이용한 영상 기반의 보행 경로 POI 표출 시스템은 단말의 위치 정보, 상기 단말에 탑재된 카메라 모듈의 화각 정보, 줌 상태 정보 및 상기 단말의 해상도 정보를 포함하는 상태 정보를 상기 단말로부터 수신하는 수신부; POI의 위치, 형상, 크기에 대한 특성 정보 및 POI에 대한 3차원 맵데이터베이스가 저장된 저장부; 상기 3차원맵 데이터베이스에서 상기 단말로부터 수신된 상태 정보에 해당하는 POI인 표출POI를 추출하고 상기 표출 POI에 해당하는 3차원 표출POI를 추출하는 POI추출부; 상기 3차원 표출POI가 2차원으로 투영되는 상기 표출POI의 영역 정보를 생성하되, 상기 표출POI의 특성 정보와 상기 카메라 모듈의 현재 상태정보를 이용하여 상기 단말의 화면표시수단 상으로 투영되는 상기 표출POI의 영역 정보를 생성하는 영역정보생성부; 및 상기 생성된 각 표출POI의 영역 정보 내의 좌표값으로 상기 표출POI의 텍스트 정보가 출력될 위치 정보를 생성하고, 상기 생성된 위치 정보와 함께 상기 표출POI의 텍스트 정보를 상기 단말로 전송하는 정보처리부를 포함하여 구성된다.
또한, 본 발명은 상기 영역정보 생성부에서 추출된 각 표출POI의 영역 정보가 중첩되는 경우, 상기 특성 정보를 이용하여 상기 단말과 근접한 위치에 있는 표출POI에 중첩된 영역을 할당하여 각 표출POI의 영역정보를 생성하는 영역분할부를 더 포함할 수 있으며 이 때, 상기 정보처리부는 상기 영역분할부에서 생성된 각 표출POI의 영역 정보 내의 좌표값으로 상기 위치정보를 생성하도록 구성된다.
이와 함께 본 발명은 상기 단말로부터 출발지 및 목적지 정보가 전송되면, 상기 출발지에서 목적지까지 존재하는 POI를 정렬시킨 경로 정보를 생성하여 저장하는 경로정보부를 더 포함할 수 있으며 이 때, 상기 정보처리부는 상기 표출POI가 상기 경로 정보 상에 존재하는 POI인 경로POI인 경우, 상기 경로POI의 텍스트 정보를 다른 표출POI의 텍스트 정보와 구분되도록 생성하여 전송하도록 구성된다.
더욱 바람직하게 본 발명의 상기 정보처리부는 상기 단말로부터 전송된 현재 상태정보를 기준으로 현재 상기 단말의 화면표시수단에 표출되는 경로POI보다 더 많은 경로POI가 표출될 수 있도록 하는 상기 단말의 뷰 각도 안내 정보를 상기 단말로 더 전송할 수 있다.
여기에서 상기 영역정보생성부는 상기 표출POI의 에지점들 좌표값을 아래의 수식에 의하여 연산하고 연산된 각 에지점 좌표값들로 이루어지는 영역을 상기 표출POI의 영역 정보를 생성할 수 있다.
Figure pat00001
Figure pat00002
상기 수식에서 Px와 Py는 상기 3차원 표출POI의 에지점이 2차원 화면표시수단으로 투영된 x 및 y 좌표, Z는 줌 배수, MP는 화면표시수단의 대각선 상의 픽셀 수, L, H, D 각각은 카메라 모듈을 기준점으로 한 상기 3차원 표출 POI 에지점의 x좌표, z좌표 및 y 좌표, θ는 카메라 모듈의 화각 정보이다.
또한, 본 발명의 상기 상태정보는 상기 단말에 내장된 센서를 이용하여 생성된 상기 카메라 모듈의 수평 회전각, 수직 회전각 정보 또는 방향 회전각 정보 중 하나 이상을 포함할 수 있으며 이 경우, 상기 영역정보생성부는 상기 수학식 1 및 2에 의하여 연산된 각 에지점 좌표값에 상기 수평 회전각, 수직 회전각 또는 방향 회전각에 대응하는 위치 변화값을 반영하여 각 에지점 좌표값을 생성하도록 구성될 수 있다.
더욱 바람직한 실시형태의 구현을 위하여 본 발명의 상기 영역정보생성부는 상기 단말을 기준으로 기준 거리 이내에 위치하는 표출POI만을 대상으로 영역 정보를 생성하도록 구성될 수 있으며, 또한, 상기 영역정보생성부는 상기 표출 POI의 영역이 상기 단말의 화면표시수단에 의하여 정의되는 단말 이미지 영역을 벗어나는 경우 상기 단말 이미지 영역에 대응되는 영역으로 상기 표출POI영역을 클리핑하여 상기 표출POI의 영역정보를 생성하도록 구성하는 것이 바람직하다.
본 발명에 의한 3차원 매칭을 이용한 영상 기반의 보행 경로 POI 표출 시스템은 증강 현실 서비스와 관련하여 사용자가 자신의 단말에 탑재된 카메라를 통하여 확인하는 실세계 영상 정보에 주변 지형물에 대한 정보를 함께 확인하는 차원을 넘어, 주변 지형물에 대한 각각의 정보가 주변 지형물이 표출되는 개별 영역과 연계됨으로써 서로 중첩되지 않고 출력되도록 구성할 수 있어 주변 지형물 정보에 대한 향상된 인지성 및 시인성을 구현할 수 있어 더욱 사용자 지향적인 인터페이스 환경을 실현할 수 있다.
또한, 본 발명은 사용자가 목적지를 찾아가는 경로 상에 존재하는 POI(지형물)을 다른 지형물과 구분되도록 구성할 수 있어 목적지 확인 및 도착 과정을 더욱 쉽고 편하게 안내할 수 있어 더욱 실질적인 보행 경로 시스템을 실현할 수 있다.
나아가 본 발명은 단순히 주변 POI 정보만을 제공하는 차원을 넘어, 더욱 적극적으로 목적지로 찾아가는 경로 상에 존재하는 POI를 실세계 정보에서 더욱 효과적으로 확인가능하도록 사용자 시선 각도에 대한 안내 정보를 제공하여 경로 상에 존재하는 POI를 사용자가 더욱 쉽게 확인할 수 있도록 유도할 수 있어 사용자 편의성을 극대화시킬 수 있는 효과를 제공할 수 있다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술되는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 효과적으로 이해시키는 역할을 하는 것이므로, 본 발명은 이러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 바람직한 일 실시예에 의한 POI표출 시스템의 전반적인 구성을 도시한 개략도,
도 2는 본 발명의 바람직한 일 실시예에 의한 POI표출 시스템의 구성을 도시한 블록도,
도 3은 본 발명의 바람직한 일 실시예에 의한 POI표출 프로세싱에 대한 과정을 도시한 흐름도,
도 4는 카메라를 기준으로 영상 이미지 및 실세계 이미지의 뷰 비례 관계를 도시한 도면,
도 5는 사용자 단말을 기준으로 한 영상 좌표를 설정을 설명하는 도면,
도 6은 3차원 지형물 DB와 사용자 단말의 상관 관계를 기준으로 POI 영역을 이루는 에지점을 결정하는 방법을 설명하는 도면,
도 7은 사용자 단말, 이미지 영역 및 실세계 영역과의 비례 상관 관계 및 이를 기준으로 POI 에지점의 좌표가 생성되는 모습을 도시한 도면,
도 8은 본 발명의 POI 영역 정보에 대한 바람직한 일 실시예를 설명하는 도면,
도 9는 본 발명의 에지점들로 생성되는 복수 개 POI 영역에 대한 바람직한 일 실시예를 도시한 도면,
도 10은 본 발명의 바람직한 일 실시예에 의하여 중첩된 POI 영역을 분할 내지 할당하는 방법을 도시한 도면,
도 11은 본 발명의 바람직한 실시예에 의하여 영상 정보와 함께 표출되는 각 POI 영역을 도시한 도면,
도 12는 본 발명의 시스템에서 사용자 단말로 전송되는 POI 관련 정보의 바람직한 일 실시예를 도시한 도면,
도 13은 사용자 단말의 회전 방향성 및 그 기준 축을 설명하는 도면,
도 14는 실세계 좌표계와 카메라 모듈의 회전각이 반영된 좌표계와의 관계를 설명하는 도면,
도 15는 가상이미지영역과 실세계 영역과의 관계를 설명하는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 바람직한 일 실시예에 의한 3차원 매칭을 이용한 영상 정보 기반의 POI표출 시스템(100)(이하 표출 시스템으로 칭한다)에 관련된 전반적인 구성을 도시한 개략도이다.
본 발명의 표출 시스템(100)은 사용자 단말 자체에서 구현될 수도 있음은 물론이며, 유무선 통신 네트워크(20)를 통하여 사용자 단말이 표출 시스템을 운용하는 서버에 접속하여 이에 연동되도록 하는 방법으로도 구성될 수 있다. 통상적으로 POI 관련 정보 생성 및 제공에 필요한 3D 맵 데이터의 양은 방대하고 그에 따라 연산 프로세싱에 상당한 시간이 소요되므로 실시간 처리 등의 목적성을 구현하기 위하여 고 사양의 하드웨어 리소스가 필요하다고 할 수 있다.
그러므로 사용자 단말(10)에 관련 프로그램 등을 모두 탑재시킨 후 단말 내에서 이루어지는 프로세싱에 의하여 POI 정보를 제공하는 방법보다는 스마트 폰(10), 노트북(12)) 등에는 기본적인 프로세싱 데이터 또는 인터페이싱(interfacing)에 필요한 앱(app) 또는 프로그램을 탑재시키고, 사용자 단말(10)로부터 입력되는 GPS 위치 정보, 상태 정보 등에 기초하여 POI 표출 위치 생성 등에 대한 연산 및 이를 위한 전체 네트워크 데이터 저장/관리 등은 서버로 구현되는 본 발명의 표출 시스템(100)에 의하여 이루어지도록 하는 것이 바람직하다.
즉, 사용자 단말(10-1, 10-2, 10-n))에 탑재된 소정 프로그램이 구동되고, 그 구동에 의하여 사용자의 현재 위치 정보(GPS정보), 카메라 모듈에 대한 여러 가지 상태 정보 또는 사용자가 원하는 보행 경로에 대한 출발지/목적지 정보 등이 유무선 통신 네트워크(20)를 통하여 본 발명의 표출 시스템(100)으로 입력되면, 본 발명의 표출 시스템(100)은 수신된 정보 등을 기초로 후술되는 바와 같은 POI 선별, 정보 출력 위치 정보 생성 등의 프로세싱을 수행하고 그 결과 정보를 무선 통신 네트워크(20)를 통하여 사용자 단말(10)로 제공한다.
실시 형태에 따라 본 발명의 표출 시스템 서버(100)는 맵 데이터 또는 교통 특성에 대한 정보 등을 관장하는 소정 관공서 등의 기관 서버(50)와 통신 네트워크(20)를 통하여 연결되어 필요한 데이터들을 제공받거나 또는 네트워크 데이터들의 업데이트 등을 구현할 수도 있음은 물론이다.
이하에서는 상술된 바와 같이 클라이언트에 대응되는 서버로서 본 발명의 표출 시스템(100)이 구현되는 실시예를 기준으로 설명하나, 본 발명의 표출 시스템(100)은 이에 국한되지 않고 단일 단말을 통하여 구현될 수도 있음은 물론이다.
도 2는 본 발명의 바람직한 일 실시예에 의한 표출 시스템(100)의 구성을 도시한 블록도이며, 도 3은 본 발명의 바람직한 일 실시예에 의한 POI표출 프로세싱에 대한 과정을 도시한 흐름도이다.
도 2를 참조할 때, 본 발명의 표출 시스템(100)은 수신부(110), 저장부(120), POI추출부(130), 영역정보생성부(140), 정보처리부(150), 영역분할부(160) 및 경로정보부(170)를 포함하여 구성될 수 있다.
이하에서 본 발명의 바람직한 실시예와 관련하여 인용되는 POI는 Point Of Interest의 약칭으로서 지리 정보 관련 기술 분야에는 지도상에 위치하는 지형지물을 지칭하는데 이러한 POI는 통행, 경로 등과 관련한 이정표 또는 경로 식별 내지 인지를 위한 지형지물로서 건물, 교차로, 횡단보도, 육교 등이 그 대상이 될 수 있다.
우선, 본 발명의 저장부(120)에는 POI의 위치, 형상, 크기에 대한 특성 정보 및 POI에 대한 3차원 맵 데이터베이스 등이 저장된다. 이 데이터베이스는 국가 기관 서버 또는 민간 서버 등으로부터 제공받을 수 있는 국가 기본도, 도로명 주소 데이터, 기타 지도 등에 대한 데이터베이스로서 이미 모든 지형 지형물에 대한 3D 체계가 구현되어 있으므로 이를 활용할 수 있음은 물론, 본 발명의 실시형태 구현과 관련하여 필요한 정보와 데이터가 이 3D체계 데이터베이스에 추가적으로 포함될 수 있음은 물론이다.
본 발명의 수신부(110)는 사용자 단말(10)에 탑재된 카메라 모듈의 현재 세팅정보 및 상기 단말의 위치 정보를 포함하는 상태 정보를 상기 단말로부터 수신하고 이를 저장한다(S110, S120).
상기 상태정보는 단말에 내장된 GPS 모듈로부터 생성되는 GPS 위치 정보를 비롯하여 상기 카메라 모듈의 화각 정보, 줌 상태 정보 및 상기 단말의 해상도 정보 등의 세팅정보가 포함될 수 있는데 사용자 단말(10)의 사양에 따른 카메라 모듈의 화각, 초점, 해상도 등에 대한 DB를 기 구축한 후, 단말 사양에 대한 정보를 전송받게 되면 전송된 정보에 해당하는 상태 정보를 DB에서 독출(read)하는 방식으로 운용될 수도 있다.
상기 상태 정보에는 후술되는 바와 같이 더욱 정밀하고 정확한 POI 정보 제공을 위하여 상기 단말(10)에 내장된 센서를 이용하여 생성된 상기 카메라 모듈의 수평 회전각, 수직 회전각 정보 또는 방향 회전각 정보 중 하나 이상의 정보가 포함될 수도 있다. 후술되는 바와 같이 이러한 회전각 정보는 사용자가 단말(10)에 내장된 카메라 모듈을 통하여 현재 위치에서 지형물을 바라보는 정확한 시선 뷰(view)를 파악하는 기초 데이터로 활용된다.
상기 수신부(100)로 상태 정보가 전송되는 것은 사용자 단말(10) 단에서 POI정보 제공과 관련하여 탑재된 구동 어플의 실행(S100)에 의하여 이루어질 수 있음은 물론이다.
이와 같이 상태 정보가 단말(10)로부터 전송되면, 본 발명의 POI추출부(130)는 상기 저장부(120)에 저장된 3차원 맵 데이터베이스에서 상기 단말(10)로부터 수신된 상태 정보에 해당하는 POI인 표출POI를 추출한다. 앞서 설명된 바와 같이 이미 모든 지형물에 대한 3차원 데이터가 존재하므로 현재 단말의 위치 정보와 카메라의 뷰 정보 등이 확보되면 3차원 데이터와의 분석 프로세싱을 통하여 현재 사용자가 바라보고 있는 화면상에 존재하는 POI가 무엇인지 확인할 수 있다. 이와 같이 표출 POI가 무엇인지 확인이 되면 해당 표출POI의 명칭, 종류, 건물명, 도로명 주소 등에 대한 정보를 추출한다.
상기 본 발명의 POI추출부(130)는 표출POI의 추출과 함께 상기 표출 POI에 해당하는 3차원 표출POI를 추출하고(S130) 이에 대한 정보를 본 발명의 영역정보생성부(140)로 전달한다.
본 발명의 영역정보생성부(130)로 3차원 표출POI 정보가 전달되면, 영역정보생성부(130)는 상기 3차원 표출POI가 2차원으로 투영되는 상기 표출POI의 영역 정보를 생성하는데, 저장부(120)에 저장되어 있는 상기 표출POI의 특성 정보와 상기 카메라 모듈의 현재 세팅정보를 이용하여 상기 단말(10)의 화면표시수단 상으로 투영되는 상기 표출POI의 영역 정보를 생성한다.
이에 대한 프로세싱을 첨부된 도 4 내지 도 7을 참조하여 더욱 상세하게 설명하면 다음과 같다. 우선, 카메라 모듈(단말)을 기준으로 영상 이미지 및 실세계 이미지의 뷰 비례 관계를 도시한 도면인 도 4에 도시된 바와 같이 k는 카메라모듈(단말)의 중심을 의미하며 R은 실세계의 상을 의미한다. I는 상기 실세계의 상에 대응되는 가상이미지영역으로서 단말의 화면표시수단(LCD)에 표출되는 이미지상에 대응된다.
카메라 중심을 기준으로 원추(원뿔)의 비례 관계를 형성하게 되며, 도 4에 도시된 가상이미지 영역에 대응되는 위치에서 단말의 화면표시수단에 이미지가 표출된다. 즉, 실세계 영역인 ABCD는 카메라 모듈에 의하여 이미지 상에 투영될 때, abcd로 투영되며, 실세계 영역의 중심 E는 이미지상에 투영될 때에는 e로 투영된다.
한편, 화면표시수단은 사양에 따라 정해진 해상도를 가지는데 도 5에 예시된 바와 같이 해상도가 1,000×1,200인 경우 좌측 상단을 기준점(O1)으로 하고 수평 방향을 x축, 수직 방향을 y축으로 설정하면 화면중심점(O2)의 좌표값은 (600, -500)이 된다.
화면표시수단의 각 위치에 대한 좌표값은 기준점에 따라 상대적인 값을 가질 수 있으므로 만약 화면 중심점(O2)을 기준점으로 설정하면, 이 중심점의 좌표값은 (0,0)이 되며, 좌측 상단의 O1은 (-600, 500)이 된다.
해상도는 화면표시수단의 픽셀 수로 결정되므로 이와 같이 화면표시수단에 표출되는 정보의 위치를 이와 같이 해상도에 기초한 픽셀의 위치 좌표값으로 결정될 수 있다.
이 때, 가상이미지영역(도 4의 I)을 형성하는 지름은 화면표시수단의 대각선을 이루는 라인과 대응되며, 화면표시수단의 픽셀 수로 표현하면, 화면표시수단의 대각선을 형성하는 픽셀의 개수에도 대응된다고 할 수 있다. 예를 들어, 가로 픽셀의 수가 400이며, 세로 픽셀의 수가 300인 경우, 가상이미지영역의 지름을 형성하는 픽셀 수는 500이 된다.
이하 설명에서는 이해의 효율성을 높이기 위하여 해상도가 400×300인 예를 기준으로 한다.
앞서 설명된 바와 같이 각 POI에 해당하는 3차원 맵 데이터, 명칭 등의 특성 정보 등은 모두 데이터베이스화될 수 있는데, 본 발명의 POI추출부(130)가 3차원 표출POI를 추출하면, 본 발명의 영역정보생성부(140)는 단말로부터 전송된 현재 위치 정보를 이용하여 단말에서 3차원 표출 POI(건물 등)의 어떤 에지점이 사용자 단말(10)의 뷰를 통하여 보이는지 연산한다.
예를 들어, 도 6에 도시된 바와 같이 #1면에 단말(10)이 위치하고 있다면 POI(50)의 에지점들(a,b,c,d,e,f,g) 중 a,b,c,d,g,e가 단말(10)에서 보인다고 할 수 있으며, 만약 #2면에 단말(10)이 위치하면 a,b,c,d,f,h가 단말의 뷰를 통해 확인된다고 할 수 있다. 또한, 사용자가 POI(50)의 앞단 정면에 위치하고 있다면 POI(50)의 A_f면을 바라보게 되는 것이므로 a,b,c,d 에지점이 사용자 단말로 표출된다고 할 수 있다.
그러므로 본 발명은 단말의 위치 등을 기준으로 표출POI의 형상을 이루는 에지점들 중 어떠한 에지점이 보이는지를 확인할 수 있고 확인된 에지점들이 2차원으로 투영되는 경우 어떠한 위치에서 투영되는지 연산하게 된다. 각 POI들의 형상을 이루는 에지점들에 대한 절대좌표값은 이미 데이터베이스화되어 있음은 물론이다.
이와 같이 3차원 표출POI의 각 에지점이 추출되면, 본 발명의 영역정보생성부(140)는 이러한 에지점들이 2차원으로 투영되는 경우 형성되는 영역인 표출POI의 영역 정보를 생성한다(S140).
이와 같이 각 표출POI에 대한 영역 정보가 생성되면, 본 발명의 정보처리부(150)는 표출될 POI의 텍스트 정보(명칭, 지번, 도로명 주소 등)가 단말의 화면표시수단에서 표출될 위치 정보를 생성한다.
이 위치정보는 앞서 도 5 등을 통하여 설명된 바와 같이 화면표시수단의 특정 기준점을 기준으로 x,y축 상의 이차원 좌표값으로 형성할 수 있다. 이 때, 해당 POI의 텍스트 정보 출력 위치를, 이미 생성된 각 표출POI 영역정보 내의 존재하는 좌표값이 되도록 생성함으로써 단말(10)의 화면표시수단으로 POI의 텍스트 정보가 출력될 때 그 출력 정보들이 전혀 중첩되거나 겹쳐지지 않도록 할 수 있게 된다.
또한, 사용자의 인지성을 향상시킴과 동시에 연산 부하를 감소시켜 가능한 실시간 정보 전송을 최대한 구현할 수 있도록 구성하는 것이 바람직하다고 할 수 있는데, 이를 위하여 본 발명의 영역정보생성부(140)는 영역 정보를 생성할 때, 상기 단말을 기준으로 기준 거리 이내에 위치하는 표출POI만을 대상으로 영역정보를 생성하고, 기준 거리를 벗어나는 표출POI에 대해서는 영역정보를 생성하지 않도록 구성할 수 있다.
단말을 기준으로 기준 거리 이상 떨어져 있는 POI의 경우 사용자 인지성에 큰 영향을 미치지 않음은 물론, 원근법의 특성상 상대적으로 작은 영역이 생성될 것이므로 모든 표출POI를 대상으로 하지 않고 단말을 기준으로 특정 거리 내에 존재하는 표출POI만을 대상으로 선별적인 연산을 수행함으로써 연산량과 연산시간을 대폭 감소시킬 수 있다.
이와 같이 상기 각 표출POI의 영역 정보 내의 좌표값으로 상기 표출POI의 텍스트 정보가 출력될 위치 정보를 생성하게 되면 본 발명의 정보처리부(150)는 상기 생성된 위치 정보와 함께 상기 표출POI의 텍스트 정보를 상기 단말로 전송하게 된다(S170).
이와 같이 본 발명의 시스템(100)에서 단말로 정보가 전송되면 단말(10) 단에서는 소정 어플(앱)의 구동에 의하여 각 표출POI의 텍스트 정보가 현재 영상과 함께 화면표시수단의 특정 좌표값 위치에서 출력되게 된다(S180)(도 11참조).
이하에서는 도 7 등을 참조하여 3차원 표출POI의 각 에지점들이 2차원으로 투영되는 위치를 연산하여 표출POI들의 2차원 투영 영역을 생성하고 활용하는 방법을 구체적으로 설명하도록 한다.
도 4에 도시된 바와 같이 단말의 뷰(view) 방향이 실세계의 Y축과 일치하는 경우, 도 7에서 단말(10) 즉, 카메라 모듈의 중심점은 k이며, 이 카메라 모듈은 고유 정보로서 특정 화각(θ)과 이에 대응되는 초점 거리(f)를 가지고 있다. 한편 카메라 모듈은 줌(zoon) 영상 처리가 가능한데, 이 줌 배열에 대한 정보는 통상적으로 초점 거리의 배수형태가 되므로 후술되는 설명에서 이 배수만큼의 비례적인 수학적 연산을 하면 된다. 한편, 도 7은 이차원을 형성하는 두 개의 축에서 y축(높이 방향)을 기준으로 투영되는 형태를 도시하고 있으며, x축(너비 방향)도 이와 대응되는 관점에서 적용할 수 있음은 물론이다.
도 7에서는 이격된 거리가 다른 두 개의 피사체(T1, T2)를 예시하고 있는데, T1의 경우, 단말과 D1 거리만큼 떨어져 있고 T2의 경우 D2만큼 이격된 곳에 위치하고 있다. 이 두 피사체 T1, T2는 모두 h의 높이를 가지고 있다고 가정한다.
또한, "I"로 표기된 부분은 단말의 화면표시수단에 형성되는 이미지 영역을 의미하며, DA1은 D1거리에 위치하는 실세계가 이미지상에서 나타날 수 있는 영역을 의미하며, DA2는 D2 거리에 위치한 실세계가 이미지상에서 표현될 수 있는 영역을 의미한다.
도 7에 도시된 바와 같이 피사체 T1의 상단점은 이미지 영역(I)에서 P1위치에서 출력되며, 피사체 T2의 상단점은 이미지 영역(I)에서 P2의 위치에서 표출될 것이다. 이 피사체는 결국 POI에 해당하는 것이며 POI에 대한 다양한 정보(절대 좌표값, 크기, 너비 등)는 이미 DB화되어 있으므로 도 7과 같은 비례 관계를 연산함으로써 표출POI를 형성하는 각 에지점들 중 단말에서 보이는 에지점들이 실제 이미지 영역(I)에서 투영되는 위치값을 연산할 수 있게 된다.
본 발명의 영역정보생성부(140)는 설명된 바와 같은 비례관계를 아래와 같은 수식으로 수학적으로 연산함으로써 각 에지점들의 좌표값을 연산하게 된다.
Figure pat00003
Figure pat00004
상기 수학식 1과 2에서 Px와 Py는 에지점의 x 및 y 좌표, Z는 줌 배수, MP는 단말 화면표시수단의 대각선 라인을 형성하는 픽셀의 수, L, H, D 각각은 카메라 모듈을 기준점으로 한 상기 3차원 표출 POI 에지점의 x좌표, z좌표 및 y 좌표, θ는 카메라 모듈의 화각 정보에 해당한다. 도 7에 도시된 예는 피사체의 하단이 수평선 라인 즉, 카메라의 정면 중앙 방향에 부합되는 형태를 기준 예로 도시하고 있다.
만약 피사체의 하단이 상기 실시예와는 달리 아래쪽 또는 위쪽으로 내려오거나 올라가더라도 그 만큼의 높이를 감안하여 수학적으로 연산한다. 또한, 이와 유사한 관점에서 x좌표를 연산하는 경우 건물의 좌측, 중앙 또는 우측면이 카메라 중앙 수직 라인에 위치하는 형태가 기준이 될 수 있다. 이하 설명에서는 우측면이 중앙 수직 라인에 위치하는 형태를 기준으로 한다. 이 경우 MP/2는 상기 도 7에서 가상이미지영역(I)의 최대 높이(또는 너비)에 해당한다.
구체적인 예를 들어, 줌 배수는 1, 단말의 해상도에 따른 화소(픽셀) 수는 400×300,MP는 500, 표출POI 중 에지점들 중 절대좌표값이 (6, 43, 105)을 가지는 특정 에지점이 2차원으로 투영되는 좌표값은 아래와 같이 상기 수학시 1 및 2를 이용하여 계산된다.
이 때, L, H, D는 실제 POI특성 정보에 저장된 POI 에지점들의 3차원 절대 좌표값, 각 축별 수선의 발에 해당하는 좌표값, 단말로부터 전송된 현재 위치 정보 등을 이용한 기하학적 연산으로 산출할 수 있다. 예를 들어, 단말로부터 전송된 GPS 좌표값을 통하여 카메라 모듈의 절대 좌표가 (1, -7, 5)임을 확인하면, 상기 카메라 모듈을 기준점으로 한 상기 특정 에지점의 상대좌표값은 (5, 50, 100)이 된다. 그러므로 L은 5, H는 50, D는 100이 된다. 또한, θ가 60도로 가정하면, 좌측 에지점이 2차원으로 투영되는 좌표값은 아래와 같다.
Figure pat00005
Figure pat00006

이와 같은 연산을 통하여 POI의 좌측 상단 에지점의 좌표는 2차원 화면상으로 투영되는 위치 좌표 (22, 216)를 생성한다. 이러한 방식으로 표출POI의 각 에지점들 중 사용자 뷰를 통하여 표출되는 각 에지점들을 대상으로 각 에지점이 2차원으로 투영되는 좌표값들을 연산한다.
도 6에서 예시한 바와 같이 표출POI 중 a,b,c,d,e,g 여섯 개의 에지점이 사용자 단말에서 관찰되는 에지점이라면 이들의 각 에지점이 2차원으로 투영된 좌표값들은 일 예로 도 8 (a)와 같이 생성될 수 있다. 이와 같이 각 좌표값들이 결정되면 본 발명의 영영정보생성부(140)는 6개의 좌표를 이용하여 영역 정보를 생성하는데 그 방법으로 최대 좌표 포함법(b)와 좌표간 라인 포함법(c) 등이 적용할 수 있다. 최대 좌표 포함법에 의하여 각 표출POI들의 해당 영역 정보가 생성된 모습은 도 9에 예시되어 있다.
이와 관련하여 표출POI의 에지점들은 3차원 좌표값으로 구성되어 있으므로 이들의 2차원 투영 시 각 좌표값들에 의하여 형성되는 영역은 도 10에 도시된 바와 같은 중첩될 수 있다. 이러한 문제를 해결하기 위하여 본 발명의 영역분할부(160)는 상기 영역정보생성부(140)에서 추출된 각 표출POI의 영역정보가 중첩되는 경우(S150) 상기 특성 정보를 이용하여 단말(10)과 근접한 위치에 있는 표출POI에 이 중첩된 영역을 할당하여 각 표출POI의 영역정보를 생성한다(S155).
예를 들어, 도 10의 C 영역에 해당하는 표출POI가 D영역에 해당하는 표출POI보다 사용자 단말을 기준으로 멀리 떨어져 있다면 사용자 인지성과 시인성을 더욱 높이기 위하여 상기 중첩 영역(K)은 가까운 위치에 존재하는 D 영역으로 할당하는 것이 바람직하다. 이와 같은 방법을 통하여 본 발명은 POI 영역을 각각 독립적으로 생성할 수 있어 후술되는 바와 같이 POI텍스트 정보가 출력될 때, 각 텍스트 정보는 고유 영역에서만 출력되도록 제어되므로 텍스트가 중첩되거나 겹쳐지는 종래 시스템의 문제를 효과적으로 극복할 수 있게 된다.
이와 같이 중첩된 영역이 발생되는 경우 영역분할부(160)가 영역할당 프로세싱을 수행하며 그 후 본 발명의 정보처리부(150)가 이를 반영한 표출POI 영역 정보 내의 좌표값으로 상기 표출POI의 텍스트 정보가 출력되는 위치 정보를 생성한다. 구체적인 위치 좌표 정보는 해당 영역 내의 좌표라면 다양한 방식이 가능하며, 출력되는 텍스트의 글자 수, 크기, 인접 POI영역의 너비 등을 다양하게 고려하여 그 출력 좌표 정보를 생성하는 것이 바람직하다.
도 11에 도시된 바와 같이 사용자 단말의 화면표시수단을 통하여 사용자가 확인하는 화면이 (a)이며, 그 화면 내에 존재하는 복수 개 표출POI의 영역이 각각 구획된 모습을 도 11의 (b)가 도시하고 있다.
이와 같이 각 구획된 영역 내에 존재하는 좌표값을 단말로 전송함으로써, 해당 표출POI의 텍스트 정보는 서로 중첩되지 않고 화면표시수단 상으로 영상과 함께 출력되도록 할 수 있으며, 이를 통하여 사용자는 현재 자신이 바라보는 방향에 존재하는 실세계 영상 이미지를 매개로 하여 영상 이미지에 해당하는 가상적인 부가 정보를 더욱 시인성 높게 확인할 수 있게 된다.
앞서 기술된 바와 같이 본 발명은 실세계 이미지 영역을 카메라 모듈의 화각 또는 초점에 대응되며 단말의 화면표시수단에 대응되는 위치의 가상 이미지 영역을 전제로 이 가상 이미지 영역에 투영되는 각 에지점들의 좌표값 및 이들에 의한 표출POI의 영역 정보를 연산하는 과정을 설명하였다. 그러므로 경우에 따라서는 가상 이미지 영역에 의하여 형성되는 상기 표출POI 영역이 화면표시수단에 의하여 정의되는 이미지 영역을 벗어날 수도 있다.
이와 같이 상기 표출 POI의 영역이 상기 단말의 화면표시수단에 의하여 정의되는 단말 이미지 영역을 벗어나는 경우 본 발명의 영역정보생성부(140)는 상기 단말 이미지 영역에 대응되는 영역으로 상기 표출POI영역을 클리핑하여 상기 표출POI의 영역정보를 생성하도록 구성하는 것이 바람직하다. 이와 같은 구성을 통하여 가상 이미지 영역 중 단말에 의하여 정의되는 단말 이미지 영역으로 해당 표출POI의 영역을 산출할 수 있게 되어 더욱 실질적인 영역 정보를 생성할 수 있다.
이하에서는 앞서 설명된 표출되는 POI 정보와 함께 경로 정보를 상호 연계하여 활용함으로써 사용자 편의성을 더욱 높일 수 있는 본 발명의 실시예를 설명하도록 한다.
본 발명의 경로저장부(170)는 상기 단말(10) 또는 다른 클라이언트 등으로부터 출발지 정보와 목적지 정보를 입력받은 후, 다양한 방법에 의하여 출발지와 목적지 사이에 존재하는 보행경로 정보를 생성하여 저장한다. 출발지 정보는 사용자가 단말 등을 통하여 입력할 수도 있으며 현재 단말의 GPS 위치를 출발지 정보를 활용할 수도 있다.
본 발명의 상기 경로저장부(170)는 거점(경로) 정보와 영상 정보를 함께 활용하여 시너지 효과를 높이기 위하여 출발지에서 목적지까지 존재하는 POI를 정렬시킨 정보로 경로 정보를 생성하는 것이 바람직하다.
이와 같이 경로저장부(170)가 출발지에서 목적지까지 존재하는 POI를 정렬시킨 경로정보를 생성하여 저장하면, 본 발명의 정보처리부(150)는 앞서 추출된 표출POI가 상기 경로 정보 상에 존재하는 POI인 경로POI인지 여부를 판단하는데 만약 표출 POI가 경로 POI라면, 이 경로 POI의 텍스트 정보를 경로 POI가 아닌 다른 표출POI의 텍스트 정보와 구분되도록 상기 경로POI의 텍스트 정보를 생성하고 전송한다.
이와 같이 경로 정보 상에 존재하는 경로POI의 텍스트 정보가 다른 표출POI의 텍스트와는 차등적으로 구분시킴으로써 사용자는 현재 화면표시수단을 통하여 전방 지형물을 확인하는 경우 자신이 찾아가야할 목적지에 해당하는 경로POI를 쉽게 확인할 수 있어 더욱 사용자 지향적인 보행 경로 내비게이션 기능을 수행할 수 있게 된다.
도 12에 예시된 바와 같이 POI_1과 POI_2가 경로 정보 상에 존재하는 POI인 경우 본 발명의 상기 정보처리부(150)는 이들에 대한 텍스트 정보와 관련하여 볼드체, 색상, 크기, 밑줄 표기, 서체 등의 선택 사항을 다르게 설정하여 텍스트 정보를 생성하고 이를 전송하게 되면, 사용자는 화면표시수단을 통하여 이러한 차등화된 텍스트 정보 출력에 의하여 자신의 설정한 목적지 상의 POI가 무엇인지 용이하게 확인할 수 있게 된다.
또한, 본 발명의 표출 시스템(100)에서는 경로 정보를 형성하는 POI가 현재 사용자의 위치를 기준으로 어느 쪽에 많이 존재하는지 각 POI의 절대 좌표값, 거리 등을 통하여 확인할 수 있으므로 상대적으로 많은 POI를 확인할 수 있는 위치 내지 방향 정보를 제공하는 것이 더욱 바람직하다.
이를 통하여 사용자는 더욱 신속하고 정확하게 자신의 보행 경로에 부합되는 POI를 단일 화면을 통하여 확인할 수 있고 이러한 프로세싱은 목적지에 실제 도달할 때까지 이루어질 수 있으므로 사용자가 목적지 도달까지 전혀 방향감을 잃지 않고 최단시간 안에 정확히 목적지에 도달할 수 있도록 유도할 수 있다.
이를 위하여 본 발명의 정보처리부(150)는 상기 단말(10)로부터 전송된 현재 세팅정보 및 단말의 위치 정보를 기준으로 현재 상기 단말의 화면표시수단에 표출되는 경로POI보다 더 많은 경로POI가 표출될 수 있도록, 예를 들어, "20도 좌측으로 뷰 방향을 회전하세요" 등의 뷰 각도 안내 정보를 상기 단말로 더 전송하도록 구성하는 것이 바람직하다.
이하에서는 도 13 내지 도 15를 통하여 카메라 모듈의 방향각도 정도에 따라 앞서 설명된 에지점들의 2차원 투영 좌표값을 보정하는 방법을 상세히 설명한다. 우선, 본 발명의 기술 사상이 실현되는 실시예의 측면에서 볼 때, 카메라 모듈이 정면을 바라보도록 사용자에게 유도할 수 있음은 물론, 카메라 모듈의 방향각도가 보정 오차 범위 내에서 이루어질 수도 있으므로 후술되는 본 발명의 실시예는 추가적인 기술 사상으로서 앞서 설명된 본 발명의 기술 내용을 전제로 한다.
도 13에 도시된 바와 같이 단말(10)의 3방향성 회전 방향이 고려될 수 있다. 도 13에 도시된 z, y, x 방향축과 단말의 상호 방향성은 절대적인 기준에서 정해지는 것이 아니라 상대적 관점에서 정해진다고 할 수 있다. 다만, 카메라(단말)의 위치가 독립되도록 구성하고 피사체 방향과의 대응될 수 있도록 실세계의 중력 방향을 z축과 일치시키는 것이 바람직하다.
도 13(a)는 z축 방향(수직 방향각)을 기준으로 한 단말(카메라)의 회전 방향(k)를 도시하고 있으며, 도 13(b)는 y축 방향(수평 방향각)을 기준으로 한 단말(카메라)의 회전 방향(Φ)를 도시하고 있으며, 도13(c)는 x축 방향의 회전(w)(방향 회전각)를 도시하고 있다.
우선, 도 14를 참조하여 실세계 좌표계 상의 에지점 좌표를 단말(카메라)의 회전이 반영된 좌표계 상의 좌표로 변환하는 것을 설명하고, 이하 도 15를 참조하여 X, Y, Z 축의 회전을 반영하여 2차원 투영 좌표값을 보정하는 방법을 설명하도록 한다.
3차원 좌표계간의 좌표변환은 아래 수학식 3에 의하여 수행될 수 있는데, 수학식 3에서 X`, Y`, Z`는 X`-Y`-Z`축에서의 3차원 좌표를 의미하며, X, Y, Z는 X-Y-Z축에서의 3차원 좌표를 나타낸다. 또한, Delta_O_X, Delta_O_Y, Delta_O_Z는 X-Y-Z 축에서의 원점 O_G와 O_C의 축방향별 좌표차를 말한다.
Figure pat00007
도 15는 수학식 3에 의해 실세계 좌표계 상의 에지점을 카메라의 회전각이 반영된 좌표계 상의 좌표로 변환한 것을 가상 이미지영역으로 2차원 투영되는 것을 설명하고 있다.
도 7과 같이 카메라 모듈의 화각(θ)을 갖는 원뿔 내부에 포함되는 모든 실세계 영역은 원근법에 의하여 카메라 모듈의 초점거리에 상응하는 원뿔의 단면으로 투영된다. 이를 앞서 설명된 바와 같이 가상이미지 영역이라 정의할 수 있으며, 이 가상이미지 영역에서 카메라 모듈의 실제이미지 영역은 도 5와 도 8에서 구분할 수 있다.
즉, 도 15에서와 같이 가상이미지영역은 X', Z' 축에서 도 5의 O2를 원점으로 하고 MP를 지름으로 하는 원의 방정식이며 실제이미지영역은 X'축으로 ±가로해상도/2, Z'축으로 ±세로해상도/2로 구분할 수 있다. 일반적으로 카메라 모듈의 화면표시수단은 2차원 평면으로 구성되는데 이를 표현하는 좌표는 도 5와 같이 x, y축으로 구분한다. 이럴 경우 X'축는 카메라 모듈의 화면표시수단의 x축, Z'축은 y축과 상응한다.
본 발명에서 정의한 실세계의 좌표축의 방향과 카메라 모듈의 카메라 좌표축방향은 본 발명을 구체적으로 설명하기 위하여 정의한 것으로 특정한 상황에 맞게 재 정의할 수 있다.
도 15에서 원뿔의 특성상 ∠kO2'P'는 직각이며 P"는 가상이미지영역에서 O2를 기준으로 MP/2를 초과할 수 없고 실세계 영역에서 [k부터 O2'까지의 거리] × tan(θ/2) 를 초과하는 P'는 가상이미지영역에서 표현이 불가하다.
또한, 아래 수학식 4에서와 같이 원뿔의 특성상 O2'의 단면에서 O2'-P'의 거리와 [k부터 O2'까지의 거리] × tan(θ/2)의 비율이 O2-P''와 MP/2의 비율과 같음을 알 수 있다.
Figure pat00008
수학식 4의 원리는 O2-P'를 구성하는 x축, y축 좌표에도 적용되므로 실세계의 에지점 3차원 좌표를 카메라 모듈의 화면표시수단의 2차원 좌표로 표현하면 수학식 5와 같다.
Figure pat00009
Figure pat00010
상기 수학식 5에서 Px와 Py는 카메라 모듈의 화면표시수단에서 에지점의 좌표, Z는 줌 배수, MP는 단말(카메라 모듈) 화면표시수단의 대각선 라인을 형성하는 픽셀의 수, L은 실세계 에지점을 카메라 모듈의 회전각이 반영된 X', Y', Z' 축의 좌표계에서 X' 축의 좌표, H는 같은 상황에서 Z' 축의 좌표, D는 Y'축의 좌표(시선 방향)에 해당한다.
이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
본 발명의 설명과 그에 대한 실시예의 도시를 위하여 첨부된 도면 등은 본 발명에 의한 기술 내용을 강조 내지 부각하기 위하여 다소 과장된 형태로 도시될 수 있으나, 앞서 기술된 내용과 도면에 도시된 사항 등을 고려하여 본 기술 분야의 통상의 기술자 수준에서 다양한 형태의 변형 적용예가 가능할 수 있음은 자명하다고 해석되어야 한다.
또한, 도 2에 도시된 본 발명의 표출 시스템(100)에 대한 각 구성요소는 물리적으로 구분되는 구성요소라기보다는 논리적으로 구분되는 구성요소로 이해되어야 한다. 즉, 각각의 구성은 본 발명의 기술사상을 실현하기 위한 논리적인 구성요소에 해당하므로 각각의 구성요소가 통합 또는 분리되어 구성되더라도 본 발명의 논리 구성이 수행하는 기능이 실현될 수 있다면 본 발명의 범위 내에 있다고 해석되어야 하며, 동일 또는 유사한 기능을 수행하는 구성요소라면 그 명칭 상의 일치성 여부와는 무관히 본 발명의 범위 내에 있다고 해석되어야 함은 물론이다.
100 : POI 표출 시스템 110 : 수신부
120 : 저장부 130 : POI추출부
140 : 영역정보생성부 150 : 정보처리부
160 : 영역분할부 170 : 정보처리부

Claims (6)

  1. 단말의 위치 정보, 상기 단말에 탑재된 카메라 모듈의 화각 정보, 줌 상태 정보 및 상기 단말의 해상도 정보를 포함하는 상태 정보를 상기 단말로부터 수신하는 수신부;
    POI의 위치, 형상, 크기에 대한 특성 정보 및 POI에 대한 3차원 맵데이터베이스가 저장된 저장부;
    상기 3차원 맵데이터베이스에서 상기 단말로부터 수신된 상태 정보에 해당하는 POI인 표출POI를 추출하고 상기 표출 POI에 해당하는 3차원 표출POI를 추출하는 POI추출부;
    상기 3차원 표출POI가 2차원으로 투영되는 상기 표출POI의 영역 정보를 생성하되, 상기 표출POI의 특성 정보와 상기 카메라 모듈의 현재 상태정보를 이용하여 상기 단말의 화면표시수단 상으로 투영되는 상기 표출POI의 영역 정보를 생성하는 영역정보생성부; 및
    상기 생성된 각 표출POI의 영역 정보 내의 좌표값으로 상기 표출POI의 텍스트 정보가 출력될 위치 정보를 생성하고, 상기 생성된 위치 정보와 함께 상기 표출POI의 텍스트 정보를 상기 단말로 전송하는 정보처리부를 포함하는 것을 특징으로 하는 3차원 매칭을 이용한 영상 기반의 보행 경로 POI 표출 시스템.
  2. 제 1항에 있어서,
    상기 영역정보 생성부에서 추출된 각 표출POI의 영역 정보가 중첩되는 경우, 상기 특성 정보를 이용하여 상기 영역 정보가 중첩된 표출POI 중 상기 단말과 가장 가까운 위치에 있는 표출POI에 중첩된 영역을 할당하여 각 표출POI의 영역정보를 생성하는 영역분할부를 더 포함하고,
    상기 정보처리부는 상기 영역분할부에서 생성된 각 표출POI의 영역 정보 내의 좌표값으로 상기 위치정보를 생성하는 것을 특징으로 하는 3차원 매칭을 이용한 영상 기반의 보행 경로 POI표출 시스템.
  3. 제 1항에 있어서,
    상기 단말로부터 출발지 및 목적지 정보가 전송되면, 상기 출발지에서 목적지까지 존재하는 POI를 정렬시킨 경로 정보를 생성하여 저장하는 경로정보부를 더 포함하고,
    상기 정보처리부는,
    상기 표출POI가 상기 경로 정보 상에 존재하는 POI인 경로POI인 경우, 상기 경로POI의 텍스트 정보를 다른 표출POI의 텍스트 정보와 구분되도록 생성하여 전송하는 것을 특징으로 하는 3차원 매칭을 이용한 영상 기반의 보행 경로 POI표출 시스템.
  4. 제 3항에 있어서, 상기 정보처리부는,
    상기 단말로부터 전송된 현재 상태정보를 기준으로 현재 상기 단말의 화면표시수단에 표출되는 경로POI보다 더 많은 경로POI가 표출될 수 있도록 하는 상기 단말의 뷰 각도 안내 정보를 상기 단말로 더 전송하는 것을 특징으로 하는 3차원 매칭을 이용한 영상 기반의 보행 경로 POI표출 시스템.
  5. 제 1항에 있어서, 상기 영역정보생성부는,
    상기 단말을 기준으로 기준 거리 이내에 위치하는 표출POI만을 대상으로 영역 정보를 생성하는 것을 특징으로 하는 3차원 매칭을 이용한 영상 기반의 보행 경로 POI표출 시스템.
  6. 제 1항에 있어서, 상기 영역정보생성부는,
    상기 표출 POI의 영역이 상기 단말의 화면표시수단에 의하여 정의되는 단말 이미지 영역을 벗어나는 경우 상기 단말 이미지 영역에 대응되는 영역으로 상기 표출POI영역을 클리핑하여 상기 표출POI의 영역정보를 생성하는 것을 특징으로 하는 3차원 매칭을 이용한 영상 기반의 보행 경로 POI표출 시스템.


KR1020130106926A 2013-09-06 2013-09-06 3차원 매칭을 이용한 영상 기반의 보행 경로 poi표출 시스템 KR101404976B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130106926A KR101404976B1 (ko) 2013-09-06 2013-09-06 3차원 매칭을 이용한 영상 기반의 보행 경로 poi표출 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130106926A KR101404976B1 (ko) 2013-09-06 2013-09-06 3차원 매칭을 이용한 영상 기반의 보행 경로 poi표출 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020120046507A Division KR101318324B1 (ko) 2012-05-02 2012-05-02 영상 기반의 보행 경로 poi표출 시스템

Publications (2)

Publication Number Publication Date
KR20130123340A true KR20130123340A (ko) 2013-11-12
KR101404976B1 KR101404976B1 (ko) 2014-06-10

Family

ID=49852668

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130106926A KR101404976B1 (ko) 2013-09-06 2013-09-06 3차원 매칭을 이용한 영상 기반의 보행 경로 poi표출 시스템

Country Status (1)

Country Link
KR (1) KR101404976B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111601246A (zh) * 2020-05-08 2020-08-28 中国矿业大学(北京) 基于空间三维模型图像匹配的智能位置感知系统
KR102394316B1 (ko) * 2021-11-08 2022-05-04 주식회사 네오스펙트라 가상현실 내에서의 보행 경로 네트워크 구현방법, 가상현실 서버 및 이를 위한 컴퓨터 프로그램
KR20220144790A (ko) * 2020-09-18 2022-10-27 네이버랩스 주식회사 증강현실 뷰를 사용하는 경로 안내 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4929940B2 (ja) * 2006-09-13 2012-05-09 富士通株式会社 撮影システム
US9488488B2 (en) * 2010-02-12 2016-11-08 Apple Inc. Augmented reality maps

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111601246A (zh) * 2020-05-08 2020-08-28 中国矿业大学(北京) 基于空间三维模型图像匹配的智能位置感知系统
CN111601246B (zh) * 2020-05-08 2021-04-20 中国矿业大学(北京) 基于空间三维模型图像匹配的智能位置感知系统
KR20220144790A (ko) * 2020-09-18 2022-10-27 네이버랩스 주식회사 증강현실 뷰를 사용하는 경로 안내 방법 및 장치
KR102394316B1 (ko) * 2021-11-08 2022-05-04 주식회사 네오스펙트라 가상현실 내에서의 보행 경로 네트워크 구현방법, 가상현실 서버 및 이를 위한 컴퓨터 프로그램
KR102473980B1 (ko) * 2021-11-08 2022-12-05 주식회사 네오스펙트라 가상현실 내에서의 보행 경로 네트워크 구현방법, 가상현실 서버 및 이를 위한 컴퓨터 프로그램

Also Published As

Publication number Publication date
KR101404976B1 (ko) 2014-06-10

Similar Documents

Publication Publication Date Title
AU2020202551B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
CN108474666B (zh) 用于在地图显示中定位用户的系统和方法
EP2769363B1 (en) Depth cursor and depth measurement in images
US9116011B2 (en) Three dimensional routing
US8553942B2 (en) Reimaging based on depthmap information
US20130162665A1 (en) Image view in mapping
US9583074B2 (en) Optimization of label placements in street level images
JP2003132068A (ja) ナビゲーションシステム及びナビゲーション端末
US10444954B2 (en) Distinguishable geographic area presentation
JP6345381B2 (ja) 拡張現実システム
KR101404976B1 (ko) 3차원 매칭을 이용한 영상 기반의 보행 경로 poi표출 시스템
KR20200002219A (ko) 실내 길안내 장치 및 그 방법
KR20150077607A (ko) 증강현실을 이용한 공룡 유적지 체험 서비스 제공 시스템 및 그 방법
US9992487B1 (en) Stereoscopic viewer
KR20140031129A (ko) 사용자 인터렉션에 기반한 전방위 영상의 가상면 생성 방법
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
EP2574029A1 (en) Object distribution range setting device and object distribution range setting method
KR101318324B1 (ko) 영상 기반의 보행 경로 poi표출 시스템
US10614308B2 (en) Augmentations based on positioning accuracy or confidence
KR101707198B1 (ko) 개별화된 내비게이션 서비스 제공 방법 및 이를 수행하는 내비게이션 시스템
KR101405499B1 (ko) 경로방향 상징객체 표출방법
KR20200127107A (ko) 증강현실을 이용한 지역 상권 데이터 가시화 시스템
TWI795764B (zh) 基於擴增實境視景的呈現設施物件定位方法及伺服端
JP2009238029A (ja) 座標対応装置、座標対応方法およびプログラム
JP2024046197A (ja) 支援装置、支援方法、及び支援プログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170502

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180525

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190602

Year of fee payment: 6

R401 Registration of restoration