KR101013633B1 - 모바일 네비게이션 유닛을 위한 진보된 3ｄ 비주얼화를 위한 시스템 및 방법 - Google Patents

모바일 네비게이션 유닛을 위한 진보된 3ｄ 비주얼화를 위한 시스템 및 방법 Download PDF

Info

Publication number
KR101013633B1
KR101013633B1 KR1020057012242A KR20057012242A KR101013633B1 KR 101013633 B1 KR101013633 B1 KR 101013633B1 KR 1020057012242 A KR1020057012242 A KR 1020057012242A KR 20057012242 A KR20057012242 A KR 20057012242A KR 101013633 B1 KR101013633 B1 KR 101013633B1
Authority
KR
South Korea
Prior art keywords
mobile unit
scenegraph
object data
viewing frustum
node
Prior art date
Application number
KR1020057012242A
Other languages
English (en)
Other versions
KR20050085926A (ko
Inventor
하우케 슈미트
투우린 쉔
아론 리
Original Assignee
로베르트 보쉬 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 로베르트 보쉬 게엠베하 filed Critical 로베르트 보쉬 게엠베하
Publication of KR20050085926A publication Critical patent/KR20050085926A/ko
Application granted granted Critical
Publication of KR101013633B1 publication Critical patent/KR101013633B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577—Optimising the visualization of content, e.g. distillation of HTML documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description

Abstract

모바일 유닛을 위한 3차원 비주얼 네비게이션을 제공하는 시스템은 모바일 유닛의 순간 위치를 계산하는 위치 계산 유닛과, 순간 위치로부터 뷰잉 프러스텀을 결정하는 관점 제어 유닛과, 뷰잉 프러스텀과 연관된 지리 객체 데이터를 획득하기 위해 적어도 1개의 지리-데이터베이스와 통신하며 지리 객체 데이터를 조직화하는 장면 그래프를 생성하는 장면 그래프 매니저와, 장면 그래프를 실시간으로 그래픽 렌더링하는 장면 그래프 렌더러를 포함한다. 묘사를 향상시키기 위해, 장면 그래프에서 상이한 해상도들의 이미지들을 블렌딩하는 방법은 모바일 유닛이 묘사된 지리 객체에 대해 이동할 때 돌연한 변화를 감소시킨다. 지리 객체 데이터에 대한 정보의 저장 및 런-타임 액세스를 위한 데이터 구조들은 뷰잉 프러스텀을 기초로 하여 데이터의 맞춤형 로딩을 가능하게 하며 네비게이션 시스템이 사용자에게 가시적인 객체들만 맞춤형으로 동적으로 로딩하게 해준다.
모바일 유닛, 비주얼 네비게이션, 위치 계산 유닛, 관점 제어 유닛, 해상도

Description

모바일 네비게이션 유닛을 위한 진보된 3Ｄ 비주얼화를 위한 시스템 및 방법{SYSTEM AND METHOD FOR ADVANCED 3D VISUALIZATION FOR MOBILE NAVIGATION UNITS}
본 발명은 비주얼 네비게이션 시스템에 관한 것으로, 특히 그래픽 랜드마크 객체들의 맞춤형 로딩을 위한 계층적 방법을 포함하는 모바일 네비게이션을 위한 지리 참조 데이터의 비주얼 디스플레이를 위한 시스템 및 방법, 그리고 로컬 지리 환경을 더 효율적으로 그리고 정확하게 묘사하는 다중 해상도 이미지 합성을 위한 방법에 관한 것이다.
컴퓨터 그래픽 소프트웨어를 사용하여 고정 관찰자의 시야로(관찰자에 의해 선택된 특정 관점으로부터) 로컬 지리 환경의 외관을 정확하게 시각적으로 렌더링하는 것은 관찰자의 관점에 따라 장면을 재구성하는 문제점 외에도 장면의 다양한 텍스쳐 및 그래픽 세부 사항들을 정확하게 시뮬레이션하는 것과 관련된 어려움 때문에 그 자체로서 힘든 작업이다. 그러나, 현재 개발 중에 있는 현대적인 비주얼 네비게이션 시스템은 네비게이션 보조로서 역할하도록 이동하는 관찰자의 비주얼 환경을 정확하게 시뮬레이션하기 위해 그래픽 소프트웨어에 대해 훨씬 더 많은 요구를 한다. 렌더링 소프트웨어를 사용하여, 예를 들면 차량 내의 운전자처럼, 이동하는 관찰자의 로컬 지리 환경을 실시간으로 묘사하는 것은 분명히 고정된 관찰자의 환경을 렌더링하는 것보다 훨씬 더 힘든데, 왜냐하면 이는 관찰자의 위치가 변화됨에 따라 관찰자의 시야 내의 지리적 객체들과 이 객체들의 외관이 변화되며, 그에 따라 실시간으로 로컬 네비게이트되는 환경에 관한 정보를 정확하게 렌더링 및 제공하도록 신규 그래픽 객체들(로컬 "관심 지점들"), 텍스쳐들, 특징부들 및 경치들 그리고 다른 참조 데이터가 용이하게 다운로딩될 수 있게 하는 계속적 업데이팅 메커니즘을 요구하기 때문이다.
기존에 사용하고 있는 일부 비주얼 네비게이션 시스템들은 사용자 입력에 기초하여 실제 환경들의 3차원 비주얼화를 제공하지만, 이 시스템들은 어느 것도 모바일 네비게이션을 지원하지 않고, 따라서 네비게이션 보조를 위한 경로 안내 애플리케이션들을 제공하지 않거나, 디스플레이될 수 있는 렌더링 가능한 관점 또는 그래픽 특징부들에 관해 제한된다.
따라서, 임의의 관점에 따라 모바일 관찰자의 환경을 고도로 세밀하게 사실적으로 렌더링하며, 또한 디스플레이된 객체들에 관한 경로 안내 및 참조 정보 등과 같은 네비게이션 보조를 제공하는 자동차 네비게이션 시스템 또는 개인 휴대 단말기(personal digital assistants: PDAs) 등의 모바일 유닛들을 위한 비주얼화 시스템이 필요하다.
전술된 필요성을 충족시키기 위해, 본 발명은 모바일 유닛의 순간 위치를 계산하는 위치 계산 유닛과, 모바일 유닛의 순간 위치를 기초로 하여 뷰잉 프러스텀(viewing frustum)을 결정하는 관점 제어 유닛과, 적어도 1개의 지리-데이터베이스와 통신하며 적어도 1개의 지리-데이터베이스로부터 뷰잉 프러스텀과 연관된 지리 객체 데이터를 획득하고, 획득된 지리 객체 데이터를 조직화하는 장면 그래프를 생성하는 장면 그래프 매니저와, 실시간으로 장면 그래프를 3차원 묘사로서 그래픽 렌더링하는 장면 그래프 렌더러(scenegraph renderer)를 포함하는 모바일 유닛을 위한 3차원 비주얼 네비게이션을 제공하는 시스템을 제공한다.
묘사의 사실성을 향상시키기 위해, 본 발명은 모바일 유닛이 묘사된 지리 영역을 향해 더 근접하게 이동하거나 또는 묘사된 지리 영역으로부터 더 멀어지게 이동함에 따라 달리 일어날 수 있는 결과적인 묘사에 있어서의 불균일성 및 돌연한 변화를 감소시키기 위해 뷰잉 프러스텀에 관한 상이한 해상도들의 이미지들을 블렌딩(blending)하는 방법을 제공한다.
추가로, 네비게이션 비주얼화의 효율을 증가시키기 위해, 본 발명은 지리 랜드마크 객체들 또는 POI들(관심 지점들: Points of Interest)에 대한 정보의 저장 및 런-타임 액세스를 위한 데이터 구조도 기재하고 있다. 이 데이터 구조는 뷰잉 프러스텀 및/또는 사용자 요청을 기초로 하여 객체들의 맞춤형 로딩을 가능하게 할 수 있다. 시스템이 모바일 유닛의 사용자에게 가시적이며/이거나 관심 대상 객체들만을 맞춤형으로(on-demand) 동적으로 로딩하게 해줌으로써, 데이터 구조들은 로딩 시간, 메모리 사용, 처리 필요성 및 디스플레이 렌더링 리소스들을 최소화할 수 있다.
도1a는 제1 방위에 따른 관찰자의 뷰잉 프러스텀의 개략도이다.
도1b는 도1a에 도시된 도면으로부터 약간 변화된 방위에 따른 뷰잉 프러스텀의 개략도이다.
도2a는 본 발명에 의해 제공된 모바일 유닛의 현재 위치에 따른 헬리콥터 뷰에서의 대도시 환경의 3차원 렌더링의 일례이다.
도2b는 모바일 유닛이 도시된 경로를 따라 소정 거리만큼 이동한 후의 도2a의 환경의 3차원 헬리콥터 뷰 렌더링이다.
도2c는 모바일 유닛이 도시된 경로를 따라 훨씬 더 멀리 이동한 후의 도2a 및 도2b의 환경의 3차원 헬리콥터 시야 렌더링이다.
도3은 본 발명의 일 실시예에 따른 비주얼 네비게이션 시스템을 도시하고 있다.
도4a는 2차원 영역 내에 지리적으로 분산된 랜드마크 객체들의 추상도를 도시하고 있다.
도4b는 도4a의 경계 영역의 공간 구획 그리고 경계 영역 내에서의 랜드마크 객체들의 위치를 나타내는 트리형 구조를 도시하고 있다.
도5a는 경계 박스들과 타일들 사이의 내포 관계를 설명하는 네비게이션 시스템의 2차원 지리적 경계 영역의 예시적인 추상도를 도시하고 있다.
도5b는 도5a의 내포된 경계 박스 관계를 나타내는 계층적 트리형 구조를 도시하고 있다.
도6a는 본 발명의 실시예에 따른 저장 매체 또는 메모리 내의 리소스 인덱스 파일(Resource Index File: RIF)의 물리적인 레이아웃의 예시도를 도시하고 있다.
도6b는 도5b의 계층적 트리형 구조에 대응하는 RIF 파일의 예시적인 컨텐츠를 도시하고 있다.
도7a는 본 발명의 실시예에 따른 저장 매체 또는 메모리 내의 상세도 레벨(Level of Details: LOD) 파일의 물리적인 레이아웃의 예시도를 도시하고 있다.
도7b는 도5b의 계층적 트리형 구조의 타일들 TILE1 내지 TILE7에 대응하는 LOD의 예시적인 컨텐츠를 도시하고 있다.
도8a는 최대 거리로부터 관찰될 때처럼 제시되는 본 발명에 따른 제1 블렌딩된 다중 해상도 이미지를 도시하고 있다.
도8b는 도8a에서보다 더 가까운 거리로부터 관찰될 때의 본 발명에 따른 제2 블렌딩된 다중 해상도 이미지를 도시하고 있다.
도8c는 도8b에서보다 가까운 거리로부터 관찰될 때의 본 발명에 따른 제3 블렌딩된 다중 해상도 이미지를 도시하고 있다.
도8d는 최소 거리로부터 관찰될 때의 본 발명에 따른 제4 블렌딩된 다중 해상도 이미지를 도시하고 있다.
도9는 본 발명의 네비게이션 시스템에 의해 수행되는 다중 해상도 이미지 합성을 위한 방법의 실시예의 순서도이다.
도10은 거리의 함수로서 3개의 해상도 레벨들 각각을 위해 사용된 블렌딩 팩터의 그래프를 도시하고 있다.
본 발명에 따른 시스템은 모바일 네비게이션, 방위 및 참조를 위한 지리 영역들의 임의의 관점으로부터의 3차원 그래픽 비주얼화의 시퀀스를 생성한다. 그래픽 비주얼화 또는 렌더링은 로컬 지리 정보가 이용 가능한 임의의 타입의 데이터 객체의 표현을 포함할 수 있다. 이러한 데이터는 위성, 공중 또는 지상 뷰 이미지, 디지털 도로 지도들, 빌딩들의 기하학적 모델들, 풍경의 텍스쳐 설명, 그리고 주유소 및 호텔 등의 묘사된 환경 내의 특징부들 또는 빌딩들을 설명하는 임의의 종류의 식별 정보, 또는 교통 정보, 날씨 상태, 시각(time of day)(점멸) 등의 동적 데이터를 (제한 없이) 포함할 수 있다.
도1a 및 도1b는 로컬 환경을 렌더링하는 데에 사용되는 정보 파라미터들이 관찰자의 관점(방위)에 따라 변화되는 방식을 도시하고 있다. 도1a에서, "북쪽"으로 향해진 관찰자(5)는 2차원 시야 A 즉, 객체들(7, 8, 9)을 포함하는 대략 원추 형상의 영역을 갖는다. 시야 A는 관찰자가 인지할 수 있는 모든 3차원 공간을 포함하는 3차원 "뷰잉 프러스텀"(15)을 결정한다. 뷰잉 프러스텀(15) 내의 객체들은 원근법, 인간 시력(vision) 및 그래픽 묘사의 알려진 규칙에 따라 (평면 'A-A'로서 개략적으로 도시된) 2차원 도면 상에 투사된다. 관찰자가 작은 각도만큼 "서쪽"을 향해 돌 때, 관찰자의 뷰잉 범위는 시야 A의 일부와 겹치는 신규 시야 B를 포함하고, 변화된 뷰잉 프러스텀(16)을 정의한다. 신규 뷰잉 프러스텀(16)은 신규 객체(10)를 포함하고, 반면에 객체(7)는 신규 뷰잉 프러스텀의 외측에 있으며 더 이상 뷰(보기:view)가 가능하지 않다.
이와 같이, 관찰자의 방위가 변화됨에 따라 관찰자의 환경을 적절하게 렌더링하기 위해, 렌더링 시스템은 종전에 렌더링되지 않은 [객체(10)에 대한] 신규 데이터를 검색 및 렌더링하여야 하고, 종전에 검색 및 렌더링된 [객체(7)에 대한] 데이터를 제외하여야 한다. 이러한 방식으로, 시스템은 신규 정보를 다운로딩하며 "구" 데이터를 제외하면서 계속적인 변동 상태에 있다. 지리 그래픽 데이터의 양은 전형적으로 대부분의 비주얼 네비게이션 시스템들을 위한 보드-상(on-board)의 메모리 리소스의 용량을 훨씬 초과하므로, 신규 데이터는 관찰자가 가능하면 최대 정도까지 보는 것에 부합하는 실시간 연속 시퀀스들을 렌더링하기 위해 즉시 다운로딩될 수 있도록 시스템이 보드-밖(off-board)의 데이터베이스 리소스에 신속하고 효율적인 액세스를 하게 하는 것이 극히 중요하다. 고도의 현실성을 달성하기 위해, 비주얼화 시스템은 변화가 인간의 눈에 대해 끊이지 않게 하며 즉각적으로 보이게 할 정도로 충분히 빠르게 초당 60회 업데이트의 속도로 비주얼화를 업데이트한다.
도2a, 도2b 및 도2c는 관찰자가 묘사된 경로를 따라 이동할 때의 대도시 환경의 3개의 순차적인 3차원 렌더링을 도시하고 있고, 본 발명의 비주얼 네비게이션 시스템은 관찰자의 이동을 고려하여 그에 따라 비주얼화를 업데이트하는 방식을 설명하고 있다. 도2a는 녹색 삼각형으로서 도시된 모바일 유닛(200)의 위치를 기초로 하여 대도시 지역 내의 장면의 "헬리콥터" 뷰 렌더링을 묘사하고 있다. 도시된 바와 같이, 자동차 내에 합체될 수 있는 모바일 유닛은 전경에 있는(좌측 상에 도시된) 빌딩들(203, 204) 및 (우측 상에 도시된) 빌딩(205) 사이의 도로(201)를 따라 이동하고 있으며 교량(215)에 접근하고 있다. 또한, 묘사는 "제임스 먼로" 교량으로서 교량을 식별하는 참조 텍스트를 포함한다. 여러 개의 빌딩들을 포함하는 배경 섹션(207)이 교량(215)의 먼 단부에 놓인다. 지리적 북쪽의 방향을 지시하는 황색 삼각형 컴퍼스(208)가 모바일 유닛(200) 바로 위의 상부에 도시되어 있다. 추가로, 사전에 선택된 목적지로의 제안된 경로가 청색 곡선(210)으로 도시되어 있다.
모바일 유닛(200)이 제안된 경로(210)를 따라 교량(215)을 향해 전방으로 이동함에 따라, 로컬 환경의 그래픽 렌더링은 도2b에 도시된 바와 같이 약간 변화된다. 분별될 수 있는 바와 같이, 모바일 유닛(200)의 표현은 전방으로 이동하였고, 배경 섹션(207)은 약간 확대되었고, 빌딩들(203 내지 205)은 원근법의 규칙에 따라 비례로 확대되었다. 모바일 유닛이 도2c에 도시된 바와 같이 교량(215)을 향해 더욱 더 이동함에 따라, 전경 내의 빌딩들(203 내지 205) 및 배경 내의 빌딩(207)은 더욱 더 확대된다. 추가로, 뷰로부터 종전에 숨겨져 있던 빌딩(205)의 일부가 이제 보이고, 빌딩(203)이 사라지고, 관찰자가 경로(210)를 따라 전방으로 이동하면서 보는 것을 시뮬레이트한다.
도3은 본 발명의 바람직한 실시예에 따른 진보된 3차원 비주얼화를 위한 네비게이션 시스템의 블록 다이어그램이다. 네비게이션 시스템(25)은 모바일 유닛과 함께 위치된 보드-상의 구성 요소(30) 그리고 "지리-데이터베이스(geo-database)" 등의 원격에 위치된 오프-보드 구성 요소들(61, 62)을 모두 포함한다. 지리-데이터베이스들(61, 62)은 2개의 분리된 유닛으로서 도시되어 있지만, 시스템의 온-보드 구성 요소(30)에 의해 액세스될 수 있는, 함께 위치되거나 또는 원격에 위치된 임의의 개수의 데이터베이스를 나타내고자 한다는 것이 이해되어야 한다. 지리-데이터베이스들(61, 62)은 지도 정보, 기하학적 및 텍스쳐 그래픽 정보 그리고 식별 정보를 포함하는 다양한 지리 영역에 관한 대량의 데이터를 포함한다. 그러나, 대안적으로 각각의 지리-데이터베이스는 다른 데이터베이스들 내에 물리적으로 저장되는 그래픽 정보에 관한 참조 또는 메타-데이터만 포함할 수 있다. 이러한 방식으로, 특정 데이터베이스는 예컨대 특정 그래픽 영역 내에 위치되는 레스토랑 등의 특정 타입의 객체들과 같은 정보를 제공하기 위해 효율적으로 문의될 수 있는 추가의 데이터베이스들에 액세스하기 위한 디렉토리 서버로서 기능할 수 있다. 데이터에 대한 액세스를 능률화하는 지리-데이터 메타-데이터의 사용에 대해 하기에서 상세하게 설명될 것이다.
비주얼 네비게이션 시스템(25)은 로컬 메모리 내에 저장되어 (관찰자의 위치인 것으로 여겨지는) 모바일 유닛의 마이크로프로세서 상에서 실행되는 프로그램으로서 실시될 수 있는 위치 계산 유닛(35)을 포함한다. 위치 계산 유닛(35)은 위치 센서들(40)로부터의 입력을 수신하며 입력된 정보를 기초로 하여 직교 좌표계 (x, y, z) 공간에서 모바일 유닛의 순간 위치(좌표)를 계산한다. 일 실시예에 따르면, 위치 센서(40)는 "절대" 위치 정보를 제공하는 GPS 수신기, 및 "상대" 위치 정보가 적분에 의해 계산될 수 있는 선형 가속도 및 각속도 정보를 제공할 수 있는 관성 센서들을 모두 포함한다. 대안적으로 또는 추가로, 위치 센서들(40)은 차륜 속도 센서들과 같은 주행 기록 센서들을 포함할 수 있다. 회전 이동에 응답하는 적절한 관성 센서가 구비될 때, 위치 계산 유닛은 모바일 유닛의 순간 방위를 또한 계산할 수 있다.
위치 계산 유닛(35)은 렌더링될 뷰잉 프러스텀의 경계(bounds)를 결정하도록 위치 정보 및 방위 정보를 사용하는 관점 제어 유닛(45)에 대한 모바일 유닛의 계산된 위치(그리고 가능하면 방위)를 전달한다. 또한, 관점 제어 유닛(45)은 향상된 기능성을 제공하도록 사용자 입력 모듈(50) 및 경로 계산 모듈(52)과 상호 작용하고 사용자 입력 모듈 및 경로 계산 모듈로부터의 입력을 수신한다. 예컨대, 키패드 또는 버튼 제어부 등의 사용자 입력 모듈(50)을 통해, 비주얼화 시스템의 사용자가 줌 아웃/인하도록 뷰잉 모드를 변화시킬 수 있거나 관찰의 피치 각도를 변화시킬 수 있다. 추가로, 사용자는 비주얼화를 위해 상이한 위치 및 방위 파라미터를 특정하기 위해 사용자 입력부(50)를 통해 위치 계산 유닛(35)을 무시할 수 있다.
또한, 사용자는 사용자 입력부(50)를 통해 관찰 관점 모드를 선택할 수 있다. 하나의 모드에서, 렌더링된 관점은 헬리콥터가 자동차를 따를 수 있는 방식과 유사하게 특정한 소정 거리 및 각도에서 모바일 유닛의 위치를 따르는 "헬리콥터" 뷰를 나타낼 수 있다. 또 다른 모드에서, 관점은 가상 장면이 관찰자가 보는 장면과 부합하도록 모바일 유닛의 위치 및 진로를 직접적으로 반영할 수 있다. 각각의 경우에, 선택된 모드는 관점 제어 유닛(45)에 의해 계산된 뷰잉 프러스텀에 영향을 준다.
경로 계산 모듈(52)이 (도시된 바와 같은) 시스템 내에 설치되면, 이는 선택된 경로를 따라 결정 지점들(예컨대, 교차로들) 등과 같은 경로 정보를 제공할 수 있다. 미리보기 모드가 사용자 입력부(50)를 통해 선택되면, 경로 계산 모듈(52)로부터 관점 제어 유닛(45)으로의 결정 지점 정보의 전송은 경로의 다가올 섹션의 비주얼화가 모바일 유닛이 그 섹션에 도착하기 전에 미리보기에서 사용자에게 제시되도록 다가올 결정 지점에 대한 관점을 트리거(trigger)할 수 있다.
관점 제어 유닛(45)이 현재에 선택된 뷰잉 모드에 따라 뷰잉 프러스텀을 결정한 후, 관점 제어 유닛은 데이터 저장 객체를 조직화하고 액세스하는 장면 그래프 매니저 모듈(55)에 뷰잉 프러스텀 좌표들을 제공한다. 장면 그래프 매니저 모듈(55)은 "장면 그래프(scenegraph)"로서 불리는 현재의 장면 내에 묘사될 모든 객체들의 구조화된 설명을 유지한다. 장면 그래프 매니저(55)는 관점 제어 유닛(45)으로부터 수신된 뷰잉 프러스텀에 기초하여 관심 있는 지리 영역을 결정하며, 그런 다음 이러한 지리 영역 내에 놓인 객체에 대해 지리-데이터베이스들(61, 62)에 문의한다. 신규 객체들이 장면 그래프 내로 합체되고, 반면에 관심 있는 지리 영역 내에 더 이상 놓이지 않은 객체들은 장면 그래프로부터 제거된다. 사용자 입력 모듈(50)을 통해 입력된 사용자 입력은 장면 그래프 매니저(55)가 장면 그래프 내에 포함하는 객체의 형태를 필터링하거나 또는 선택하는 데에 사용될 수 있다. 예컨대, 사용자는 묘사될 레스토랑만 특정할 수 있다. 그런 다음, 장면 그래프 매니저는 이들 기준과 부합하는 객체들을 장면 그래프에 문의하고 추가한다. 부가적으로, 장면 그래프는 모바일 유닛 자체를 나타내는 객체를 계속해서 포함한다.
로딩 시간, 메모리 사용, 처리 요건 및 디스플레이 렌더링 리소스들을 최소화하기 위해, 장면 그래프 매니저(55)는 사용자에게 가시적이고/이거나 관심 대상인 그리고 특정 상세도 레벨과 연관되는 데이터 저장 객체들만 지리-데이터베이스들(61, 62)로부터 맞춤형으로 동적으로 로딩할 수 있다. 이러한 정보를 얻도록 지리-데이터베이스(61, 62)에 문의하기 위해, 장면 그래프 매니저(55)는 효율적인 액세스를 위해 객체 데이터를 조직화하도록 특정하게 정의된 데이터 구조를 사용하는 객체 데이터의 맞춤형 로딩을 위한 계층적 방법을 채택한다.
본 발명의 바람직한 실시예에서, 2개의 데이터 구조가 맞춤형으로 랜드마크 객체들을 로딩하는 가이드(guide)로서 사용될 수 있다. 리소스 인덱스 파일(Resource Index File) 또는 간단히 "RIF 파일"로서 불리는 제1 데이터 구조는 랜드마크 객체들의 "메타-데이터"를 위한 저장소를 제공할 수 있다. 상세도 레벨(Level of Details) 파일 또는 간단히 "LOD 파일"로서 불리는 제2 데이터 구조는 다중 레벨의 상세도로 랜드마크 객체들에 관한 "실제 데이터"를 저장할 수 있다. RIF 및/또는 LOD 파일은 예컨대 저장 매체 및/또는 컴퓨터 메모리 내에 저장될 수 있다.
RIF 파일 내에 저장된 메타-데이터는 어느 리소스들이 이 특정 관점에서 가시적인지와 그들의 상세도 레벨을 결정함에 있어서, 장면 그래프 매니저를 보조할 수 있다. 메타-데이터는 실제 데이터에 비해 크기면에서 작을 수 있다. 따라서, 실제 데이터로부터 메타-데이터를 분리함으로써, 메모리 사용, 처리 필요성 및 초기 애플리케이션 시작 시간은, 실제 데이터가 요구될 때까지 로딩될 필요가 없을 수 있기 때문에 상당히 감소될 수 있다. 예컨대, 네비게이션 시스템의 초기화 단계 중, RIF 파일은 실제 데이터를 로딩하지 않고, 시스템 메모리 내로 로딩될 것이 요구되는 리소스들이 어떤 것인지를 결정하기 위해 판독될 수 있다. 런-타임 중, 장면 그래프 매니저는 RIF 파일 내에 저장된 정보를 기초로 하여 LOD 파일을 통해 실제 데이터를 액세스할 수 있다(즉, RIF 파일 내에 저장된 메타-데이터는, 실제 데이터의 어느 부분이 시스템 메모리 내로 로딩될지를 결정하기 위해 디렉토리로서 역할할 수 있다).
LOD 파일 내에 저장된 실제 데이터는 다중 해상도로 시스템의 리소스들에 대한 정보를 나타낼 수 있다. 전형적으로 계층적 트리형 구조의 비-중간 레벨에서만 리프 노드들(leaf nodes)로서 실제 데이터를 저장하는 종래의 시스템들과 달리, LOD 파일은 중간 노드들에서도 데이터의 저장을 제공할 수 있다. 이러한 방식으로, 계층적 트리형 구조는 주어진 관점 구성(viewpoint configuration)에서 특정 해상도에 대해 필요한 데이터의 보다 더 선택적인 로딩을 가능하게 함으로써 다중-해상도 정보를 액세스하기 위한 더 적절한 배열(arrangement)을 제공할 수 있다. 예컨대, 10000 ft 관점에서의 100 m 해상도 텍스쳐는, 데이터의 배열이 불필요한 횡단을 회피할 수 있으므로, 1 m 해상도보다 오히려 더욱 즉각적으로 선택될 수 있다. 이와 같이, 데이터가 계층적 트리형 구조의 모든 레벨들 사이에 분포되도록 배열함으로써, 더 편리하고 효율적인 데이터의 액세스가, 필요로 되는 해상도에 대해 달성될 수 있다.
도4a는 점선(110)에 의해 경계가 표시된 2차원 영역 내에 지리적으로 분산된 랜드마크 객체들(101 내지 105)의 추상적인 표현을 도시하고 있다. 좌표들 X, Y, X', 및 Y'은 경계 영역(110)을 추가로 묘사하고 있다. 구체적으로, 좌표 X 및 Y는 경계 영역(110)을 4개의 사분면 즉 제1 사분면 Ⅰ, 제2 사분면 Ⅱ, 제3 사분면 Ⅲ 및 제4 사분면 Ⅳ으로 분할하도록 서로 교차한다. 좌표들 X' 및 Y'는 4개의 사분면들 중 2개를 하위-사분면으로 추가로 세분하도록 좌표 X, Y와 교차한다. 특히, 좌표 Y'는 사분면 Ⅲ을 하위-사분면 Ⅲ1 및 하위-사분면 Ⅲ2로 세분하도록 좌표 X와 교차한다. 좌표 X'는 사분면 Ⅳ를 하위-사분면 Ⅳ1 및 하위-사분면 Ⅳ2로 세분하도록 좌표 Y와 교차한다.
경계 영역(110)의 사분면 Ⅰ 내지 Ⅳ 및 하위-사분면 Ⅲ1, Ⅲ2, Ⅳ1, Ⅳ2로의 세분은 랜드마크 객체들(101 내지 105)의 위치의 더욱 정확한 설명을 용이하게 한다. 도4a에 도시된 바와 같이, 랜드마크(지리적) 객체(101)는 제1 사분면 Ⅰ에 위치되고, 랜드마크 객체(102)는 하위-사분면 Ⅲ2에 위치되고, 랜드마크 객체(103)는 하위-사분면 Ⅲ1에 위치되고, 랜드마크 객체(104)는 하위-사분면 Ⅳ2에 위치되고, 랜드마크 객체(105)는 하위-사분면 Ⅳ1에 위치된다.
또한, 랜드마크 객체들(101 내지 105)의 위치의 설명은 "루트 노드" 및 다수개의 "브렌치 노드" 및 "리프들"을 갖는 "트리형" 구조로서 나타낼 수 있다. 브렌치 노드는 경계 영역(110)의 공간적 구획을 나타낼 수 있으며 리프들은 랜드마크 객체들(101 내지 105)을 나타낼 수 있다. 브렌치 노드 및 리프들은 경계 영역(110)의 공간적 구획과 랜드마크 객체들(101 내지 105)의 위치 사이의 관계를 형성하도록 특정하게 배열될 수 있다. 특히, 브렌치 노드들 및 리프들은 계층적 방식으로 배열될 수 있는데, 즉, 브렌치 노드들은 루트 노드의, 또는 다른 브렌치 노드의 "차일드들"가 되도록 배열될 수 있으며, 리프들은 브렌치 노드의 "차일드들"이 되도록 배열될 수 있다.
도4b는 경계 영역(110) 내에서의 랜드마크 객체들(101 내지 105)의 위치뿐만 아니라 경계 영역(110)의 공간 구획을 나타내기 위한 트리형 구조(150)의 바람직한 실시예를 도시하고 있다. 트리형 구조(150)는 루트 노드(140), 4개의 브렌치 노드(141 내지 144) 그리고 5개의 랜드마크 객체들(101 내지 105)을 포함한다. 루트 노드(140), 브렌치 노드들(141 내지 144) 및 5개의 랜드마크 객체들(101 내지 105)은 계층적 방식으로 배열된다. 특히, 루트 노드(140)는 트리형 구조(150)의 "기부" 또는 "루트"에 있도록 배열되고, 브렌치 노드들(141 내지 144)은 루트 노드(140)의 "차일드들"인 것으로 배열되고, 5개의 랜드마크 객체들(101 내지 105)은 "리프들"인 것으로 배열된다. 5개의 랜드마크 객체들(101 내지 105)은 브렌치 노드들(141 내지 144)의 "차일드들"로서 추가로 배열된다. 특히, 랜드마크 객체(101)는 브렌치 노드(142)의 차일드인 것으로 배열되고, 랜드마크 객체들(103, 102)은 브렌치 노드(144)의 차일드인 것으로 배열되고, 랜드마크 객체들(104, 105)은 브렌치 노드(141)의 차일드들인 것으로 배열된다.
트리형 구조(150)의 이러한 계층적 배열은 예컨대 네비게이션 시스템에서 유용할 수 있는 데이터 구조를 구성하는 적합한 프레임워크(framework)를 제공할 수 있다. 특히, 트리형 구조(150)의 계층적 배열은 생성, 분석(parse) 및 네비게이트(navigate)하기에 용이할 수 있다. 나아가, 트리형 구조(150)의 계층적 배열은 그 노드의 랜드마크 객체가 네비게이션의 뷰잉 프러스텀 외측에 있으면 트리의 브렌치 노드가 "가지치기"될 수 있는(pruned) "신속한 거절" 테스트가 수행되도록 해줄 수 있다. 예컨대, 네비게이션 시스템의 사용자가 제1 사분면 Ⅰ 내에 있는 것으로 생각되면, 랜드마크 객체(101)는 사용자의 뷰잉 프러스텀 내에 있는 것으로 추정될 수 있으며, 반면에 랜드마크 객체들(102 내지 105)은 사용자의 뷰잉 프러스텀 외측에 있는 것으로 추정될 수 있다. 이와 같이, 제1 사분면 Ⅰ과 관련된 브렌치 노드 즉, 브렌치 노드(142)는 "로딩"될 수 있고, 반면에 다른 브렌치 노드 즉, 브렌치 노드들(141, 143, 144)은 "가지치기"될 수 있으며 후속적으로 방문될 필요가 없다. 이와 같이, 트리형 구조(150)의 계층적 배열은 현재의 시야 또는 사용자의 요청의 함수로서 맞춤형으로 실제 데이터(랜드마크 객체들 또는 관심 지점들(Points of Interest: POI))의 로딩을 허용할 수 있다.
본 발명의 바람직한 실시예에서, 트리형 구조(150)의 각각의 노드는 시스템의 지리 영역에 대한 정보를 제공할 수 있다. 특히, 트리형 구조(150)의 각각의 노드는 1개 이상의 "타일들(tiles)"에 의해 세분될 수 있는 "경계 박스(bounding box)"(즉, 경계 영역, 사분면, 하위-사분면 등)와 연관될 수 있다. 타일은 경계 박스 내의 특정 위치에 대한 특징부들과 연관 데이터의 세트를 포함하는 논리 유닛이다. 특징부들은, 예컨대 도로 사인, 빌딩 또는 공중 사진을 포함할 수 있다. 연관 데이터는 타일 내의 특징부들의 설명[예컨대, 빌딩의 다각형들의 개수, 각각의 다각형의 측면의 개수 및 그들의 (x, y, z) 좌표들 등]을 포함할 수 있다.
도5a는 경계 박스들과 타일들 사이의 "내포" 관계를 설명하고 있다. 도5a는 경계 박스들과 타일들 사이의 내포 관계를 설명하는 네비게이션 시스템의 2차원 지리적 경계 영역의 예시적인 추상적 표현(250)을 도시하고 있다. Bounding Box 1은 전체 시스템의 북쪽, 남쪽, 동쪽 및 서쪽 경계를 한정한다. Bounding Box 1은 1개 이상의 타일 경계 박스들을 각각 포함하는 경계 박스들(2 내지 6)을 포함하도록 세분된다. 특히, Bounding Box 2는 TILE Bbox 2를 포함하고, Bounding Box 3은 TILE Bbox 3을 포함하고, Bounding Box 4는 TILE Bbox 4를 포함하고, Bounding Box 5는 TILE Bbox 5 및 TILE Bbox 6을 포함하고, Bounding Box 6은 TILE Bbox 7을 포함한다.
도5b는 도5a의 내포된 경계 박스 관계를 나타내는 계층적 트리형 구조(260)를 도시하고 있다. 트리형 구조(260)는 특정 경계 박스들 1 내지 6과 각각 연관되는 노드들 N1 내지 N6을 포함한다. 특히, 노드 N1은 Bounding Box 1과 연관되고, 노드 N2는 Bounding Box 2와 연관되고, 노드 N3은 Bounding Box 3과 연관되고, 노드 N4는 Bounding Box 4와 연관되고, 노드 N5는 Bounding Box 5와 연관되고, 노드 N6은 Bounding Box 6과 연관된다. 노드들 N1 내지 N6은 경계 박스들 1 내지 6의 내포 관계를 나타내도록 계층적 방식으로 배열된다. 특히, 노드 N1은 트리형 구조(260)의 기부 또는 루트에 있도록 배열되어 연관된 Bounding Box 1을 네비게이션 시스템의 전체 지리 영역을 포함하는 것으로서 나타낸다. 추가로, 노드들 N2, N4, N5 및 N6은 루트 노드 N1의 "차일드들"인 것으로 배열되어, 연관된 경계 박스들 2, 4, 5 및 6이 Bounding Box 1 내에 놓인 것을 나타낸다. 나아가, 노드 N3은 노드 N2의 차일드인 것으로 배열되어, 연관된 경계 박스 3이 경계 박스 2 내에 놓인 것을 나타낸다.
노드들 N1 내지 N6은 하나 이상의 부착된 타일들 TILE1 내지 TILE7을 갖지는데 이는 각각 연관된 타일 경계 박스들 TILE Bbox 1 내지 TILE Bbox 7의 내포 관계를 나타낸다. 특히, TILE1은 노드 N1에 부착되어 연관된 TILE Bbox 1이 Bounding Box 1 내에 놓인 것을 나타내고, TILE2는 노드 N2에 부착되어 연관된 TILE Bbox 2가 Bounding Box 2 내에 놓인 것을 나타내고, TILE3은 N3에 부착되어 연관된 TILE Bbox 3이 Bounding Box 3 내에 놓인 것을 나타내고, TILE4는 노드 N4에 부착되어 TILE Bbox 4가 Bounding Box 4 내에 놓인 것을 나타내고, TILE5 및 TILE6은 노드 N5에 부착되어 연관된 TILE Bbox 5 및 TILE Bbox 6이 Bounding Box 5 내에 놓인 것을 나타내고, TILE7은 N6에 부착되어 연관된 TILE Bbox 7이 Bounding Box 6 내에 놓인 것을 나타낸다.
타일들 즉, 타일 데이터에 대한 특징부들 및 연관 데이터의 세트는 타일의 차원(dimensions) 및/또는 트리형 구조의 페어런트-차일드 관계를 설명하는 데이터로부터 분리되어 유지될 수 있다. 계층적 데이터(메타 데이터)로부터 특징부-관련 데이터(실제 데이터)의 이러한 분리는 성능면에서 전체적인 개선을 제공할 수 있다. 특히, 분리는 사용자의 가시 공간 내에서 빠른 거절/수용을 가능하게 할 수 있다. 예컨대, 타일과 관련된 메타 데이터가 북쪽, 남쪽, 동쪽, 서쪽 경계들을 정의하는 4개의 숫자들에 의해 특정된 경계 박스를 포함하면, 교차 또는 중첩이 용이하게 결정될 수 있다. 따라서, 타일은 그가 포함할 수 있는 특징부들 각각을 조사하지 않고 수용 또는 거절될 수 있다. 따라서, 타일의 특징부들은 특징부들이 네비게이션의 시야 내부 또는 외부에 있는 것을 결정하기 위해 검사될 필요가 없다. 나아가, 실제 데이터의 변화는 실제 특징부 데이터가 메타 데이터와 독립적이므로 메타 데이터의 인덱싱에 영향을 주지 않을 수 있다.
본 발명의 바람직한 실시예에서, 메타 데이터 및 실제 데이터의 분리는 2개의 데이터 구조들 즉, 리소스 인덱스 파일(RIF)과 상세도 레벨(LOD) 파일을 통해 실시될 수 있다.
다음의 표1은 RIF 파일의 예시적인 포맷을 설명하고 있다:
URL 스트링
Dimension {2|3}
Bbox [floats]2*Dimension
Tiles {#Tiles, [TileID, Bbox]#Tiles}
Nchildren {#Children, [Bbox, Tiles, Nchildren]*}
표1에 도시된 바와 같이, RIF 파일은 "URL" 필드, "Dimension" 필드, "Bbox" 필드, "Tiles" 필드 및 "Nchildren" 필드를 포함할 수 있다. URL 필드는 로컬 파일 또는 원격 객체일 수 있는, RIF 파일의 위치를 정의하는 스트링이다. Dimension 필드는 2차원 도로 지도를 지시하는 "2" 또는 3차원 도로 지도를 지시하는 "3" 중 하나일 수 있다. Bbox 필드는, 연관된 노드에 대한 경계 박스의 각각의 디멘전에서 상한 및 하한을 정의하는 부동 소수점 숫자들의 목록을 포함한다. Tiles 필드는 일련의 튜플들(tuples)이 뒤따르는 숫자인데, 이 숫자는 연관된 노드에 대한 타일들의 양을 지시하고, 일련의 튜플들은 각각의 타일에 대한 "TileID" 및 Bbox를 포함한다. Nchildren 필드는 일련의 튜플들이 뒤따르는 숫자인데, 이 숫자는 연관된 노드와 연관된 차일드들의 양을 지시하고, 튜플은, 각각의 차일드의 경계 박스, 연관된 타일 및 차일드의 수를 재귀적으로 정의하기 위해 Bbox 필드, Tiles 필드 및 Nchildren 필드를 포함한다.
도6a는 저장 매체 또는 메모리 내의 RIF의 물리적인 레이아웃의 예시적인 표현을 도시하고 있다. RIF 파일(300)은 표1에 정의된 바와 같은 구조에 따라 해석될 수 있는 인접한 바이트들의 시퀀스로서 저장될 수 있다. 예컨대, URL 필드(301)는 메모리의 초기 부분을 점유하고, Dimension 필드(302)는 메모리의 그 다음 부분을 점유하고, 경계 박스(Bounding Box) 필드(303), 다수개의 타일들 필드(304), Tile ID/Bounding Box 쌍들의 시퀀스(305), 그리고 다수개의 차일드들, Bounding Box 및 Tile 필드들의 재귀적 시퀀스(306)가 뒤따른다.
도6b는 도5b의 계층적 트리형 구조(260)에 대응하는 RIF 파일의 예시적인 컨텐츠(350)를 도시하고 있다. 더 구체적으로, 컨텐츠(350)는, RIF 파일이 /bosch/resources/tiles 아래에 위치되고; 네비게이션 시스템의 경계 박스가 2 차원(two dimensions)의 영역을 지리적으로 설명하고; 루트 노드가 Tile Bbox 1과 연관되는 TileID 1을 갖는 하나의 타일(#Tiles=1)을 포함하는 Bounding Box 1과 연관되고; 루트 노드가 4개의 차일드들(#Children=4)을 포함하고; 루트 노드의 제1 차일드가 Tile Bbox 2와 연관되는 TileID 2를 갖는 하나의 타일(#Tiles=1)을 포함하는 Bounding Box 2와 연관되고; 루트 노드의 제1 차일드가 Tile Bbox 3과 연관되는 TileID 3을 갖는 1개의 타일(#Tiles=1)을 포함하는 Bounding Box 3과 연관된 1개의 차일드(#Children=1)를 포함하고; 루트 노드의 제1 차일드의 차일드가 어떠한 차일드도 없고(#Children=0); 루트 노드의 제2 차일드가 Tile Bbox 4와 연관되는 TileID 4를 갖는 하나의 타일(#Tiles=1)을 포함하는 Bounding Box 4와 연관되고; 루트 노드의 제2 차일드가 어떠한 차일드도 없고(#Children=0); 루트 노드의 제3 차일드가 Tile Bbox 5 및 Tile Bbox 6과 각각 연관되는 TileID 5 및 TileID 6을 갖는 2개의 타일(#Tiles=2)을 포함하는 Bounding Box 5와 연관되고; 루트 노드의 제3 차일드가 어떠한 차일드도 없고(#Children=0); 루트 노드의 제4 차일드가 Tile Bbox 7과 연관되는 TileID 7을 갖는 하나의 타일(#Tiles=1)을 포함하는 Bounding Box 6과 연관되고; 루트 노드의 제4 차일드가 어떠한 차일드도 없다(#Children=0)는 것을 특정한다.
상세도 레벨(LOD) 파일은 레벨들의 총 개수, 타일들의 총 개수, 그리고 RIF 파일 내에 참조된 실제 데이터를 한정할 수 있는 다른 데이터에 대한 정보를 저장한다. 다음의 표2는 LOD 파일의 예시적인 포맷을 설명하고 있다:
Nlevels 정수
Ntiles 정수
TileDatas {FilePtr, Level, TileID}*
FeatureDatas {#Features, [FeatureID, FeatureSize, floatsFeatureSize]*}+
표2에 도시된 바와 같이, LOD 파일은 "Nlevels" 필드, "Ntiles" 필드, "TileDatas" 필드 및 "FeatureDatas" 필드를 포함할 수 있다. Nlevels 필드는 계층에서의 레벨들의 총 개수를 나타내는 정수이다. Ntiles 필드는 계층에서의 타일의 총 개수를 나타내는 정수이다. TileDatas 필드는 타일-마다의-데이터의 위치를 저장하는 튜플들의 시퀀스인데, 각각의 튜플은 FeatureDatas 필드 내의 저장 위치를 지시하는 파일-포인터 필드, 연관된 타일의 상세도 레벨을 지시하는 상세도 레벨 필드, 그리고 연관된 타일을 위한 타일 식별자를 포함한다. FeatureDatas 필드는 특징부들의 개수를 정의하며, 특징부-마다의-데이터 즉, 특징부 id, 다수개의 부동 소수점 숫자에 의해 표현되는 특징부 크기, 및 실제 데이터를 포함하는 특징부-마다의-데이터가 뒤따르는 어레이이다.
도7a는 저장 매체 또는 메모리 내에서의 LOD 파일의 물리적인 레이아웃의 예시도를 도시하고 있다. LOD 파일(400)은 표2에 정의된 구조에 따라 해석될 수 있는, 인접한 바이트들의 시퀀스로서 저장될 수 있다. 예컨대, Nlevels 필드(401)는 메모리의 초기 부분을 점유하고, Ntiles 필드(402)는 메모리의 그 다음 부분을 점유하고, Tile Data TD 및 Feature Data FD가 이어진다. Tile Data TD는 Feature Data FD로의 인덱싱을 위한 File Pointer 필드들[예컨대, FilePtr 필드(403) 및 FilePtr 필드(430)]을 포함하고, 그에 따라 특정 타일과 연관된 특정 특징부들로의 더욱 빠른 액세스를 가능하게 한다.
도7b는 도5b의 계층적 트리형 구조(260)의 타일들 TILE1 내지 TILE7에 대응하는 LOD 파일의 예시적인 컨텐츠(450)를 도시하고 있다. 더 구체적으로, 컨텐츠(450)는, 트리형 데이터 구조가 3개의 레벨들(Nlevels=3)을 갖고; 트리형 구조가 총 7개의 타일들(Ntile=7)을 포함하고; TileID=1을 갖는 제1 타일이 Level=0에서 발생하고 FilePtr1을 통해 제1 특징부 목록 F1을 포인팅하고; TileID=2를 갖는 제2 타일이 Level=1에서 발생하고 FilePtr2를 통해 특징부 목록 F2를 포인팅하고; TileID=3을 갖는 제3 타일이 Level=2에서 발생하고 FilePtr3을 통해 특징부 목록 F3을 포인팅하고; TileID=4를 갖는 제4 타일이 Level=1에서 발생하고 FilePtr4를 통해 특징부 목록 F4를 포인팅하고; TileID=5를 갖는 제5 타일이 Level=1에서 발생하고 FilePtr5를 통해 특징부 목록 F5를 포인팅하고; TileID=6을 갖는 제6 타일이 Level=1에서 발생하고 FilePtr7을 통해 특징부 목록 F7를 포인팅하는 것을 특정한다.
RIF 및 LOD 파일의 프레임워크는 개선된 성능을 제공할 수 있다. 효율적인 페이징 메커니즘이 지리-데이터베이스 또는 저장 매체로부터 예컨대 그래픽 메모리 등가 같은 모바일 유닛의 로컬 메모리 리소스들로의 데이터의 스와핑 인/아웃을 수행하도록 지원될 수 있다. 따라서, 네비게이션 시스템에 의해 요구되는 계산 복잡성이 최소화될 수 있다. 예컨대, RIF 파일의 트리형 데이터 구조를 횡단하는 것은 O(log N) 계산 단계(여기에서 N은 노드의 개수)만 필요할 수 있으며, 실제 데이터의 획득은, 데이터 구조와 연관된 타일 데이터가 실제 랜드마크 객체들의 정보를 즉시 찾도록 파일 포인터를 저장하기 때문에 O(l)만 필요할 수 있다. 예컨대, 전형적인 도시 표현은 6개 상세도 레벨을 갖고서 저장될 수 있는데, 각각의 레벨은 4개의 타일들 및 4개의 차일드들을 갖고, 각각의 타일은 평균 50개의 특징부들(예컨대, 빌딩 구조물들)을 갖는다. 따라서, 이러한 표현은 1365개의 타일들(40+41+42+43+44+45=1365) 및 68250개의 특징부들(50×1365=68250)을 필요로 할 수 있다. 그러나, 실제 데이터(즉, 특징부 데이터)의 획득은 6개 레벨들의 횡단 및 그 후 약간의 포인터 방향 재설정만을 필요로 할 수 있다.
또한, RIF 및 LOD 파일들의 프레임워크는 애플리케이션이 시작할 때 메모리 내로 모든 데이터를 다운로딩할 필요가 전혀 없을 수 있으며, 그에 따라 사용자에 대한 응답 시간을 감소시키기 때문에, 빠른 초기화 시간을 제공할 수 있다. 또한, RIF 및 LOD 파일들의 프레임워크는, 사용자에게 가시적인 영역들만이 로딩될 필요가 있기 때문에, 메모리 사용의 감소를 제공할 수 있다. 따라서, 실제 메모리 사용은, 시스템 리소스들을 압도하지 않고서, 사용자-가시 영역에 의해 요구된 특징부들만의 저장을 수용하도록, 감소될 수 있다. 또한, RIF 및 LOD 파일들의 사용은, 타일 내의 리소스만 처리될 필요가 있어서, 그에 따라 렌더링을 위해 다른 장치들로 송신하기 전에 데이터를 사전-처리할 필요성을 제거하기 때문에, 사전-처리 필요성의 감소를 제공할 수 있다. 감소된 데이터 사용은 빠른 처리 시간도 제공할 수 있다. 추가로, RIF 및 LOD 파일들의 사용은, 네비게이션 시스템의 내장된 그래픽 프로세서들이 제한된 계산/렌더링 파워를 가질 수 있으므로, 네비게이션 시스템의 개선된 디스플레이 성능도 제공할 수 있다. 또한, RIF 및 LOD 파일들의 프레임워크는 다른 타입들의 데이터 및 다른 시스템들에도 적용된 수 있다. 예를 들어, RIF 및 LOD 파일들은 네비게이션 시스템들의 랜드마크 객체들과 같은 리소스들이 실제로 필요로 될 때만 다운로딩/전송될 수 있는 다른 스트리밍 프로토콜들에 응용될 수 있다.
하나의 예시적인 방법에 따르면, 시스템 초기화 시간에, RIF 파일은, 트리형 계층적 포맷으로 런-타임 데이터 구조를 생성하여 네비게이션 시스템의 런-타임 작업 중 메타-데이터를 액세스하기 위해, 장면 그래프 매니저에 의해 판독된다. RIF 파일은 전체적으로 읽혀지지 않고, 단지 RIF의 트리형 데이터 구조의 레벨들의 개수에 의해 설명되는 시스템의 상세도 레벨, 및 시스템(2 또는 3)의 차원을 설명하는 필드들만 판독될 수 있다. 런-타임 트리형 데이터 구조의 노드들은 어떠한 연관된 경계 박스들이나 또는 부착된 타일들도 없는 것으로서 구성 및 초기화될 수 있다.
사용자가 시스템을 네비게이트할 때, 런-타임 트리형 데이터 구조 내의 노드들은 RIF 파일로부터 적절한 정보를 검색함으로써 필요에 따라 동적으로 추가 및 삭제될 수 있다. 일단 노드가 추가되면, 임의의 부착된 타일들에 대응하는 실제 데이터는 LOD 파일로부터 페치(fetch)될 수 있다. 특히, TileID는 타일 데이터에 대한 인덱스를 제공하며 대응하는 파일 포인터가 특징부 데이터의 액세스를 제공한다. 추가로, 사용자가 상이한 가시 영역으로 이동하여 뷰잉 프러스텀이 변화된 후, 불필요한 타일 및 특징부 데이터가 제외될 수 있으며, 그에 따라 시스템 리소스를 자유롭게 한다.
일단 특징부 데이터가 액세스되면, (도3에 도시된) 네비게이션 시스템의 추가의 구성 요소 즉, 장면 그래프 렌더링 모듈(60)은, 그 기하적 정보 그리고 외관 정보를 기초로 하여 장면 그래프 내에 모든 객체들을 반복적으로 디스플레이한다. 특정 실시예에 따르면, 객체 기하(object geometry)는 삼각형 또는 다각형들과 같은 일련의 "원시(primitive)" 요소들로 분해될 수 있다. 그런 다음, 이 요소들은 당업계에 공지된 바와 같은 3차원 그래픽 알고리즘의 라이브러리가 구비된 그래픽 엔진을 사용하여 렌더링될 수 있다. 그래픽 엔진은 Microsoft Windows 2000
Figure 112008070089680-pct00021
, NT, MacOS 9 및 리눅스 등과 같은 운영 시스템과 더불어 포함된 OpenGL(Open Graphics Library) 등과 같은 소프트웨어 라이브러리들을 사용하여 실시될 수 있다. 대안적으로, 그래픽 렌더링 모듈(60)의 그래픽 엔진은 다양한 제조업자들로부터 그래픽 카드들의 형태로 구매 가능한 3D 가속 하드웨어를 사용하여 실시될 수 있다.
또한, 장면 그래프 렌더링 모듈은 본 발명의 또 다른 양상 즉, 로컬 메모리 내에서의 이미지들의 상주, 및 이미지를 렌더링하는 데에 사용된 계산 리소스들의 양을 최소화하는 것을 돕는 다중 해상도 이미지 합성의 사용을 실시할 수 있다. 추가로, 다중 해상도 합성은 관찰자가 시야의 일부를 향해 이동하거나 시야의 일부를 줌 인(zoom in)함에 따라 거친 해상도 텍스쳐 이미지로부터 세밀한 해상도 텍스쳐 이미지로 갈 때 인지되는 해상도 점프를 최소화함으로써 비주얼화를 개선한다.
도8a, 8b, 8c, 및 8d는 다양한 공간 해상도들에서 해안 지역의 그레이스케일 이미지 공중 텍스쳐 뷰들을 사용하여 블렌딩된 다중 해상도 이미지들을 도시하고 있다. 도8a는 2개의 숫자 마킹('01)으로써 식별된 거친 해상도 이미지와 4개의 숫자 마킹('0131)으로써 식별되는 더 세밀한 더 높은 해상도 이미지의 텍스쳐 블렌딩을 도시하고 있다. 도시된 바와 같이, 더 높은 해상도 이미지에 대한 식별('0131) 은 더 거친 이미지에 대한 대응하는 식별('01)보다 훨씬 작게 보이는데, 이는 세밀한 해상도 이미지가 거친 이미지보다 작은 면적에 부속되며 거친 이미지 면적의 일부 분율 부분만 점유한다는 것을 지시한다.
관찰자가 줌 인(도8b에 도시됨)하면서 해안선의 작은 영역을 관찰할 때, 거친 이미지는 점차로 사라지며 높은 레벨의 이미지가 마킹 '0313이 커지며 명확하게 초점이 맞는 상태로 시야를 완전히 덮는다. 추가로 줌 인함에 따라, 도8c에 도시된 바와 같이, '0131 마킹은 점차로 사라지고, 반면에 그 다음의 높은 해상도 레벨에 대한 마킹('013131)이 도로들(601a, 601b)과 같은 영역의 세부 특징부들과 더불어 점차로 출현하는 것으로 도시되어 있다. 도8d는 마킹 '013131이 시야를 지배하는 최고 해상도(가장 세밀한 상세도) 텍스쳐를 도시하고 있다. 이러한 방식으로, 높은 해상도 이미지는 점차로 초점이 맞아지게 되고, 반면에 거친 이미지는 사라지고, 그에 따라 사실적으로 보이는 매끄러운 전이를 달성한다.
도9는 본 발명의 네비게이션 시스템에 의해 수행된 다중 해상도 이미지 합성을 위한 방법의 실시예의 순서도이다. 우선, 시스템은 관찰자의 위치, 주시 방향, 그리고 전술된 바와 같은 관점 제어 및 위치 계산 모듈들을 사용하는 결과적인 디스플레이에 영향을 주는 가능한 다른 계산 제한들을 포함하는 관찰자 뷰잉 파라미터들을 결정한다(701). 그런 다음, 관찰자의 시야에 대응하는 뷰잉 프러스텀은, 관찰자가 관찰할 수 있는 공간을 함께 정의하는 방위 및 관찰자의 위치로부터 결정된다(702). 전술된 바와 같이, 뷰잉 프러스텀을 기초로 하여, 장면 그래프 매니저는 어느 이미지 타일들이 가시적인지를 식별하고(703), 장면 그래프를 생성하고, 뷰잉 프러스텀의 외측에 있는 타일들을 무시한다.
각각의 타일이 저장되는 데이터 세트의 계층적 성질로 인해, 뷰잉 프러스텀 또는 지리 영역(2차원 경계 박스) 내의 가시적인 타일들은 거친 레벨로부터 세밀한 레벨까지 상이한 해상도들의 다중 버전들의 이미지들을 포함할 수 있다. 이미지 데이터베이스로부터 경계 박스와 연관된 타일들의 그룹을 사전에 로딩함으로써, 장면 그래프 매니저는 블렌딩 목적을 위해 다양하며 상이한 해상도들의 이미지들을 사용 가능한 상태로 유지한다. 용이한 액세스를 위해 로컬 메모리 내에 제한된 이미지들의 그룹을 사용 가능한 상태로 유지하는 것은, 경계 박스와 연관되지 않은 저장된 이미지의 더 큰 세트가 다운로딩되지 않고 메모리 또는 계산 리소스들을 소비하지 않기 때문에 로컬 메모리 리소스들을 과도하게 확장시키지 않는다.
그런 다음, 블렌딩 팩터(blending factor)는 각각의 이미지 타일에 대한 해상도 레벨 및 거리를 기초로 하여 전달 함수를 적용함으로써 결정되는데(704), 이는 최종의 블렌딩된 이미지에 대한 경계 박스 내의 각각의 이미지 타일의 기여를 성립시킨다. 각각의 해상도 레벨에 대한 블렌딩 팩터의 결정의 설명예가 후속된다. 관심 있는 지리적 지점들에 대한 계층적 객체 데이터 구조는 특정 객체(또는 특정 지리 영역)에 대한 3개의 텍스쳐 해상도 레벨들을 포함하는데, 여기에서 레벨 0은 가장 거친 레벨을 나타내고, 레벨 1은 중간 해상도 레벨을 나타내고, 레벨 2는 최고 해상도 레벨을 나타낸다.
거리의 함수로서 3개의 해상도 레벨들 각각을 위해 사용되는 블렌딩 팩터의 그래프가 도10에 도시되어 있다. 관찰된 객체로부터 먼 거리(z0)에서, 해상도 레벨 0에 대한 블렌딩 팩터는 최대이며, 반면에 레벨 1 및 레벨 2에 대한 블렌딩 팩터는 0인데, 이는 레벨 0의 텍스쳐만 뷰잉되는 이미지를 렌더링하는 데 사용된다는 것을 지시한다. 관찰자가 거리 z0으로부터 거리 z1로 객체/영역으로 더 근접하게 이동함에 따라, 해상도 레벨 0에 대한 블렌딩 팩터는 감소되며 해상도 레벨 1에 대한 블렌딩 팩터는 점차로 증가되고, 부잉되는 이미지 내로 블렌딩된다. 관찰자가 더욱 더 근접한 거리 z2를 향해 이동함에 따라, 해상도 레벨 2에 대한 블렌딩 팩터는 최대 레벨을 향해 점차로 증가되고, 해상도 레벨 1에 대한 블렌딩 팩터는 z1과 z2 사이의 어떤 거리에서 최대 레벨에 도달한 후 점차로 감소되고, 해상도 레벨 0에 대한 블렌딩 팩터는 0으로 감소된다. 도시된 바와 같이, 3개의 상이한 해상도 레벨들에 대한 각각의 블렌딩 팩터의 점차적인 변화는 모든 레벨의 해상도들에 걸쳐 모든 거리에서 연속의 해상도를 제공한다.
각각의 레벨에 대한 블렌딩 팩터를 사용하여 텍스쳐들 및 이미지들을 렌더링하기 위해, 각각의 지리 영역은 그 각각의 블렌딩 팩터로 각각의 해상도 레벨에 대해 1회씩의 다중 패스들로 렌더링된다. 결과적인 블렌드는 해상도 레벨(x)에서 위치(i)에 대한 픽셀들 p(i, x)와 그 해상도 레벨에 대한 블렌딩 팩터 b(x)의 곱들의 합 p(i)으로 계산된다. n 레벨들의 해상도에 대해, 계산은 다음과 같다:
Figure 112008070089680-pct00022
블렌드된 다중 해상도 이미지들의 생성은 사진, 도로 지도 및 위성 이미지들로부터 획득된 사실적인 텍스쳐들을 갖는 3차원 시뮬레이션을 제공하며, 종래의 비주얼 네비게이션 시스템들에서 보여지는 인공적인 다각형 근사법들에 의존하지 않는다. 추가로, 다중 패스 렌더링은, 거친 레벨로부터 세밀한 레벨로 갈 때 고도의 체감의 상세도의 갑작스러운 출현에 의해 유발되는 혼란스러운 비주얼 효과를 최소화한다. 나아가, 이러한 방법은 앞서 논의된 텍스쳐 이미지들을 저장하기 위한 계층적 포맷과 관련하여 효율적으로 수행될 수 있다. 특히, 원래의 위성/도로 지도 이미지들을 타일들로 분해시킨 다음에 텍스쳐 타일들이 뷰잉 프러스텀 내에서 사용자에게 보일 것인지의 여부에 따라 맞춤형으로 이들을 로딩함으로써, 계산 리소스들을 압도하지 않고서 이미지 상세들의 동적 합성을 제공하는 것이 가능하다.
전술된 설명에서, 본 발명의 방법 및 시스템은 제한적인 것으로 간주되지 않아야 하는 다수의 예들을 참조하여 설명되었다. 오히려, 본 명세서에 개시된 방법 및 장치의 원리들의 변형들은 당업자에 의해 만들어질 수 있다는 것이 이해 및 예측될 것이고, 이러한 변형, 변경 및/또는 치환은 첨부된 청구항들에 기재된 본 발명의 범주 내에 포함되어야 한다.

Claims (25)

  1. 모바일 유닛을 위한 3차원 비주얼 네비게이션을 제공하는 시스템으로서,
    모바일 유닛의 순간 위치를 계산하는 위치 계산 유닛;
    모바일 유닛의 위치를 기초로 하여 뷰잉 프러스텀(viewing frustum)을 결정하는 관점 제어 유닛;
    적어도 1개의 지리-데이터베이스와 통신하며, 상기 적어도 1개의 지리-데이터베이스로부터 상기 뷰잉 프러스텀과 연관된 지리 객체 데이터를 획득하고, 상기 획득된 지리 객체 데이터를 조직화하는 장면 그래프를 생성하는 장면 그래프 매니저; 및
    상기 장면 그래프를 실시간으로 3차원 묘사로서 그래픽 렌더링하는 장면 그래프 렌더러
    를 포함하는 시스템.
  2. 제1항에 있어서, 상기 위치 계산 유닛은 모바일 유닛의 순간 방위를 더 계산하는, 시스템.
  3. 제2항에 있어서,
    선택된 경로와 연관된 정보를 포함하는 경로 계산 모듈을 더 포함하고,
    상기 경로 계산 모듈은 상기 관점 제어 유닛에 경로 정보를 제공하여 상기 관점 제어 유닛이 상기 경로 정보를 기초로 상기 뷰잉 프러스텀을 미리보기 작업 모드에서 변경할 수 있도록 하는, 시스템.
  4. 제2항에 있어서,
    위치 센서; 및
    방위 센서
    를 더 포함하고, 상기 위치 계산 유닛은 상기 위치 센서 및 상기 방위 센서에서 생성된 신호에 기초하여 모바일 유닛의 위치 및 방위를 계산하는, 시스템.
  5. 제4항에 있어서, 상기 위치 센서는 GPS 수신기를 포함하는, 시스템.
  6. 제5항에 있어서, 상기 위치 센서는 관성 센서 장치를 포함하는, 시스템.
  7. 제2항에 있어서,
    사용자 입력 모듈을 더 포함하고,
    상기 사용자 입력 모듈은 상기 관점 제어 유닛의 작동을 변경하기 위해 상기 관점 제어 유닛에 사용자 선택들을 제공하는, 시스템.
  8. 제7항에 있어서, 상기 관점 제어 유닛은 다음의 선택 가능한 뷰잉 모드들 즉,
    (a) 헬리콥터 뷰;
    (b) 관점 위치가 모바일 유닛의 위치와 부합하는 뷰;
    (c) 관점 위치 및 방위가 모바일 유닛의 위치 및 방위와 부합하는 뷰
    중 하나에 따라 상기 뷰잉 프러스텀을 결정하는, 시스템.
  9. 제1항에 있어서, 상기 장면 그래프는 디지털 도로 지도들, 위성 이미지들, 수치 표고 모델들(Digital Elevation Models) 중 적어도 1개를 포함하는, 시스템.
  10. 제9항에 있어서, 상기 장면 그래프는 복수의 해상도들의 위성 이미지들을 포함하는, 시스템.
  11. 제1항에 있어서, 상기 장면 그래프 매니저는 지리 객체 데이터의 맞춤형 로딩을 위한 계층적 방법을 사용하고, 상기 계층적 방법은 상기 결정된 뷰잉 프러스텀에 관한 지리 객체 데이터를 효율적으로 액세스하기 위해 정의된 데이터 구조들을 채택하는, 시스템.
  12. 모바일 유닛의 비주얼 네비게이션 시스템에 지리 객체 데이터를 제공하는 시스템으로서,
    지리 영역의 실시간 비주얼 네비게이션을 가능하게 하기 위해 지리 객체 데이터를 저장하는 적어도 1개의 특화된 지리-데이터베이스; 및
    모바일 유닛과 통신하며 상기 적어도 1개의 지리-데이터베이스 내의 저장된 데이터에 대한 액세스를 제공하는 통신 모듈을 포함하고,
    상기 지리-데이터베이스는 복수의 노드 레벨에 지리 객체 데이터를 계층적으로 배열하는 정의된 데이터 구조를 포함하고,
    각각의 레벨에 있어서, 레벨의 각 노드는 레벨의 모든 다른 노드의 상응하는 경계 박스의 외부 영역을 포함하는 각각의 공간적 경계 박스에 상응하고,
    데이터 구조의 페어런트 노드의 차일드 노드는 페어런트 노드가 상응하는 경계 박스의 각각의 하위 경계 박스에 상응하는 시스템.
  13. 제12항에 있어서, 상기 적어도 1개의 특화된 지리 데이터베이스는 위성 이미지들, 빌딩 텍스쳐들, 수치 표고 모델들 및 도로 지도 데이터베이스들 중 적어도 1개를 저장하는, 시스템.
  14. 모바일 유닛을 위한 3차원 비주얼 네비게이션을 제공하는 시스템으로서,
    모바일 유닛의 순간 위치를 계산하는 위치 계산 유닛;
    모바일 유닛의 위치를 기초로 하여 뷰잉 프러스텀을 결정하는 관점 제어 유닛;
    적어도 1개의 지리-데이터베이스;
    상기 적어도 1개의 지리-데이터베이스와 통신하며, 상기 적어도 1개의 지리-데이터베이스로부터 상기 뷰잉 프러스텀과 연관된 지리 객체 데이터를 획득하고, 획득된 지리 객체 데이터를 조직화하는 장면 그래프를 생성하는 장면 그래프 매니저; 및
    상기 장면 그래프를 실시간으로 3차원 묘사로서 그래픽 렌더링하는 장면 그래프 렌더러
    를 포함하는 시스템.
  15. 제14항에 있어서, 상기 장면 그래프 매니저는 적어도 1개의 지리-데이터베이스로부터의 지리 객체 데이터의 맞춤형 로딩을 위한 계층적 방법을 사용하고, 상기 계층적 방법은 상기 결정된 뷰잉 프러스텀에 관한 지리 객체 데이터를 효율적으로 액세스하기 위해 정의된 데이터 구조들을 채택하는, 시스템.
  16. 제14항에 있어서,
    선택된 경로와 연관된 정보를 포함하는 경로 계산 모듈을 더 포함하고,
    상기 경로 계산 모듈은 상기 관점 제어 유닛에 경로 정보를 제공하여 상기 관점 제어 유닛이 상기 경로 정보에 기초하여 상기 뷰잉 프러스텀을 미리보기 작업 모드에서 변경할 수 있도록 하는, 시스템.
  17. 모바일 유닛에서의 3차원 비주얼 네비게이션의 방법으로서,
    모바일 유닛의 순간 위치를 계산하는 단계;
    모바일 유닛의 위치를 기초로 하여 뷰잉 프러스텀을 결정하는 단계;
    적어도 1개의 지리-데이터베이스로부터 상기 뷰잉 프러스텀과 연관된 지리 객체 데이터를 획득하는 단계;
    상기 획득된 지리 객체 데이터를 조직화하는 장면 그래프를 생성하는 단계; 및
    상기 장면 그래프를 실시간으로 3차원 묘사로서 그래픽 렌더링하는 단계
    를 포함하는 모바일 유닛에서의 3차원 비주얼 네비게이션의 방법.
  18. 제17항에 있어서,
    이동 경로를 선택하는 단계; 및
    상기 이동 경로에 대응하는 경로 정보를 사용하여 상기 뷰잉 프러스텀을 변경하는 단계
    를 더 포함하는 모바일 유닛에서의 3차원 비주얼 네비게이션의 방법.
  19. 제17항에 있어서, 모바일 유닛의 순간 방위를 계산하는 단계를 더 포함하는 모바일 유닛에서의 3차원 비주얼 네비게이션의 방법.
  20. 제19항에 있어서, 사용자 입력들에 기초하여 상기 뷰잉 프러스텀을 변경하는 단계를 더 포함하는 모바일 유닛에서의 3차원 비주얼 네비게이션의 방법.
  21. 제19항에 있어서, 상기 결정된 뷰잉 프러스텀에 관한 지리 객체 데이터를 효율적으로 액세스하기 위해 데이터 구조들을 정의하는 단계를 더 포함하는 모바일 유닛에서의 3차원 비주얼 네비게이션의 방법.
  22. 제19항에 있어서, 상기 장면 그래프는 디지털 도로 지도들, 위성 이미지들 및 수치 표고 모델들 중 적어도 1개를 포함하는, 모바일 유닛에서의 3차원 비주얼 네비게이션의 방법.
  23. 제1항에 있어서, 상기 지리-데이터베이스는 복수의 노드 레벨에 지리 객체 데이터를 계층적으로 배열하는 정의된 데이터 구조를 포함하고,
    각각의 레벨에 있어서, 레벨의 각 노드는 레벨의 모든 다른 노드의 상응하는 경계 박스의 외부 영역을 포함하는 각각의 공간적 경계 박스에 상응하고,
    데이터 구조의 페어런트 노드의 차일드 노드는 페어런트 노드가 상응하는 경계 박스의 각각의 하위 경계 박스에 상응하는 시스템.
  24. 제23항에 있어서, 장면 그래프 매니저는 지리 객체 데이터의 맞춤형 로딩을 위한 방법을 수행하고, 이 방법은 최고위 노드 레벨에서의 루트 노드로부터 최하위 노드 레벨에서의 노드를 향하여 데이터 구조를 횡단하는 것에 의해 지리적 객체 데이터에 효율적으로 억세싱하며;
    상기 횡단은 각 레벨에서 어느 레벨의 노드가 뷰잉 프러스텀에 연관된 경계 박스에 상응하는 지를 결정하는 것을 포함하고, 더 낮은 레벨의 노드로의 횡단은 뷰잉 프러스텀에 연관된 경계 박스에 상응하는 것으로 결정된 노드에 대해서만 계속되는 것을 특징으로 하는 시스템.
  25. 제24항에 있어서, 장면 그래프의 생성은 복수의 해상도 레벨의 지리적 영역 및 이미지를 위한 블렌딩을 포함하고, 상기 블렌딩은,
    각각의 이미지의 이미지화된 객체로부터의 거리와 각각의 이미지의 해상도 레벨의 함수로서 각각의 이미지에 대한 블렌딩 팩터를 결정하는 것과,
    각각의 블렌딩 팩터로 각각의 해상도 레벨에 대해서 1회씩 다중 패스들로 지리적 영역을 렌더링하는 것을 포함하는 시스템.
KR1020057012242A 2002-12-31 2003-11-20 모바일 네비게이션 유닛을 위한 진보된 3ｄ 비주얼화를 위한 시스템 및 방법 KR101013633B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/334,772 US6885939B2 (en) 2002-12-31 2002-12-31 System and method for advanced 3D visualization for mobile navigation units
US10/334,772 2002-12-31

Publications (2)

Publication Number Publication Date
KR20050085926A KR20050085926A (ko) 2005-08-29
KR101013633B1 true KR101013633B1 (ko) 2011-02-11

Family

ID=32655165

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057012242A KR101013633B1 (ko) 2002-12-31 2003-11-20 모바일 네비게이션 유닛을 위한 진보된 3ｄ 비주얼화를 위한 시스템 및 방법

Country Status (6)

Country Link
US (1) US6885939B2 (ko)
EP (1) EP1581782B1 (ko)
JP (1) JP4338645B2 (ko)
KR (1) KR101013633B1 (ko)
ES (1) ES2391452T3 (ko)
WO (1) WO2004059256A1 (ko)

Families Citing this family (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7135961B1 (en) * 2000-09-29 2006-11-14 International Business Machines Corporation Method and system for providing directions for driving
US7930434B2 (en) * 2003-03-05 2011-04-19 Microsoft Corporation System and method for managing communication and/or storage of image data
US7075535B2 (en) * 2003-03-05 2006-07-11 Sand Codex System and method for exact rendering in a zooming user interface
US7546419B2 (en) * 2004-06-01 2009-06-09 Aguera Y Arcas Blaise Efficient data cache
US7042455B2 (en) * 2003-05-30 2006-05-09 Sand Codex Llc System and method for multiple node display
US7254271B2 (en) * 2003-03-05 2007-08-07 Seadragon Software, Inc. Method for encoding and serving geospatial or other vector data as images
US7912299B2 (en) * 2004-10-08 2011-03-22 Microsoft Corporation System and method for efficiently encoding data
US7133054B2 (en) * 2004-03-17 2006-11-07 Seadragon Software, Inc. Methods and apparatus for navigating an image
KR100703444B1 (ko) * 2003-06-03 2007-04-03 삼성전자주식회사 네비게이션 시스템에서 위치 정보에 관련된 영상의 다운로드 및 표시 장치 및 방법
US7725256B2 (en) * 2003-07-29 2010-05-25 The University Of North Dakota Weather Information Network Enabled Mobile System (WINEMS)
US7616220B2 (en) * 2003-12-23 2009-11-10 Intel Corporation Spatio-temporal generation of motion blur
US7155336B2 (en) * 2004-03-24 2006-12-26 A9.Com, Inc. System and method for automatically collecting images of objects at geographic locations and displaying same in online directories
CA2559726C (en) 2004-03-24 2015-10-20 A9.Com, Inc. System and method for displaying images in an online directory
DE102004038740A1 (de) * 2004-08-10 2006-02-23 Robert Bosch Gmbh Verfahren zur Darstellung von Karteninformationen
US8195386B2 (en) * 2004-09-28 2012-06-05 National University Corporation Kumamoto University Movable-body navigation information display method and movable-body navigation information display unit
CN101147174B (zh) * 2004-10-15 2011-06-08 微软公司 用于管理图像数据的传送和/或存储的系统和方法
FR2877751B1 (fr) * 2004-11-09 2012-11-16 Patrick Mazeri Moteur de recherche et de navigation 3d dans un paysage p par strate 2d sur bases de donnees d'intervenants i appartenant a un paysage p
US20060235941A1 (en) * 2005-03-29 2006-10-19 Microsoft Corporation System and method for transferring web page data
US7728869B2 (en) * 2005-06-14 2010-06-01 Lg Electronics Inc. Matching camera-photographed image with map data in portable terminal and travel route guidance method
JP4783603B2 (ja) * 2005-08-26 2011-09-28 株式会社デンソー 地図表示装置、地図表示方法、地図表示プログラム、及びそのプログラムを記録した記録媒体
JP2007133489A (ja) * 2005-11-08 2007-05-31 Sony Corp 仮想空間画像表示方法、装置、仮想空間画像表示プログラム及び記録媒体
US20080046175A1 (en) * 2006-07-31 2008-02-21 Nissan Technical Center North America, Inc. Vehicle navigation system
US8453060B2 (en) * 2006-08-25 2013-05-28 Microsoft Corporation Panoramic ring user interface
ATE473471T1 (de) * 2006-09-15 2010-07-15 Saab Ab An bord simulationsystem und simulationsverfahren
DE102006045887B4 (de) * 2006-09-28 2011-02-10 Siemens Ag Verfahren zur Bereitstellung von kodierten Geobilddaten
US8487957B1 (en) * 2007-05-29 2013-07-16 Google Inc. Displaying and navigating within photo placemarks in a geographic information system, and applications thereof
DE102007030226A1 (de) * 2007-06-29 2009-01-08 Robert Bosch Gmbh Kameragestütztes Navigationssystem und Verfahren zu seinem Betrieb
IL184972A0 (en) * 2007-08-01 2008-11-03 Camero Tech Ltd System and method for volume visualization in through-the-obstacle imaging system
US8326048B2 (en) 2007-10-04 2012-12-04 Microsoft Corporation Geo-relevance for images
US8468117B1 (en) * 2008-01-22 2013-06-18 Salesforce.Com, Inc. System, method and computer program product for creating a visual component for tenants of an on-demand database service
US8250454B2 (en) * 2008-04-03 2012-08-21 Microsoft Corporation Client-side composing/weighting of ads
US8359157B2 (en) * 2008-04-07 2013-01-22 Microsoft Corporation Computing navigation device with enhanced route directions view
US7921114B2 (en) * 2008-04-10 2011-04-05 Microsoft Corporation Capturing and combining media data and geodata in a composite file
US20090289937A1 (en) * 2008-05-22 2009-11-26 Microsoft Corporation Multi-scale navigational visualtization
US20090319940A1 (en) * 2008-06-20 2009-12-24 Microsoft Corporation Network of trust as married to multi-scale
US8682736B2 (en) * 2008-06-24 2014-03-25 Microsoft Corporation Collection represents combined intent
WO2010015031A1 (en) * 2008-08-07 2010-02-11 James Kell Pty Limited Displaying representations of a building
US8612485B2 (en) * 2008-08-11 2013-12-17 Sony Corporation Deferred 3-D scenegraph processing
US8849477B2 (en) * 2008-10-14 2014-09-30 Honeywell International Inc. Avionics display system and method for generating three dimensional display including error-compensated airspace
US8065082B2 (en) * 2008-11-14 2011-11-22 Honeywell International Inc. Display systems with enhanced symbology
US20100138294A1 (en) * 2008-12-03 2010-06-03 Microsoft Corporation Provision of location-based advertising
EP2359325A1 (en) * 2008-12-19 2011-08-24 Tele Atlas B.V. Dynamically mapping images on objects in a navigation system
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
EP2236985A1 (fr) * 2009-03-31 2010-10-06 France Telecom Gestion de données dans un système d'informations géographiques
US8362925B2 (en) * 2009-05-05 2013-01-29 Honeywell International Inc. Avionics display system and method for generating flight information pertaining to neighboring aircraft
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US8558847B2 (en) * 2009-07-13 2013-10-15 Raytheon Company Displaying situational information based on geospatial data
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US8532924B2 (en) * 2009-09-02 2013-09-10 Alpine Electronics, Inc. Method and apparatus for displaying three-dimensional terrain and route guidance
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US20110279453A1 (en) * 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for rendering a location-based user interface
US20110279446A1 (en) 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for rendering a perspective view of objects and content related thereto for location-based services on mobile device
US20120311474A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Map-based methods of visualizing relational databases
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
CN103828343B (zh) 2011-06-10 2017-07-11 菲力尔系统公司 基于行的图像处理和柔性存储系统
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
CN103875235B (zh) 2011-06-10 2018-10-12 菲力尔系统公司 用于红外成像装置的非均匀性校正技术
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
CN103748867B (zh) 2011-06-10 2019-01-18 菲力尔系统公司 低功耗和小形状因子红外成像
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US9639857B2 (en) 2011-09-30 2017-05-02 Nokia Technologies Oy Method and apparatus for associating commenting information with one or more objects
EP2581268B2 (en) * 2011-10-13 2019-09-11 Harman Becker Automotive Systems GmbH Method of controlling an optical output device for displaying a vehicle surround view and vehicle surround view system
US8525088B1 (en) * 2012-03-21 2013-09-03 Rosemont Aerospace, Inc. View-point guided weapon system and target designation method
US9269178B2 (en) * 2012-06-05 2016-02-23 Apple Inc. Virtual camera for 3D maps
US10156455B2 (en) 2012-06-05 2018-12-18 Apple Inc. Context-aware voice guidance
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
KR101374654B1 (ko) 2012-10-08 2014-03-17 팅크웨어(주) 항공사진 기반의 내비게이션 서비스를 위한 영상 처리 시스템 및 방법
JP6064544B2 (ja) * 2012-11-27 2017-01-25 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び端末装置
EP2936443A1 (en) 2012-12-21 2015-10-28 Metaio GmbH Method for representing virtual information in a real environment
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
KR101459636B1 (ko) * 2013-04-08 2014-11-07 현대엠엔소프트 주식회사 네비게이션 장치의 지도 표시방법 및 네비게이션 장치
US9002637B2 (en) 2013-04-16 2015-04-07 The Boeing Company Systems and methods for generating a navigation chart
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor
CN105021205A (zh) * 2014-04-28 2015-11-04 高德软件有限公司 导航预览方法、相关设备和导航预览系统
CN110832348B (zh) 2016-12-30 2023-08-15 辉达公司 用于自主车辆的高清晰度地图的点云数据丰富
US10404277B2 (en) * 2017-07-07 2019-09-03 iDensify LLC Compression and decompression engines and compressed domain processors
US10901119B2 (en) * 2018-03-28 2021-01-26 Robert Bosch Gmbh Method and system for efficient rendering of accumulated precipitation for weather effects
WO2020139331A1 (en) * 2018-12-26 2020-07-02 Didi Research America, Llc Systems and methods for loading object geometry data on a vehicle
US20200209005A1 (en) * 2018-12-26 2020-07-02 Didi Research America, Llc Systems and methods for loading object geometry data on a vehicle
US10876844B2 (en) 2018-12-26 2020-12-29 Beijing Voyager Technology Co., Ltd. Systems and methods for loading and tracking maps on a vehicle
US10783714B2 (en) * 2019-01-29 2020-09-22 Verizon Patent And Licensing Inc. Methods and systems for automatically tailoring a form of an extended reality overlay object
US11604800B1 (en) * 2021-07-28 2023-03-14 International Business Machines Corporation Generating a visualization of data points returned in response to a query based on attributes of a display device and display screen to render the visualization
US20230083822A1 (en) * 2021-09-16 2023-03-16 International Business Machines Corporation Optimized rendering of web pages

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6199014B1 (en) * 1997-12-23 2001-03-06 Walker Digital, Llc System for providing driving directions with visual cues

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5144685A (en) 1989-03-31 1992-09-01 Honeywell Inc. Landmark recognition for autonomous mobile robots
US6199015B1 (en) * 1996-10-10 2001-03-06 Ames Maps, L.L.C. Map-based navigation system with overlays
US5995903A (en) 1996-11-12 1999-11-30 Smith; Eric L. Method and system for assisting navigation using rendered terrain imagery
US6480194B1 (en) * 1996-11-12 2002-11-12 Silicon Graphics, Inc. Computer-related method, system, and program product for controlling data visualization in external dimension(s)
WO1998033146A1 (fr) * 1997-01-24 1998-07-30 Sony Corporation Generateur de donnees de formes, procede de generation de donnees de formes et moyens associes
KR20000064776A (ko) * 1997-01-24 2000-11-06 이데이 노부유끼 도형 데이터 생성 장치, 도형 데이터 생성 방법 및 그 매체
EP1798706A2 (en) * 1997-10-27 2007-06-20 Matsushita Electric Industrial Co., Ltd. Three-dimensional map display device and device for creating data used therein
AUPP152098A0 (en) 1998-01-28 1998-02-19 Joyce Russ Advertising Pty Ltd Navigational apparatus using visual description of the route
US6278479B1 (en) 1998-02-24 2001-08-21 Wilson, Hewitt & Associates, Inc. Dual reality system
US6285317B1 (en) * 1998-05-01 2001-09-04 Lucent Technologies Inc. Navigation system with three-dimensional display
US6356840B2 (en) * 1998-06-12 2002-03-12 Mitsubishi Denki Kabushiki Kaisha Navigation device with a three dimensional display
US20020047798A1 (en) * 1999-06-25 2002-04-25 Timothy James Platt Image acquisition and retrieval system employing position data
EP1218694B1 (en) * 1999-09-16 2006-11-15 Sirf Technology, Inc. Navigation system and method for tracking the position of an object
EP1111532A1 (en) * 1999-12-20 2001-06-27 TELEFONAKTIEBOLAGET LM ERICSSON (publ) Method for transporting physical objects, transportation system and transportation means
AU2001239926A1 (en) * 2000-02-25 2001-09-03 The Research Foundation Of State University Of New York Apparatus and method for volume processing and rendering
US6489922B1 (en) * 2000-04-22 2002-12-03 American Gnc Corporation Passive/ranging/tracking processing method for collision avoidance guidance and control
DE10036023A1 (de) 2000-07-22 2002-01-31 Fahrradfabrik Hans Schauff Visuelles Navigationssystem
US6903707B2 (en) * 2000-08-09 2005-06-07 Information Decision Technologies, Llc Method for using a motorized camera mount for tracking in augmented reality
WO2002016875A1 (de) * 2000-08-24 2002-02-28 Siemens Aktiengesellschaft Verfahren zum abfragen von zielinformation und zum navigieren in einer kartenansicht, computerprogrammprodukt und navigationsgerät
JP2002107161A (ja) * 2000-10-03 2002-04-10 Matsushita Electric Ind Co Ltd 移動体用進路誘導装置
SE519884C2 (sv) * 2001-02-02 2003-04-22 Scalado Ab Metod för zoomning och för att framställa en zoomningsbar bild
TWI246665B (en) * 2001-07-12 2006-01-01 Ding-Jang Tzeng Method for aiding the driving safety of road vehicle by monocular computer vision
KR100453225B1 (ko) * 2001-12-26 2004-10-15 한국전자통신연구원 3차원 가상 현실 구현을 위한 클라이언트 시스템과 이를이용한 가상 현실 구현 방법
US20030135327A1 (en) * 2002-01-11 2003-07-17 Seymour Levine Low cost inertial navigator
US6831641B2 (en) * 2002-06-17 2004-12-14 Mitsubishi Electric Research Labs, Inc. Modeling and rendering of surface reflectance fields of 3D objects
GB2392072B (en) * 2002-08-14 2005-10-19 Autodesk Canada Inc Generating Image Data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6199014B1 (en) * 1997-12-23 2001-03-06 Walker Digital, Llc System for providing driving directions with visual cues

Also Published As

Publication number Publication date
US6885939B2 (en) 2005-04-26
ES2391452T3 (es) 2012-11-26
JP2006513407A (ja) 2006-04-20
US20040128070A1 (en) 2004-07-01
WO2004059256A1 (en) 2004-07-15
EP1581782B1 (en) 2012-10-03
EP1581782A1 (en) 2005-10-05
KR20050085926A (ko) 2005-08-29
JP4338645B2 (ja) 2009-10-07

Similar Documents

Publication Publication Date Title
KR101013633B1 (ko) 모바일 네비게이션 유닛을 위한 진보된 3ｄ 비주얼화를 위한 시스템 및 방법
US7305396B2 (en) Hierarchical system and method for on-demand loading of data in a navigation system
KR102360660B1 (ko) 맵 데이터 처리 방법, 컴퓨터 디바이스 및 저장 매체
AU2010218137B2 (en) System and method of indicating transition between street level images
US7551172B2 (en) Sending three-dimensional images over a network
EP2643821B1 (en) Path planning for street level navigation in a three-dimensional environment, and applications thereof
EP2075543A2 (en) Three-dimensional map display navigation device, three-dimensional map display system, and three-dimensional map display program
US20090289937A1 (en) Multi-scale navigational visualtization
EP2565583B1 (en) Navigation device, method of outputting a map, and method of generating a database
US20110214072A1 (en) System and method for creating and broadcasting interactive panoramic walk-through applications
US8532924B2 (en) Method and apparatus for displaying three-dimensional terrain and route guidance
US20080294332A1 (en) Method for Image Based Navigation Route Corridor For 3D View on Mobile Platforms for Mobile Users
JP4511825B2 (ja) 複数のイメージからマルチ分解能イメージを生成する方法
EP2589933B1 (en) Navigation device, method of predicting a visibility of a triangular face in an electronic map view
WO2007018329A1 (en) Sytem and method for 3d graphic acceleration in synthesis cdma environment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140121

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150129

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160125

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170126

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180126

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190122

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 10