KR101285360B1 - 증강현실을 이용한 관심 지점 표시 장치 및 방법 - Google Patents

증강현실을 이용한 관심 지점 표시 장치 및 방법 Download PDF

Info

Publication number
KR101285360B1
KR101285360B1 KR1020070007987A KR20070007987A KR101285360B1 KR 101285360 B1 KR101285360 B1 KR 101285360B1 KR 1020070007987 A KR1020070007987 A KR 1020070007987A KR 20070007987 A KR20070007987 A KR 20070007987A KR 101285360 B1 KR101285360 B1 KR 101285360B1
Authority
KR
South Korea
Prior art keywords
interest
point
module
additional information
posture
Prior art date
Application number
KR1020070007987A
Other languages
English (en)
Other versions
KR20090000186A (ko
Inventor
장욱
조성일
박준아
소병석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070007987A priority Critical patent/KR101285360B1/ko
Publication of KR20090000186A publication Critical patent/KR20090000186A/ko
Application granted granted Critical
Publication of KR101285360B1 publication Critical patent/KR101285360B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Abstract

본 발명은 증강현실을 이용한 관심 지점 표시 장치 및 방법에 관한 발명으로서, 소정 방식의 측위 모듈로부터 관심 지점 표시 장치의 현재 위치를 측정하고, 가속도 센서, 지자기 센서 및 자이로 센서 중 적어도 하나를 이용하여 관심 지점 표시 장치의 자세를 측정하여 해당 장치의 위치에서 지도 정보를 바탕으로 소정 범위의 검색 영역을 선정한다.
선정된 검색 영역에서 카메라 모듈이 촬영하는 시야각 내에 존재하는 소정 개수의 관심 지점을 선정하여 각 지점들의 위치를 선정하고, 관심 지점에 상응하는 추가 정보를 추출하여 관심 지점과 추가 정보를 합성하여 사용자에게 제공한다.
증강현실, 관심 지점, 위치 측정, 자세 측정, 검색 영역

Description

증강현실을 이용한 관심 지점 표시 장치 및 방법{Point of interest displaying apparatus and method for using augmented reality}
도 1은 본 발명의 일 실시예에 따른 증강현실을 이용한 관심 지점 표시 장치를 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 관심 지점 표시 장치의 구성요소들의 기하학적 관계를 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 가시 영역 다면체를 도시한 도면.
도 4 본 발명의 일 실시예에 따른 가시 영역 다면체의 확대 및 축소를 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 검색 영역을 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 관심 지점에 상응하는 추가 정보 표시를 도시한 도면.
도 7은 본 발명의 다른 실시예에 따른 관심 지점에 상응하는 추가 정보 표시를 도시한 도면.
도 8은 본 발명의 실시예에 따른 관심 지점 표시 흐름도.
<도면의 주요 부분에 대한 부호의 설명>
100: 관심 지점 표시 장치 105: 측위 모듈
110: 자세 측정 모듈 120: 제어 모듈
125: 관심 지점 선정 모듈 130: 저장 모듈
135: 파라미터 저장 모듈 140: 지도 정보 저장 모듈
145: 추가 정보 저장 모듈 150: 카메라 모듈
155: 영상 정합 모듈 160: 합성 모듈
165: 디스플레이 모듈 170: 제어명령 입력 모듈
본 발명은 증강현실을 이용한 관심 지점 표시 장치 및 방법에 관한 것으로, 보다 상세하게는 소정 방식의 측위 모듈로부터 관심 지점 표시 장치의 현재 위치를 측정하고, 가속도 센서, 지자기 센서 및 자이로 센서 중 적어도 하나를 이용하여 관심 지점 표시 장치의 자세를 측정하여 해당 장치의 위치에서 지도 정보를 바탕으로 소정 범위의 검색 영역을 선정한다.
선정된 검색 영역에서 카메라 모듈이 촬영하는 시야각 내에 존재하는 소정 개수의 관심 지점을 선정하여 각 지점들의 위치를 선정하고, 관심 지점에 상응하는 추가 정보를 추출하여 관심 지점과 추가 정보를 합성하여 사용자에게 제공한다.
사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실의 하나이다. 현실환경과 가상환경을 융합하는 복합형 가상현실 시스템(Hybrid VR system)으로 1990년대 후반부터 미국과 일본을 중심으 로 연구 개발이 진행되고 있다.
현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다는 뜻이다.
가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없다. 하지만 실제환경과 가상의 객체가 혼합된 증강현실기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감을 제공한다. 이러한 가상 현실 기술은 원격의료진단, 방송, 건축설계 및 제조공정관리 등에 활용된다.
증강현실을 실외에서 실현하는 것이 착용식 컴퓨터(Wearable Computer)이다. 특히 머리에 쓰는 형태의 컴퓨터 화면장치는 사용자가 보는 실제환경에 컴퓨터 그래픽과 문자 등을 겹쳐 실시간으로 보여줌으로써 증강현실을 가능하게 한다.
따라서 증강현실에 대한 연구는 착용컴퓨터 개발이 주를 이룬다. 개발된 증강현실시스템으로 비디오방식과 광학방식 등의 HMD(Head Mounted Display)가 있다.
한국공개특허 10-2001-0086270 "동영상 및 위치의 동기 처리 방법 및 장치, 그리고 이를 이용한 지리 정보 시스템"의 경우 GPS를 이용하여 사용자가 촬영한 영상에 사용자의 위치에 관한 정보를 추가하는 방법이 제공되어있지만, 사용자의 위치가 아닌 피사체의 위치 또는 피사체에 대한 추가 정보를 제공할 수 없다는 문제점이 있었다.
한국공개특허 10-2005-0041169 "사용자의 이동 단말기로부터 획득한 위치 및 위치영상 정보를 이용한 정보 제공 시스템 및 그 제공 방법"의 경우 이동 단말기의 영상 획득부를 통해 제공되는 영상을 재처리 하여 피사체의 외곽선을 추출하고 이를 바탕으로 피사체의 정보를 얻고자 한다.
이러한 영상 기반 방법은 영상 처리를 위해 연산 량이 많이 필요하며 광원 변화와 같은 외부 환경에 민감해 옥외에서의 사용이 제한되며, 상대적으로 저 성능의 CPU를 사용하는 모바일 단말에서는 적합하지 않다는 문제가 있었다.
한국공개특허 10-2006-0112922 "휴대용 단말기를 이용한 물체 인식 시스템 및 방법" 및 한국공개특허 10-2006-0081068 "카메라 기능을 이용한 위치 획득 시스템, 방법 및 이동 통신 단말기"의 경우 단말의 위치, 자세 및 거리를 감지하는 소정의 센서를 장착한 후 해당 센서들로부터 획득되는 정보들로부터 피사체의 위치를 계산한 후 이 위치로부터 피사체의 정보를 역으로 얻어내도록 하는 것이다.
그러나 소정의 센서 중 거리를 감지하는 센서로 초음파 센서, IR 센서 및 Laser Range Finder 등이 사용 될 수 있으나 초음파 및 IR 센서의 경우 감지 거리가 짧아 원거리의 피사체까지의 거리를 센싱할 수 없다. 반면, Laser Range Finder의 경우는 원거리의 피사체까지의 거리를 센싱할 수 있으나 그 부피가 크고 고가의 장비라는 점이 휴대용 단말기에 이용하기에는 부적합 하다는 단점이 있다.
한국공개특허 10-2006-0065159 "3차원 마커 인지 방법 및 이를 이용한 증강현실 및 복합현실 제공 방법 및 장치"의 경우 디스플레이 장치를 통해 표시되는 수집된 영상데이터에 대한 3차원 마커(Maker)를 피사체에 부착해야 하는 단점으로 인 해 3차원 마커가 부착되지 않은 피사체에 대한 증강현실을 제공할 수 없다는 제한이 따른다.
한국공개특허 10-2005-0078136 "증강현실을 이용한 추가 정보 제공 방법 및 이를 위한 추가 정보 서비스 시스템"의 경우 단말의 자세를 파악하기 위해 자이로 센서를 사용한다. 그러나 자이로 센서만을 이용하는 경우 휴대용 단말기의 상대적인 자세를 알아낼 수 있으나 단말기의 기울기, 북쪽 방향을 기준으로 한 방향각과 같은 절대적인 자세를 알아내는 것은 불가능하다는 단점이 있다.
본 발명은 상기한 문제점을 해결하기 위해 발명된 것으로서, 소정 방식의 측위 모듈로부터 관심 지점 표시 장치의 현재의 위치를 측정하고, 가속도 센서, 지자기 센서 및 자이로 센서 중 적어도 하나의 센서를 이용하여 관심 지점 표시 장치의 자세를 측정하여 해당 장치의 위치에 상응하는 지도 정보를 바탕으로 소정 범위의 검색 영역을 선정한다.
검색 영역이 선정되면, 카메라 모듈이 촬영하는 시야각 내에 존재하는 소정 개수의 관심 지점의 위치를 선정하고, 관심 지점에 상응하는 추가 정보를 추출하여 관심 지점과 추가 정보를 합성하여 사용자에게 제공하는 증강현실을 이용한 관심 지점 표시 장치 및 방법에 관한 것이다.
본 발명의 목적들은 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 사항들은 아래의 기재로부터 당 업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른 증강현실을 이용한 관심 지점 표시 장치는 현재의 위치를 측정하는 측위 모듈, 위치의 자세를 측정하는 자세 측정 모듈, 위치, 자세 및 지도 정보를 바탕으로 검색 영역을 선정하는 관심 지점 선정 모듈, 검색 영역 중 임의의 지역을 촬영하는 카메라 모듈, 촬영된 지역 내에 존재하는 관심 지점 및 관심 지점에 상응하는 추가 정보를 합성하는 합성 모듈 및 합성된 관심 지점과 추가 정보를 표시하는 디스플레이 모듈을 포함한다.
본 발명의 실시예에 따른 증강현실을 이용한 관심 지점 표시 방법은 현재의 위치를 측정하는 단계, 위치의 자세를 측정하는 단계, 위치, 자세 및 지도 정보를 바탕으로 검색 영역을 선정하는 단계, 검색 영역 중 임의의 지역을 촬영하는 단계, 촬영된 지역 내에 존재하는 관심 지점 및 관심 지점에 상응하는 추가 정보를 합성하는 단계 및 합성된 관심 지점과 추가 정보를 표시하는 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도 1은 본 발명의 실시예에 따른 증강현실을 이용한 관심 지점 표시 장치를 도시한 도면이다.
본 발명의 일 실시예에 따른 증강현실을 이용한 관심 지점 표시 장치(100)는 측위 모듈(105), 자세 측정 모듈(110), 통신 모듈(115), 제어 모듈(120), 관심 지점 선정 모듈(125), 저장 모듈(130), 카메라 모듈(150), 영상 정합 모듈(155) 및 제어명령 입력 모듈(170)을 포함할 수 있다.
본 발명의 실시예에 따른 증강현실을 이용한 관심 지점 표시 장치는 예를 들어, 휴대폰, UMPC(Ultra Mobile PC), PDA 및 디지털 카메라와 같이 소정 개수의 카메라를 내장하거나 장착할 수 있는 휴대용 단말기(미도시)가 바람직하지만, 이에 국한하지는 않는다.
먼저, 본 발명의 관심 지점 표시 장치(100)의 구성 요소 중 측위 모듈(105)은 해당 장치의 동체(미도시)에 대한 현재 위치를 측정하는 모듈로 통상적으로 이용되는 GPS(Global Positioning System) 또는 갈릴레오와 같은 위성 측위 서비스를 바탕으로 관심 지점 표시 장치(100)의 현재 위치를 측정한다.
즉, 측위 모듈(105)은 전술한 위성 측위 서비스 중 적어도 하나를 이용할 수 있도록 적어도 하나의 측위 모듈(105)을 내장할 수 있고, 두 개의 측위 모듈(105)을 내장하여 상황에 따라 사용자가 임의의 위성 측위 서비스를 선택하여 이용할 수 있다.
측위 모듈(105)에서의 위치 측정은 위성 측위 서비스에서 통상적으로 이용되 는 지구 중심 좌표계(Earth Centered Earth Fixed frame, 이하 ECEF 라고 함)(200)를 바탕으로 관심 지점 표시 장치(100)에 대한 위치 값을 측지 좌표계(210)를 이용하여 관심 지점 표시 장치(100)에 대한 위도(
Figure 112007007732606-pat00001
), 경도(
Figure 112007007732606-pat00002
) 및 고도(
Figure 112007007732606-pat00003
)로 변환함으로써 이루어진다.
측위 모듈(105)에서 측정되는 관심 지점 표시 장치(100)의 위치는 관심 지점 선정 모듈(125)에서 소정 개수의 관심 지점을 포함하는 소정 범위를 갖는 검색 영역 선정을 위한 정보로 이용된다.
자세 측정 모듈(110)은 측위 모듈(105)에서 측정된 관심 지점 표시 장치(100)의 위치에서 해당 장치의 자세를 측정하는 모듈로 가속도 센서, 지자기 센서 및 자이로 센서 중 적어도 하나의 센서를 이용하여 자세를 측정한다.
자세 측정 모듈(110)은 항법 좌표계(220)를 바탕으로 자세를 측정하여 제어 모듈(120)로 제공한다.
항법 좌표계(220)를 이용한 자세 측정은 후술되는 도 2에서 상세한 설명을 하기로 한다.
항법 좌표계(220)로 측정된 자세는 앞서 언급한 측위 모듈에서 측정된 위치와 마찬가지로 후술되는 관심 지점 선정 모듈(125)에서 관심 지점 선정을 위한 정보로 이용된다.
측위 모듈(105) 및 자세 측정 모듈(110)은 관심 지점 표시 장치(100) 내에 내장할 수도 있고, 별도의 모듈로 구성하여 소정의 인터페이스(통신 모듈(115))를 통해 관심 지점 표시 장치에 연결하여 이용할 수도 있지만, 정확한 위치 및 자세 측정을 위해서는 관심 지점 표시 장치(100) 내에 내장하는 구성이 바람직하다.
통신 모듈(115)은 저장 모듈(130)에 저장될 수 있는 카메라 모듈에 상응하는 파라미터, 지도 정보 및 추가 정보를 제공하는 소정의 웹 서버(미도시)와 연결할 수 있도록 WCDMA, Wibro, HSDPA, Blue tooth 등을 포함할 수 있고, 소정의 저장 매체와 연결할 수 있도록 IEEE 1394, USB 1.0 또는 2.0과 같은 데이터 전송을 위한 케이블 인터페이스(미도시)가 될 수 있다.
즉, 사용자(미도시)는 통신 모듈(115)을 이용하여 저장 모듈(130)의 저장 정보를 갱신할 수 있고, 관심 지점 표시 장치(100)의 위치 및 자세를 타 기기(미도시)로 전송할 수도 있다.
제어 모듈(120)은 관심 지점 표시 장치(100)의 각 구성 요소에 대한 통상적인 제어 명령을 전달하고, 소정의 연산을 수행하는 모듈이다.
관심 지점 선정 모듈(125)은 앞서 언급한 측위 모듈(105)에서 측정된 위치를 바탕으로 검색 영역을 선정하고, 지도 정보 저장 모듈(140)의 지도 정보를 바탕으로 검색 영역에 상응하는 m 개의 지점에 대한 위치를 측정한다.
이때, m 개의 지점 위치는 항법 좌표계(220)를 이용하여 관심 지점 표시 장치(100)를 중심으로 소정 범위의 검색 영역 내에 존재하는 지점들에 대한 위치이다
검색 영역에 대한 m 개의 지점이 선정되면, 카메라 좌표계(240)에서의 위치를 계산한다. 이는 검색 영역에서 관심 지점(카메라 모듈의 시야각에 포함되는 지역)내에 포함되는 n 개의 관심 지점들을 선정하기 위한 것이다.
이는 카메라 모듈(150)을 포함하는 관심 지점 표시 장치(100)와 카메라 모 듈(150)이 ECEF(200) 상에서 동일한 위치에 존재하더라도 관심 지점 표시 장치(100)의 자세를 나타내는 동체 좌표계(230)와 카메라 모듈(150)의 자세를 나타내는 카메라 좌표계(240)에서 관심 지점 표시 장치(100)와 카메라 모듈(150)의 자세가 항상 일치하지 않기 때문이다.
즉, 본 발명의 실시예에 따른 관심 지점 표시 장치(100)와 카메라 모듈(150)의 자세 관계를 사전에 설정하여 파라미터 저장 모듈(135)에 저장함으로써, 관심 지점 표시 장치(100)와 카메라 모듈(150)이 서로 다른 방향으로 위치하여 촬영을 하더라도 카메라 모듈(150)을 통한 증강현실을 구현할 수 있다.
저장 모듈(130)은 카메라의 시야각, 카메라와 자세 측정 모듈(110)과의 관계를 나타내는 파라미터(
Figure 112007007732606-pat00004
,
Figure 112007007732606-pat00005
,
Figure 112007007732606-pat00006
)를 저장하는 파라미터 저장 모듈(135), 지도 정보 저장 모듈(140) 및 추가 정보 저장 모듈(145)을 포함할 수 있다.
파라미터 저장 모듈(135)의 파라미터 중 동체와 카메라 모듈(150)의 자세 관계는 사전 설정되는 것이 바람직하고, 시야각은 사전 설정 될 수도 있고, 사용자에 의해 촬영 시 변경 설정을 하는 것이 바람직하다.
반면, 지도 정보 저장 모듈(140)은 통상적으로 이용되는 위도, 경도 및 고도 정보가 포함되는 지도 정보를 저장하는 모듈이며, 추가 정보 저장 모듈은 지도 정보에 상응하는 임의 지역에 대한 소정 정보를 저장하는 모듈로 이 두 모듈(145, 150)들은 해당 장치 내에 내장할 수도 있지만, 통신 모듈(115)을 통해 외부의 웹 서버(미도시)로부터 제공되어 갱신된다.
카메라 모듈(150)은 본 발명에서 언급하는 관심 지점을 촬영하기 위한 모듈 로 통상적으로 이용되는 CMOS, CCD 및 NMOS 형태의 카메라가 될 수 있다.
본 발명의 실시예에 따른 관심 지점 표시 장치(100)는 적어도 하나의 카메라 모듈(150)을 내장하여 사용자가 원하는 임의의 지역을 촬영하게 된다.
카메라 모듈(150)을 이용한 촬영 시 카메라 모듈(150)에 따라 디지털 줌 또는 광학 줌이 이용될 수 있다.
영상 정합 모듈(155)은 카메라 모듈(150)에서 촬영되는 지역 중 소정 개수의 관심 지점에 대한 추가 정보를 합성하는 합성 모듈(160)과 합성된 영상을 표시하는 디스플레이 모듈(165)로 구성될 수 있다.
합성 모듈(160)은 관심 지점 선정 모듈(125)에서 선정된 n 개의 관심 지점의 위치에 상응하는 추가 정보를 추가 정보 저장 모듈(145)에서 추출하여 관심 지점이 배치된 곳에 추가 정보를 합성하여 디스플레이 모듈(165)로 제공하거나 저장 모듈(130)의 소정 영역에 저장한다.
디스플레이 모듈(165)은 소정 방법으로 합성된 정보를 디스플레이 하는 모듈로 통상적인 LCD, CRT 및 PDP 등이 포함될 수 있다.
본 발명의 실시예에 따른 관심 지점은 디스플레이 모듈(165)을 통해 화면에 표시되는 것이 바람직하나 음성 출력 모듈(미도시)을 통해서도 관심 지점에 대한 추가 정보를 출력할 수 있다.
관심 지점에 상응하는 추가 정보는 관심 지점의 명칭, 사용자 위치에서 관심 지점까지의 거리 및 교통 정보, 관심 지점이 위치한 곳의 지역 명, 기상 정보를 포함할 수 있다.
제어명령 입력 모듈(170)은 통상적으로 이용될 수 있는 제어명령을 입력하는 모듈로 문자 또는 숫자를 입력할 수 있는 키 패드(Key Pad), 터치 패드(Touch Pad) 및 키보드를 포함할 수 있으며, 음성 입력 장치(미도시)가 될 수 있다.
이와 같은 본 발명의 일 실시예에 따른 관심 지점 표시 장치(100)의 구성 요소들은 이들에 국한되지 않으며, 각 구성요소들로부터 파생되거나 조합 가능한 모든 구성을 포함할 수 있다.
도 2는 본 발명의 실시예에 따른 관심 지점 표시 장치의 구성요소들의 기하학적 관계를 개략적으로 도시한 도면이다.
본 발명의 실시예에 따른 구성 요소간의 기하학적 관계는 소정의 좌표계를 바탕으로 그 관계를 도시한 것이다.
먼저, 도 1에서 전술한 관심 지점 표시 장치(100)의 측위 모듈(105)은 관심 지점 표시 장치(100)에 대해 ECEF(200)상의 위치 값을 제공받아 측지 좌표계(210) 상의 위도(
Figure 112007007732606-pat00007
), 경도(
Figure 112007007732606-pat00008
) 및 고도(
Figure 112007007732606-pat00009
)로 변환한다.
관심 지점 표시 장치(100)의 현재 위치가 측정되면, 자세 측정 모듈(110)에서 현재 위치에서의 동체(관심 지점 표시 장치(100))의 자세를 측정한다.
이때, 이용되는 좌표계가 도시된 바와 같은 항법 좌표계(220)이다.
항법 좌표계(220)는 통상적으로 X축이 북쪽, Y축이 동쪽, Z축이 지표면을 향하기 때문에, X, Y, Z의 각 축을 N(North), E(East), D(Down)로 표기한다. 여기에서, 항법 좌표계(220)의 원점이 관심 지점 표시 장치(100)의 현재 위치(260)를 의미한다.
본 발명의 일 실시예에 따른 관심 지점 표시 장치(100)의 자세 측정은 지자기 센서, 가속도 센서 이용한 자세 측정에 대해 상세한 설명을 하기로 한다.
즉, 자세 측정 모듈(110)에서는 항법 좌표계(220)를 기본 좌표로 하여 오일러 각을 바탕으로 롤(Roll,
Figure 112007007732606-pat00010
), 피치(Pitch,
Figure 112007007732606-pat00011
), 요(Yaw,
Figure 112007007732606-pat00012
)를 구함으로써 자세를 측정하게 된다.
오일러 각을 이용한 관심 지점 표시 장치(100)의 롤(
Figure 112007007732606-pat00013
), 피치(
Figure 112007007732606-pat00014
)는 수식 1을 통해 측정된다.
수식 1.
Figure 112007007732606-pat00015
수식 1에서 Abx, Aby, Abz는 자세 측정 모듈(110)에 포함되는 가속도 센서로부터 측정된 값이고, 롤(
Figure 112007007732606-pat00016
), 피치(
Figure 112007007732606-pat00017
) 값이 계산되면, 수식 2를 이용해 보상한 후 요(
Figure 112007007732606-pat00018
) 값을 계산한다.
수식 2.
Figure 112007007732606-pat00019
수식 2에서 Fbx, Fby, Fbz는 동체 좌표계(230)의 X, Y, Z축 상에서 지자기 센서로부터 측정된 값이며, Fnx, Fny, Fnz는 롤(
Figure 112007007732606-pat00020
), 피치(
Figure 112007007732606-pat00021
)를 이용해 보상된 값들이다.
수식 2를 통한 롤(
Figure 112007007732606-pat00022
), 피치(
Figure 112007007732606-pat00023
)에 대한 보상 값, Fnx, Fny, Fnz 가 계산되면, 수식 3을 통해 관심 지점 표시 장치(100)의 요(
Figure 112007007732606-pat00024
) 값을 계산한다.
수식 3.
Figure 112007007732606-pat00025
동체 좌표계(230)는 자세 측정 모듈(110)의 소정 센서들에 대한 X, Y, Z축에 상응하는 좌표계로 동체의 자세 계산을 위한 좌표계이다.
즉, 관심 지점 표시 장치(100)의 자세 측정은 항법 좌표계(220)를 기준으로 동체 좌표계(230) 상에서의 자세를 의미한다.
카메라 좌표계(240)는 관심 지점 표시 장치(100)와 카메라 모듈(150)과의 자세 관계를 기술하기 위한 것으로 해당 장치에 내장되는 카메라 모듈(150)의 자세 측정의 기준이 되는 좌표계이다. 카메라 모듈(150)의 자세는 Ux, Uy, Uz축에 상응하는 위치에서 측정되는데, Ux축은 시선 방향(300)과 반대 방향이 된다.
관심 지점(250)은 사용자가 카메라 모듈(150)을 이용하여 소정 지역을 촬영하는 경우 카메라 모듈(150)의 시야각 내에 포함되는 적어도 하나의 사물로 해당 사물에 상응하는 추가 정보와 함께 디스플레이 모듈(170)을 통해 표시된다.
도시된 바와 같이, 소정 좌표계들의 원점(260, 270, 280, 290)들은 시선 방향(300)이 포함되는 동일선 상에 위치한다.
도 3은 본 발명의 일 실시예에 따른 가시 영역 다면체를 도시한 도면이다.
본 발명의 일 실시예에 따른 가시 영역 다면체는 카메라 좌표계(240) 상에서 카메라 모듈(150)의 가시 영역을 가시 영역 평면(330)과 카메라 좌표계(240)의 원 점을 잇는 사각뿔 형태의 다면체이다.
도시된 바와 같이, 가시 영역 다면체(300)의 원점(280)은 카메라 좌표계(240) 상의 중심점으로 카메라 모듈의 위치(310)이고, 가시 영역 평면(330)은 카메라 모듈(150)에 의해서 촬영되는 임의 지역의 소정 개수의 관심 지점(350, 360)이 표시되는 평면이다. 여기에서, 관심 지점(350, 360)은 사용자에 의해 그 개수가 사전에 설정된다.
이미지 평면(340)은 카메라 모듈(150)에 의해 촬영되는 가시 영역 평면(330)에 분포하는 관심 지점(350)의 이미지(370, 380)가 표시되는 평면으로 관심 지점 표시 장치(100)의 디스플레이 모듈(165)에 의해 표시된다.
가시 영역 다면체(320)에서 카메라 좌표계(240)의 Ux축은 도 2에서 전술했듯이 시선 방향(300)과 반대 방향이다.
이러한 가시 영역 다면체(310)는 카메라 모듈(150)의 확대 또는 축소에 의해 가시 영역 평면(330) 및 이미지 평면(340)의 폭과 높이가 확대되거나 축소된다.
가시 영역 평면(330) 및 이미지 평면(340)의 폭과 높이가 변화에 따른 관심 지점(350, 360)에 상응하는 이미지(370, 380) 정보 및 추가 정보의 표시는 후술되는 도 4에서 상술하기로 한다.
도 4 본 발명의 일 실시예에 따른 가시 영역 다면체의 확대 및 축소를 도시한 도면이다.
본 발명의 일 실시예에 따른 가시 영역 다면체의 확대 및 축소는 카메라 모듈(150)의 시야각 변화에 상응한다.
도시된 바와 같이, 도 3에서 전술한 가시 영역 다면체(320)는 카메라 모듈(150)의 시야각이
Figure 112007007732606-pat00026
(400),
Figure 112007007732606-pat00027
(405) 일 때, 가시 영역 평면(330)의 폭(410)과 높이(415)를 갖는 다면체로 가시 영역 평면(330) 상에 관심 지점(350, 360)이 존재하고, 이미지 평면(340)에 관심 지점(350, 360)에 상응하는 이미지(370, 380)이 디스플레이 모듈(165)을 통해 표시된다. 이때, 이미지에 상응하는 추가 정보가 함께 표시된다.
반면, 사용자에 의해 카메라 모듈(150)의 시야각이
Figure 112007007732606-pat00028
(420),
Figure 112007007732606-pat00029
(425)로 확대되면, 가시 영역 평면(330)의 폭(410)과 높이(415)가 폭(430), 높이(435)인 가시 영역 평면(440)으로 확대되어 관심 지점(445)이 더 보이게 되고, 이미지 평면(340) 또한, 이미지 평면(450)으로 확대되어 이미지(455)와 이미지에 상응하는 추가 정보가 더 표시된다.
즉, 본 발명의 관심 지점 표시 장치(100)는 사용자에 의해 카메라 모듈(150)의 시야각이 변화함에 따라 관심 지점(350, 360, 445)과 해당 지점에 상응하는 추가 정보를 디스플레이 모듈(165)에 표시할 수 있다. 이는 관심 지점 표시 장치의 위치를 바탕으로 검색 영역을 선정함으로써, 검색 영역내의 m 개의 사물에 대한 위치를 측정하고, 이에 상응하는 추가 정보를 저장할 수 있기 때문이다.
카메라 모듈(150)의 시야각과 이미지 평면(340, 450)의 폭 및 높이의 관계는 수식 4와 같다.
수식 4.
Figure 112007007732606-pat00030
수식 4에서 d 값은 카메라 좌표계(240)상의 원점(280)에서 이미지 평면(340,450)까지의 거리를 나타낸다.
검색 영역은 후술되는 도 5에서 상세한 설명을 하기로 한다.
도 5는 본 발명의 일 실시예에 따른 검색 영역을 도시한 도면이다.
본 발명의 일 실시예에 따른 검색 영역은 측위 모듈(105)을 통해 측정되는 관심 지점 표시 장치(100)의 현재 위치를 바탕으로 관심 지점 선정 모듈()에서 선정되고, 해당 영역의 범위는 사용자에 의해 사전 설정 될 수도 있고, 선정과정에서 사용자에 의해 설정될 수도 있다.
도시된 바와 같이, 검색 영역(500)은 항법 좌표계(210)의 원점(210)인 관심 지점 표시 장치(100)의 현재 위치를 기준하는 소정 범위(505, 510)를 포함하는 정사각형 형태이다.
검색 영역(500)은 측위 모듈()에서 측정된 위치를 바탕으로 지도 정보를 이용하여 사용자 설정이 가능한 소정 범위(505, 510)를 포함하도록 선정된다.
검색 영역(500)에는 원점(210)을 기준으로 지도 정보에 상응하는 m개의 사물(515, 520, 535, 540) 위치들이 측정되는데, 사용자가 해당 영역의 범위를 확대하는 경우에는 사물(525, 530)의 위치가 더 측정된다.
이러한, 검색 영역(500)의 범위는 수식 4를 통해 선정된다.
수식 5.
Figure 112007007732606-pat00031
여기에서, Pi는 지도 정보에 상응하는 i 번째 사물을 의미하며,
Figure 112007007732606-pat00032
와
Figure 112007007732606-pat00033
는 i 번째 사물의 위도와 경도를 의미한다.
Figure 112007007732606-pat00034
와
Figure 112007007732606-pat00035
는 관심 지점 표시 장치(100)의 현재 위도와 경도를 의미하는 원점(210)이다. 또한,
Figure 112007007732606-pat00036
,
Figure 112007007732606-pat00037
,
Figure 112007007732606-pat00038
,
Figure 112007007732606-pat00039
는 검색 영역을 결정하는 파라미터이다.
그러나, 검색 영역(500) 선정 시 선정 단위를 도(Degree) 단위로 하는 경우 위도(
Figure 112007007732606-pat00040
)와 경도(
Figure 112007007732606-pat00041
)의 실제 거리가 다름으로 인해 검색 영역의 왜곡이 발생할 수 있다.
이를 방지하기 위해 검색 영역의 범위를 미터(Meter) 단위로 설정할 수 있다. 이 경우 지도 정보에서 이용되는 위도(
Figure 112007007732606-pat00042
)와 경도(
Figure 112007007732606-pat00043
)를 미터 단위로 변환하는 과정이 요구된다.
이러한 변환 과정은 수식 6, 수식 7을 통해 이루어진다.
수식 6.
Figure 112007007732606-pat00044
수식 7.
Figure 112007007732606-pat00045
여기에서,
Figure 112007007732606-pat00046
은 항법 좌표계(210)상의 위치 벡터이고,
Figure 112007007732606-pat00047
,
Figure 112007007732606-pat00048
,
Figure 112007007732606-pat00049
는 현재 위치에서의 위도, 경도, 고도를 나타내며,
Figure 112007007732606-pat00050
,
Figure 112007007732606-pat00051
,
Figure 112007007732606-pat00052
이다.
검색 영역(500)의 검색 범위를 항법 좌표계(210)에서 설정하는 경우 수식 4를 수식 8과 같이 표현할 수 있다.
수식 8.
Figure 112007007732606-pat00053
즉, 항법 좌표계(210)상에서 검색 영역(500)에 포함되는 m개의 사물 위치는 수식 7을 통해 얻어지는 사물들의 집합을 P' 이라고 한다.
이후에 집합 P'에 포함되는 사물(515, 520, 535, 540) 중 카메라 모듈(150)의 시야각(400, 420)에 존재하는 관심 지점(535, 540)이 포함되는 영역을 검색하여, 관심 지점(535, 540)이 이미지 평면(340, 450) 상에 어느 위치에 배치되어야 하는지를 결정한다.
이를 위해 항법 좌표계(210)상의 관심 지점(535, 540)들에 대한 위치를 계산한다. 관심 지점(535, 540)에 대한 위치 계산은 전술한 수식 6을 통해 각 지점에 대한
Figure 112007007732606-pat00054
가 얻어진다.
카메라 모듈(150)의 시야각(400, 420)에 포함되는 관심 지점(535, 540)들은 카메라 좌표계를 기준으로 각 지점들에 대한 위치를 알아야 한다. 이를 위해서 전술한 항법 좌표계를 기준으로 하는 관심 지점 표시 장치(100)의 자세와 자세 측정 모듈(110)을 기준으로 한 카메라 모듈(150)의 자세를 알아야 하며, 관심 지점 표시 장치(100)와 카메라 모듈(150)의 자세 관계를 알아야 한다. 이들에 대한 관계는 사용자에 의해 사전 설정될 수 있다.
임의의 위치 P의 카메라 좌표상의 위치인, Pc는 수식 8을 이용하여 측정되 고, Pn은 전술한 항법 좌표계(210)상의 위치 벡터이다.
수식 9.
Figure 112007007732606-pat00055
여기에서,
Figure 112007007732606-pat00056
,
Figure 112007007732606-pat00057
이고,
Figure 112007007732606-pat00058
,
Figure 112007007732606-pat00059
은 수식 9를 통해 측정된다.
수식 9.
Figure 112007007732606-pat00060
Figure 112007007732606-pat00061
여기에서,
Figure 112007007732606-pat00062
,
Figure 112007007732606-pat00063
,
Figure 112007007732606-pat00064
는 관심 지점 표시 장치(100)와 카메라 모듈(150)의 자세 관계를 나타내는 파라미터이다. 이는 파라미터 저장 모듈()에 사전 설정되어 저장될 수 있다.
이러한 관계를 사전에 설정하는 것은 관심 지점 표시 장치와 카메라 모듈이 항상 동일한 좌표계를 공유, 동일선상에 위치하여야 하나 이들이 서로 다른 부위에 다른 방향으로 장착되어도 관심 지점(535)에 대한 위치 및 추가 정보를 추가하여 표시할 수 있게 된다.
이와 같이 측정된 관심 지점(535, 540)에 대한 표시는 후술되는 도 6에서 상술하기로 한다.
도 6은 본 발명의 일 실시예에 따른 관심 지점에 상응하는 추가 정보 표시를 도시한 도면이다.
본 발명의 일 실시예에 따른 관심 지점에 상응하는 추가 정보 표시는 도 5에 서 전술했듯이 카메라 모듈(150)의 시야각 내에 존재하는 카메라 좌표계(240)를 기준으로 한 n 개의 관심 지점에 대한 위치가 측정되면, 카메라 좌표계(240) 상의 이미지 평면 (340, 450)에 투영될 수 있는 관심 지점들을 선정하고, 해당 지점들에 대한 추가 정보를 디스플레이 모듈()을 통해 표시한다.
도시된 바와 같은, 관심 지점 표시(600)는 이미지 평면(340, 450) 상에 표시되는 것으로 n 개의 관심 지점들에 대한 위치를 투시도법을 사용하여 해당 지점들에 대한 위치를 결정한다. 투시도법을 이용한 위치 결정은 수식 10을 바탕으로 이루어진다.
수식 10.
Figure 112007007732606-pat00065
카메라 모듈의 시야각 내에 존재하는 n 개의 관심 지점들에 대한 위치가 결정되면, 수식 11을 바탕으로 이미지 평면(340, 450)상에 표시할 관심 지점(610, 620, 630, 640)을 결정한다.
수식 11.
Figure 112007007732606-pat00066
여기에서, Pi'은 검색 영역(500) 검색 시 구성된 집합 P'의 i 번째 관심 지점들이며,
Figure 112007007732606-pat00067
과
Figure 112007007732606-pat00068
은 관심 지점들에 대한 이미지 평면(340, 450)상에의 위치이고, W, H는 이미지 평면의 폭과 높이를 의미한다. 이미지 평면의 폭과 높이는 카메라 모듈(150)의 시야각(
Figure 112007007732606-pat00069
,
Figure 112007007732606-pat00070
)에 상응하여 변화될 수 도 있고, 사용자에 의해 사 전 설정될 수도 있다.
카메라 모듈(150)의 시야각 변화에 따른 확대, 축소는 해당 변화를 실시간으로 반영하여 가시 영역 평면(330, 440)의 관심 지점들을 이미지 평면(340, 450)상에 추가 정보와 함께 표시할 수 있다는 것이다.
이와 같이 n 개의 관심 지점의 위치와 n 개의 관심 지점 중 사용자 설정에 상응하는 개수의 관심 지점(610, 620, 630, 640)이 결정되면, 관심 지점(610, 620, 630, 640)에 상응하는 추가 정보를 바탕으로 추가 정보를 추출하여 표시한다.
여기에서 추가 정보는 관심 지점의 명칭, 사용자 위치에서 관심 지점까지의 거리 및 교통 정보, 관심 지점이 위치한 곳의 위치 명, 기상 정보 등이 될 수 있다.
추가 정보 표시는 후술되는 도 7에서 상세한 설명을 하기로 한다.
도 7은 본 발명의 일 실시예에 따른 관심 지점에 상응하는 추가 정보 표시를 도시한 도면이다.
본 발명의 일 실시예에 다른 관심 지점에 상응하는 추가 정보는 도 6에서 전술했듯이 관심 지점의 명칭, 사용자 위치에서 관심 지점까지의 거리 및 교통 정보, 관심 지점이 위치한 곳의 위치 명, 기상 정보 등이 될 수 있고, 사용자 설정에 따라 추가 정보 표시(700) 또는 710과 같이 표시할 수 있다.
도시된 바와 같이, 추가 정보 표시(700, 720)를 구분한 것은 이미지 평면(340, 450)상에 표시되는 관심 지점의 수가 적을 경우 관심 지점(630, 640)과 추가 정보(710)를 하나의 화면상에 표시할 수 있지만, 추가 정보 표시(720)의 경우는 하나의 화면을 소정 개수로 분리하여 추가 정표(760)와 관심 지점(610, 620, 630, 640)을 분리하여 표시할 수 있다.
이 같은 경우는 사용자가 관심 지점을 선택할 수 있는 것이 바람직하며, 사용자 선택에 상응하여 분리된 화면에 추가 정보(760)가 표시될 수 있다.
도 8. 본 발명의 일 실시예에 따른 관심 지점 표시 흐름도이다.
본 발명의 일 실시예에 따른 관심 지점 표시는 관심 지점 표시 장치(100)와 사용자가 동일한 위치에 있을 경우를 사용자 장치(관심 지점 표시 장치(100))에서의 표시를 도시한 것이다.
도시된 바와 같이, 사용자는 관심 지점 표시 장치(100)에 내장되거나 소정 방식으로 연결되는 카메라 모듈(150)을 사용자가 원하는 소정 지역으로 향하여 해당 지역에 대한 촬영 여부를 판단한다(S800).
이때의 소정 지역을 관심 지점이라고 하고, 관심 지점 내에 존재하는 사무들을 관심 지점이라고 한다.
카메라 모듈(150)이 관심 지점을 촬영하면(S800), 관심 지점 표시 장치(100)의 측위 모듈(105)을 통해 관심 지점 표시 장치(100)의 현재 위치를 측정한다(S810).
관심 지점 표시 장치(100)의 현재 위치를 측정은 측위 모듈(105), 예를 들어, GPS 또는 갈릴레오 중 적어도 하나를 이용하여 측정한다.
측위 모듈(105)로부터 관심 지점 표시 장치(100)의 현재 위치가 측정되면(S810), 현재 위치에서 자세 측정 모듈(110)을 이용하여 관심 지점 표시 장 치(100)의 자세를 측정한다(S820).
관심 지점 표시 장치(100)의 자세 계산은 앞서 언급한 수식 1, 2, 3을 이용하여 오일러 각을 계산함으로써 이루어 짐으로 이에 대한 상세한 설명은 여기에서는 생략하기로 한다.
측위 모듈(105)과 자세 측정 모듈(110)로부터 관심 지점 표시 장치(100)의 현재 위치와 자세가 측정되면(S810, S820), 관심 지점 표시 장치(100)의 위치 및 지도 정보를 바탕으로 검색 영역(500)을 선정한다(S830).
검색 영역(500)의 선정은 항법 좌표계(220)의 원점(관심 지점 표시 장치의 현재 위치(260))을 기준으로 지도 정보 저장 모듈()에 저장되는 정보를 바탕으로 선정된다.
여기에서, 소정 범위를 항법 좌표계(220)의 원점(0, 0)을 기준으로 정사각형 형태로 선정되며, 그 범위는 사용자에 의해 사전 설정 될 수 있다.
검색 영역(500) 또한 전술한 도 5에서 상세한 설명을 하였으므로 여기에서는 상세한 설명을 생략하기로 한다.
검색 영역(500)이 선정되면(S830), 검색 영역(500) 내에 존재하는 소정의 지점의 위치를 계산한다(S840).
여기에서 검색 영역(500) 내에 존재하는 소정 지점들은 지도 정보에 포함되는 모든 지점을 의미하는 것이지만, 사용자 설정에 의해 소정 개수로 제한하는 것이 바람직하다.
검색 영역(500) 내의 소정 지점들에 대한 위치 계산이 완료되면(S840), 관심 지점 표시 장치(100)의 자세 측정 값과 카메라 모듈(150)의 자세 관계를 카메라 좌표계(240) 상에서 측정한다(S850). 이는 관심 지점 표시 장치(100)의 현재 위치에서 카메라 모듈(150)에 의해 촬영되는 지점이 상이할 수 있으므로, 관심 지점 표시 장치(100)와 카메라 모듈(150)의 시야각 관계를 이용하여 카메라 모듈의 시야각 내에 존재하는 관심 지점의 위치를 파악하기 위한 것이다.
이들 관계는 전술한 도 3, 4, 5에서 상세한 설명을 하였으므로 여기에서는 상세한 설명을 생략하기로 한다.
검색 영역(500)에서 카메라 좌표가 측정되면(S850), 이미지 평면(340, 450) 상에 표시할 관심 지점 및 배치를 결정한다(S860).
이미지 평면(340, 450) 상에 표시되는 관심 지점, 이들의 위치 및 카메라 모듈의 시야각 변화에 상응하는 이미지 평면(340, 450)의 폭과 높이는 수식 10, 11, 12를 통해 결정된다.
위와 같이, 관심 지점 및 배치가 결정되면(S860), 관심 지점에 상응하는 추가 정보를 추출한다(S870).
이때 추출되는 추가 정보는, 예를 들어, 사용자의 위치에서 관심 지점까지의 거리 정보, 사용자 위치에서 관심 지점까지의 교통 정보, 관심 지점이 위치한 지역의 기상 정보 등이 포함될 수 있다. 즉, 추가 정보 추출 단계(S870)에서의 추가 정보는 기상청, 도로교통관리공단과 같은 공공기관에서 제공하는 것이 바람직 하지만, 이에 국한하는 것은 아니다.
관심 지점에 상응하는 추가 정보가 추출되면(S870), 디스플레이 모듈(165)을 통해 관심 지점과 추가 정보가 표시된다(S880).
디스플레이 모듈(165)에서의 화면 표시는 관심 지점의 수에 따라 관심 지점과 추가 정보를 별도의 화면으로 구성하여 표시할 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
상기한 바와 같은 증강현실을 이용한 관심 지점 표시 장치 및 방법에 따르면 본 발명의 효과는 조도와 같은 외부 환경 변화에 무관하게 증강현실을 기반으로 관심 지점의 위치를 제공할 수 있다는 장점이 있으며, 관심 지점의 위치뿐만 아니라 해당 지점에 상응하는 추가 정보를 제공한다는 장점도 있다.
또한, 관심 지점 표시 장치의 위치 및 자세를 측정하는 소정 센서들과 카메라 모듈의 자세가 불일치 하더라도 카메라 모듈을 통해 제공되는 관심 지점 및 관심 지점에 상응하는 추가 정보를 제공할 수 있다는 장점도 있다.
또한, 사용자와 관심 지점 표시 장치가 원격지에 위치하더라도 해당 장치에서 제공되는 정보를 사용자의 타 장치로 제공하여 시간과 장소에 구애를 받지 않다 는 장점이 있다.

Claims (14)

  1. 동체;
    상기 동체의 위치를 측정하는 측위 모듈;
    상기 동체의 위치에서 상기 동체의 자세를 측정하는 자세 측정 모듈;
    검색 영역 중 임의의 지역을 촬영하는 카메라 모듈;
    상기 동체의 위치를 바탕으로 상기 검색 영역을 선정하고, 지도 정보를 바탕으로 상기 검색 영역 내에 존재하는 지점을 선정하고, 상기 동체의 자세와 상기 카메라 모듈의 자세 관계를 이용하여, 상기 선정된 지점의 카메라 좌표계에서의 위치를 계산하고, 상기 선정된 지점 중 상기 카메라 모듈의 시야각 내에 존재하는 적어도 하나의 관심 지점을 선정하는 관심 지점 선정 모듈;
    상기 관심 지점 및 상기 관심 지점에 상응하는 추가 정보를 합성하는 합성 모듈; 및
    상기 합성된 관심 지점과 상기 추가 정보를 표시하는 디스플레이 모듈을 포함하는 증강현실을 이용한 관심 지점 표시 장치.
  2. 제 1항에 있어서,
    상기 관심 지점은,
    상기 시야각의 변화에 상응하여 폭과 높이가 변하는 이미지 평면상에서 표시되는 증강현실을 이용한 관심 지점 표시 장치.
  3. 제 1항에 있어서,
    상기 자세 측정 모듈은,
    가속도 센서, 지자기 센서 및 자이로 센서 중 적어도 하나를 이용하여 상기 동체의 자세를 측정하는 증강현실을 이용한 관심 지점 표시 장치.
  4. 제 1항에 있어서,
    상기 관심 지점 선정 모듈은,
    상기 관심 지점의 위치를 통해 상기 관심 지점의 추가 정보를 추출하고,
    상기 카메라 모듈의 시야각 변화에 상응하여 상기 관심 지점과 상기 추가 정보를 배치하는 증강현실을 이용한 관심 지점 표시 장치.
  5. 제 1항에 있어서,
    상기 지도 정보를 저장하는 지도 정보 저장 모듈,
    상기 동체의 자세와 상기 카메라 모듈의 자세 관계를 나타내는 파라미터를 저장하는 파라미터 저장 모듈, 및
    상기 추가 정보를 저장하는 추가 정보 저장 모듈을 포함하는 저장 모듈을 더 포함하는 증강현실을 이용한 관심 지점 표시 장치.
  6. 제 5항에 있어서,
    상기 지도 정보, 상기 파라미터 및 상기 추가 정보는,
    유선 또는 무선의 통신을 수행하는 통신 모듈을 통해 갱신되는 증강현실을 이용한 관심 지점 표시 장치.
  7. 제 1항에 있어서,
    상기 디스플레이 모듈은,
    상기 관심 지점의 수에 상응하여 상기 추가 정보를 별도의 화면에 표시하는 증강현실을 이용한 관심 지점 표시 장치.
  8. 측위 모듈이 동체의 위치를 측정하는 단계;
    자세 측정 모듈이 상기 동체의 위치에서 상기 동체의 자세를 측정하는 단계;
    카메라 모듈이 검색 영역 중 임의의 지역을 촬영하는 단계;
    관심 지점 선정 모듈이 상기 동체의 위치를 바탕으로 검색 영역을 선정하고, 지도 정보를 바탕으로 상기 검색 영역 내에 존재하는 지점을 선정하고, 상기 동체의 자세와 상기 카메라 모듈의 자세 관계를 이용하여, 상기 선정된 지점의 카메라 좌표계에서의 위치를 계산하고, 상기 선정된 지점 중 상기 카메라 모듈의 시야각 내에 존재하는 적어도 하나의 관심 지점을 선정하는 단계;
    합성 모듈이 상기 관심 지점 및 상기 관심 지점에 상응하는 추가 정보를 합성하는 단계; 및
    디스플레이 모듈이 상기 합성된 관심 지점과 상기 추가 정보를 표시하는 단계를 포함하는 증강현실을 이용한 관심 지점 표시 방법.
  9. 제 8항에 있어서,
    상기 관심 지점은,
    상기 시야각의 변화에 상응하여 폭과 높이가 변하는 이미지 평면상에서 표시되는 증강현실을 이용한 관심 지점 표시 방법.
  10. 제 8항에 있어서,
    상기 자세 측정 단계는,
    가속도 센서, 지자기 센서 및 자이로 센서 중 적어도 하나를 이용하여 상기 동체의 자세를 측정하는 증강현실을 이용한 관심 지점 표시 방법.
  11. 제 8항에 있어서,
    상기 관심 지점 선정 모듈이 상기 관심 지점의 위치를 통해 상기 관심 지점의 추가 정보를 추출하고,
    상기 카메라 모듈의 시야각 변화에 상응하여 상기 관심 지점과 상기 추가 정보를 배치하는 관심 지점 선정 단계를 더 포함하는 증강현실을 이용한 관심 지점 표시 방법.
  12. 제 8항에 있어서,
    저장 모듈이 상기 지도 정보,
    상기 동체의 자세와 상기 카메라 모듈의 자세 관계를 나타내는 파라미터, 및
    상기 추가 정보를 저장하는 단계를 더 포함하는 증강현실을 이용한 관심 지점 표시 방법.
  13. 제 12항에 있어서,
    상기 지도 정보, 상기 파라미터 및 상기 추가 정보는,
    유선 또는 무선의 통신을 통해 갱신되는 증강현실을 이용한 관심 지점 표시 방법.
  14. 제 8항에 있어서,
    상기 표시 단계는,
    상기 관심 지점의 수에 상응하여 상기 추가 정보를 별도의 화면에 표시하는 증강현실을 이용한 관심 지점 표시 방법.
KR1020070007987A 2007-01-25 2007-01-25 증강현실을 이용한 관심 지점 표시 장치 및 방법 KR101285360B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070007987A KR101285360B1 (ko) 2007-01-25 2007-01-25 증강현실을 이용한 관심 지점 표시 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070007987A KR101285360B1 (ko) 2007-01-25 2007-01-25 증강현실을 이용한 관심 지점 표시 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090000186A KR20090000186A (ko) 2009-01-07
KR101285360B1 true KR101285360B1 (ko) 2013-07-11

Family

ID=40483408

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070007987A KR101285360B1 (ko) 2007-01-25 2007-01-25 증강현실을 이용한 관심 지점 표시 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101285360B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646422B2 (en) 2013-09-24 2017-05-09 Apple Inc. Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US11562540B2 (en) 2009-08-18 2023-01-24 Apple Inc. Method for representing virtual information in a real environment

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101561913B1 (ko) 2009-04-17 2015-10-20 엘지전자 주식회사 이동 단말기의 영상 표시 방법 및 그 장치
KR101638902B1 (ko) * 2009-08-27 2016-07-12 엘지전자 주식회사 이동단말기 및 그 제어방법
US8670939B2 (en) 2009-12-18 2014-03-11 Electronics And Telecommunications Research Institute Apparatus and method of providing facility information
KR101117239B1 (ko) * 2010-01-12 2012-03-20 키위플 주식회사 객체 인식시스템 및 이를 이용하는 객체 인식 방법
DE102010010951A1 (de) * 2010-03-10 2011-09-15 Astrium Gmbh Informationswiedergabegerät
KR101222155B1 (ko) * 2010-03-15 2013-01-15 한국과학기술원 어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법
KR101136542B1 (ko) * 2010-04-30 2012-04-17 (주)에이엔티홀딩스 증강 현실을 이용하여 예약 서비스를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
KR101606727B1 (ko) * 2010-06-25 2016-03-28 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
KR101721874B1 (ko) * 2010-06-29 2017-03-31 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 방법
KR101658087B1 (ko) * 2010-07-02 2016-09-21 엘지전자 주식회사 이동단말기 및 그의 증강현실을 이용한 정보 표시 방법
KR101691565B1 (ko) * 2010-07-19 2016-12-30 주식회사 비즈모델라인 증강현실을 이용한 가상객체 표시 방법
KR101659089B1 (ko) * 2010-08-11 2016-09-22 주식회사 엘지유플러스 위치 정보를 이용한 증강 현실 장치
KR101303948B1 (ko) * 2010-08-13 2013-09-05 주식회사 팬택 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법
KR101299910B1 (ko) * 2010-08-18 2013-08-23 주식회사 팬택 증강 현실 서비스의 공유 방법 및 그를 위한 사용자 단말기와 원격자 단말기
KR101357260B1 (ko) * 2010-10-22 2014-02-03 주식회사 팬택 증강 현실 사용자 인터페이스 제공 장치 및 방법
KR101719264B1 (ko) * 2010-12-23 2017-03-23 한국전자통신연구원 방송 기반 증강 현실 콘텐츠 제공 시스템 및 그 제공 방법
KR20220032059A (ko) 2011-09-19 2022-03-15 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US20140316905A1 (en) * 2011-11-17 2014-10-23 As One System Co., Ltd System and method for three-dimensional advertising
KR101413011B1 (ko) * 2013-01-17 2014-07-02 국방과학연구소 위치 정보 기반 증강현실 시스템 및 제공 방법
KR101478908B1 (ko) * 2013-05-14 2015-01-02 고려대학교 산학협력단 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템
KR101510340B1 (ko) 2013-10-14 2015-04-07 현대자동차 주식회사 신체 착용 컴퓨터
KR101702016B1 (ko) 2015-02-03 2017-02-13 김이재 위험정보 수집 및 제공 시스템
KR102072796B1 (ko) 2018-05-16 2020-02-03 주식회사 브이터치 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102612216B1 (ko) * 2021-08-19 2023-12-11 이상준 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003199140A (ja) 2001-12-27 2003-07-11 Hitachi Ltd 携帯通信端末及び位置依存情報提供システム
KR20050078136A (ko) * 2004-01-30 2005-08-04 삼성전자주식회사 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
KR20060064463A (ko) * 2004-12-08 2006-06-13 한국전자통신연구원 휴대폰을 이용하는 위치 정보 서비스 시스템 및 방법
KR20060081068A (ko) * 2005-01-07 2006-07-12 주식회사 케이티프리텔 카메라 기능을 이용한 위치 정보 획득 시스템, 방법 및이동 통신 단말기

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003199140A (ja) 2001-12-27 2003-07-11 Hitachi Ltd 携帯通信端末及び位置依存情報提供システム
KR20050078136A (ko) * 2004-01-30 2005-08-04 삼성전자주식회사 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
KR20060064463A (ko) * 2004-12-08 2006-06-13 한국전자통신연구원 휴대폰을 이용하는 위치 정보 서비스 시스템 및 방법
KR20060081068A (ko) * 2005-01-07 2006-07-12 주식회사 케이티프리텔 카메라 기능을 이용한 위치 정보 획득 시스템, 방법 및이동 통신 단말기

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11562540B2 (en) 2009-08-18 2023-01-24 Apple Inc. Method for representing virtual information in a real environment
US9646422B2 (en) 2013-09-24 2017-05-09 Apple Inc. Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
KR101817452B1 (ko) * 2013-09-24 2018-01-11 메타이오 게엠베하 모바일 디바이스 상에 실제 환경의 뷰에서 관심 지점을 나타내기 위한 방법 및 그것을 위한 모바일 디바이스
US10217288B2 (en) 2013-09-24 2019-02-26 Apple Inc. Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor

Also Published As

Publication number Publication date
KR20090000186A (ko) 2009-01-07

Similar Documents

Publication Publication Date Title
KR101285360B1 (ko) 증강현실을 이용한 관심 지점 표시 장치 및 방법
US9080881B2 (en) Methods and apparatus for providing navigational information associated with locations of objects
EP3246660B1 (en) System and method for referencing a displaying device relative to a surveying instrument
US10204454B2 (en) Method and system for image georegistration
TWI269024B (en) Navigation system
JP4977339B2 (ja) 地理データ収集装置
KR101011813B1 (ko) 인접된 항공사진들 간의 중첩지역 표시장치
KR100822814B1 (ko) Ｇｐｓ/ｉｎｓ 장비를 이용한 측량 정보 및 ｇｉｓ 지리정보, 실시간 영상정보를 결합한 공간정보 서비스방법
AU2006203225A1 (en) Real-time geographic information system and method
JP2001503134A (ja) 携帯可能な手持ちデジタル地理データ・マネージャ
JP4969053B2 (ja) 携帯端末装置及び表示方法
KR101413011B1 (ko) 위치 정보 기반 증강현실 시스템 및 제공 방법
KR100968837B1 (ko) 촬영된 객체에 대한 정보를 제공하는 휴대용 카메라 시스템
KR20170094030A (ko) 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 그 방법
JP4077385B2 (ja) 画像処理を用いたグローバル座標取得装置
KR100679864B1 (ko) 지역정보의 표시가 가능한 이동통신 단말기 및 그 지역정보표시방법
US20120026324A1 (en) Image capturing terminal, data processing terminal, image capturing method, and data processing method
KR20150077607A (ko) 증강현실을 이용한 공룡 유적지 체험 서비스 제공 시스템 및 그 방법
JP5649842B2 (ja) 情報提供装置、情報提供方法、及びプログラム
KR20150107970A (ko) 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 방법 및 시스템
US11546509B2 (en) Portable device
JP6999052B2 (ja) 携帯機器および映像表示方法
JP7303711B2 (ja) 画像表示システム
JP5670092B2 (ja) 地形表示システム、携帯端末、地形表示方法およびプログラム
JP2011022662A (ja) 携帯電話端末及び情報処理システム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160617

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170619

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180620

Year of fee payment: 6