KR20120095247A - 모바일 디바이스 및 그 정보 표시 방법 - Google Patents

모바일 디바이스 및 그 정보 표시 방법 Download PDF

Info

Publication number
KR20120095247A
KR20120095247A KR1020110014797A KR20110014797A KR20120095247A KR 20120095247 A KR20120095247 A KR 20120095247A KR 1020110014797 A KR1020110014797 A KR 1020110014797A KR 20110014797 A KR20110014797 A KR 20110014797A KR 20120095247 A KR20120095247 A KR 20120095247A
Authority
KR
South Korea
Prior art keywords
information
mapping information
gui
mapping
street view
Prior art date
Application number
KR1020110014797A
Other languages
English (en)
Inventor
강남욱
최승억
주학수
류종현
김신애
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110014797A priority Critical patent/KR20120095247A/ko
Priority to US13/242,935 priority patent/US20120216149A1/en
Priority to EP12746550.8A priority patent/EP2676186A4/en
Priority to PCT/KR2012/001228 priority patent/WO2012112009A2/en
Publication of KR20120095247A publication Critical patent/KR20120095247A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels

Abstract

모바일 디바이스의 정보 표시 방법이 개시된다. 본 방법은, 모바일 디바이스에 구비된 카메라를 통해 촬영되는 스트리트 뷰를 디스플레이하는 단계, 모바일 디바이스에 저장된 매핑 정보들 중에서 스트리트 뷰에 대응되는 매핑 정보를 검출하는 검출 단계, 검출된 매핑 정보들 간의 상대적인 위치 관계에 따라, 검출된 매핑 정보들의 3차원 GUI를 스트리트 뷰에 매핑시켜 디스플레이하는 매핑 단계 및 사용자 조작에 따라, 검출된 매핑 정보들 간의 상대적인 위치 관계를 유지하면서 3차원 GUI의 표시 상태를 조정하는 조정 단계를 포함한다. 이에 따라, 스트리트 뷰에 대해 다양한 매핑 정보를 매핑시켜 확인할 수 있다.

Description

모바일 디바이스 및 그 정보 표시 방법{MOBILE APPARATUS AND METHOD FOR DISPLAYING INFORMATION}
본 발명은 모바일 디바이스 및 그 정보 표시 방법에 대한 것으로 보다 상세하게는 모바일 디바이스에 저장된 매핑 정보를 스트리트 뷰에 매핑시켜 디스플레이하는 모바일 디바이스 및 그 정보 표시 방법에 관한 것이다.
디지털 기기의 발달에 힘입어 모든 일반 사용자들이 모바일 환경에서 카메라를 이용하여 영상을 획득할 수 있게 되었고, GPS 모듈 또한 장착되어 사용자들에게 편리하게 현재 자신의 위치를 찾을 수 있도록 도움을 주고 있다.
또한, 증강(AR) 현실 분야에선 카메라로부터 입력되는 영상에 가상의 그래픽 영상 등의 새로운 부가 정보를 표시해 주는 방법을 통해 사용자에게 부가적인 정보를 제공해 줄 수 있도록 연구를 활발히 진행 중에 있다.
여기서, 증강 현실은 사용자가 눈으로 보는 현실 세계와 부가 정보를 갖는 가상 세계를 합쳐 하나의 영상으로 보여주는 가상 현실의 하나이다. 현실 세계를 가상 세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상 환경을 사용하지만 주역은 현실 환경이다. 컴퓨터 그래픽은 현실 환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실 환경과 가상 화면과의 구분이 모호해지도록 하는 것이다.
한편, 이와 증강 현실을 이용하는 기존의 방식은 현재 위치 정보를 파악하여 주변의 지리 정보를 서버로부터 수신하여 각 정보를 3차원 구조상에 렌더링하는 방식이다.
하지만, 사용자가 해외 여행 중이거나 서버와의 통신이 불가능한 경우에는 주변의 지리 정보를 증강 현실로 나타낼 수 없는 문제점이 있다.
또한, 이러한 지리 정보를 표시할 수 있다고 하더라도, 모바일 디바이스의 정확한 위치 및 방향이 확인되지 않으면, 지리 정보가 실제 화면, 즉, 스트리트 뷰와 정확하게 매핑되기 어렵다는 문제점이 있었다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 모바일 디바이스 내부에 저장된 매핑 정보를 스트리트 뷰와 매핑시켜 디스플레이할 수 있는 모바일 디바이스 및 그 정보 표시 방법을 제공하는 것을 기술적 과제로 한다.
본 발명의 일 실시 예에 따르면, 모바일 디바이스의 정보 표시 방법은, 상기 모바일 디바이스에 구비된 카메라를 통해 촬영되는 스트리트 뷰를 3차원으로 디스플레이하는 단계, 상기 모바일 디바이스에 저장된 매핑 정보들 중에서 상기 스트리트 뷰에 대응되는 매핑 정보를 검출하는 검출 단계, 상기 검출된 매핑 정보들 간의 상대적인 위치 관계에 따라, 상기 검출된 매핑 정보들의 GUI를 상기 스트리트 뷰에 매핑시켜 디스플레이하는 매핑 단계 및 사용자 조작에 따라, 상기 검출된 매핑 정보들 간의 상대적인 위치 관계를 유지하면서 상기 GUI의 표시 상태를 조정하는 조정 단계를 포함한다.
여기서, 상기 조정 단계는, 상기 모바일 디바이스의 화면을 터치 및 드래그하는 사용자 조작이 발생하면, 상기 터치 및 드래그 방향에 따라 상기 GUI를 회전시켜, 상기 검출된 매핑 정보들의 표시 위치를 조정할 수 있다.
또는, 상기 조정 단계는, 상기 모바일 디바이스의 위치 또는 방향을 이동시키는 사용자 조작이 발생하면, 변경된 위치 또는 방향에 따라 상기 GUI의 표시 상태를 자동 조정할 수도 있다.
한편, 상기 매핑 정보는, 상기 스트리트 뷰에 해당하는 영역 내의 지물 정보, 상기 지물 정보와 관련하여 검색된 검색 정보, 및 상기 스트리트 뷰에 해당하는 영역에서 수행된 작업과 관련하여 얻어진 연관 정보 중 적어도 하나를 포함할 수 있다.
여기서, 상기 연관 정보는, 상기 영역 내에서의 신용 카드 사용 정보, 상기 영역 내에서 촬영된 촬영 데이터, 상기 영역 내에서 송신 또는 수신된 메시지 정보, SNS 정보, 메일 정보, 상기 영역 내에서 작성 또는 열람된 텍스트 또는 이미지 파일 정보 중 적어도 하나를 포함할 수 있다.
그리고, 상기 검출 단계는, 상기 스트리트 뷰 내의 영역을 나타내는 위치 범위 내에 해당하는 위치 좌표를 가지는 매핑 정보들을 검출할 수 있다.
그리고, 상기 매핑 단계는, 상기 검출된 매핑 정보들의 위치 좌표를 비교하여 상기 상대적인 위치 관계를 설정하고, 상기 검출된 매핑 정보들 중 하나의 매핑 정보의 위치를 기준으로 상기 상대적인 위치 관계에 따라 결정된 표시 방향 및 거리에 나머지 매핑 정보들을 배치하여 상기 GUI를 구성하며, 상기 GUI를 상기 스트리트 뷰 상에 매핑시켜 디스플레이할 수 있다.
한편, 상기 조정 단계는, 상기 사용자 조작이 이루어지면, 상기 각 매핑 정보들 간의 표시 방향 및 거리 관계를 유지하면서, 상기 GUI를 회전, 축소 또는 확대시킬 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 모바일 디바이스는, 촬영부, 상기 촬영부에서 촬영되는 스트리트 뷰를 3차원으로 디스플레이하는 디스플레이부, 매핑 정보가 저장되는 저장부, 상기 저장부에 저장된 매핑 정보들 중에서 상기 스트리트 뷰에 대응되는 매핑 정보를 검출하고, 상기 검출된 매핑 정보들 간의 상대적인 위치 관계에 따라, 상기 검출된 매핑 정보들의 GUI를 상기 스트리트 뷰에 매핑시키는 GUI 처리부, 사용자 조작에 따라, 상기 검출된 매핑 정보들 간의 상대적인 위치 관계를 유지하면서 상기 GUI의 표시 상태를 조정하도록 상기 GUI 처리부를 제어하는 제어부를 포함한다.
여기서, 상기 제어부는, 상기 모바일 디바이스의 화면을 터치 및 드래그하는 사용자 조작이 발생하면, 상기 터치 및 드래그 방향에 따라 상기 GUI를 회전시켜, 상기 검출된 매핑 정보들의 표시 위치를 조정하도록 상기 GUI 처리부를 제어할 수 있다.
또는, 상기 제어부는, 상기 모바일 디바이스의 위치 또는 방향을 이동시키는 사용자 조작이 발생하면, 변경된 위치 또는 방향에 따라 상기 GUI의 표시 상태를 자동 조정하도록 상기 GUI 처리부를 제어할 수도 있다.
한편, 상기 매핑 정보는, 상기 스트리트 뷰에 해당하는 영역 내의 지물 정보, 상기 지물 정보와 관련하여 검색된 검색 정보, 및 상기 스트리트 뷰에 해당하는 영역에서 수행된 작업과 관련하여 얻어진 연관 정보 중 적어도 하나를 포함할 수 있다.
그리고, 상기 연관 정보는, 상기 영역 내에서의 신용 카드 사용 정보, 상기 영역 내에서 촬영된 촬영 데이터, 상기 영역 내에서 송신 또는 수신된 메시지 정보, SNS 정보, 메일 정보, 상기 영역 내에서 작성 또는 열람된 텍스트 또는 이미지 파일 정보 중 적어도 하나를 포함할 수 있다.
한편, 상기 GUI 처리부는, 상기 스트리트 뷰 내의 영역을 나타내는 위치 범위 내에 해당하는 위치 좌표를 가지는 매핑 정보들을 검출하며, 상기 검출된 매핑 정보들의 위치 좌표를 비교하여 상기 상대적인 위치 관계를 설정하고, 상기 검출된 매핑 정보들 중 하나의 매핑 정보의 위치를 기준으로 상기 상대적인 위치 관계에 따라 결정된 표시 방향 및 거리에 나머지 매핑 정보들을 배치하여 상기 GUI를 구성할 수 있다.
그리고, 상기 제어부는, 상기 사용자 조작이 이루어지면, 상기 각 매핑 정보들 간의 표시 방향 및 거리 관계를 유지하면서, 상기 GUI를 회전, 축소 또는 확대시킬 수 있다.
본 발명의 다양한 실시 예들에 따르면, 모바일 디바이스에 저장된 각종 매핑 정보를 이용하여 증강 현실을 보다 효율적으로 사용할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 모바일 디바이스의 구성을 나타내는 블럭도이다.
도 2는 본 발명의 일 실시 예에 따른 모바일 디바이스에서 매핑 정보가 표시되는 일 예를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 모바일 디바이스에서 스트리트 뷰와 연관된 매핑 정보가 사용자에 의해 수동으로 저장되는 일 예를 설명하기 위한 도면이다.
도 4 내지 도 6은 본 발명의 일 실시 예에 따른 모바일 디바이스에서 스트리트 뷰와 연관된 매핑 정보가 자동으로 저장되는 일 예 및 스트리트 뷰 상에 기준 건물과 매칭되는 건물을 디스플레이하기 위하여 x,y,z 좌표를 이용하는 일 예를 설명하기 위한 도면들이다.
도 7 내지 도 9는 본 발명의 일 실시 예에 따른 모바일 디바이스에서 매핑 정보의 표시 상태를 조정하는 방식의 일 예를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 모바일 디바이스의 정보 표시 방법을 설명하기 위한 플로우 차트이다.
이하 첨부된 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명하기로 한다.
한편, 본 명세서에서의 모바일 디바이스는 휴대가 가능하며, 카메라를 통하여 영상을 확인 가능하고, 디스플레이를 가지는 디바이스를 통칭하여 사용하기로 한다. 구체적으로는, 휴대폰, PDA, 태블릿 PC, 노트북 PC, 전자 액자, 네비게이션, MP3 등과 같은 다양한 전자 기기가 본 발명의 여러 실시 예에 따른 모바일 디바이스로 구현될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 모바일 디바이스의 구성을 나타내는 블럭도이다. 도 1에서와 같이, 모바일 디바이스(100)는 촬영부(110), 디스플레이부(120), 제어부(130), GUI 처리부(140), 저장부(150)를 포함한다.
촬영부(110)는 촬영 대상, 즉, 피사체로부터 반사되는 반사광을 수광하여 촬영을 수행하고, 촬영된 이미지 데이터를 출력한다. 촬영부(110)는 카메라로 명명할 수도 있으며, 촬상 소자, 렌즈, 조리개 등의 다양한 구성을 포함하는 형태로 구현될 수 있다. 촬상 소자로는 CCD나 CMOS 이미지 센서가 사용될 수 있다. 즉, 촬영부(110)는 어레이 이미지 센서 (이차원 이미지 센서)를 이용하여 촬영을 수행한다. 촬상 소자가 CCD가 사용되었는지 CMOS가 사용되었는지에 따라서, 이미지 센서는 CCD 이미지 센서, 시모스 이미지 센서로 불릴 수 있다.
디스플레이부(120)는 촬영부(110)에서 촬영한 이미지 데이터를 출력한다. 본 명세서에서는 촬영부(110)를 통해 촬영되어 디스플레이되는 이미지를 통칭하여 스트리트 뷰라 한다. 즉, 스트리트 뷰는 실제 스트리트에 대해 촬영된 이미지만을 의미하는 것이 아니며, 모바일 디바이스(100)에서 촬영된 주변 이미지 전체를 의미한다. 이에 따라, 현재 모바일 디바이스(100)가 위치한 지역에서 모바일 디바이스(100)의 촬영 방향 및 촬영 범위 내에 존재하는 건물이나 도로 등과 같은 각종 지물들이나 각종 지형들이 화면 상에 디스플레이된다.
GUI 처리부(140)는 디스플레이부(120)에서 디스플레이되고 있는 스트리트 뷰 상에 매핑될 GUI 이미지를 생성한다. 구체적으로는, 사용자가 증강 현실 메뉴를 선택하거나, 증강 현실 기능이 디폴트로 설정되어 있는 경우에는, GUI 처리부(140)는 디스플레이부(120)에서 디스플레이되는 주변 이미지 상에 다양한 종류의 매핑 정보들을 매핑시켜 함께 디스플레이한다.
GUI 처리부(140)는 현재의 스트리트 뷰에 매핑될 매핑 정보들을 저장부(150)로부터 검출한다.
저장부(150)는 다양한 유형의 매핑 정보들을 저장하여 둘 수 있다. 일 예로, 매핑 정보는, 스트리트 뷰에 해당하는 영역 내의 건물이나, 도시, 산, 강, 들판 등과 같은 각종 지물 또는 지리에 대한 정보인 지물 정보, 지물 정보와 관련하여 검색된 바 있거나 새로이 검색된 검색 결과를 나타내는 검색 정보, 및 스트리트 뷰에 해당하는 영역에서 수행된 작업과 관련하여 얻어진 연관 정보 중 적어도 하나를 포함할 수 있다.
구체적으로, 검색 정보란 해당 영역에 대해 등록된 맛집이나, 유명 상점, 주요 문화재, 이슈화된 명소 등에 대한 정보가 될 수 있다. 또한, 연관 정보란 스트리트 뷰에 해당하는 영역 내에서 사용한 신용 카드 사용 정보, 그 영역 내에서 촬영된 촬영 데이터, 그 영역 내에서 송신 또는 수신된 메시지 정보, SNS 정보, 메일 정보, 그 영역 내에서 작성 또는 열람된 텍스트 또는 이미지 파일 정보 중 적어도 하나를 포함할 수 있다.
즉, 저장부(150)는 주변 지리에 대한 정보 그 자체 또는 그 지리에 연관된 각종 정보들을 매핑 정보로 저장해 둘 수 있다. 각 매핑 정보들은 그 매핑 정보가 사용되거나 얻어진 위치에 대한 위치 정보를 포함할 수 있다. 여기서 위치 정보란, 구체적으로는 경도 및 위도와 같은 절대좌표값이 될 수도 있고, 모바일 디바이스(100)가 사용되는 환경에서 정해진 행정 구역 명칭이나, 지번 등과 같은 텍스트로 표현되는 정보일 수도 있다.
또는, 매핑 정보들 각각과 그 매핑 정보가 매핑될 실제 위치에 대한 매핑 관계가 저장되어 있을 수도 있다. 즉, 사용자가 특정한 장소에 대한 검색을 수행하였거나, 특정한 장소에서 신용 카드 사용, 사진 촬영, 메일 송수신, 메시지 송수신, SNS 접속, 파일 작성 또는 열람 등과 같은 다양한 유형의 작업을 수행한 경우, 그 작업 결과물과 해당 장소를 매핑시키겠다는 코맨드를 입력하여 매핑 정보와 장소를 수동으로 매핑시킬 수 있다. 또는, 작업이 완료되면, 그 작업 결과물과 해당 장소가 자동으로 매핑되어, 저장부(150)에 저장될 수도 있다.
GUI 처리부(140)는 현재 모바일 디바이스(100)의 위치와 그 촬영 방향 등을 고려하여, 저장부(150)에 저장된 매핑 정보들 중 현재 스트리트 뷰에 대응되는 매핑 정보들을 검출할 수 있다. 즉, 위치 정보가 절대 좌표값으로 표현되는 경우라면, 현재의 스트리트뷰에 포함된 각 영역들의 최대 경도 및 최대 위도와 최소 경도 및 최소 위도 내에 포함되는 경도 및 위도를 가지는 매핑 정보들을 검출할 수 있다.
GUI 처리부(140)는 검출된 매핑 정보들의 위도 및 경도를 비교하여 상대적인 위치 관계를 획득할 수 있다. 상대적인 위치 관계란 매핑 정보들 간의 거리 및 방향을 나타내는 관계를 의미한다. 여기서 매핑 정보들 간의 거리 및 방향이란 실제로는 매핑 정보가 표시되어야 하는 지점 간의 거리 및 방향을 의미하지만, 본 명세서에서는 설명의 편의상 매핑 정보들 간의 위치 관계로 설명한다. 또한, 각 매핑 정보들 간의 거리 및 방향은, 모바일 디바이스의 현재 위치, 매핑 정보의 위치 정보, 촬영 배율, 화면 크기, 피사체들 간의 실제 거리 등에 따라 계산될 수 있다.
일 예로, 매핑 정보들 중 "a"정보가 표시되어야 하는 제1 건물과, "b"정보가 표시되어야 하는 제2 건물이 실제로 40m 정도 떨어져 있고, 화면의 크기는 4cm 정도이며, 하나의 화면 상에 표시되는 영역의 넓이가 대략 80m 정도라면 화면 상에서 "a"정보와 "b" 정보 간의 거리는 2cm 정도로 표시된다. 여기서 줌 아웃이 이루어져서 1/2 배율로 확대된다면, "a" 정보와 "b" 정보 간의 거리는 1cm로 축소 표시되고, 반대로 줌 인이 이루어져서 2 배의 배율로 확대된다면 "a" 정보와 "b" 정보 간의 거리는 4cm 정도로 확대되어 표시된다.
또한, 제1 건물 및 제2 건물의 위치와, 현재 사용자의 위치에 따라 "a" 정보 및 "b" 정보의 표시 방향 및 높이가 표시된다. 즉, 제1 건물이 더 가깝게 위치하여 있다면 "a" 정보가 화면 상에서 더 앞쪽에 배치되고 "b" 정보는 뒷쪽에 배치된다.
GUI 처리부(140)는 이와 같이 매핑 정보의 위치 좌표들 간의 관계와, 모바일 디바이스의 현재 위치 등에 기초하여, 매핑 정보들의 상대적인 위치 관계를 설정할 수 있다. GUI 처리부(140)는 설정된 위치 관계가 그대로 유지되도록 GUI를 조정할 수 있다.
즉, 모바일 디바이스(100)의 대략적인 위치는 GPS 정보 등을 이용하여 산출될 수 있지만, 정확한 위치 및 방위는 산출이 어려울 수 있다. 따라서, 현재 화면 상에 표시되는 스트리트 뷰와 매핑 정보들의 매핑이 정확하게 이루어지지 않을 수 있다. 구체적인 예를 들면, 모바일 디바이스(100)가 (x, y) 지점에서 북쪽을 향하였을 경우, 상술한 "a" 정보가 제1 건물의 10층에서 촬영한 사진 정보이고, "b"정보가 제2 건물의 1층 매장에서 사용한 카드 정보임이 명확하게 표시되도록 화면 상에 "a" 및 "b" 정보가 매핑되어 표시될 수 있으나, 실제 모바일 디바이스(100)에서는 (x+a, y+b)와 같이 어느 정도의 오차 범위를 가지고 위치가 측정될 수 있다. 이러한 경우, "a" 정보가 제1 건물이 아닌 제3 건물에 위치하여 있고, "b" 정보는 허공 상에 위치하는 것으로 표시될 수 있다.
이 경우, 사용자는 "a" 정보 및 "b" 정보의 매핑 위치를 조정할 수 있다.
즉, 제어부(130)는 사용자 조작에 따라 GUI의 표시 상태를 조정하여, 매핑 정보의 표시 위치를 변경할 수 있다. 일 예로, 사용자는 화면을 터치한 후 화면을 드래그할 수 있다. 이 경우, 드래그하는 방향 및 드래그 거리에 따라 GUI가 그 모양 그대로 회전할 수 있다. 이에 따라, 매핑 정보들 중 하나의 매핑 정보가 정확한 위치에 매핑이 되면, 나머지 매핑 정보들 역시 정확한 위치에 매핑이 될 수 있게 된다.
다른 예로, 사용자는 모바일 디바이스(100)를 회전시키거나 위치를 이동시키는 조작을 할 수도 있다. 이 경우, 현재의 GUI의 상태는 그대로 유지되면서, 스트리트 뷰가 변경되어 매핑이 이루어질 수 있다. 또는, 스트리트 뷰의 변경과 상관 없이, 제어부(130)는 사용자의 움직임 방향에 따라 또는 그 반대 방향으로 GUI를 회전시키는 작업을 자동으로 수행하도록 GUI 처리부(140)를 제어할 수도 있다.
이상과 같이, 모바일 디바이스(100)는 그 디바이스에 자체적으로 저장되어 있는 각종 정보들을 스트리트 뷰와 매핑시켜 출력하여, 서버와의 연결이 없이도 용이하게 증강 현실 화면을 보여줄 수 있다.
특히, 증강 현실 화면을 구성하기 위하여 필요한 매핑 정보들은, 그 정보들 간의 상대적인 위치 관계를 가지게 된다. 이에 따라, 사용자 조작에 따라 그 위치 관계를 유지하면서 표시 위치가 변경될 수 있다. 결과적으로, 사용자는 자신이 알고 있는 랜드 마크에 하나의 매핑 정보를 위치시켜 기준으로 삼을 수 있다. 기준이된 매핑 정보에 의해 나머지 매핑 정보들도 자동적으로 정확한 위치에 매핑될 수 있다. 사용자는 화면 터치나 디바이스 움직임 등을 이용하여 기준을 변경할 수 있으며, 기준이 변경되면 변경된 기준에 따라 전체 매핑 정보들의 표시 위치가 조정되게 된다.
도 2는 본 발명의 일 실시예에 따른 모바일 디바이스에서 매핑 정보가 표시되는 일 예를 설명하기 위한 도면이다. 도 2에 도시된 바와 같이, 현재 위치에서의 스트리트 뷰 상에 현재 위치 주변의 매핑 정보가 모바일 디바이스 상에 함께 디스플레이 되는 것을 알 수 있다. 매핑 정보란 상술한 바와 같이 지리나 지물 등에 대한 지물 정보, 검색 정보, 연관 정보 등이 될 수 있다. 여기서, 현재 위치 주변의 스트리트 뷰 상에 포함된 매핑 정보는 본 발명의 일 실시 예에 따른 모바일 디바이스(100) 내의 저장부(150)에 미리 저장되어 있는 다양한 정보들 중에서 검출될 수 있다.
다시 말해, 현재 위치 주변의 스트리트 뷰에 매핑될 각종 매핑 정보들은 별도의 서버로부터 수신되는 것이 아니라, 모바일 디바이스(100) 자체에 저장된 정보가 활용될 수 있다.
상술한 바와 같이, 매핑 정보 자체에 위치 정보가 포함되어 있을 수 있다. 이 경우, GUI 처리부(140) 또는 제어부(130)는 각 매핑 정보의 위치 정보와 현재 스트리트 뷰 내의 각 지물의 위치 정보를 비교하여, 스트리트 뷰와 관련된 매핑 정보인지 여부를 확인할 수도 있다.
또는, 상술한 바와 같이, 매핑 정보와 그 매핑 정보가 매핑될 스트리트 뷰 상의 위치간의 매핑 관계가 수동 또는 자동으로 설정되어 저장부(150)에 저장되어 있을 수도 있다.
다시 말해, 사용자는 다양한 장소를 이동하면서, 그 장소와 연관된 정보를 실시간으로 모바일 디바이스에 태깅(tagging)할 수 있다. 따라서, 사용자가 돌아다니면서 실시간으로 생성하는 컨텐츠, 즉, 매핑 정보들을 기반으로 3차원 지도 정보가 완성될 수 있다. 이러한 작업은, 서버와의 통신이 불가능한 상황에서도 이루어질 수 있다. 따라서, 지도 정보 서비스를 받을 수 없더라도, 빈 도화지에 그림이나 약도를 그려가듯이 각 장소에 대한 정보를 생성하여, 스트리트 뷰에 매핑할 매핑 정보들을 채워나갈 수 있다.
도 3은 본 발명의 일 실시 예에 따른 모바일 디바이스에서 매핑 정보가 사용자에 의해 수동으로 저장되는 일 예를 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 사용자는 다양한 장소, 즉, 건물들을 이동하면서 각 건물에서 수행된 작업에 대한 정보들, 즉, 연관 정보들을 해당 장소에 수동 또는 자동으로 태깅시킬 수 있다.
다시 말해, 도 3의 301 화면과 같이 하나의 건물에서 메일을 송신 또는 수신한 정보를 태깅하게 되면, 해당 위치에서 메일 송수신을 의미하는 매핑 정보가 GUI 아이콘(31) 형태로 생성된다. 이 경우, 도 3의 301 화면과 같이, 아이콘(31)과 함께 건물 이미지도 GUI로 생성될 수 있다.
다음, 도 3의 303 화면과 같이 그 건물의 상위 층에서 트위터를 사용하였다면, 트위터를 의미하는 매핑 정보가 GUI 아이콘(32) 형태로 표시된다. 이러한 상태에서 사용자가 다른 건물로 이동하는 과정에 도로 상에서 사진을 촬영하였다면, 도 3의 305 화면과 같이 도로 상에 사진을 의미하는 매핑 정보가 GUI 아이콘(33) 형태로 표시된다. 그 밖에, 다음 건물에서 뉴스를 열람하였거나 트위터를 사용하였다면, 도 3의 307 화면과 같이 뉴스 아이콘(34), 트위터 아이콘(35) 등이 추가로 표시된다. 이와 같이, 모바일 디바이스(100)에서 수행된 작업에 의해 생성되는 각 매핑 정보들은 서로 상대적인 위치 관계를 가지면서 저장된다. 이 경우, 매핑 정보와 함께 건물 이미지 등도 그래픽으로 함께 생성되어 저장될 수 있다. 따라서, 이러한 건물 이미지 역시 매핑 정보에 포함되는 것으로 설명할 수 있다. 이상과 같은 매핑 정보들은 그 위치가 상대적으로 결정된다. 따라서, 사용자가 기준을 변경하게 되면 변경된 기준에 따라 나머지 매핑 정보들의 위치가 변경된다. 이 경우에도 상대적인 위치 관계는 그대로 유지될 수 있다.
한편, 지리와 연관된 정보가 사용자에 의해 수동으로 저장되는 예는 도 3에 한정되지 않는다. 즉, 더 다양한 정보들이 사용자에 의해 수동으로 저장될 수 있다.
상술한 바와 같이 연관 정보에는 카드 사용 정보도 포함될 수 있다. 즉, 사용자가 특정 건물에서 신용 카드를 사용하게 되면, 카드 회사로부터 사용 확인을 위한 메시지를 수신할 수 있다. 저장부(150)는 이러한 수신 메시지 자체 또는 수신 메시지로부터 검출된 카드 사용액, 사용 시간 등과 같은 정보를 자동으로 매핑 정보로 저장해 둘 수 있다. 또는, 이러한 정보들은 수동으로 저장될 수도 있다. 즉, 사용자가 카드 사용 이후에 카드 사용에 대한 메시지를 받으면, 그 메시지에 대하여 매핑 정보로 등록하기 위한 메뉴를 선택하여, 매핑 정보로 저장될 수 있다. 예를 들어, 카드를 사용한 위치 정보와 연관되어 사용된 카드 사용액, 사용 시간 등의 정보 등이 저장될 수 있다.
다른 실시 예에 있어서, 사용자에 의해 촬영된 사진 정보가 매핑 정보로 자동 저장될 수 있다. 다시 말해, 사용자가 스트리트 뷰 상에 포함된 특정 건물에서 사진을 촬영한 경우, 촬영된 사진에 대한 정보가 자동으로 저장부(150)에 저장되는 것이다. 이 경우, 사진 자체 뿐만 아니라, 그 사진을 촬영한 위치, 날짜, 시간, 제목 등과 같은 부가 정보가 함께 매핑 정보로 사용될 수 있다.
또 다른 실시 예에 있어서, 특정 장소에서 송신하거나 수신한 SMS(Short message service) 메시지 또는 MMS(Multimedia message service) 메시지가 매핑 정보로서 자동으로 저장부(150)에 저장될 수 있다. 이 경우, 메세지 자체 또는 메세지가 수신 또는 송신된 시간, 상대방의 정보 등이 함께 매핑 정보로 사용될 수 있다.
디스플레이부(120)는 스트리트 뷰를 디스플레이하며, 스트리트 뷰 상에 매핑 정보를 함께 디스플레이한다. 이러한 매핑 정보는 GUI 처리부(140)로부터 제공될 수 있다.
상술한 바와 같이 매핑 정보 내에 건물 이미지도 함께 포함되는 경우라면, 디스플레이부(120)는 스트리트 뷰 상의 각 건물들의 위치 좌표, 즉, x,y,z 좌표와 매핑 정보 내의 각 건물 이미지의 x,y,z 좌표를 매핑하여 디스플레이할 수 있다.
다시 말해, 모바일 디바이스의 카메라를 통하여 촬영된 스트리트 뷰 상의 실제 건물과 증강 현실로 보여 주는 건물과 싱크시켜 디스플레이하기 위하여, 기준 건물의 x,y,z 좌표를 이용하는 것이다.
또한, 이러한 매핑 정보와 스트리트 뷰의 매핑 관계는 사용자의 조작에 의해 조정될 수 있다. 즉, 사용자가 화면을 터치 및 드래그하거나, 모바일 디바이스를 움직이거나, 방향키 등을 조작하면, 그 조작 내용에 따라 매핑 정보들의 x,y,z 좌표가 변경된다. 이 경우, 그 매핑 정보들 간의 상대적인 위치 관계는 그대로 유지된다.
도 4 내지 도 6은 본 발명의 일 실시 예에 따른 모바일 디바이스에서 매핑 정보가 자동으로 저장되는 예 및 스트리트 뷰 상에 기준 건물과 매칭되는 건물을 디스플레이하기 위하여 x,y,z 좌표를 이용하는 예를 설명하기 위한 도면들이다.
도 4에 따르면, 특정 건물에서 사용한 신용 카드 정보가 매핑 정보로 저장될 수 있다. 이 경우, 그 건물에 대한 이미지(401)와 그 카드 사용 정보(402)가 GUI로 함께 생성될 수 있다. 이 때, 화면 상에는 GUI의 기준을 정하기 위한 x,y,z축도 함께 표시될 수 있다. 이에 따라 도 4와 같이 스트리트 뷰와 매핑 정보가 매핑되어 표시되면, 사용자는 건물에 대한 GUI가 실제 건물과 정확히 매핑되도록 x,y,z 축을 회전시켜 GUI를 조정할 수 있다.
도 5는 사진 정보를 매핑 정보로 사용하는 경우를 나타낸다. 도 5에 도시된 바와 같이 사진 촬영이 있었으면 그 촬영이 이루어진 장소에 대한 이미지(501)와 사진에 대한 매핑 정보(502)가 GUI 형태로 생성된다. 생성된 GUI는 실제 스트리트 뷰에 매핑된다. 사용자는 GUI의 표시 기준을 조정하여 이미지(501) 또는 매핑 정보(502)가 정확한 건물 이미지에 매핑되도록 할 수 있다.
도 6은 메시지 사용 정보를 매핑 정보로 사용하는 경우를 나타내는 도면이다. 도 6에 따르면, 메시지를 송신 또는 수신한 경우, 그 장소에 대한 이미지(601, 602)와, 그 메시지 사용에 대한 매핑 정보(603, 604)가 GUI 형태로 생성된다. 생성된 GUI는 스트리트 뷰에 매핑된다.
도 7 내지 도 9는 매핑 정보에 대한 GUI가 조정되는 과정을 설명하기 위한 도면이다. 먼저, 도 7은 실제 스트리트 뷰에 매핑 정보가 함께 표시된 상태를 나타낸다. 도 4 내지 6과 달리, 본 실시 예에서는 건물 이미지에 대한 GUI는 생략되고 매핑 정보만이 GUI로 표시될 수 있다.
도 7에서는 카드 사용 정보(11), 사진 정보(12), 메시지 정보(13)가 매핑 정보로 사용되는 경우를 나타낸다. 각 매핑 정보들은 그 매핑 정보가 생성된 위치에 표시되어야 하지만, 실제 스트리트 뷰와는 정확하게 일치하지 않을 수 있다. 즉, 도 7에 도시된 바와 같이, 각 매핑 정보(11, 12, 13)들은 화면(20) 상에서 실제 건물 이미지(21, 22, 23, 24)와 겹치지 않게 표시된다.
사용자는 GUI를 조작하여 매핑 정보(11, 12, 13)의 표시 위치를 조정할 수 있다. 조정 시에 각 매핑 정보(11, 12, 13)들의 위치는 상대적인 위치 관계를 그대로 유지하면서 변경된다.
구체적으로는, 도 8에 도시된 바와 같이 사용자는 화면(20) 상의 일 지점(a)을 터치한 후 드래그한다. 여기서, 최초로 터치가 이루어진 지점(a)부터 드래그가 종료되는 지점(b)까지의 드래그 경로 및 거리에 따라 GUI의 조정 정도가 결정된다. 즉, a 지점에서 b 지점까지 휘어지면서 드래깅되었다면, 각 매핑 정보(11, 12, 13)들이 배치된 X-Y-Z축 자체도 그 드래깅 상태에 따라 회전한다. 사용자는 매핑 정보(11, 12, 13)들의 이동 상태를 눈으로 확인하면서 드래깅을 하여 매핑 정보들 중 하나를 기준 건물 상에 매핑시킬 수 있다. 일 예로, 사진 정보(12)를 첫번째 건물 이미지(21) 상에 매핑시킬 수 있다. 이 경우, 나머지 매핑 정보(11, 13)들도 동일한 방향으로 이동하면서 대응되는 건물 이미지들 상에 매핑된다.
결과적으로, 도 9에 도시된 바와 같이 매핑 정보(11, 12, 13)는 각각 실제 건물 이미지(22, 21, 24) 상으로 이동되어 새로운 위치(11-1, 12-1, 13-1)에 표시된다.
한편, 각 매핑 정보들의 이동 거리는 거리에 따라 달라질 수 있다. 즉, 모바일 디바이스와 가까운 쪽에 있는 매핑 정보는 뒷쪽에 있는 매핑 정보보다 상대적으로 많은 거리를 움직이게 된다. 이에 따라, 상대적인 위치 관계를 그대로 유지하면서, 매핑이 이루어질 수 있다.
한편, 도 7 내지 9에서는 연관 정보들만을 매핑 정보로 도시하였으나, 상술한 바와 같이 지물 정보도 매핑 정보로 표시될 수 있음은 물론이다. 즉, 주변의 상점이나 식당, 명소, 건물 명, 도로 명, 맛집 정보 등과 같은 다양한 매핑 정보들도 GUI에 포함되어 스트리트 뷰 상에 매핑되며, 이 역시 사용자의 조작에 따라 표시 상태가 변경되어 정확한 매핑이 이루어질 수 있게 된다.
이상과 같이, 본 발명의 일 실시 예에 따른 모바일 디바이스는 자체적으로 저장되어 있는 각종 매핑 정보들을 이용하여 증강 현실을 구현할 수 있다. 이에 따라, 네트워크 의존도를 낮출 수 있어, 서버와의 연결이 불가능한 환경에서도 충분히 용이하게 증강 현실 화면을 표시할 수 있다. 특히, 사용자 조작에 따라 GUI가 변경될 수 있다. 따라서, 매핑 정보와 스트리트 뷰가 정확하게 매핑될 수 있다. 사용자는 화면 상에 표시되는 다양한 매핑 정보들 중 하나를 기준으로 삼아서 그 매핑 정보에 해당하는 랜드마크를 지정하여 그 랜드마크 상에 매핑 정보를 이동시킬 수 있다. 이에 따라, 전체 매핑 정보들의 위치도 정확하게 조정된다. 한편, 랜드마크를 알 수 없는 경우, 사용자는 매핑 정보들을 다양한 방향으로 회전시켜보면서, 정확하게 매핑되는 지점을 탐색할 수도 있다. 즉, GUI를 회전시키다가 전체 매핑 정보들이 모두 허공에 존재하지 않으면서 적절한 장소에 매핑되었다고 판단되면 조작을 중단할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 모바일 디바이스의 정보 표시 방법을 설명하기 위한 흐름도이다.
도 10에 따르면, 사용자가 모바일 디바이스의 카메라를 활성화시키면, 카메라를 통해 촬영되는 현재 위치에서의 스트리트 뷰가 화면 상에 디스플레이된다(S1010).
이러한 상태에서, 증강 현실 메뉴가 선택되거나, 증강 현실 기능이 디폴트로 설정되어 있는 경우, 또는 증강 현실을 표시하기 위한 어플리케이션이 실행된 경우에는, 기 저장되어 있는 정보들 중에서 현재의 스트리트 뷰에 대응되는 매핑 정보를 검출한다(S1020). 여기서 매핑 정보는 각 매핑 정보와 함께 저장된 위치정보와 현재의 스트리트 뷰 내에 포함되는 영역의 위치 정보를 비교하여 검출할 수 있다. 또는, 현재의 스트리트 뷰의 영역 내에 존재하는 각 건물들에 태깅된 정보를 매핑 정보로 바로 검출할 수도 있다.
이와 같이 매핑 정보가 검출되면, 검출된 매핑 정보들을 스트리트 뷰에 매핑시켜 디스플레이한다(S1030). 이 경우, 그 매핑 정보들 간의 상대적인 위치 관계에 따라 검출된 매핑 정보들을 디스플레이한다. 매핑 정보들은 GUI 형태로 표시될 수 있다. 구체적인 매핑 방식은 도 4 내지 도 9에 대한 설명 부분에서 구체적으로 기재하였으므로, 중복 설명은 생략한다.
이러한 상태에서 사용자의 조작이 이루어지면(S1040), 그 조작 내용에 따라 매핑 정보들 간의 상대적인 위치 관계는 그대로 유지하면서, 매핑 정보의 표시 상태를 조정한다(S1050).
상술한 바와 같이 사용자는 화면을 직접 터치 및 드래그하거나, 모바일 디바이스를 움직이거나, 방향키 등을 조작하여, 매핑 정보에 대한 GUI의 표시 상태를 조정할 수 있다.
상술한 본 발명의 다양한 실시 예들에 따른 정보 표시 방법은, 다양한 유형의 기록 매체에 저장 가능한 프로그램 코드로 구현될 수 있다. 이러한 프로그램 코드는, 기록 매체가 탑재되는 휴대폰이나 PDA, 태블릿 PC, 전자 책, 네비게이션, 전자 액자 등과 같은 다양한 종류의 모바일 디바이스에 구비된 CPU에 의해 실행되어, 상술한 정보 표시 방법을 수행할 수 있다.
구체적으로는, 상술한 정보 표시 방법을 수행하기 위한 코드는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 모바일 디바이스 110 : 촬영부
120 : 디스플레이부 130 : 제어부
140 : GUI 처리부 150 : 저장부

Claims (14)

  1. 모바일 디바이스의 정보 표시 방법에 있어서,
    상기 모바일 디바이스에 구비된 카메라를 통해 촬영되는 스트리트 뷰를 디스플레이하는 단계;
    상기 모바일 디바이스에 저장된 매핑 정보들 중에서 상기 스트리트 뷰에 대응되는 매핑 정보를 검출하는 검출 단계;
    상기 검출된 매핑 정보들 간의 상대적인 위치 관계에 따라, 상기 검출된 매핑 정보들의 3차원 GUI를 상기 스트리트 뷰에 매핑시켜 디스플레이하는 매핑 단계; 및
    사용자 조작에 따라, 상기 검출된 매핑 정보들 간의 상대적인 위치 관계를 유지하면서 상기 3차원 GUI의 표시 상태를 조정하는 조정 단계;를 포함하는 정보 표시 방법.
  2. 제 1 항에 있어서,
    상기 조정 단계는,
    상기 모바일 디바이스의 화면을 터치 및 드래그하는 사용자 조작이 발생하면, 상기 터치 및 드래그 방향에 따라 상기 3차원 GUI를 회전시켜, 상기 검출된 매핑 정보들의 표시 위치를 조정하는 것을 특징으로 하는 디바이스 기반 지리 정보 표시 방법.
  3. 제 1 항에 있어서,
    상기 조정 단계는,
    상기 모바일 디바이스의 위치 또는 방향을 이동시키는 사용자 조작이 발생하면, 변경된 위치 또는 방향에 따라 상기 3차원 GUI의 표시 상태를 자동 조정하는 것을 특징으로 하는 정보 표시 방법.
  4. 제1항에 있어서,
    상기 매핑 정보는,
    상기 스트리트 뷰에 해당하는 영역 내의 지물 정보, 상기 지물 정보와 관련하여 검색된 검색 정보, 및 상기 스트리트 뷰에 해당하는 영역에서 수행된 작업과 관련하여 얻어진 연관 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 정보 표시 방법.
  5. 제4항에 있어서,
    상기 연관 정보는,
    상기 영역 내에서의 신용 카드 사용 정보, 상기 영역 내에서 촬영된 촬영 데이터, 상기 영역 내에서 송신 또는 수신된 메시지 정보, SNS 정보, 메일 정보, 상기 영역 내에서 작성 또는 열람된 텍스트 또는 이미지 파일 정보 중 적어도 하나를 포함하는 것임을 특징으로 하는 정보 표시 방법.
  6. 제1항에 있어서,
    상기 검출 단계는,
    상기 스트리트 뷰 내의 영역을 나타내는 위치 범위 내에 해당하는 위치 좌표를 가지는 매핑 정보들을 검출하며,
    상기 매핑 단계는,
    상기 검출된 매핑 정보들의 위치 좌표를 비교하여 상기 상대적인 위치 관계를 설정하고, 상기 검출된 매핑 정보들 중 하나의 매핑 정보의 위치를 기준으로 상기 상대적인 위치 관계에 따라 결정된 표시 방향 및 거리에 나머지 매핑 정보들을 배치하여 상기 3차원 GUI를 구성하며, 상기 3차원 GUI를 상기 스트리트 뷰 상에 매핑시켜 디스플레이하는 것을 특징으로 하는 정보 표시 방법.
  7. 제6항에 있어서,
    상기 조정 단계는,
    상기 사용자 조작이 이루어지면, 상기 각 매핑 정보들 간의 표시 방향 및 거리 관계를 유지하면서, 상기 3차원 GUI를 회전, 축소 또는 확대시키는 것을 특징으로 하는 정보 표시 방법.
  8. 모바일 디바이스에 있어서,
    촬영부;
    상기 촬영부에서 촬영되는 스트리트 뷰를 3차원으로 디스플레이하는 디스플레이부;
    매핑 정보가 저장되는 저장부;
    상기 저장부에 저장된 매핑 정보들 중에서 상기 스트리트 뷰에 대응되는 매핑 정보를 검출하고, 상기 검출된 매핑 정보들 간의 상대적인 위치 관계에 따라, 상기 검출된 매핑 정보들의 3차원 GUI를 상기 스트리트 뷰에 매핑시키는 GUI 처리부;
    사용자 조작에 따라, 상기 검출된 매핑 정보들 간의 상대적인 위치 관계를 유지하면서 상기 3차원 GUI의 표시 상태를 조정하도록 상기 GUI 처리부를 제어하는 제어부;를 포함하는 모바일 디바이스.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 모바일 디바이스의 화면을 터치 및 드래그하는 사용자 조작이 발생하면, 상기 터치 및 드래그 방향에 따라 상기 3차원 GUI를 회전시켜, 상기 검출된 매핑 정보들의 표시 위치를 조정하도록 상기 GUI 처리부를 제어하는 것을 특징으로 하는 모바일 디바이스.
  10. 제8항에 있어서,
    상기 제어부는,
    상기 모바일 디바이스의 위치 또는 방향을 이동시키는 사용자 조작이 발생하면, 변경된 위치 또는 방향에 따라 상기 3차원 GUI의 표시 상태를 자동 조정하도록 상기 GUI 처리부를 제어하는 것을 특징으로 하는 모바일 디바이스.
  11. 제8항에 있어서,
    상기 매핑 정보는,
    상기 스트리트 뷰에 해당하는 영역 내의 지물 정보, 상기 지물 정보와 관련하여 검색된 검색 정보, 및 상기 스트리트 뷰에 해당하는 영역에서 수행된 작업과 관련하여 얻어진 연관 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 모바일 디바이스.
  12. 제11항에 있어서,
    상기 연관 정보는,
    상기 영역 내에서의 신용 카드 사용 정보, 상기 영역 내에서 촬영된 촬영 데이터, 상기 영역 내에서 송신 또는 수신된 메시지 정보, SNS 정보, 메일 정보, 상기 영역 내에서 작성 또는 열람된 텍스트 또는 이미지 파일 정보 중 적어도 하나를 포함하는 것임을 특징으로 하는 모바일 디바이스.
  13. 제8항에 있어서,
    상기 GUI 처리부는,
    상기 스트리트 뷰 내의 영역을 나타내는 위치 범위 내에 해당하는 위치 좌표를 가지는 매핑 정보들을 검출하며,
    상기 검출된 매핑 정보들의 위치 좌표를 비교하여 상기 상대적인 위치 관계를 설정하고, 상기 검출된 매핑 정보들 중 하나의 매핑 정보의 위치를 기준으로 상기 상대적인 위치 관계에 따라 결정된 표시 방향 및 거리에 나머지 매핑 정보들을 배치하여 상기 3차원 GUI를 구성하는 것을 특징으로 하는 모바일 디바이스.
  14. 제13항에 있어서,
    상기 제어부는,
    상기 사용자 조작이 이루어지면, 상기 각 매핑 정보들 간의 표시 방향 및 거리 관계를 유지하면서, 상기 3차원 GUI를 회전, 축소 또는 확대시키는 것을 특징으로 하는 모바일 디바이스.
KR1020110014797A 2011-02-18 2011-02-18 모바일 디바이스 및 그 정보 표시 방법 KR20120095247A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020110014797A KR20120095247A (ko) 2011-02-18 2011-02-18 모바일 디바이스 및 그 정보 표시 방법
US13/242,935 US20120216149A1 (en) 2011-02-18 2011-09-23 Method and mobile apparatus for displaying an augmented reality
EP12746550.8A EP2676186A4 (en) 2011-02-18 2012-02-17 METHOD AND MOBILE APPARATUS FOR DISPLAYING INCREASED REALITY CONTENT
PCT/KR2012/001228 WO2012112009A2 (en) 2011-02-18 2012-02-17 Method and mobile apparatus for displaying an augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110014797A KR20120095247A (ko) 2011-02-18 2011-02-18 모바일 디바이스 및 그 정보 표시 방법

Publications (1)

Publication Number Publication Date
KR20120095247A true KR20120095247A (ko) 2012-08-28

Family

ID=46653793

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110014797A KR20120095247A (ko) 2011-02-18 2011-02-18 모바일 디바이스 및 그 정보 표시 방법

Country Status (4)

Country Link
US (1) US20120216149A1 (ko)
EP (1) EP2676186A4 (ko)
KR (1) KR20120095247A (ko)
WO (1) WO2012112009A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014142533A1 (en) * 2013-03-14 2014-09-18 Samsung Electronics Co., Ltd. Communication system with indoor navigation mechanism and method of operation thereof
WO2015174729A1 (ko) * 2014-05-16 2015-11-19 네이버 주식회사 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
US11107287B2 (en) 2017-10-05 2021-08-31 Sony Corporation Information processing apparatus and information processing method

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5891843B2 (ja) * 2012-02-24 2016-03-23 ソニー株式会社 クライアント端末、サーバ、およびプログラム
US9886795B2 (en) * 2012-09-05 2018-02-06 Here Global B.V. Method and apparatus for transitioning from a partial map view to an augmented reality view
US8928666B2 (en) 2012-10-11 2015-01-06 Google Inc. Navigating visual data associated with a point of interest
US9753950B2 (en) * 2013-03-15 2017-09-05 Pictometry International Corp. Virtual property reporting for automatic structure detection
US9354791B2 (en) 2013-06-20 2016-05-31 Here Global B.V. Apparatus, methods and computer programs for displaying images
CN104252490A (zh) * 2013-06-28 2014-12-31 腾讯科技（深圳）有限公司 展示街景地图的方法、装置及终端
US10510054B1 (en) 2013-12-30 2019-12-17 Wells Fargo Bank, N.A. Augmented reality enhancements for financial activities
US10078867B1 (en) 2014-01-10 2018-09-18 Wells Fargo Bank, N.A. Augmented reality virtual banker
IL232853A (en) * 2014-05-28 2015-11-30 Elbit Systems Land & C4I Ltd Imaging Georegistration System and Method
WO2016154121A1 (en) * 2015-03-20 2016-09-29 University Of Maryland Systems, devices, and methods for generating a social street view
JP2017054185A (ja) * 2015-09-07 2017-03-16 株式会社東芝 情報処理装置、情報処理方法及び情報処理プログラム
WO2019164514A1 (en) * 2018-02-23 2019-08-29 Google Llc Transitioning between map view and augmented reality view
CN111625210B (zh) * 2019-02-27 2023-08-04 杭州海康威视系统技术有限公司 一种大屏控制方法、装置及设备
JP7359208B2 (ja) * 2019-06-11 2023-10-11 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
US11481965B2 (en) * 2020-04-10 2022-10-25 Samsung Electronics Co., Ltd. Electronic device for communicating in augmented reality and method thereof

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6765569B2 (en) * 2001-03-07 2004-07-20 University Of Southern California Augmented-reality tool employing scene-feature autocalibration during camera motion
WO2004074778A1 (en) * 2003-02-14 2004-09-02 Networks In Motion, Inc. Method and system for saving and retrieving spatial related information
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
IL169934A (en) * 2005-07-27 2013-02-28 Rafael Advanced Defense Sys Real-time geographic information system and method
US8571580B2 (en) * 2006-06-01 2013-10-29 Loopt Llc. Displaying the location of individuals on an interactive map display on a mobile communication device
US8467955B2 (en) * 2007-10-31 2013-06-18 Microsoft Corporation Map-centric service for social events
US8769437B2 (en) * 2007-12-12 2014-07-01 Nokia Corporation Method, apparatus and computer program product for displaying virtual media items in a visual media
CA2712673A1 (en) * 2008-02-04 2009-08-13 Tele Atlas North America Inc. Method for map matching with sensor detected objects
US20090324058A1 (en) * 2008-06-25 2009-12-31 Sandage David A Use of geographic coordinates to identify objects in images
KR101602363B1 (ko) * 2008-09-11 2016-03-10 엘지전자 주식회사 3차원 사용자 인터페이스의 제어방법과 이를 이용한 이동 단말기
US8311556B2 (en) * 2009-01-22 2012-11-13 Htc Corporation Method and system for managing images and geographic location data in a mobile device
US9683853B2 (en) * 2009-01-23 2017-06-20 Fuji Xerox Co., Ltd. Image matching in support of mobile navigation
KR20100124947A (ko) * 2009-05-20 2010-11-30 삼성에스디에스 주식회사 증강현실을 이용하여 휴대형 단말기에 실시간 지역정보를 제공하는 ａｒ컨텐츠 제공시스템 및 그 제공방법
US8442764B2 (en) * 2009-05-29 2013-05-14 Schulze & Webb Ltd. 3-D map display
US8427508B2 (en) * 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface
KR101570413B1 (ko) * 2009-06-29 2015-11-20 엘지전자 주식회사 이동 단말기의 영상 표시 방법 및 그 장치
US8543917B2 (en) * 2009-12-11 2013-09-24 Nokia Corporation Method and apparatus for presenting a first-person world view of content
US20110161875A1 (en) * 2009-12-29 2011-06-30 Nokia Corporation Method and apparatus for decluttering a mapping display
US8488040B2 (en) * 2010-06-18 2013-07-16 Microsoft Corporation Mobile and server-side computational photography
US8963954B2 (en) * 2010-06-30 2015-02-24 Nokia Corporation Methods, apparatuses and computer program products for providing a constant level of information in augmented reality
KR101372722B1 (ko) * 2010-06-30 2014-03-10 주식회사 팬택 이동 단말기 및 이동 단말기를 이용한 정보 표시 방법
US20120026191A1 (en) * 2010-07-05 2012-02-02 Sony Ericsson Mobile Communications Ab Method for displaying augmentation information in an augmented reality system
US8723888B2 (en) * 2010-10-29 2014-05-13 Core Wireless Licensing, S.a.r.l. Method and apparatus for determining location offset information
US20120124508A1 (en) * 2010-11-12 2012-05-17 Path, Inc. Method And System For A Personal Network
US20120194547A1 (en) * 2011-01-31 2012-08-02 Nokia Corporation Method and apparatus for generating a perspective display
US20120230539A1 (en) * 2011-03-08 2012-09-13 Bank Of America Corporation Providing location identification of associated individuals based on identifying the individuals in conjunction with a live video stream
US9773284B2 (en) * 2011-09-21 2017-09-26 Facebook, Inc. Displaying social networking system user information via a map interface

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014142533A1 (en) * 2013-03-14 2014-09-18 Samsung Electronics Co., Ltd. Communication system with indoor navigation mechanism and method of operation thereof
CN105190240A (zh) * 2013-03-14 2015-12-23 三星电子株式会社 具有室内导航机制的通信系统及其操作方法
US9264860B2 (en) 2013-03-14 2016-02-16 Samsung Electronics Co., Ltd. Communication system with indoor navigation mechanism and method of operation thereof
WO2015174729A1 (ko) * 2014-05-16 2015-11-19 네이버 주식회사 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
KR20150131744A (ko) * 2014-05-16 2015-11-25 네이버 주식회사 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
US10102656B2 (en) 2014-05-16 2018-10-16 Naver Corporation Method, system and recording medium for providing augmented reality service and file distribution system
US11107287B2 (en) 2017-10-05 2021-08-31 Sony Corporation Information processing apparatus and information processing method

Also Published As

Publication number Publication date
EP2676186A2 (en) 2013-12-25
WO2012112009A3 (en) 2012-12-20
US20120216149A1 (en) 2012-08-23
WO2012112009A2 (en) 2012-08-23
EP2676186A4 (en) 2016-10-26

Similar Documents

Publication Publication Date Title
KR20120095247A (ko) 모바일 디바이스 및 그 정보 표시 방법
US20180286098A1 (en) Annotation Transfer for Panoramic Image
US9916673B2 (en) Method and apparatus for rendering a perspective view of objects and content related thereto for location-based services on mobile device
US20190286309A1 (en) Interface for Navigating Imagery
EP2572264B1 (en) Method and apparatus for rendering user interface for location-based service having main view portion and preview portion
KR101298422B1 (ko) 파노라마 조작 기법
US9361283B2 (en) Method and system for projecting text onto surfaces in geographic imagery
JP5871976B2 (ja) ナビゲータとしてのモバイルイメージング装置
US9525964B2 (en) Methods, apparatuses, and computer-readable storage media for providing interactive navigational assistance using movable guidance markers
ES2791823T3 (es) Correlación de contenido basado en dispositivo móvil para entorno de realidad aumentada
US20130321461A1 (en) Method and System for Navigation to Interior View Imagery from Street Level Imagery
US20150062114A1 (en) Displaying textual information related to geolocated images
KR20120051863A (ko) 이동 단말기 및 이것의 메타데이터 설정 방법
WO2011080385A1 (en) Method and apparatus for decluttering a mapping display
CN102420936B (zh) 用于提供道路视图的装置和方法
EP3537276B1 (en) User interface for orienting a camera view toward surfaces in a 3d map and devices incorporating the user interface
JP2011022112A (ja) 関心地点表示システム、装置及び方法
US20120293550A1 (en) Localization device and localization method with the assistance of augmented reality
US9329050B2 (en) Electronic device with object indication function and an object indicating method thereof
JP7012485B2 (ja) 画像情報処理装置および画像情報処理方法
JP2010276364A (ja) ナビ情報作成装置、ナビゲーションシステム、ナビゲーション情報作成方法、およびナビゲーション方法
JP2019002747A (ja) 目的地特定システム
US10469673B2 (en) Terminal device, and non-transitory computer readable medium storing program for terminal device
JP2023094344A (ja) 拡張現実表示装置、方法、及びプログラム
JP5502666B2 (ja) 釣り支援装置

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment