KR20150020850A - 맵 화면을 디스플레이 하는 사용자 단말 장치 및 그 디스플레이 방법 - Google Patents

맵 화면을 디스플레이 하는 사용자 단말 장치 및 그 디스플레이 방법 Download PDF

Info

Publication number
KR20150020850A
KR20150020850A KR20130097822A KR20130097822A KR20150020850A KR 20150020850 A KR20150020850 A KR 20150020850A KR 20130097822 A KR20130097822 A KR 20130097822A KR 20130097822 A KR20130097822 A KR 20130097822A KR 20150020850 A KR20150020850 A KR 20150020850A
Authority
KR
South Korea
Prior art keywords
image
map screen
user
user terminal
moving
Prior art date
Application number
KR20130097822A
Other languages
English (en)
Other versions
KR102222336B1 (ko
Inventor
정종우
명인식
이택헌
조동빈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130097822A priority Critical patent/KR102222336B1/ko
Priority to CN201480045600.8A priority patent/CN105452811B/zh
Priority to PCT/KR2014/007659 priority patent/WO2015026122A1/en
Priority to EP14838709.5A priority patent/EP3036619B1/en
Priority to CN202010511254.5A priority patent/CN111678532B/zh
Priority to US14/462,691 priority patent/US10066958B2/en
Priority to EP19175598.2A priority patent/EP3598073A1/en
Publication of KR20150020850A publication Critical patent/KR20150020850A/ko
Priority to US16/055,900 priority patent/US10883849B2/en
Application granted granted Critical
Publication of KR102222336B1 publication Critical patent/KR102222336B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3614—Destination input or retrieval through interaction with a road map, e.g. selecting a POI icon on a road map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0238—Programmable keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04114—Touch screens adapted for alternating or simultaneous interaction with active pens and passive pointing devices like fingers or passive pens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04807—Pen manipulated menu

Abstract

사용자 단말 장치가 개시된다. 본 장치는, 맵 화면을 디스플레이하는 디스플레이부, 사용자 조작을 감지하기 위한 감지부 및 사용자 조작에 의해 맵 화면 내에서 위치 및 방향이 정해지면, 그 위치 및 방향에 대응되는 촬영 이미지를 맵 화면 상에 추가적으로 디스플레이하는 제어부를 포함한다. 이에 따라, 사용자는 촬영 이미지를 통해 이동 경로를 좀 더 용이하고 정확하게 판단할 수 있다.

Description

맵 화면을 디스플레이 하는 사용자 단말 장치 및 그 디스플레이 방법 { USER TERMINAL DEVICE FOR DISPLAYING MAP AND METHOD THEREOF }
본 발명은 맵 화면을 디스플레이하는 사용자 단말 장치 및 그 디스플레이 방법에 대한 것으로, 보다 상세하게는, 맵 화면과 함께 이미지를 제공하는 사용자 단말 장치 및 그 디스플레이 방법에 대한 것이다.
전자 기술의 발달에 힘입어, 다양한 유형의 사용자 단말 장치들이 사용되고 있다. 구체적으로는, 휴대폰, PDA, 태블릿 PC, 랩탑 PC, MP3 플레이어, 네비게이션 장치 등과 같은 휴대형 장치들의 보급이 크게 증대되었다.
이러한 사용자 단말 장치들은 사용자가 자신에게 필요한 어플리케이션을 임의로 설치하여, 그 기능을 편리하고 간단하게 확장시킬 수 있다. 특히, 최근에는 자동차 사용이 급증하면서, 사용자 단말 장치에서 네비게이션 기능을 제공하는 경우도 크게 늘어나고 있다.
하지만, 종래의 네비게이션 방법에서는 사용자가 지정한 목적지까지의 이동 경로만을 맵 화면에 표시하여 주는 것이 일반적이었다. 따라서, 복잡한 도로이거나 야간에 또는 비나 안개로 인해 시계가 좋지 않은 경우 등에는, 사용자는 맵 화면 만으로는 정확하게 길을 찾기 어렵다는 문제점이 있었다.
이에 따라, 사용자가 좀 더 용이하게 편리하게 네비게이션 기능을 활용할 수 있도록 하는 기술에 대한 필요성이 대두되었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 방향에 맞는 이미지를 제공하여 사용자가 편리하게 맵을 사용할 수 있도록 하는 사용자 단말 장치 및 그 디스플레이 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 사용자 단말 장치는, 맵 화면을 디스플레이하는 디스플레이부, 사용자 조작을 감지하기 위한 감지부 및 상기 맵 화면에 대한 상기 사용자 조작에 의해 위치 및 방향이 입력되면, 상기 위치에서 상기 방향으로 촬영된 촬영 이미지를 표시하는 제어부를 포함한다.
여기서, 상기 제어부는 상기 사용자 조작에 의해 상기 맵 화면 상의 경로가 입력되면, 상기 경로 상의 복수의 위치 및 상기 복수의 위치에서의 방향에 대응되는 복수의 촬영 이미지를 표시할 수 있다.
또는, 상기 제어부는, 상기 복수의 촬영 이미지를 순차적으로 표시할 수 있다.
또는, 상기 제어부는, 목적지가 결정되면, 현재 위치부터 상기 목적지까지의 이동 경로를 상기 맵 화면에 표시하고, 상기 이동 경로에 대응되는 촬영 이미지들 중에서 상기 이동 경로를 따라 이동하는 이동 방향으로 촬영된 적어도 하나의 촬영 이미지를 상기 맵 화면에 추가 표시할 수 있다.
여기서, 상기 제어부는, 상기 맵 화면 상에서 상기 사용자 조작에 의해 텍스트가 드로잉되면, 상기 텍스트를 인식하여 상기 목적지를 결정하고, 현재 위치로부터 상기 목적지까지의 이동 경로를 자동으로 탐색할 수 있다.
또한, 상기 제어부는, 상기 맵 화면 상에서 상기 사용자 조작에 의해 라인이 드로잉되면, 상기 라인의 궤적에 기초하여 상기 이동 경로를 결정할 수 있다.
또한, 상기 제어부는, 상기 이동 경로를 따라 이동하는 펜 호버링 조작이 감지되면, 상기 이동 경로 상의 각 지점에서 이동 방향으로 촬영된 촬영 이미지들을 상기 펜 호버링 조작에 따라 순차적으로 디스플레이할 수 있다.
또는, 상기 제어부는, 상기 이동 경로 상에서 기 설정된 조건에 충족하는 지점을 선택하여, 선택된 각 지점에서 상기 이동 경로 방향으로 촬영된 촬영 이미지를 디스플레이할 수 있다.
여기서, 상기 사용자 조작은 펜을 이용한 조작을 포함한다. 그리고, 상기 제어부는, 상기 맵 화면 상에서 상기 펜이 터치된 후 일 방향으로 드래깅 또는 플릭되면, 그 터치 지점에 기초하여 상기 위치를 결정하고, 상기 드래깅 또는 플릭 방향에 기초하여 상기 방향을 결정할 수 있다.
또한, 상기 제어부는, 상기 펜의 터치 강도, 터치 면적, 터치 시간, 상기 펜의 이동 거리, 상기 펜의 이동 속도 중 적어도 하나에 기초하여, 상기 촬영 이미지의 배율, 사이즈, 표시 위치, 촬영 각도 중 적어도 하나를 선택하고, 선택된 촬영 이미지를 상기 맵 화면에 추가 표시할 수 있다.
또한, 이상과 같은 사용자 단말 장치는 저장부를 더 포함할 수 있다. 이 경우, 상기 제어부는, 상기 저장부에 저장된 촬영 이미지 중에서 상기 위치 및 상기 방향에 대응되는 촬영 이미지를 선택할 수 있다.
또는, 사용자 단말 장치는, 서버 장치와 통신을 수행하기 위한 통신부를 더 포함할 수도 있다. 이 경우, 상기 제어부는, 상기 위치 및 방향에 대응되는 촬영 이미지를 상기 서버 장치에서 검색하여 다운로드하고, 다운로드된 촬영 이미지를 상기 맵 화면에 추가 표시할 수 있다.
또는, 사용자 단말 장치는, 저장부 및 서버 장치와 통신을 수행하기 위한 통신부를 더 포함할 수도 있다. 이 경우, 상기 제어부는, 상기 위치 및 방향에 대응되는 상기 촬영 이미지를 상기 저장부 및 상기 서버 장치 중 적어도 하나로부터 선택적으로 검출하며, 상기 촬영 이미지가 복수 개 검출되면, 상기 복수 개의 촬영 이미지를 연속적으로 디스플레이하여 동영상 효과를 제공할 수 있다.
여기서, 상기 제어부는, 공유 명령이 입력되면, 상기 통신부를 이용하여 상기 촬영 이미지를 타 사용자 단말 장치로 전송할 수 있다.
또한, 상기 제어부는, 상기 촬영 이미지를 상기 위치에서 상기 맵 화면 상에 중첩(overlay)하여 표시할 수 있다.
또는, 상기 제어부는, 상기 촬영 이미지를 상기 맵 화면과 별개의 화면으로 표시할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 사용자 단말 장치의 디스플레이방법은, 맵 화면을 디스플레이하는 단계, 사용자 조작을 감지하는 단계 및 상기 맵 화면에 대한 상기 사용자 조작에 의해 위치 및 방향이 입력되면, 상기 위치에서 상기 방향으로 촬영된 촬영 이미지를 표시하는 단계를 포함한다.
또는, 상기 사용자 조작에 의해 상기 맵 화면 상의 경로가 입력되면, 상기 경로 상의 복수의 위치 및 상기 복수의 위치 각각에서의 방향에 대응되는 복수의 촬영 이미지를 표시하는 단계를 더 포함할 수도 있다.
그리고, 상기 복수의 촬영 이미지는 순차적으로 표시될 수 있다.
또는, 상기 사용자 조작에 의해 목적지가 결정되면, 현재 위치로부터 상기 목적지까지의 이동 경로를 상기 맵 화면에 표시하는 단계, 상기 이동 경로에 대응되는 촬영 이미지들 중에서 상기 이동 경로를 따라 이동하는 이동 방향으로 촬영된 적어도 하나의 촬영 이미지를 상기 맵 화면에 추가 표시하는 단계를 더 포함할 수 있다.
그리고, 상기 맵 화면 상에서 상기 사용자 조작에 의해 텍스트가 드로잉되면, 상기 텍스트를 인식하여 상기 목적지를 결정하고, 상기 현재 위치로부터 상기 목적지까지의 이동 경로를 자동으로 탐색하는 단계를 더 포함할 수도 있다.
또한, 상기 맵 화면 상에서 상기 사용자 조작에 의해 라인이 드로잉되면, 상기 라인의 궤적에 기초하여 상기 이동 경로를 결정하는 단계를 더 포함할 수도 있다.
또는, 상기 촬영 이미지를 상기 맵 화면에 추가 표시하는 단계는, 상기 이동 경로를 따라 이동하는 펜 호버링 조작이 감지되면, 상기 이동 경로 상의 각 지점에서 상기 이동 방향으로 촬영된 촬영 이미지들을 상기 펜 호버링 조작에 따라 순차적으로 디스플레이할 수 있다.
그리고, 상기 선택된 촬영 이미지를 상기 맵 화면에 추가 표시하는 단계는, 상기 이동 경로 상에서 기 설정된 조건에 충족하는 지점을 선택하여, 선택된 각 지점에서 상기 이동 방향으로 촬영된 촬영 이미지를 디스플레이할 수 있다.
또한, 상기 위치 및 상기 방향에 대응되는 촬영 이미지를 상기 사용자 단말 장치의 저장부 또는 외부의 서버 장치로부터 검색하는 단계를 더 포함할 수도 있다.
그리고, 상기 디스플레이 단계는, 상기 촬영 이미지가 복수 개 검출되면, 상기 복수 개의 촬영 이미지를 동영상처럼 연속적으로 디스플레이할 수 있다.
또는, 공유 명령이 입력되면, 상기 촬영 이미지를 타 사용자 단말 장치로 전송하는 단계를 더 포함할 수도 있다.
또한, 본 발명의 또 다른 일 실시 예에 따르면, 네비게이션 서비스 제공 시스템은, 복수의 사용자 단말 장치 및 상기 복수의 사용자 단말 장치로부터 업 로드되는 촬영 이미지를 저장하는 서버 장치를 포함하며, 상기 서버 장치는, 상기 복수의 사용자 단말 장치 중 하나의 사용자 단말 장치로부터 이동 경로 및 이동 방향에 대한 정보가 전송되면, 기 저장된 촬영 이미지 중에서 상기 이동 경로 상의 각 지점에서 상기 이동 방향으로 촬상된 촬영 이미지를 검색하고, 검색된 촬영 이미지를 상기 하나의 사용자 단말 장치로 전송할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자는 이동 방향에 맞는 이미지를 확인하여, 경로를 좀 더 정확하고 용이하게 파악할 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도,
도 2는 본 발명의 일 실시 예에 따른 디스플레이 방법을 설명하기 위한 흐름도,
도 3은 서버 장치로부터 이미지를 제공받는 과정을 설명하기 위한 도면,
도 4 및 도 5는 맵 화면 상에서 선택된 위치 및 방향에 따라 이미지를 디스플레이하는 방법을 설명하기 위한 도면,
도 6은 실내 환경에 대한 맵 화면을 제공하는 방법을 설명하기 위한 도면,
도 7은 실내 환경에 대한 맵 화면을 이용하여 이미지를 디스플레이하는 방법을 설명하기 위한 도면,
도 8은 본 발명의 다른 실시 예에 따른 디스플레이 방법을 설명하기 위한 흐름도,
도 9 및 도 10은 이동 방향에 따라 달라지는 이미지의 예를 설명하기 위한 도면,
도 11은 이동 수단의 종류에 따라 상이한 네비게이션 화면 구성의 예를 나타내는 도면,
도 12는 펜을 이용하여 제어 가능한 사용자 단말 장치의 구성의 일 예를 나타내는 블럭도,
도 13은 도 5의 사용자 단말 장치의 디스플레이부의 세부 구성 예를 나타내는 도면,
도 14는 사용자 신체를 이용한 호버링 조작을 감지하는 방법을 설명하기 위한 도면,
도 15는 펜을 이용한 호버링 조작을 감지하는 방법을 설명하기 위한 도면,
도 16은 사용자 단말 장치에서 사용되는 소프트웨어 구조의 일 예를 나타내는 도면,
도 17은 호버링 조작에 따라 복수의 이미지를 제공하는 방법을 설명하기 위한 도면,
도 18 및 도 19는 복수의 이미지를 동영상처럼 표시하는 방법을 설명하기 위한 도면,
도 20은 펜을 이용하여 목적지를 입력하는 방법을 설명하기 위한 흐름도,
도 21은 도 20의 방법에 따라 이동 경로를 설정하는 과정을 설명하기 위한 도면,
도 22는 펜을 이용하여 이동 경로를 선택하는 방법을 설명하기 위한 흐름도,
도 23은 도 22의 방법에 따라 이동 경로를 설정하는 과정을 설명하기 위한 도면,
도 24는 본 발명의 다양한 실시 예에 따른 사용자 단말 장치의 구성을 종합적으로 설명하기 위한 블럭도,
도 25 내지 도 28은 이미지가 첨부된 맵 화면을 생성하여 타인과 공유하는 다양한 방법을 설명하기 위한 도면,
도 29는 본 발명의 일 실시 예에 따른 네트워크 시스템의 구성을 나타내는 블럭도,
도 30은 도 29의 네트워크 시스템에서의 네비게이션 방법의 일 예를 설명하기 위한 타이밍도,
도 31은 본 발명의 일 실시 예에 따른 서버 장치의 구성을 나타내는 블럭도,
도 32는 본 발명의 일 실시 예에 따른 차량용 제어 시스템의 동작을 설명하기 위한 도면,
도 33은 도 32의 차량용 제어 시스템의 구성을 나타내는 블럭도,
도 34는 차량용 제어 시스템과 연동하는 사용자 단말 장치의 동작을 설명하기 위한 도면,
도 35는 증강 현실 오브젝트가 부가된 이미지의 일 예,
도 36 및 도 37은 옵션 설정에 따라 상이한 이미지를 표시하는 예들을 나타내는 도면이다.　　
이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도이다. 도 1에 따르면, 사용자 단말 장치(100)는 디스플레이부(110), 감지부(120) 및 제어부(130)를 포함한다. 사용자 단말 장치(100)는 사용자가 임의로 사용할 수 있는 다양한 유형의 전자 장치를 의미한다. 구체적으로는, 사용자 단말 장치(100)는 휴대폰, 태블릿 PC, 랩탑 PC, PDA, MP3 플레이어, 전자 액자 장치, TV, PC, 네비게이션 장치, 키오스크 등과 같은 다양한 유형의 장치로 구현될 수 있다.
도 1에서는 본 발명의 다양한 실시 예에 따른 동작에 관여하는 구성요소들에 대해서만 도시하였으며, 나머지 세부 구성요소들에 대한 도시는 생략하였다. 디스플레이부(110)는 홈 화면, 아이콘 화면, 리스트 화면, 어플리케이션 실행 화면, 웹 브라우저 화면, 컨텐츠 재생 화면 등과 같은 다양한 종류의 화면을 디스플레이할 수 있다. 이 밖에도, 디스플레이부(110)는 다양한 유형의 화면을 디스플레이할 수 있다.
구체적으로는, 네비게이션 기능이 실행되면, 디스플레이부(110)는 맵 화면을 디스플레이할 수 있다.
감지부(120)는 디스플레이부(110)에 대해 이루어지는 사용자 조작을 감지할 수 있다. 사용자 조작은 사용자의 신체나 펜 등과 같은 입력 수단을 이용하여 사용자 단말 장치(100)의 기능을 제어하는 동작을 의미한다. 사용자 조작은 터치 조작, 접근 조작, 버튼 조작, 음성 조작, 모션 조작 등과 같이 다양한 형태로 이루어질 수 있다.
터치 조작 방식으로 구현된 경우, 감지부(120)는 정전식이나, 감압식, 압전식 등과 같은 다양한 유형의 터치 센서로 구현될 수 있다. 정전식은 디스플레이부(110) 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 디스플레이부(110) 표면에 터치되었을 때 사용자의 인체로 여기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 디스플레이부(110)에 내장된 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다.
사용자가 맵 화면상에서 임의의 지점을 터치하여 드래깅하면, 감지부(120)는 그 터치 지점 및 드래깅 궤적을 감지할 수 있다. 감지부(120)는 사용자의 손가락 이외에도 펜과 같은 입력 수단을 이용한 사용자 조작도 감지할 수 있다. 입력 수단이 내부에 코일을 포함하는 스타일러스 펜일 경우, 감지부(120)는 스타일러스 펜 내부의 코일에 의해 변화되는 자기장을 감지할 수 있는 자기장 감지 센서를 포함할 수도 있다. 이에 따라, 터치 조작 뿐만 아니라 접근 조작, 즉, 호버링(hovering)도 감지할 수 있게 된다. 이러한 감지부(120)의 구성에 대해서도 후술하는 부분에서 구체적으로 설명한다.
감지부(120)는 사용자 조작이 감지되면, 감지 결과를 제어부(130)로 통지한다. 가령, 사용자가 손가락이나 펜으로 화면상의 일 지점을 터치하였다면, 감지부(120)는 터치 지점의 x, y 좌표 값을 제어부(130)로 통지한다. 사용자가 터치한 상태에서 터치 지점을 이동시키는 경우, 감지부(120)는 변화되는 터치 좌표 값을 실시간으로 제어부(130)에 통지한다. 상술한 바와 같이, 감지부(120)는 직접적인 터치가 이루어지지 않고, 가까이 접근만 한 경우도 감지할 수 있다.
제어부(130)는 감지부(120)에서 제공되는 감지 결과에 대응되는 제어 동작을 수행한다. 가령, 맵 화면 내에서 메뉴가 표시된 지점이 터치되었다고 판단되면, 제어부(130)는 그 메뉴에 대응되는 제어 동작을 수행한다.
사용자는 맵 화면이 디스플레이된 상태에서 맵 화면에 대한 사용자 조작을 수행하여, 위치 및 방향을 입력할 수 있다. 구체적으로는, 사용자는 맵 화면의 일 지점을 터치한 후, 일 방향으로 드래깅(dragging) 또는 플릭(flick)하여 위치 및 방향을 입력할 수 있다. 제어부(130)는 맵 화면이 디스플레이된 상태에서 맵 화면에 대한 사용자 조작에 의해 임의의 위치 및 방향이 정해지면, 해당 위치에서 정해진 방향으로 바라보는 이미지를 맵 화면에 추가 표시한다. 여기서, 이미지란 그 위치에서 그 방향으로 촬영된 촬영 이미지가 될 수 있다. 촬영 이미지는 다르게는 뷰 이미지, 스트리트 뷰 이미지, 로드 뷰 이미지 등과 같이 다양하게 명명될 수 있다.
또한, 제어부(130)는 사용자 조작에 의해 맵 화면 상에서 경로가 입력되면, 그 경로 상의 복수의 위치 및 각 위치에서의 방향에 대응되는 복수의 촬영 이미지를 표시할 수 있다. 이러한 복수의 촬영 이미지는 각 위치 별로 표시될 수도 있고, 한 지점에서 순차적으로 표시되어 마치 동영상처럼 인식될 수도 있다.
구체적으로는, 제어부(130)는 네비게이션 기능이 실행 중인 상태에서, 감지부(120)에서 감지된 사용자 조작에 따라 목적지를 결정할 수 있다. 목적지가 결정되면, 제어부(130)는 사용자 단말 장치(100)의 현재 위치 또는 사용자가 입력한 출발지점으로부터 목적지까지의 이동 경로를 맵 화면상에 추가 표시한다. 출발 지점은 사용자 단말 장치(100)의 현재 위치로 자동 결정될 수도 있다.
제어부(130)는 그 이동 경로를 따라 이동하는 이동 방향으로 바라본 이미지를 맵 화면상에 추가 표시할 수 있다. 하나의 지점에서라도 사용자는 360도 방향으로 다양한 시점으로 바라볼 수 있으므로, 하나의 지점에서 촬영된 이미지 역시 시점에 따라 복수 개가 마련될 수 있다. 제어부(130)는 복수의 이미지 중에서 이동 방향으로 바라본 이미지를 선택하여, 이동 경로의 일 측에 디스플레이할 수 있다. 이에 따라, 사용자는 이동 경로를 따라가면서 볼 수 있는 실제 이미지를 이미지를 통해 확인할 수 있게 되므로, 용이하고 정확하게 길을 찾아 갈 수 있게 된다. 도 2는 본 발명의 일 실시 예에 따른 사용자 단말 장치에서의 이미지 표시 방법을 설명하기 위한 흐름도이다.
도 2에 따르면, 사용자 단말 장치(100)는 맵 화면을 디스플레이한다(S210). 이러한 상태에서 사용자 조작이 감지되면(S220), 사용자 단말 장치(100)는 그 사용자 조작에 기초하여, 맵 화면 내에서 위치 및 방향을 결정한다(S230). 위치 및 방향이 결정되면, 사용자 단말 장치(100)는 맵 화면 내에서 정해진 위치에 대응되는 실제 위치에서, 결정된 방향으로 바라본 이미지를 디스플레이한다(S240).
여기서 이미지는 해당 방향으로 촬영된 촬영 이미지일 수 있다. 사용자 단말 장치(100)는 서버 장치로부터 이미지를 다운로드받을 수 있다.
도 3은 서버 장치를 포함하는 네트워크 시스템의 구성 및 그 동작을 나타낸다. 도 3에서 서버 장치(300)는 웹 서버, 클라우드 서버 등과 같이 다양한 유형으로 구현될 수 있다. 서버 장치(300)는 지역 별로 다양한 위치에서 다양한 방향으로 촬영된 이미지를 저장해 둘 수 있다.
사용자 단말 장치(100)와 서버 장치(300)는 다양한 통신 방식에 의해 서로 통신을 수행할 수 있다.
사용자 단말 장치(100)는 맵 표시 메뉴가 선택되면(S310), 서버 장치(300)로 액세스하여 맵 전송을 요청한다(S315). 이 경우, 사용자 단말 장치(100)는 현재 위치에 대한 정보도 함께 전송하여 줄 수도 있다. 서버 장치(300)는 맵 전송 요청에 따라 맵 데이터를 전송한다(S320). 서버 장치(300)는 현재 위치에 대한 정보가 수신된 경우에는, 사용자 단말 장치(100)의 현재 위치를 기준으로 일정 반경 이내에 대한 맵 데이터만을 전송하여 줄 수도 있다. 또한, 도 3에서는 맵 데이터를 서버 장치(300)가 제공하는 것으로 도시하였으나, 맵 데이터가 사용자 단말 장치(100)에 저장되어 있는 경우에는, 상술한 단계(S315, S320)는 생략될 수도 있다.
사용자 단말 장치(100)는 맵 데이터를 이용하여 맵 화면을 디스플레이한다(S325). 사용자는 맵 화면 내에서 위치 및 방향을 선택할 수 있다. 사용자 단말 장치는 위치 및 방향이 선택되면(S330), 위치 정보 및 방향 정보를 서버 장치(200)로 전송한다(S335). 서버 장치(300)는 위치 정보 및 방향 정보가 수신되면, 그 위치 정보 및 방향 정보에 대응되는 이미지를 검출한다(S340). 서버 장치(300)는 검출된 이미지를 사용자 단말 장치(100)로 전송한다(S345).
사용자 단말 장치(100)는 수신된 이미지를 맵 화면과 함께 디스플레이할 수 있다(S350).
이상과 같이, 서버 장치(300)는 사용자 단말 장치(100)로부터 요청된 이미지를 전송한다. 일반적인 카메라를 이용하여 촬영을 할 경우, 360도 방향을 모두 한 장의 이미지에 담을 수 없다. 따라서, 동일한 지점이라고 하더라도 방향에 따라 상이한 이미지가 촬영된다. 서버 장치(300)는 이러한 이미지들을 저장해두고 있다가, 사용자 단말 장치(100)로부터 위치 정보 및 방향 정보가 전송되면, 그 위치 정보 및 방향 정보에 대응되는 이미지를 검출하여, 사용자 단말 장치(100)로 전송한다. 이 경우, 동일 지점에서 촬영된 전체 이미지들을 모두 전송할 필요 없이 특정 방향으로 촬영된 일부 이미지만을 전송하면 되므로, 네트워크 부담이 줄고, 신속한 이미지 확인이 가능해진다.
도 4 및 도 5는 맵 화면 상에서 위치 및 방향을 결정하는 사용자 조작의 일 예를 나타낸다. 도 4에 따르면, 맵 화면(400)이 표시된 상태에서 사용자가 임의의 지점(a)을 터치한 후, 화살표 방향(d1)으로 드래그 또는 플릭하게 되면, 제어부(130)는 최초 터치 지점(a)이 선택된 것으로 판단하여 그 지점의 위치 정보를 검출하고, 드래그 또는 플릭이 이루어진 방향에 기초하여 방향 정보를 결정한다. 이에 따라, 화살표 방향에 위치한 건물(1, 2)을 촬영한 이미지(410)를 맵 화면(400) 내에 표시한다.
도 5는 도 4와 동일한 지점이 터치된 후, 다른 방향(d2)으로 드래그 또는 플릭된 상태를 나타낸다. 이 경우, 제어부(130)는 도 4와 동일한 위치에서 다른 방향(d2)으로 촬영한 이미지(420)를 디스플레이한다. 이에 따라, 사용자는, 도 4의 이미지(410)에서는 보이지 않던 건물(3, 4)을 포함하는 이미지(420)를 확인할 수 있다.
도 4 및 도 5에서는 이미지(410)가 맵 화면(400) 내에서 사용자가 선택한 지점에서 맵 화면(400)에 중첩적으로 표시되는 것으로 도시하였으나, 이미지(410)의 표시 위치나 표시 방식은 실시 예에 따라 다양하게 변형될 수 있다. 가령, 이미지(410)는 맵 화면(400)과 별도로 마련된 별개의 화면에 표시될 수도 있다.
한편, 상술한 이미지 표시 방법은 실외뿐만 아니라 실내 환경에서도 사용될 수 있다.
도 6 및 도 7은 실내 환경에서 이미지를 제공하는 실시 예를 설명하기 위한 도면이다.
도 6에 따르면, 사용자 단말 장치(100)를 휴대한 사용자가 특정 건물 주변 또는 내부로 들어가게 되면, 서버 장치(600) 및 사용자 단말 장치(100) 사이에서 통신이 연결된다. 통신은 와이파이, 블루투스, 지그비(ZIGBEE), NFC(Near Field Communication) 등과 같은 다양한 방식에 의해 수행될 수 있다.
서버 장치(600)는 해당 건물의 소유주나 관리인이 운영하는 개별 서버가 될 수도 있고, 인터넷 등을 통해 연결되는 포털 서버 등이 될 수도 있다. 서버 장치(600)는 통신 유효 거리 이내로 접근한 사용자 단말 장치(100)와의 사이에서 자동으로 통신을 연결한 후, 해당 건물과 관련된 각종 맵 정보를 전송할 수 있다. 맵 정보에는 해당 건물의 평면도가 포함될 수 있다. 맵 정보를 수신한 사용자 단말 장치(100)에서는 해당 맵 정보에 기초하여, 건물 내부 맵 화면을 디스플레이한다.
도 7은 건물 내부의 맵 화면을 디스플레이한 상태를 나타낸다. 건물이 복수의 층으로 이루어진 경우, 맵 화면은 층 별로 제공될 수 있다. 사용자는 맵 화면 내에서 임의의 지점을 터치하여 위치를 선택하고, 임의의 방향으로 드래그 또는 플릭하여 방향을 선택할 수 있다.
도 7에서는 (a) 지점이 터치된 후 d3 방향이 선택된 경우를 나타낸다. 사용자 단말 장치(100)의 제어부(130)는 사용자 조작에 대응되는 위치 정보 및 방향 정보를 서버 장치(600)로 전송한다. 서버 장치(600)는 그 위치 정보 및 방향 정보에 대응되는 이미지를 선택하여, 사용자 단말 장치(100)로 전송한다. 제어부(130)는 전송된 이미지(710)를 디스플레이부(110)를 통해 디스플레이한다. 표시되는 이미지(710)는 사용자가 선택한 지점에서 선택한 방향으로 촬영된 사진이 될 수 있다. 이미지(710) 내에는 이전 화면, 즉, 맵 화면(700)으로 돌아가기 위한 메뉴(720)도 함께 표시될 수 있다. 제어부(130)는 해당 메뉴(720)가 선택되면, 이미지(710) 표시를 삭제하고 다시 이전의 맵 화면(700)을 디스플레이할 수 있다.
한편, 도 7에서는 이미지(710)가 화면 전체에 표시되는 경우를 도시하였으나, 상술한 다른 예들과 마찬가지로 이미지(710)는 맵 화면(700)내의 일부 영역에 추가적으로 표시될 수도 있다.
이상과 같은 실시 예들에서는 맵 화면을 이용하여 이미지를 확인하는 과정을 구체적으로 설명하였으나, 이러한 맵 화면 및 이미지는 길 안내를 위해 제공될 수 있다. 가령, 사용자가 네비게이션 프로그램을 실행시키고 목적지를 설정하면, 그 목적지까지의 이동 경로와 그 이동 방향에 따라 선택적으로 이미지를 표시하여 줄 수 있다.
도 8은 이러한 실시 예에 따른 사용자 단말 장치에서의 네비게이션 방법을 설명하기 위한 흐름도이다. 도 8에 따르면, 사용자 단말 장치(100)는 맵 화면을 디스플레이한다(S810). 제어부(130)는 네비게이션 프로그램을 실행시켜, 맵 화면을 디스플레이할 수 있다. 이러한 상태에서 제어부(130)는 사용자 조작이 감지되고, 그 사용자 조작에 따라 목적지나 이동 경로 등이 선택되면, 그 선택된 이동 경로 및 이동 경로에 대응되는 적어도 하나의 이미지를 디스플레이한다(S830). 여기서, 이미지는 이동 경로를 따라 이동하는 방향, 즉, 이동 방향으로 촬영된 사진이 될 수 있다.
도 9 및 도 10은 이동 방향에 따라 상이한 이미지를 제공하는 방법을 설명하기 위한 도면이다.먼저, 도 9에 따르면, 맵 화면(900)이 디스플레이된 상태에서 출발지(910) 및 목적지(920)가 결정되면, 제어부(130)는 그 출발지(910)부터 목적지(920)까지의 이동 경로(930)를 표시한다. 이동 경로(930)는 맵 화면(900) 내에서의 도로 정보에 기초하여 결정될 수 있다. 가령, 제어부(130)는 사용자가 이동 경로 탐색 조건을 최단 거리 기준으로 설정해 두었다면, 출발지(910)부터 목적지(920)까지의 최단 경로를 이동 경로(930)로 설정할 수 있다. 또는, 최적 경로 기준으로 설정해 두었다면, 출발지(910)부터 목적지(920)까지의 거리, 이동 속도, 교통 상황 등을 종합적으로 고려하여, 가장 짧은 시간 내에 이동할 수 있는 경로를 이동 경로(930)로 설정할 수 있다.
그 밖에도, 사용자가 설정 가능한 다양한 기준에 따라서, 가령, 비용이 가장 적게 드는 경로, 관광지나 유명 명소를 가장 많이 거치는 경로 등을 이동 경로(930)로 설정하여 줄 수도 있다.또한, 목적지 및 출발지 사이에 복수의 경로가 존재하는 경우, 상술한 기준에 따라 사용자에게 복수의 경로를 추천하여 주고, 그 추천된 경로 중에서 하나가 선택되면 그 선택된 경로를 최종적으로 이동 경로로 결정할 수 있다. 이동 경로(930)가 결정되면, 제어부(130)는 이동 경로(930)가 지나는 지점에서 이동 방향으로 촬영된 이미지(941 ~ 944)를 맵 화면(900)에 추가로 표시한다.
도 9에서는 복수의 이미지(941 ~ 944)들이 이동 경로를 따라 순차적으로 나열된 상태를 나타낸다. 도 9에서 출발지(910)를 기준으로 첫 번째 표시된 제1 이미지(941)에서는 복수의 건물(11, 12)이 차례대로 정렬된 상태로 촬영된 사진을 나타낸다. 한편, 도 10은 도 9와 이동 방향이 반대인 경우를 도시하였다. 즉, 출발지 및 목적지(910, 920)가 도 9와 반대로 설정되면, 제어부(130)는 새로운 출발지 및 목적지(910, 920)에 부합하는 이동 경로(950)를 표시한다. 또한, 제어부(130)는 새로운 이동 경로(950) 및 이동 방향에 부합하는 새로운 이미지(961 ~ 966)를 디스플레이한다.
도 10에서 목적지(920)와 가장 가깝게 표시된 제6 이미지(961)는 도 9의 제1 이미지(941)와 동일한 지점에서 다른 방향으로 촬영된 사진을 나타낸다. 즉, 도 10의 제6 이미지(961)에서는 각 건물(12, 11)의 배치 순서가 도 9의 제1 이미지(941)와 반대임을 알 수 있다.이와 같이, 제어부(130)는 실제 이동 방향과 부합하는 시점의 이미지를 제공하여, 사용자가 이동 방향에 맞는 정확한 이미지를 확인할 수 있도록 한다. 사용자는 이미지를 손가락이나 펜 등과 같은 입력 수단을 이용하여 터치하거나 호버링 조작을 하여, 이미지를 회전시키거나 확대시킬 수도 있다.
도 9 및 도 10에서는 각 이미지들이 일정 거리 간격으로 이동 경로를 따라 순차적으로 표시된 상태를 나타낸다. 여기서 각 이미지들 사이의 간격은 이동 속도에 따라 달라질 수 있다. 즉, 본 네비게이션 방법은 사용자가 차량이나 기타 이동 수단을 이용하는 경우 뿐만 아니라 도보로 이동하는 경우에도 사용할 수 있다. 도보로 이동하는 경우, 차량으로 이동하는 경우에 비해 이동 속도가 현저하게 떨어지므로 좀 더 많은 이미지를 표시하여 주는 것이 사용자에게 유리하다. 따라서, 차량으로 이동할 경우에 매 100m 단위로 촬영된 이미지를 이동 경로를 따라 순차적으로 표시하였다면, 이동 속도를 고려하여 도보로 이동할 때에는 10 내지 20m 단위로 촬영된 이미지들을 이동 경로를 따라 순차적으로 표시하여 줄 수 있다.
도 11은 이동 수단에 따라 상이한 네비게이션 방법을 설명하기 위한 도면이다. 도 11에 따르면, 사용자는 설정 화면(1100)을 이용하여 목적지를 설정할 수 있다. 도 11의 설정 화면(1100)에서는 목적지 입력 영역(1101), 이동 수단 선택 영역(1102), 설정 완료 버튼(1103), 취소 버튼(1104) 등이 표시될 수 있다.
설명의 편의를 위해서 도 11의 설정 화면(1100)은 목적지 및 이동 수단만을 설정하는 것으로 도시하였으나, 실제 설정 화면(1100)에는 이 밖의 다양한 옵션 설정을 위한 영역이 추가로 표시될 수 있다. 가령, 출발지 입력 영역이나, 경유 지역 입력 영역, 경로 조건 선택 영역 등과 같은 영역들도 표시될 수 있다.
또한, 별도의 설정 화면 없이 맵 화면 내의 일부 영역을 설정 영역으로 활용하여, 그 설정 영역 내에서 목적지나 이동 수단 등을 선택하도록 구현될 수도 있다.
사용자가 목적지 및 이동 수단을 선택하면, 제어부(130)는 사용자 단말 장치(100)의 현재 위치로부터 목적지까지의 경로들 중에서 선택된 이동 수단으로 이동할 수 있는 최적 경로 또는 최단 경로 등을 선택한다. 도 11에서는 차량이 선택된 경우와 도보가 선택된 경우를 구분하여 도시하였다.
도 11에서 차량이 선택된 경우, 제어부(130)는 현 위치로부터 목적지까지의 제1 경로(1111)를 나타내는 맵 화면(1110)을 표시한다. 또한, 맵 화면 (1110) 내에는 제1 경로(1111)를 따라 이동하는 이동 방향으로 촬영된 복수의 이미지(1112-1 ~ 1112-3)를 순차적으로 표시한다.
반면, 도보가 선택된 경우, 제어부(130)는 도보로 이동 가능한 제2 경로(1121)를 포함하는 맵 화면(1120)을 표시한다. 또한, 제2 경로(1121)를 따라 촬영된 복수의 이미지(1122-1 ~ 1122-8)를 순차적으로 표시한다.
도 11에 따르면, 도보로 이동할 경우, 차량이 진입하지 못하는 통로까지 반영하여 이동 경로가 결정된다. 또한, 이동 속도를 고려하여, 차량으로 이동할 경우에 표시되는 이미지(1112-1 ~ 1112-3)보다 도보로 이동할 경우에 표시되는 이미지(1122-1 ~ 1122-8)가 더 좁은 간격으로 표시될 수 있다.
이상과 같이, 본 사용자 단말 장치의 이미지 제공 방법 또는 네비게이션 방법은 실외 조건 뿐만 아니라 실내 조건에서도 구현 가능하고, 차량으로 이동할 경우 뿐만 아니라 도보로 이동하는 경우에 있어서도 구현 가능하다.
한편, 사용자 단말 장치(100)는 사용자의 손가락과 같은 신체 일부의 터치에 의해 조작되는 것 이외에, 펜과 같은 입력 수단을 이용하여 조작될 수도 있다. 펜을 이용하게 되면, 손가락보다 세밀한 터치가 가능해진다. 따라서, 맵 화면(330) 내에서 이미지가 작은 사이즈로 표시되더라도, 펜을 이용하여 상하좌우 방향으로 이미지의 시점을 회전시킬 수 있다. 회전 각도는 이동 방향을 고려하여 일정 범위 내로 제한될 수도 있다. 가령, 상하좌우 방향으로 15 도 내지 30도 정도 범위 내에서만 회전이 가능하도록 제한될 수도 있으나, 이는 일 예에 불과하다. 즉, 실시 예에 따라서는 360도 회전이 가능하도록 구현될 수도 있다.
도 12는 사용자 터치 조작과 펜 조작을 구별 인식할 수 있는 사용자 단말 장치의 세부 구성의 일 예를 나타내는 블럭도이다. 도 12에 따르면, 사용자 단말 장치(100)는 디스플레이부(110), 감지부(120), 제어부(130) 및 저장부(140)를 포함한다. 저장부(140)는 사용자 단말 장치(100)의 동작에 필요한 각종 프로그램 및 데이터를 저장하기 위한 구성요소이다.　 제어부(130)는 저장부(140)에 저장된 각종 프로그램 및 데이터를 이용하여 사용자 단말 장치의 전반적인 동작을 제어한다. 제어부(130)는 RAM(131), ROM(132), CPU(133), GPU(Graphic Processing Unit)(134), 버스(135)를 포함한다. RAM(131), ROM(132), CPU(133), GPU(134) 등은 버스(135)를 통해 서로 연결될 수 있다.
CPU(133)는 저장부(140)에 액세스하여, 저장부(140)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(140)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다. ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(133)는 ROM(132)에 저장된 명령어에 따라 저장부(140)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(133)는 저장부(140)에 저장된 각종 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
GPU(134)는 다양한 유형의 화면을 디스플레이한다. GPU(134)는 네비게이션 프로그램이 실행되면, 저장부(140)에 저장된 맵 데이터를 이용하여 맵 화면을 디스플레이할 수 있다. 구체적으로는, GPU(134)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 맵 화면을 생성할 수 있다. 맵 화면은 2D 또는 3D로 표현될 수 있으며, 각종 건물이나 도로를 표현하기 위한 그래픽 오브젝트 및 각종 메뉴를 포함할 수 있다. 연산부는 화면의 레이아웃에 따라 각 오브젝트들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 각 오브젝트를 포함하는 맵 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(110)로 제공되어, 디스플레이 영역 내에 표시된다.
CPU(133)는 감지부(120)에서 출력되는 감지 결과에 따라 맵 화면 내의 어느 지점이 터치되었는지 판단할 수 있다. 이에 따라, 목적지가 입력되었다고 판단되면, CPU(133)는 저장부(140)에 저장된 맵 데이터 또는 외부 서버 장치에 저장된 데이터에 기초하여, 그 목적지까지의 이동 경로를 탐색할 수 있다. GPU(134)는 그 탐색된 이동 경로를 추가 표시할 수 있다.
또한, CPU(133)는 저장부(140) 또는 외부 서버 장치에 저장된 사진 이미지들로부터 이동 경로 및 이동 방향에 부합되는 이미지를 검색할 수 있다. GPU(134)는 검색된 이미지를 맵 화면상에 추가 표시할 수 있다. 이 경우, 이미지는 맵 화면과 상이한 그래픽 레이어에 중첩 표시될 수도 있고, 맵 화면과 결합되어 하나의 단일 이미지로 표현될 수도 있다.
디스플레이부(110)는 상술한 바와 같은 다양한 화면을 디스플레이한다. 디스플레이부(110)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이부(110) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 도 12에서, 디스플레이부(110) 및 감지부(120)는 하나의 터치 스크린으로 구현된 경우를 도시하였다.
감지부(120)는 다양한 입력 수단을 이용한 사용자 조작이 감지되면, 감지 결과를 제어부(130)로 통지한다. 가령, 사용자가 손가락이나 펜으로 화면상의 일 지점을 터치하였다면, 감지부(120)는 터치 지점의 x, y 좌표 값을 제어부(130)로 통지한다. 사용자가 터치한 상태에서 터치 지점을 이동시키는 경우, 감지부(120)는 변화되는 터치 좌표값을 실시간으로 제어부(130)에 통지한다.
감지부(120)는 직접적인 터치가 이루어지지 않고, 가까이 접근만 한 경우도 감지할 수 있다. 구체적으로는, 감지부(120)는 펜 인식 패널(121)과 터치 패널(122)을 포함할 수 있다. 팬 인식 패널(121)은 펜(200)의 근접 입력 또는 터치 입력을 감지하고, 그 감지 결과에 따른 이벤트 신호를 출력한다. 이러한 펜 인식 패널(121)은 EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다.
구체적으로 펜 인식 패널(121)은 전자 유도 코일 센서(미도시) 및 전자 신호 처리 회로부(미도시)를 포함할 수 있다. 전자 유도 코일 센서는, 복수의 루프 코일이 서로 교차되도록 배치된 그리드 구조로 이루어진다. 전자 신호 처리 회로부는 전자 유도 코일 센서의 각 루프 코일에 순차적으로 교류 신호를 제공하고, 각 루프 코일로부터 출력되는 신호를 제어부(130)로 전달한다. 펜(200)이 공진 회로를 내장하고 있는 형태인 경우, 펜 인식 패널(121)의 루프 코일 근방에 펜(200)이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜(200) 내의 공진 회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널(121)은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지된다.
이상에서는 펜(200)으로 기재하였으나, 전자 유도에 기초한 전류를 발생시킬 수 있는 물체라면 입력 수단으로 사용될 수 있다. 펜 인식 패널(121)은 디스플레이 부(110) 하측에 배치되어, 특정 이벤트 발생에 따라 또는 디폴트로 활성화될 수 있다.터치 패널(122)은 사용자의 신체나 기타 사물을 통한 물리적인 터치 입력을 감지하기 위한 구성요소이다.
터치 패널(122)은 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다. 터치 패널(122)은 터치가 감지되면, 감지된 지점에 대응되는 터치 이벤트 값을 출력한다. 터치 패널(122)은 상술한 바와 같이 정전 용량 식이나 감압 식 등과 같은 다양한 형태의 터치 센서를 포함할 수 있다. 일 예로, 터치 패널(122)이 정전용량식으로 구현된 경우, 터치 패널(122)은 유리의 양면에 얇은 금속 전도성 물질(예를 들면, ITO(Indium Tin Oxide：산화 인듐주석) 막 등)을 코팅하여 유리표면에 전류가 흐르도록 하고 전하를 저장할 수 있는 유전체로 코팅되어 구성된다. 이러한 터치 패널(122)의 표면이 터치되면 정전기에 의해 일정량의 전하가 접촉 위치로 이동하고, 터치 패널(122)은 전하의 이동에 따른 전류의 변화량을 인식해서 터치된 위치를 감지하게 되고 터치 이벤트를 추적한다.
여기서 터치 패널(12)에서 발생하는 터치 이벤트는 주로 사람의 손가락에 의해 생성될 수 있으나, 정전용량 변화를 가할 수 있는 다른 물체, 예를 들면 정전용량 변화를 가할 수 있는 전도성 재질의 물체에 의해서도 생성될 수 있다.
도 12에서는 펜 인식 패널(121)과 터치 패널(122)가 각각 별도의 패널로 마련된 것으로 도시하였으나, 두 패널이 하나의 패널로 구현될 수도 있다. 이에 따라, 감지부(120)는 사용자의 손가락에 의한 터치 조작 및 근접 조작과, 펜에 의한 터치 조작 및 근접 조작을 각각 구별하여 감지할 수 있다.
제어부(130)는 그 감지 결과에 따라 다양한 제어 동작을 수행할 수 있다. 펜 인식 패널(121)에서는 펜을 이용한 조작을 거의 픽셀 단위로 인식할 수 있다. 따라서, 제어부(130)가 펜 사용 모드에서는 화면 상에 표시되는 메뉴의 크기를 축소시키더라도, 사용자는 충분히 용이하게 해당 메뉴를 선택할 수 있다. 펜을 이용한 세밀한 조작을 감지하기 위하여, 펜 인식 패널(121)은 디스플레이부(110) 내의 디스플레이 패널 이상의 사이즈로 제작될 수 있다. 이에 따라, 디스플레이 패널의 경계 부분에서부터 사용자 조작을 픽셀 단위로 감지할 수 있다.
도 13은 디스플레이부(110)의 세부 구성의 일 예를 설명하기 위한 도면이다. 도13에 따르면, 디스플레이부(110)는 디스플레이 패널(115) 이외에도, 타이밍 컨트롤러(111), 게이트 드라이버(112), 데이터 드라이버(113), 전압 구동부(14) 등과 같은 처리 회로부를 더 포함할 수 있다.
도 13에서는 도시를 생략하였으나, 디스플레이부(110)는 프레임 버퍼 등을 더 포함할 수도 있다. 타이밍 컨트롤러(111)는 외부로부터 디스플레이 패널(115)에 적합한 클럭신호와 수평 동기 신호(Hsync), 수직 동기 신호(Vsync)등을 입력받아 게이트 제어신호(주사 제어신호), 데이터 제어신호(데이터 신호)를 생성하여, 게이트 드라이버(112) 및 데이터 드라이버(113)로 각각 출력한다.　
전압 구동부(114)는 게이트 드라이버(112), 데이터 드라이버(113), 표시패널(115) 등에 구동 전압을 전달하기 위한 구성이다. 구체적으로는, 디스플레이 패널(115)에 필요한 전원전압(VDD)이나 접지전압(VSS)을 제공할 수 있다. 또한, 게이트 온 전압(Vgh)을 생성하여 게이트 드라이버(112)로 제공할 수 있다. 게이트 드라이버(112)는 주사선(S1, S2, S3,..., Sn)을 통해 디스플레이 패널(115)과 연결된다.
게이트 드라이버(112)는 타이밍 컨트롤러(111)에 의해 생성된 게이트 제어 신호에 따라 전압 구동부(114)로부터 제공받은 게이트 온/오프 전압(Vgh/Vgl)을 디스플레이 패널(115)로 인가한다. 데이터 드라이버(233)는 데이터 선(D1, D2, D3,..., Dm)을 통해 디스플레이 패널(115)과 연결된다. 데이터 드라이버(233)는 타이밍 컨트롤러(231)에 의해 생성된 데이터 제어 신호에 따라, 영상 이미지 프레임의 RGB 데이터를 디스플레이 패널(115)에 입력한다.
디스플레이 패널(115)은 다수의 게이트 라인(GL1~GLn)과 데이터 라인(DL1~DLn)이 서로 교차하여 화소 영역(116)을 형성하는 형태로 구현된다. 디스플레이 패널(115)이 OLED 방식인 경우, 각 화소 영역(116)에는 OLED와 같은 R, G, B의 발광소자가 형성되는 형태로 구현될 수 있다. 각 화소 영역(236)에는 스위칭소자 즉 TFT가 형성된다. 또한, 각 화소 영역(236)의 하측에는 사용자 신체 또는 펜을 이용한 사용자의 조작을 감지하기 위한 감지 센서들이 배치될 수 있다. 즉, 감지부(120)는 디스플레이부(110)와 함께 배치되어, 픽셀 단위로 사용자 조작을 감지할 수 있다.　
전술한 것처럼 사용자는 디스플레이부(110)의 화면을 직접 터치하지 않고, 손가락이나 펜과 같은 입력 수단을 접근시키는 동작만으로 사용자 단말 장치(100)에 제어 명령을 입력시킬 수 있다. 이 경우 감지부(120)는 근접 센서를 이용하여 근접 터치를 센싱할 수 있다. 근접 터치란 화면을 직접 터치하지 않고 공간상의 일정한 유효 인식 범위에서 움직임이 인식되는 경우 하나의 터치 제스처로 인식하는 것을 의미한다.
도 14는 근접 센서를 이용하여 사용자 신체의 접근 조작을 감지하는 방법을 설명하기 위한 도면이다. 도 14를 참조하면, 감지부(120)는 적외선 소스부(123) 및 적외선 센싱부(124)를 더 포함할 수 있다. 적외선 소스부(123) 및 적외선 센싱부(124)는 사용자의 접근을 감지하는 근접 센서의 기능을 할 수 있다. 구체적으로는, 적외선 소스부(123)는 디스플레이 부(110) 내부의 디스플레이 패널(115)의 일 표면에 배치되고, 적외선 센싱부(124)는 디스플레이 패널(115)의 타 표면에 배치된다. 적외선 소스부(123)는 디스플레이 패널(115)의 표면 방향으로 적외선을 조사한다.
이에 따라, 디스플레이 패널(115)의 표면 위로 사용자의 손가락(50)의 접근을 인식할 수 있는 일정한 영역이 존재한다. 이 영역이 근접 터치를 인식할 수 있는 유효 인식 영역(5)이 된다. 적외선 센싱부(124)는 어레이 형태로 배치되는 복수의 적외선 센싱 소자를 포함할 수 있다. 따라서, 손가락(50)이 유효 인식 영역(5) 안으로 근접하면 적외선 센싱부(124)는 손가락(50)에 의하여 반사되는 적외선을 감지하여 적외선 스캔 이미지를 생성할 수 있다. 사용자 단말 장치(100)는 생성된 적외선 스캔 이미지를 이용하여 근접 터치 입력을 감지할 수 있다.
한편, 감지부(120)는 펜(200)이 접근하는 경우도 감지할 수 있다. 즉, 상술한 바와 같이, 펜 인식 패널(121)은 전자 유도 코일 센서 및 전자 신호 처리 회로부(미도시)를 포함할 수 있다. 도 15는 펜 인식 패널(121)을 이용하여 펜(200)의 접근을 감지하기 위한 구성의 일 예를 나타낸다. 도 15에 따르면, 디스플레이부(110) 내에는 전자 유도 코일 센서(125)가 더 포함될 수 있다. 펜(200)이 일정 거리 이내(5a)로 접근하게 되면, 펜(200) 내부의 자기장 코일로 인해 접근 지점의 자기장이 변화하게 되므로, 그 지점의 전자 유도 코일 센서(125)에서 변화된 자기장이 감지된다.
감지된 자기장은 전자 신호 처리 회로부에 의해 처리되어 제어부(130)로 입력된다. 그 입력 값에 기초하여, 펜(200)이 접근한 지점을 감지할 수 있다. 또한, 제어부(130)는 그 자기장 변화 값의 크기에 따라 직접적인 터치가 이루어졌는 지 여부도 판단할 수 있다.
도 14 및 도 15에 도시된 바와 같이, 적외선 소스부(123), 적외선 센싱부(124), 펜 인식 패널(121) 등을 이용하게 되면, 사용자가 손(50)과 같은 신체 일부로 터치 또는 접근하였는지, 펜(200)을 이용하여 터치 또는 접근하였는지를 구별하여 인식할 수 있게 된다. 제어부(130)는 그 입력 수단의 종류와 조작 방식에 따라 다양한 제어 동작을 선택적으로 수행할 수 있게 된다.
특히, 상술한 바와 같이 펜(200)을 이용한 세밀한 터치가 가능하게 되면, 사용자는 맵 화면 상에서 펜(200)을 이용하여 각 지점을 정확하게 터치하여, 자신이 가고자 하는 목적지를 지정할 수 있다. 또는, 사용자는 펜(200)을 이용하여 맵 화면 상에서 목적지의 명칭이나 주소를 필기하여 목적지를 지정할 수도 있다. 또는, 사용자는 펜(200)을 이용하여 이동 경로를 직접 맵 화면에 드로잉할 수도 있다.이 경우, 제어부(130)는 펜(200)이 터치 또는 접근한 지점이나 그 궤적을 맵 화면 상에서 그래픽 라인으로 표현할 수 있다.
구체적으로는, GPU(134)는 사용자가 손가락이나 펜으로 맵 화면 상에서 드로잉(drawing) 동작을 수행하면, 그 조작 내용에 따라 오브젝트를 렌더링한다. GPU(134)는 맵 화면과 오브젝트를 서로 다른 그래픽 레이어 상에 표현할 수 있다. 즉, 맵 화면 레이어 상측에 오브젝트 레이어를 중첩시켜 표시한다. GPU(134)는 손가락을 이용하여 조작하는 경우와 펜을 이용하여 조작하는 경우에 대하여 서로 구별하여, 상이한 속성의 그래픽 라인(line)을 표시할 수 있다.
가령, 손가락의 경우 펜이 비해 끝이 뭉툭하므로 굵은 그래픽 라인을 표시하고, 펜의 경우는 날카로운 그래픽 라인을 표시할 수 있다. 두께 이외에도 컬러, 형태 등과 같은 속성이 입력 수단의 종류에 따라 다르게 결정될 수 있다. 제어부(130)는 사용자가 드로잉한 내용을 인식하여, 그 내용에 따라 목적지나 이동 경로 및 기타 설정 사항을 결정할 수 있다. 그리고, 결정된 사항에 따라 네비게이션 동작을 수행할 수 있다.이러한 제어부(130)의 동작은 사용자 단말 장치(100)에 저장된 각종 소프트웨어의 실행에 의해 이루어질 수 있다.
도 16은 사용자 단말 장치(100)가 사용하는 소프트웨어 구조의 일 예를 나타내는 도면이다. 도 16의 소프트웨어는 저장부(140)에 저장될 수도 있으나 반드시 이에 한정되는 것은 아니며 사용자 단말 장치(100) 내에 사용되는 다양한 유형의 저장 수단에 저장될 수도 있다.
도 16에 따르면, 사용자 단말 장치(100)에는 OS(141), 커널(142), 미들웨어(143), 어플리케이션(144) 등을 포함하는 소프트웨어가 저장될 수 있다.
운영체제(Operating System: OS, 141)는 하드웨어의 전반적인 동작을 제어하고 관리하는 기능을 수행한다. 즉, OS(141)는 하드웨어 관리와 메모리, 보안 등의 기본적인 기능을 담당하는 계층이다.
커널(142)은 감지부(120) 등에서 감지되는 각종 신호들을 미들웨어(143)로 전달하는 통로 역할을 한다.
미들웨어(143)는 사용자 단말 장치(100)의 동작을 제어하는 각종 소프트웨어 모듈을 포함한다. 도 16에 따르면, 미들웨어(143)는 X11 모듈(143-1), APP 매니저 (143-2), 연결 매니저(143-3), 보안 모듈(143-4), 시스템 매니저(143-5), 멀티미디어 프레임워크(143-6), UI 프레임워크(143-7), 윈도우 매니저(143-8), 필기 인식 모듈(143-9)을 포함한다.
X11 모듈(143-1)은 사용자 단말 장치(100)에 구비된 각종 하드웨어들로부터 각종 이벤트 신호를 수신하는 모듈이다. 여기서 이벤트란, 사용자 조작이 감지되는 이벤트, 시스템 알람이 발생하는 이벤트, 특정 프로그램이 실행 또는 종료되는 이벤트 등과 같이 다양하게 설정될 수 있다.
APP 매니저(143-2)는 저장부(140)에 설치(install)된 각종 어플리케이션의 실행 상태를 관리하는 모듈이다. APP 매니저(143-2)는 X11 모듈(143-2)로부터 어플리케이션 실행 명령이 입력된 이벤트가 감지되면, 해당 이벤트에 대응되는 어플리케이션을 호출하여 실행시킨다. 즉, APP 매니저(143-2)는 홈 화면 상에서 적어도 하나의 오브젝트가 선택된 이벤트가 감지되면, 그 오브젝트에 대응되는 어플리케이션을 호출하여 실행시키는 동작을 수행한다.
연결 매니저(143-3)는 유선 또는 무선 네트워크 연결을 지원하기 위한 모듈이다. 연결 매니저(143-3)는 DNET 모듈, UPnP 모듈 등과 같은 다양한 세부 모듈들을 포함할 수 있다.
보안 모듈(143-4)은 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 모듈이다.
시스템 매니저(143-5)는 사용자 단말 장치(100) 내의 각 구성요소들의 상태를 모니터링하고, 그 모니터링 결과를 타 모듈들에게 제공한다. 가령, 배터리 잔량이 부족하거나, 에러가 발생하는 경우, 통신 연결 상태가 끊어지는 경우 등이 발생하면 시스템 매니저(143-5)는 그 모니터링 결과를 UI 프레임워크(143-7)로 제공하여 알림 메시지나 알림 음을 출력할 수 있다.
멀티미디어 프레임워크(143-6)는 사용자 단말 장치(100)에 저장되어 있거나, 외부 소스로부터 제공되는 멀티미디어 컨텐츠를 재생하기 위한 모듈이다. 멀티미디어 프레임워크(143-6)는 플레이어 모듈, 캠코더 모듈, 사운드 처리 모듈 등을 포함할 수 있다. 이에 따라, 각종 멀티미디어 컨텐츠를 재생하여 화면 및 음향을 생성하여 재생하는 동작을 수행할 수 있다.
UI 프레임워크(143-7)는 각종 UI를 제공하기 위한 모듈이다. UI 프레임워크(143-7)는 각종 오브젝트를 구성하는 이미지 합성기(Image Compositor module), 오브젝트가 표시될 좌표를 산출하는 좌표 합성기, 구성된 오브젝트를 산출된 좌표에 렌더링하는 렌더링 모듈, 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷 등을 포함할 수 있다.
윈도우 매니저(143-8)는 사용자의 신체나 펜을 이용한 터치 이벤트나 기타 입력 이벤트를 감지할 수 있다. 윈도우 매니저(143-8)는 이러한 이벤트가 감지되면 UI 프레임워크(142-7)로 이벤트 신호를 전달하여, 이벤트에 대응되는 동작을 수행하도록 한다.
필기 인식 모듈(143-9)은 사용자가 디스플레이부(110) 표면 상에서 드로잉한 궤적을 파싱하여, 그 내용을 인식하기 위한 모듈이다. 필기 인식 모듈(143-9)은 펜 인식 패널(121)로 터치되는 포인트들의 좌표값을 입력받아, 터치된 포인트들의 좌표값을 스트로크로 저장한다. 그리고, 그 스트로크를 이용하여 스트로크 어레이를 생성할 수 있다. 그리고 필기 인식 모듈(143-9)은 미리 저장된 필기 라이브러리와, 생성된 스트로크 어레이를 비교하여, 필기 내용을 인식할 수 있다. 인식된 필기 내용은 어플리케이션 매니저(143-2)로 제공되며, 어플리케이션 매니저(143-2)는 그 필기 내용을, 사용자 필기가 이루어진 지점의 오브젝트에 대응되는 어플리케이션으로 제공한다. 네비게이션 프로그램이 실행중인 상태에서 사용자의 필기가 이루어지면, 필기 인식 모듈(143-9)은 그 필기 내용이 텍스트이면 그 텍스트를 포함하는 명칭 또는 주소를 어플리케이션 매니저(143-2)로 제공한다. 어플리케이션 매니저(143-2)는 인식된 명칭 또는 주소를 네비게이션 프로그램으로 제공하고, 네비게이션 프로그램은 제공된 명칭 또는 주소를 이용하여 목적지를 인식할 수 있다.
또는, 그 필기 내용이 라인(line)이면, 필기 인식 모듈(243-9)은 그 라인이 그려진 지점에 대한 정보를 어플리케이션 매니저(143-2)를 통해 네비게이션 프로그램으로 제공할 수 있다. 네비게이션 프로그램은 현재 표시된 맵 화면과 사용자가 드로잉한 라인의 위치를 비교하여, 이동 경로를 인식할 수도 있다. 이에 따라, 상술한 바와 같이, 어플리케이션이 인식된 필기 내용에 기초한 제어 동작을 수행할 수 있다.
한편, UI 프레임워크(143-7)는 사용자가 손이나 펜 등과 같은 다양한 입력 수단을 이용하여 디스플레이부(110) 표면을 터치하거나 드로잉하는 경우, 그 사용자 조작에 따라 다양한 그래픽 라인을 드로잉(drawing)할 수 있다.
또한, UI 프레임워크(143-7)은 펜이 분리되거나 장착되는 등의 이벤트가 발생하면, 현재 표시되고 있는 UI 화면의 레이이웃을 변경하는 동작도 수행한다. 가령, 맵 화면이 디스플레이되고 있는 상태에서 펜(200)이 사용자 단말 장치(100)의 본체로부터 분리되면, UI 프레임워크(143-7)는 맵 화면 내에서 메뉴 영역의 크기를 축소시키고, 맵 영역의 크기를 확대시킬 수 있다. 즉, 사용자는 펜(200)을 이용하면 세밀한 터치가 가능하므로, 메뉴 영역이 축소되더라도 용이하게 각 메뉴를 선택할 수 있다. 따라서, 펜을 분리한 펜 사용 모드에서는 사용자가 넓은 맵 영역을 이용할 수 있도록 메뉴 영역을 축소시킬 수 있다.
어플리케이션 모듈(144)은 다양한 기능을 지원하기 위한 어플리케이션들(144-1 ~ 144-n)을 포함한다. 예를 들어, 네비게이션 프로그램 모듈, 게임 모듈, 전자 책 모듈, 달력 모듈, 알람 관리 모듈 등과 같은 다양한 서비스를 제공하기 위한 프로그램 모듈을 포함할 수 있다. 이러한 어플리케이션들은 디폴트로 설치되어 있을 수도 있고, 사용자가 사용 과정에서 임의로 설치하여 사용할 수도 있다.
도 16에 표시된 소프트웨어 구조는 일 예에 불과하므로, 반드시 이에 한정되어야 하는 것은 아니다. 따라서, 필요에 따라 일부가 생략 또는 변형되거나, 추가될 수도 있음은 물론이다. 가령, 저장부(140)에는 각종 센서들에서 센싱된 신호들을 분석하기 위한 센싱 모듈이나, 메신저 프로그램, SMS(Short Message Service) & MMS(Multimedia Message Service) 프로그램, 이메일 프로그램 등과 같은 메시징 모듈, 전화 정보 수집기(Call Info Aggregator) 프로그램 모듈, VoIP 모듈, 웹 브라우저 모듈 등과 같이 다양한 프로그램들이 추가로 마련될 수도 있다.
이상과 같이, 사용자 단말 장치(100)는 사용자의 신체를 이용한 터치 조작 및 접근 조작과, 펜을 이용한 터치 조작 및 접근 조작을 각각 구별하여 인식할 수 있다. 제어부(130)는 각 조작에 따라 다양한 제어 동작을 수행할 수 있다. 특히, 제어부(130)는 상술한 이미지를 실시 예에 따라서 다양한 방식으로 제공할 수 있다. 이하에서는, 네비게이션 기능 중에 수행될 수 있는 제어 동작의 다양한 예에 대하여 설명한다.
도 17은 본 발명의 다른 실시 예에 따른 네비게이션 방법을 설명하기 위한 도면이다. 도 17에 따르면, 제어부(130)는 맵 화면(900) 내에 이동 경로(930)를 표시할 수 있다. 이러한 상태에서 사용자가 펜(200)을 이용하여 이동 경로(930) 상의 일 지점에 대해 호버링을 수행하면 제어부(130)는 호버링된 지점에서 촬영된 이미지들 중에서 현재의 이동 방향에 맞는 이미지(1710)를 디스플레이한다. 이러한 상태에서 사용자가 (a) ~ (e) 방향과 같이 이동 경로(930)를 따라 호버링 지점을 이동시키면, 제어부(130)는 그 호버링 상태에 따라 각 지점 별 이미지들(1710 ~ 1750)를 순차적으로 디스플레이한다. 이에 따라, 사용자는 마치 그 이동 경로(930)를 따라 실제로 이동하는 것처럼, 실제 도로 풍경을 확인할 수 있게 된다. 호버링 지점을 판단하는 방법에 대해서는 상술한 도 14 및 도 15에서 이미 구체적으로 설명한 바 있으므로 중복 설명은 생략한다.
도 18은 본 발명의 또 다른 실시 예에 따른 네비게이션 방법을 설명하기 위한 도면이다. 도 18에 따르면, 맵 화면(900) 상에 이동 경로(930)가 표시된 상태에서, 기 설정된 이벤트가 발생하면, 제어부(130)는 그 이동 경로(930)의 각 지점에 대응되는 복수의 이미지(1800-1 ~ 1800-n)를 하나의 지점(1800)에서 마치 동영상처럼 순차적으로 디스플레이할 수 있다.
도 18에서는 동영상 표시 지점(1800)이 현위치 주변인 것으로 도시되었으나, 이는 일 예에 불과하며 그 표시 지점은 다양하게 변경될 수 있다. 또한, 도 18에서는 동영상 표시 지점(1800)이 맵 화면(900) 내에 마련되는 것으로 도시하였으나, 제어부(130)는 전체 화면을 분할하여 맵 화면(900)과 별개로 동영상 표시 화면을 제공할 수도 있다.
도 19는 이러한 실시 예에 따른 사용자 단말 장치의 동작을 나타낸다.
도 19에 따르면, 제어부(130)는 맵 화면(900)의 일 측에 동영상 표시 화면(1800)을 디스플레이한다. 제어부(130)는 동영상 표시 화면(1800)에 이동 경로(930)를 따라 촬영된 복수의 이미지들을 순차적으로 디스플레이하여, 마치 한 편의 동영상을 보는 효과를 제공할 수 있다. 또한, 맵 화면(900)의 이동 경로(930)에는 위치 이동 상태를 나타내는 아이콘(1801)을 함께 표시할 수 있다.
제어부(130)는 사용자 선택에 따라 이동 시뮬레이션이 이루어지면, 아이콘(1801)을 이동 경로(930)를 따라 이동시키면서, 그와 동기를 맞추어, 아이콘(1801)이 표시된 지점에 대응되는 이미지를 동영상 표시 화면(1800)에 표시할 수 있다. 이에 따라, 사용자는 이동 경로 상의 각 지점 별 주요 이미지들을 한꺼번에 확인할 수 있다.
한편, 도 18 및 도 19에서는 전체 이동 경로(930) 내의 각 지점 별 이미지를 조합하여 동영상처럼 표시하였으나, 실제 동영상 컨텐츠가 이미지로 제공될 수도 있다. 또한, 사용자가 이동 경로 상에서 동영상 생성에 필요한 지점이나 그 구간을 결정하면, 제어부(130)가 선택된 지점이나 구간에 해당하는 이미지를 동영상 화할 수도 있다.
그 밖에도, 이미지들은 다양한 방식으로 제공될 수 있다. 가령, 제어부(130)는 이동 경로 상에서 기 설정된 조건에 충족하는 지점을 선택하여, 그 선택된 지점별로 대응되는 이미지를 디스플레이할 수 있다. 구체적으로는, 이동 경로를 일정한 거리 단위(예를 들어, 50m, 100m, 500m, 1000m 등)로 구분하고, 각 구간의 경계 지점마다 이미지를 표시할 수 있다.
또는, 제어부(130)는 이동 경로 중에서 교차로 지점, 사고 다발 지점, 경로 이탈 빈도 또는 재설정 빈도가 많은 지점, 사용자가 이전에 가본 장소의 부근, 사용자 설정 빈도가 높은 장소 부근, 사용자 추천이 많은 장소 부근, 관광 명소, 등록된 이미지의 개수가 많은 지점, 사용자가 설정한 목적지와 관련성이 있는 장소 등과 같은 다양한 조건 중 적어도 하나의 조건에 따라 이미지가 표시될 장소 및 그 이미지를 선택할 수 있다.
이상과 같이, 사용자 단말 장치(100)는 출발지 및 목적지가 결정되면, 그에 따른 이동 경로를 검출하고 그 이동 경로에 대응되는 위치 및 방향의 이미지들을 선택적으로 디스플레이하여 줄 수 있다. 여기서, 출발지, 목적지, 이동 경로 등은 실시 예에 따라 다양한 방식으로 선택될 수 있다.
일 예로, 사용자는 펜을 이용하여 목적지나 이동 경로를 맵 화면 상에서 편리하게 입력할 수도 있다.
도 20은 본 발명의 또 다른 실시 예에 따른 사용자 단말 장치에서 목적지를 입력하는 방법의 일 예를 설명하기 위한 흐름도이다. 도 20에 따르면, 사용자가 펜 필기를 입력하면(S2010), 제어부(130)는 그 필기 내용을 인식한다(S2020). 필기 내용 인식 방법에 대해서는 상술한 부분에서 이미 구체적으로 설명한 바 있으므로, 중복 설명은 생략한다.
제어부(130)는 필기 내용이 인식되면, 그 필기 내용에 대응되는 적어도 하나의 후보 목적지를 디스플레이한다(S2030). 후보 목적지가 하나 뿐이라면, 제어부(130)는 후보 목적지를 디스플레이하는 과정을 생략할 수도 있다.
사용자는 디스플레이된 후보 목적지 중 하나를 선택할 수 있다(S2040). 사용자가 하나의 목적지를 선택하면, 제어부(130)는 그 목적지 및 현지 위치를 이용하여 이동 경로를 파악하고, 그 중 하나의 이동 경로를 사용자에게 추천할 수 있다(S2050). 사용자는 이동 경로에 대해 확인 명령 또는 재탐색 명령 등을 입력하여, 이동 경로를 선택할 수 있다(S2060).
사용자가 이동 경로를 선택하면, 제어부(130)는 그 이동 경로 및 그 이동 경로에 부합하는 이미지를 디스플레이할 수 있다(S2070).
도 21은 도 20의 방식으로 목적지를 입력하는 방법을 설명하기 위한 도면이다. 도 21에 도시된 바와 같이, 사용자가 펜(200)을 이용하여 맵 화면(900) 상에 텍스트(예를 들어, ABC 빌딩)(2100)를 필기하면, 제어부(130)는 필기 인식 모듈을 이용하여 필기 내용(2100)을 인식한다.
그리고, 제어부(130)는 저장부(140) 또는 외부 서버 장치에 저장된 데이터베이스로부터, 인식된 필기 내용(2100)을 포함하는 목적지 정보를 탐색한다. 탐색 결과, 하나의 목적지가 결정되면, 제어부(130)는 그 목적지 까지의 이동 경로(2110)를 맵 화면(900) 상에 바로 표시한다.
한편, 인식된 필기 내용(2100)을 포함하는 목적지 정보가 복수 개이면, 제어부(130)는 복수개의 목적지 정보를 선택할 수 있는 선택 UI를 디스플레이하여 줄 수 있다. 이에 따라 그 선택 UI 내에서 하나의 목적지 정보가 선택되면, 선택된 목적지 정보에 따라 이동 경로(2110)를 검출하고 맵 화면(900)에 표시할 수 있다.
도 22는 사용자가 맵 화면 상에서 이동 경로를 직접 입력하는 방법을 설명하기 위한 흐름도이다. 도 22에 따르면, 사용자는 맵 화면 상에서 펜(200) 등과 같은 입력 수단을 이용하여 라인을 드로잉할 수 있다(S2210). 제어부(130)는 라인이 드로잉되면, 그 라인 궤적과 맵 화면의 도로 정보를 비교하여 이동 경로를 추정할 수 있다(S2220).
이 경우, 라인이 최초 드로잉된 시작 지점을 출발지로 하고, 펜 터치가 종료된 지점을 목적지로 설정할 수 있다. 또한, 제어부(130)는 사용자가 드로잉한 라인 궤적이 실제 도로와 일치하면 그 도로를 이동 경로로 설정할 수 있다. 반면, 실제 도로와 일치하지 않도록 드로잉된 라인에 대해서는 라인을 보정하여 줄 수 있다. 가령, 제어부(130)는 실제 도로와 일치하지 않도록 드로잉된 라인 구간에서는 그 라인에 가장 근접한 도로를 이동 경로로 선택할 수도 있고, 또는 출발지 및 목적지 사이의 가능한 경로 중에서 그 라인 구간과 가장 유사한 형태의 경로를 이동 경로로 선택할 수도 있다.
이동 경로가 결정되면, 제어부(130)는 그 이동 경로를 맵 화면상에 디스플레이한다(S2230). 이 경우, 제어부(130)는 이동 경로와 함께, 이동 방향에 부합하는 이미지도 디스플레이할 수 있다.
도 23은 도 22의 이동 경로 선택 방법을 설명하기 위한 도면이다. 도 23에 따르면, 사용자가 펜(200)을 이용하여 맵 화면(900) 상에서 임의의 라인(2300)을 드로잉하면, 제어부(130)는 그 라인(2300)을 실제 도로에 맞게 보정하여 이동 경로(2310)로 선택할 수 있다.
구체적으로는, 제어부(130)는 맵 화면(900) 내에서 사용자가 드로잉한 라인(2300)의 시작점을 출발지로 결정하고, 마지막 점을 목적지로 결정한다. 그리고, 출발지로부터 목적지까지의 경로들 중에서 사용자가 드로잉한 라인(2300)과 가장 가까운 경로를 이동 경로로 선택한다.
이 경우, 제어부(130)는 각 경로를 일정 거리 단위로 나누어 복수의 구간으로 분리하고, 각 구간 별로 라인(2300)과 가장 유사한 경로를 선택한 후, 각 구간 별 경로를 전부 연결하여 최종 이동 경로를 선택할 수도 있다. 이와 같이, 사용자는 각종 입력 수단을 이용하여 편리하게 목적지나 이동 경로 등을 선택할 수 있게 된다.
한편, 상술한 바와 같이 사용자 단말 장치는 휴대폰, 태블릿 PC, 랩탑 PC, PDA, MP3 플레이어, 전자 액자 장치, TV, PC, 키오스크 등과 같은 다양한 유형의 장치로 구현될 수 있다. 여기서, 휴대폰이나 태블릿 PC 등과 같이 통신 기능, 컨텐츠 재생 기능 등과 같이 다양한 기능을 갖춘 장치로 구현되는 경우, 사용자 단말 장치에는 이러한 기능을 수행하기 위한 구성요소들이 추가로 구비될 수 있다.
도 24는 다양한 구성 요소를 종합적으로 포함하는 사용자 단말 장치의 예를 나타내는 블럭도이다.
도 24에 따르면, 사용자 단말 장치(100)는 디스플레이부(110), 감지부(120), 제어부(130), 저장부(140), 통신부(150), GPS 칩(161), 비디오 프로세서(162), 오디오 프로세서(163), 버튼(164), 마이크 부(165), 카메라부(166), 스피커부(167), 움직임 감지부(168)를 포함할 수 있다.
디스플레이부(110) 및 감지부(120)는 상술한 부분에서 설명한 바와 같이 터치 스크린 형태로 구현되어, 각종 화면을 디스플레이하고, 그 화면에 대해 이루어지는 사용자 조작을 감지할 수 있다.
제어부(130)는 저장부(140)에 저장된 각종 프로그램 및 데이터를 이용하여 사용자 단말 장치(100)의 동작을 전반적으로 제어한다. 특히, 제어부(130)는 네비게이션 프로그램을 실행시켜, 상술한 바와 같은 다양한 실시 예에서 설명한 네비게이션 방법을 제공할 수 있다.
디스플레이부(110), 감지부(120), 제어부(130)에 대해서는 상술한 다양한 실시 예들에서 이미 구체적으로 설명한 바 있으므로, 중복 설명은 생략한다.
통신부(150)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(150)는 와이파이칩(151), 블루투스 칩(152), 무선 통신 칩(153), NFC 칩(154)을 포함한다.
와이파이 칩(151), 블루투스 칩(152)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩(151)이나 블루투스 칩(152)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(153)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(154)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
제어부(130)는 통신부(150)를 이용하여 각종 외부 기기와 통신을 수행한다. 사용자 단말 장치(100)가 맵 데이터나, 네비게이션 데이터베이스가 저장되지 않은 경우, 제어부(130)는 통신부(150)를 이용하여 외부의 서버 장치로부터 맵 데이터나, 기타 위치 정보를 수신할 수 있다. 또한, 이미지가 저장부(140)에 저장되어 있지 않은 경우에는, 제어부(130)는 서버 장치로부터 이미지를 다운로드받을 수도 있다.
그 밖에, 통신부(150)는 서버 장치가 아닌 외부의 타 사용자 단말 장치와 직접적으로 통신을 수행하여, 사용자가 선택한 이동 경로나, 각종 이미지 등을 공유할 수도 있다. 구체적으로는, 맵 화면 내에 공유 메뉴가 표시될 수 있다. 사용자는 그 공유 메뉴를 선택하여 공유 명령을 입력할 수 있다. 제어부(130)는 사용자가 공유 명령을 입력하면, 맵 화면에 표시된 이동 경로나 이미지 등이 통신부(150)를 통해 타 사용자 단말 장치로 전송되어 공유될 수 있다.
GPS 칩(161)은 GPS(Grobal Positioning System) 위성으로부터 GPS 신호를 수신하여, 사용자 단말 장치(100)의 현재 위치를 산출하기 위한 구성요소이다. 제어부(130)는 네비게이션 기능이 선택된 경우에는, GPS 칩(161)을 이용하여 사용자 단말 장치(100)의 현 위치를 판단하고, 그 현 위치를 출발지로 자동 설정할 수 있다.
비디오 프로세서(162)는 통신부(150)를 통해 수신된 컨텐츠 또는, 저장부(140)에 저장된 컨텐츠에 포함된 비디오 데이터를 처리하기 위한 구성요소이다. 비디오 처리부(162)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다. 이미지가 사진이나 동영상 컨텐츠인 경우, 비디오 처리부(162)는 그 컨텐츠에 대해 상술한 이미지 처리를 수행하여, 맵 화면에 추가 표시될 수 있는 형태로 변환할 수 있다.
오디오 프로세서(163)는 통신부(150)를 통해 수신된 컨텐츠 또는, 저장부(140)에 저장된 컨텐츠에 포함된 오디오 데이터를 처리하기 위한 구성요소이다. 오디오 프로세서(163)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 오디오 프로세서(163)에서는 네비게이션 실행 중에 필요한 각종 음성 안내 메시지나, 알림 음 등을 생성할 수 있다.
제어부(130)는 멀티미디어 컨텐츠에 대한 재생 프로그램이 실행되면 비디오 프로세서(162) 및 오디오 프로세서(163)를 구동시켜, 해당 컨텐츠를 재생할 수 있다. 디스플레이부(110)는 비디오 프로세서(162)에서 생성한 이미지 프레임을 디스플레이할 수 있다.
또한, 스피커부(167)는 오디오 프로세서(163)에서 생성한 오디오 데이터를 출력한다. 특히, 네비게이션 실행 중에는 각종 음성 안내 메시지나 알림 음 등을 출력할 수 있다.　
버튼(164)은 사용자 단말 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
마이크 부(165)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다. 제어부(130)는 마이크 부(165)를 통해 입력되는 사용자 음성을 통화(call) 과정에서 이용하거나, 오디오 데이터로 변환하여 저장부(140)에 저장할 수 있다.
카메라부(166)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상하기 위한 구성이다. 카메라부(166)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수 있다.
카메라 부(166) 및 마이크 부(165)가 마련된 경우, 제어부(130)는 마이크 부(165)를 통해 입력되는 사용자 음성이나 카메라 부(166)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 즉, 사용자 단말 장치(100)는 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 제어부(130)는 카메라 부(166)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행한다. 음성 제어 모드로 동작하는 경우 제어부(130)는 마이크 부(165)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수도 있다.
모션 제어 모드나 음성 제어 모드가 지원되는 사용자 단말 장치(100)에서는, 음성 인식 기술 또는 모션 인식 기술이 상술한 다양한 실시 예에 사용될 수 있다. 가령, 사용자가 네비게이션 실행이나 목적지 선택 등과 같은 제어 동작을 트리거하도록 설정된 모션 제스쳐를 취하는 경우, 제어부(130)는 그 모션 제스쳐에 매칭된 제어 동작을 수행할 수 있다. 또한, 제어부(130)는 사용자가 목적지의 명칭을 직접 발음하는 경우, 그 발음 내용을 분석하여 목적지의 명칭을 인식하고, 인식된 목적지까지의 이동 경로를 바로 탐색할 수 있다.
움직임 감지부(168)는 사용자 단말 장치(100)의 본체 움직임을 감지하기 위한 구성요소이다. 즉, 사용자 단말 장치(100)는 다양한 방향으로 회전되거나 기울어질 수 있다. 움직임 감지부(168)는 지자기 센서, 자이로 센서, 가속도 센서 등과 같은 다양한 센서들 중 적어도 하나를 이용하여 회전 방향 및 각도, 기울기 등과 같은 움직임 특성을 감지할 수 있다.
그 밖에, 도 24에 도시하지는 않았으나, 실시 예에 따라서는, 사용자 단말 장치(100) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩 등을 더 포함할 수 있음은 물론이다.
상술한 바와 같이 통신부(150)가 마련된 경우, 사용자는 자신의 사용자 단말 장치에 저장된 사진이나 타 사용자 단말 장치에 저장된 사진, 웹 서버나 클라우드 서버 장치에 저장된 사진 등을 타 사용자들과 함께 공유할 수도 있다. 이 경우, 네비게이션 기능 실행 중에 사용 가능한 이미지의 개수가 크게 늘어날 수 있어, 더 다양한 이미지를 디스플레이할 수 있다. 이미지뿐만 아니라 사용자가 주로 찾는 목적지 정보나, 도로 사정이 좋은 경로 정보 등과 같은 다양한 정보들을 공유할 수도 있다.
이하에서는, 타 장치와의 통신을 통해 보다 다양한 서비스를 제공하는 실시 예들에 대하여 구체적으로 설명한다.
도 25는 본 발명의 또 다른 실시 예에 따른 사용자 단말 장치의 디스플레이 방법을 설명하기 위한 도면이다. 도 25에 따르면, 사용자는 메일이나 메신저, 문자 메시지 등을 전송하는 과정에서 지도 및 사진을 함께 첨부해서 전송할 수 있다.
구체적으로는, 사용자가 메신저나 메일 프로그램을 실행시키면, 제어부(130)는 그 실행 화면(2500)을 디스플레이한다. 사용자가 실행 화면(2500) 내에서 특정 메뉴를 선택하면, 제어부(130)는 선택된 메뉴에 속하는 하위 메뉴의 리스트(2510)를 디스플레이한다. 리스트(2510)에는 맵을 첨부할 수 있는 메뉴(2511)도 포함될 수 있다.
사용자가 해당 메뉴(2511)를 선택하면, 제어부(130)는 맵 화면(2520)을 디스플레이한다. 맵 화면(2520)은 사용자 단말 장치(100)의 현 위치를 기준으로 표시될 수도 있지만, 이에 한정되지는 않는다. 가령, 맵 화면(2520)은 사용자가 선택한 위치를 기준으로 표시될 수도 있다.
맵 화면(2520)이 표시되면, 사용자는 맵 화면(2520) 내에서 임의의 위치 및 방향을 선택할 수 있다. 도 25에서는 (a) 지점을 터치한 후 d4 방향으로 드래그 또는 플릭한 상태를 나타낸다. 제어부(130)는 이러한 사용자 조작에 따라 위치 및 방향이 결정되면, 그 위치에서 그 방향으로 촬영된 이미지(2530)를 맵 화면(2520) 상에 또는 일 측에 부가하여, 수정된 맵 화면을 생성한다.
수정된 맵 화면에는 현재 표시된 이미지(2530)에 대응되는 위치 및 방향을 나타내는 그래픽 이미지(2540)가 표시될 수 있다. 또한, 도시하지는 않았으나, 수정된 맵 화면 내에는 그 첨부 이미지를 첨부, 편집, 저장, 생성 취소 하기 위한 각종 메뉴(미도시) 등이 표시될 수 있다. 사용자가 첨부 메뉴(미도시)를 선택하면, 제어부(130)는 수정된 맵 화면을 메일이나 메신저, 문자 메시지 등에 첨부한다. 이에 따라, 타 사용자와 지도 및 이미지를 공유할 수 있다. 또는 저장 메뉴를 선택하면, 제어부(130)는 수정된 맵 화면 그 자체를 저장부에 저장한다. 이에 따라, 추후 필요하면 언제든지 활용할 수 있다.
한편, 사용자는 맵 화면(2520)이나 이미지(2530)에 원하는 그림이나 글씨를 추가할 수도 있다.
도 26은 사용자가 맵 화면(2520)이나 이미지(2530)상에서 각종 그림 및 글씨를 추가한 상태를 나타낸다. 사용자는 맵 화면(2520)이나 이미지(2530) 상에 손가락이나 펜 등과 같은 입력 수단을 이용하여 그림이나 글씨 같은 다양한 객체(2550)를 드로잉할 수 있다. 이에 따라, 사용자가 드로잉한 객체(2550)까지 포함하는 맵 화면이 생성될 수 있다.
도 27은 이러한 맵 화면을 타인과 공유하는 방법을 나타낸다. 도 27에서는 메신저 송수신 화면의 일 예를 나타낸다. 도 27에 도시된 바와 같이, 제어부(130)는 타인과 메신저를 송수신하는 중에 필요하면 도 25에서 설명한 방법으로 이미지가 첨부된 맵 화면(2710)을 생성하여 송신할 수 있다. 이 경우, 필요하다면 도 26에서 설명한 바와 같이 맵 화면이나 이미지에 적절한 그림이나 글씨까지 추가하여 송신할 수 있다. 또한, 이전에 생성하여 저장해둔 맵 화면이 존재한다면, 그 맵 화면을 선택하여 바로 송신할 수도 있다.
이에 따라, 지도상의 위치 뿐만 아니라 실제 거리에서의 모습까지 상대방에게 제공하여 줄 수 있게 되므로, 상대방이 좀 더 용이하게 이용할 수 있게 된다.
그 밖에도, 사용자 단말 장치(100)는 다양한 방식으로 타 장치와 데이터를 공유할 수 있다. 일 예로, 사용자 단말 장치(100)는 서버 장치를 경유하지 않고, 블루투스 방식이나 NFC 방식 등을 이용하여 직접적으로 데이터를 공유할 수도 있다. 이에 따라, 사용자들은 이미지가 부가된 맵 화면을 상대방과 바로 공유할 수 있다.
도 28은 사용자 단말 장치 간의 데이터 공유 방법을 설명하기 위한 도면이다. 도 28에 따르면, 제1 사용자 단말 장치(100-1)는 사용자 조작에 따라 맵 화면(2800)을 디스플레이할 수 있다. 도 28에서는 맵 화면(2800) 내에, 이동 경로(2810) 및 그 이동 경로를 따라 바라보는 이미지들(2820-1 ~ 2820-4)을 포함하는 맵 화면(2800)이 디스플레이된 상태를 나타낸다. 도 28에서는 이동 경로(2810)를 포함하는 맵 화면(2800)을 도시하였으나, 상술한 다른 실시 예에서와 같이 위치 및 방향만 정해지는 경우에는, 이동 경로 없이 이미지만 포함하는 맵 화면이 디스플레이될 수도 있다.
사용자는 맵 화면(2800)을 선택하고, 공유 명령을 입력할 수 있다. 이에 따라, 선택된 맵 화면(2800)은 제2 사용자 단말 장치(100-2)로 전송될 수 있다.
한편, 제어부(130)는 제1 사용자 단말 장치(100-1)에 저장된 주소록이나 사용자가 입력하는 전화 번호 등을 이용하여, 통신망을 통해서 맵 화면(2800)을 공유할 수도 있다. 또는, 각종 서버 장치를 통해서 데이터 공유가 이루어질 수도 있다.
이하에서는, 서버 장치를 이용하여 데이터를 공유할 수 있는 네트워크 시스템의 구성 및 동작에 대하여 구체적으로 설명한다.
도 29는 본 발명의 일 실시 예에 따른 네트워크 시스템의 구성을 나타내는 도면이다. 도 29에 따르면, 네트워크 시스템은 복수의 사용자 단말 장치(100-1 ~ 100-3) 및 서버 장치(2900)를 포함한다.　
도 29에서는 3개의 사용자 단말 장치(100-1 ~ 100-3)만을 도시하였으나, 사용자 단말 장치의 개수는 다양하게 변경될 수 있다. 각 사용자 단말 장치(100-1 ~ 100-3)는 상술한 바와 같은 다양한 구성으로 구현될 수 있으므로, 이에 대한 구체적인 설명은 생략한다.
서버 장치(2900)는 각 사용자 단말 장치(100-1 ~ 100-3)들로 이미지를 제공할 수 있다. 구체적으로는, 각 사용자 단말 장치(100-1 ~ 100-3)는 네비게이션 프로그램이 실행되고, 맵 화면 내에서 위치 및 방향이 결정되거나, 이동 경로가 결정되면 그에 맞는 방향의 이미지를 서버 장치(2900)로 요청한다. 서버 장치(2900)는 요청된 이미지를 사용자 단말 장치(100-1 ~ 100-3)로 전송한다.
서버 장치(2900)는 웹 서버, 클라우드 서버 및 기타 다양한 서버로 구현될 수 있다.
서버 장치(2900)에 저장되는 이미지는 서버 장치(2900)를 운영하는 사업자가 자체적으로 확보할 수도 있고, 서버 장치(2900)에 등록된 각 사용자 단말 장치(100-1 ~ 100-3)에서 업로드해줄 수도 있다.
도 30은 도 29의 네트워크 시스템에서 수행되는 공유 방법을 설명하기 위한 타이밍도이다.
도 30에 따르면, 서버 장치(2900)와 연결된 복수의 사용자 단말 장치 중 하나인 제1 사용자 단말 장치(100-1)에서 사진 촬영이 이루어지면(S3010), 사용자의 선택에 따라서 그 사진 이미지가 서버 장치(2900)로 업로드될 수 있다(S3015, S3020). 서버 장치(2900)는 업로드되는 사진 이미지를 이미지로 저장할 수 있다(S3025). 사진 이미지에는 정지 영상만 포함되는 것이 아니라 동영상도 포함될 수 있다.
또한, 각 사용자 단말 장치(100-1 ~ 100-3)는 사진이 촬영되면, 그 사진 데이터와, 그 사진 데이터에 대한 메타 데이터를 함께 전송할 수 있다. 메타 데이터에는 사진이 촬영된 지점에 대한 위치 좌표 정보, 사진 촬영 일시, 사진 촬영이 이루어졌을 때의 사용자 단말 장치의 방위각 정보, 사진 명칭, 사진 촬영자에 대한 고유 정보, 해당 사진에 대해 적용된 촬영 옵션 등과 같은 다양한 데이터들이 포함될 수 있다.
서버 장치(2900)는 제1 사용자 단말 장치(100-1) 뿐 아니라 다른 사용자 단말 장치(100-2, 100-3)에서 업로드한 이미지 및 그 메타 데이터 등을 함께 저장할 수 있다. 서버 장치(2900)는 메타 데이터를 이용하여 각 사진 이미지를 지역별, 업종별, 사용자별 등과 같이 다양한 기준으로 분류하여, 저장할 수 있다.
이러한 상태에서 제2 사용자 단말 장치(100-2)에서 네비게이션 기능이 실행되고(S3030), 목적지가 결정되면(S3035), 제2 사용자 단말 장치(100-2)에서는 현재 위치 및 목적지까지의 이동 경로 및 그 이동 방향을 결정할 수 있다(S3040).
제2 사용자 단말 장치(100-2)는 결정된 이동 경로 및 이동 방향에 대한 정보를 서버 장치(2900)로 전송한다(S3045). 서버 장치(2900)는 이동 경로에 포함되는 위치에서 촬영된 사진 정보들 중에서, 이동 방향에 매칭되는 관점으로 촬영된 이미지를 검색한다(S3050).
서버 장치(2900)는 검색된 이미지를 제2 사용자 단말 장치(100-2)로 전송한다(S3055). 제2 사용자 단말 장치(100-2)는 전송된 이미지를 이동 경로와 함께 맵 화면에 추가 표시할 수 있다(S3060). 이미지의 표시 방법은 상술한 바와 같이 다양하게 구현될 수 있다.
한편, 도 30에서는 이미지만을 서버 장치(2900)로 업로드시켜 사용하는 것으로 설명하였으나, 이미지 뿐만 아니라 이동 경로 정보, 맵 화면 등도 함께 업로드시켜 타 사용자와 공유할 수도 있다.
이동 경로 정보 등을 제공하는 경우, 네트워크 시스템은 네비게이션 서비스 제공 시스템이 될 수 있다. 이와 같이, 네트워크 시스템은 네비게이션 서비스 제공 시스템, 맵 화면 제공 시스템, 사진 제공 시스템 등과 같이 다양한 유형의 시스템으로 구현될 수 있다.
도 31은 도 29의 네트워크 시스템에 사용되는 서버 장치의 구성의 일 예를 나타내는 블럭도이다. 도 31에 따르면, 서버 장치(2900)는 네트워크 통신부(2910), 서버 제어부(2920), 데이터베이스부(2930)를 포함한다.
네트워크 통신부(2910)는 다양한 통신 방식에 따라 사용자 단말 장치(100-1, 100-2, 100-3) 들과 통신을 수행하기 위한 구성요소이다.
데이터베이스부(2930)는 사용자들로부터 업 로드되는 각종 데이터를 저장하기 위한 구성이다. 상술한 바와 같이, 수신되는 데이터에는, 이미지 데이터와 그 메타 데이터, 이동 경로, 목적지 정보, 맵 화면 등과 같이 다양한 데이터들이 포함될 수 있다. 그 밖에도, 사용자는 네비게이션 기능 중에 자주 목적지로 지정되는 선호 지점이나 선호 경로, 사용자 단말 장치에 저장된 연락처 정보 등과 같은 다양한 네비게이션 데이터도 서버 장치(2900)를 통해 공유할 수 있다.
서버 제어부(2920)는 네트워크 통신부(2910)를 통해 각종 데이터가 업로드되면, 메타 데이터에 따라 각 데이터를 분류하여 데이터베이스부(2930)에 기록한다.
이후에, 서버 제어부(2920)는 네트워크 통신부(2910)를 통해 연결된 사용자 단말 장치로부터 이미지에 대한 검색 요청이 전송되면, 그 검색 요청에 부합되는 이미지를 데이터베이스부(2930)로부터 검색한다. 그리고, 검색된 이미지를 해당 사용자 단말 장치로 전송한다. 상술한 바와 같이, 하나의 지점에서 촬영된 사진이라고 하더라도 시점 별로 복수 개가 존재할 수 있다. 가령, 동서남북 방향으로 구분한 경우에는, 각 지점별로 90도 간격으로 회전하여 촬영한 4개의 이미지가 존재할 수 있다. 서버 제어부(2920)는 이러한 이미지들 중에서 이동 방향에 부합되는 하나의 이미지만을 선택하여, 사용자 단말 장치로 전송하여 줄 수 있다. 이 경우, 한 지점에 대해 전송하는 이미지의 수가 하나에 불과하므로, 서버 장치(2900) 및 사용자 단말 장치 사이의 통신 대역 폭이 크지 않아도 많은 지점의 이미지를 제공할 수 있다.
한편, 서버 장치(2900)는 사용자들이 자주 다운로드하는 이미지에 대해서는, 선호도를 높게 부여하여 줄 수 있다. 이에 따라, 이동 경로가 해당 이미지가 촬영된 지점 근처를 지나게 되면, 명소 또는 사용자 선호 장소 등에 대한 이미지로 제공하여 줄 수 있다.
도 29 내지 도 31에서는 서버 장치(2900)가 이미지들을 직접 저장하고 있고, 각 사용자 단말 장치가 서버 장치(2900)로 이미지를 업로드 또는 다운로드 하는 시스템을 설명하였으나, 사용자는 이밖에 다양한 방법으로 각종 네비게이션 데이터들을 공유할 수 있다.
즉, 사용자 단말 장치들 사이에서 NFC 방식이나 블루투스 방식 등으로 직접적으로 네비게이션 데이터를 공유할 수도 있다. 또는, 하나의 사용자 단말 장치(100-1)에서 서버 장치(2900)에 데이터를 저장해두고, 그 저장 위치에 대한 링크 주소를 타 사용자 단말 장치(100-2)로 제공하면, 타 사용자 단말 장치(100-2)에서 그 링크 주소를 이용하여 직접 서버 장치(2900)에 액세스하여 네비게이션 데이터를 수신할 수 있다. 특히, 동영상 이미지인 경우에는 flash, mov, avi, mpg 등의 압축 방식으로 저용량 데이터로 압축하여 공유할 수도 있다. 그 밖에도, 소셜 네트워크 서비스나 이메일, 문자 메시지 등을 이용하여 네비게이션 데이터를 공유할 수도 있다.
한편, 상술한 바와 같이 사용자 단말 장치(100)는 다양한 종류의 장치들 중에서 차량에 탑재되는 차량 제어 시스템으로 구현될 수도 있다.
도 32는 차량 제어 시스템으로 구현된 사용자 단말 장치의 동작을 설명하기 위한 도면이다. 도 32에 따르면, 차량 제어 시스템(3200)은 투명 디스플레이부(3210)를 포함하는 형태로 구현될 수 있다.
투명 디스플레이부(3210)는 투명한 성질을 가져서 장치 뒷쪽 배경이 그대로 비치는 패널을 의미한다. 투명 디스플레이 장치는 투명한 산화물 반도체막을 포함하는 형태로 구현될 수 있다. 도 32에서는 차량의 전면 유리창이 투명 디스플레이부(3210)로 구현된 경우를 나타낸다.
차량 제어 시스템(3200)은 차량 내부에 탑재된 인터페이스(미도시)를 통해서 사용자가 네비게이션 기능을 실행시키고, 목적지를 입력하면 그 목적지까지의 이동 경로를 탐색한다. 이동 경로가 탐색되면, 차량 제어 시스템(3200)은 자체 저장부(미도시) 또는 외부 서버 장치로부터 그 이동 경로 및 이동 방향에 부합하는 이미지를 검색한다. 차량 제어 시스템(3200)은 검색된 이미지(3220)를 적절한 시점에 투명 디스플레이부(3210) 상에 디스플레이하여 줄 수 있다.
가령, A 지점 에서 촬영된 이미지가 존재하는 경우, 차량이 A 지점 부근에 도달하면 A 지점에서 촬영된 이미지를 디스플레이하여 줄 수 있다. 또는, 사용자가 경로 이탈을 자주 하는 지역에 도달하는 경우에도 그 지역에 해당하는 이미지를 디스플레이하여 줄 수 있다.
도 33은 차량 제어 시스템(3200)의 구성의 일 예를 나타내는 블럭도이다. 도 33에 따르면, 차량 제어 시스템(3200)은 투명 디스플레이부(3210), 디스플레이부(3220), 제어부(3230), 저장부(3240), 인터페이스부(3250)를 포함한다.
투명 디스플레이부(3210)는 상술한 바와 같이 투명한 성질을 띄면서, 각종 오브젝트를 디스플레이할 수 있는 구성이다.
투명 디스플레이부(3210)는 실시 예에 따라 투명 LCD(Liquid Crystal Display) 형, 투명 TFEL(Thin-Film Electroluminescent Panel) 형, 투명 OLED 형, 투사형 등과 같은 다양한 형태로 구현될 수 있다.
투명 LCD 형이란 현재 사용되고 있는 LCD 장치에서 백라이트 유닛을 제거하고, 한 쌍의 편광판, 광학 필름, 투명 박막 트랜지스터, 투명 전극 등을 사용하여 구현한 투명 디스플레이 장치를 의미한다. 투명 LCD 장치에서는 편광 판이나 광학 필름 등에 의해 투과도가 떨어지고, 백라이트 유닛 대신 주변 광을 이용하게 되므로 광 효율이 떨어지지만, 대면적 투명 디스플레이를 구현할 수 있다는 장점이 있다. 투명 TFEL 형이란 투명 전극, 무기 형광체, 절연막으로 이루어진 교류형 무기박막 EL 디스플레이(AC-TFEL)를 사용하는 장치를 의미한다. AC-TFEL은 무기 형광체 내부에 가속이 된 전자가 지나가면서 형광체를 여기시켜 빛을 내게 하는 디스플레이이다. 투명 디스플레이부(3210)가 투명 TFEL 형태로 구현된 경우, 제어부(130)는 적절한 위치로 전자가 투사되도록 조정하여, 정보 표시 위치를 결정할 수 있다. 무기 형광체, 절연막이 투명한 특성을 가지므로, 매우 투명한 디스플레이를 구현할 수 있다. 그 밖에, 투명 OLED형이란 자체 발광이 가능한 OLED를 이용하는 투명 디스플레이 장치를 의미한다. 유기 발광층이 투명하기 때문에, 양쪽 전극을 투명 전극으로 사용하면, 투명 디스플레이 장치로 구현 가능하다. OLED는 유기 발광층 양쪽에서 전자와 정공을 주입하여 이들이 유기 발광층 내에서 결합되면서 빛을 내게 된다. 투명 OLED 장치는 이러한 원리를 사용하여 원하는 위치에 전자 및 정공을 주입하여, 정보를 표시한다. 투사형이란 광원, 렌즈 및 거울 등을 이용하여 광을 투명 스크린 측으로 투사하여 각종 오브젝트를 표시하는 형태의 장치이다. 투명 디스플레이부(3210)는 이상과 같이 다양한 형태로 구현될 수 있다.
디스플레이부(3220)는 투명 디스플레이부(3210)와 별개로 마련되어, 각종 인터페이스 화면을 디스플레이하기 위한 구성이다. 디스플레이부(3220)는 차량의 센터페시아 영역에 마련될 수 있다.
저장부(3240)에는 차량 제어 시스템의 구동에 사용되는 각종 프로그램 및 데이터가 저장될 수 있다. 일 예로, 네비게이션 프로그램 및 그 프로그램에서 사용되는 맵 화면 데이터 및 네비게이션 데이터들이 저장될 수 있다.
인터페이스부(3250)는 각종 외부 장치들과 연결되기 위한 구성이다. 인터페이스부(3250)는 USB 인터페이스를 통해서 외부 장치와 직접적으로 연결될 수도 있고, 블루투스, 와이파이, IEEE, NFC 등과 같은 다양한 통신 방식에 따라 외부 장치와 통신을 수행할 수도 있다.
제어부(3230)는 차량 제어 시스템의 전반적인 동작을 제어한다. 제어부(3230)는 디스플레이부(3220)의 화면에 표시된 메뉴 또는 별도로 마련된 버튼(미도시) 조작에 의해 네비게이션 기능이 선택되면, 저장부(3240)에 저장된 네비게이션 프로그램을 실행시킨다. 제어부(3230)는 맵 화면을 디스플레이부(3220)에 디스플레이한다. 이러한 상태에서, 사용자가 목적지나 이동 경로를 입력하면, 제어부(3230)는 이동 경로 및 이동 방향에 부합하는 이미지를 저장부(3240) 또는 외부 서버 장치로부터 검색한다. 제어부(3230)는 검색된 이미지를 디스플레이부(3220)에 표시된 맵 화면과 별도로 투명 디스플레이부(3210)에 표시한다.
차량 제어 시스템(3200)에서 제공하는 네비게이션 기능은 차량 운행 중에 사용되는 것이 일반적이므로, 사용자가 디스플레이부(3220)에 표시된 이미지를 구체적으로 살필 수 없을 수 있다. 따라서, 본 실시 예에 따른 차량 제어 시스템(3200)에서는 사용자가 정확한 길을 찾을 수 있도록 투명 디스플레이부(3210)에 이미지를 표시하여 준다. 구체적으로는, 제어부(3230)는 교차로 지점이나 경로 이탈이 자주 발생하는 지점 등과 같이 정확한 경로 안내가 필요한 시점에서 이미지를 디스플레이하여 줄 수 있다. 또는, 제어부(3230)는 안개가 끼거나, 비가 내리는 등과 같이 시계가 제한되는 환경에서도 이미지를 투명 디스플레이부(3210)에 표시하여 줄 수 있다.
도 32 및 도 33에서는 이미지가 투명 디스플레이부(3210)에 표시된 상태를 도시하였으나, 차량 제어 시스템(3200)에서도 이미지가 디스플레이부(3220)의 맵 화면에 중첩되어 표시될 수 있다.
한편, 이상과 같은 다양한 실시 예들에서는 이미지가 사진 형태로 맵 화면에 추가되는 경우를 예로 들어 설명하였으나, 사진 이외에 각종 증강 현실 객체 형태로 제공될 수도 있다. 증강현실(Augmented Reality, AR)은 실사 이미지나 맵 화면 상에 가상 사물이나 정보를 나타내는 오브젝트를 합성하여, 원래의 환경에 존재하는 사물처럼 보이게 하는 기술이다. 또한, 사용자 단말 장치는 외부 장치와 연동하여 네비게이션 기능을 제공하여 줄 수도 있다.
도 34에서는 차량 제어 시스템과 연동하여 네비게이션 기능을 수행하는 방법을 설명하기 위한 도면이다.
도 34에 따르면, 사용자 단말 장치(100)는 네비게이션 기능이 실행되면, GPS 칩(161)을 이용하여 사용자 단말 장치(100)의 현재 위치를 판단한다. 사용자 단말 장치(100)는 판단된 위치 및 이동 방향에 부합하는 이미지 및 증강 현실 오브젝트 등을 생성하여, 이러한 데이터를 차량 제어 시스템(3200)으로 전송한다.
차량 제어 시스템(3200)은 사용자 단말 장치(100)로부터 수신되는 각종 증강 현실 오브젝트(3410, 3420), 이미지(3430) 등을 투명 디스플레이부(3210)에 디스플레이할 수 있다.
차량 제어 시스템(3200)은 사용자 단말 장치(100)로부터 각종 증강 현실 오브젝트(3410, 3420)에 대한 정보 및 그 오브젝트가 표시될 위치 및 타이밍에 대한 정보를 수신하여, 그 정보들에 기초하여 증강 현실 오브젝트(3410, 3420)를 디스플레이할 수 있다.
한편, 이러한 증강 현실 오브젝트는 사용자 단말 장치(100)에 표시되는 이미지에 중첩되어 표시될 수도 있다. 도 35는 이러한 실시 예에 따른 사용자 단말 장치(100)의 동작을 나타내는 도면이다.
도 35에 따르면, 사용자 단말 장치(100)는 맵 화면에 중첩해서 또는 맵 화면의 일 측에, 특정 방향으로 바라본 이미지(3500)를 디스플레이할 수 있다. 이 경우, 제어부(130)는 그 이미지에 표시되는 각종 건물이나 지형물에 대해서도, 증강 현실 오브젝트(3510)를 함께 표시하여 줄 수 있다. 구체적으로는, 제어부(130)는 맵 화면 상에서 사용자가 위치 및 방향을 선택하거나, 이동 경로를 선택하면, 그 사용자 조작에 대응되는 이미지를 표시한다. 이 때, 제어부(130)는 이미지 표시 지점을 기준으로 주변 지형에 대한 증강 현실 오브젝트 정보를 각종 서버 장치(300, 600, 2900)로부터 수신하여, 이미지에 중첩 표시한다.
이 경우, 증강 현실 오브젝트를 표시할 대상에 대한 카테고리를 사용자가 선택하도록 하여 그 카테고리(가령, 매장, 식당, 극장, 주유소 등)에 속하는 증강 현실 오브젝트만을 선택적으로 중첩 표시할 수도 있다.
또는, 사용자가 입력한 명칭을 가지는 대상들의 증강 현실 오브젝트만을 선택적으로 표시할 수도 있고, SNS(Social Network Service) 등을 통해 선호도가 높은 대상들의 증강 현실 오브젝트만을 선택적으로 표시할 수도 있다.
구체적으로는, 도 4의 실시 예와 함께 구현된 경우, 사용자가 맵 화면 내에서 임의의 위치 및 임의의 방향을 정하면, 제어부(130)는 해당 위치에서 그 방향으로 존재하는 건물이나 지형 중에서, 선호도가 높은 대상을 선정하고, 그에 대한 증강 현실 오브젝트를 이미지에 중첩시켜 표시할 수 있다.
또는, 상술한 다양한 실시 예들에서는 사용자가 선택한 위치 및 방향이나 이동 경로 등에 대응되는 정지 영상 또는 동영상을 디스플레이하는 방법들을 설명하였으나, 정지 영상이나 동영상 이외에도 증강 현실 오브젝트나 기타 다양한 오브젝트들이 표시될 수도 있다.
또한, 상술한 다양한 실시 예들에서는, 사용자가 선택한 위치 및 방향이나, 이동 경로 등에 대응되는 이미지를 디스플레이하는 다양한 실시 예들에 대하여 구체적으로 설명하였으나, 위치, 방향 및 이동 경로 이외에도 다양한 옵션이 선택될 수 있다. 가령, 위치 및 방향 이외에 사용자의 시선 각도, 사용자의 고도, 이동 속도, 시야 각 등과 같은 다양한 옵션도 함께 선택될 수 있다. 사용자 단말 장치(100)는 이러한 다양한 옵션에 대응되는 이미지를 선택적으로 디스플레이하여 줄 수 있다.
또한, 옵션 설정은 다양한 실시 예에 따라 이루어질 수 있다. 가령, 화면 상에 각종 옵션 설정을 위한 UI 메뉴를 표시할 수 있다. 또는, 사용자가 화면상에 표시된 메뉴나, 사용자 단말 장치(100)의 본체에 마련된 버튼을 선택한 후, 화면을 드래깅하여 각종 옵션을 선택하도록 구현할 수도 있다. 그 밖에, 사용자 조작이 가해지는 면적이나, 사용자 조작에 가해지는 압력, 조작 속도, 사용자 조작이 이루어지는 지점의 개수 등에 따라서 옵션을 선택하도록 구현할 수도 있다.
도 36 및 도 37은 이러한 부가 옵션에 대응되는 이미지를 디스플레이하는 실시 예에 대한 도면이다.
먼저, 도 36은 사용자가 맵 화면(3600) 내에서 임의의 지점(a)을 터치한 후 임의의 방향(d1)을 선택한 상태를 나타낸다. 제어부(130)는 터치 지점 및 드래그 방향에 따라 위치(a) 및 방향(d1)이 결정되면, 그 터치 지점 일측에 시선 각도를 선택할 수 있는 UI 메뉴(3610)를 표시한다. 도 36에서는 0도, 30도, 50도의 메뉴(3611, 3612, 3613)만이 도시되었으나, UI 메뉴(3610)의 종류는 이에 한정되지 않고, 다양한 형태 및 개수로 표시될 수 있다.
도 36에서 사용자가 0도(3611)를 선택하면, 제어부(130)는 d1 방향의 사물(B1, B2)을 지표면과 평행한 방향으로 바라본 이미지(3620)를 표시한다. 구체적으로는, 제어부(130)는 서버 장치(300)로 위치, 방향 정보 뿐만 아니라, 시선 각도 정보(즉, 0도)도 함께 전송하여, 그 시선 각도에 부합하는 이미지를 수신하여 디스플레이할 수 있다.
도 36에서 사용자가 30도 메뉴(3612)나 50도 메뉴(3613)를 선택하면, 제어부(130)는 지표면을 기준으로 30도 위쪽 방향으로 촬영된 이미지(3630)나 50도 위쪽 방향으로 촬영된 이미지(3640)를 디스플레이한다. 이에 따라, 앞 건물(B1)의 위쪽 부분이나, 그 앞 건물(B1)에 가려진 뒤쪽 건물(B2)의 외관까지도 확인할 수 있다.
도 37은 사용자가 맵 화면(3700)을 터치하여 고도를 선택하는 방법을 설명하기 위한 도면이다. 도 37에 따르면, 사용자는 맵 화면(3700) 내에서 임의의 지점을 터치(T1)하고 드래깅하여, 위치 및 방향을 선택한다. 그리고 나서, 사용자는 맵 화면(3700) 내에 표시된 메뉴(3710)를 선택할 수 있다. 제어부(130)는 메뉴(3710)가 선택되면, 그 이후에 이루어지는 사용자 조작(T2)에 따라 해당 메뉴(3710)에 대응되는 옵션 값을 결정할 수 있다. 즉, 고도 선택 메뉴(3710)가 선택된 이후에 화면을 터치하여 드래깅하는 사용자 조작(T2)이 이루어지면, 제어부(130)는 그 드래깅 거리를 판단한다. 제어부(130)는 드래깅 거리에 따라 사용자의 고도를 판단할 수 있다.
도 37에서는, 드래깅 거리가 일정 거리(s1) 이하일 때, 고도를 0m로 선택하고, s1 초과 s2 이하이면 30m, s2를 초과하면 상공으로 선택한다. 제어부(130)는 사용자의 드래깅 궤적 주위에 그 드래깅 거리에 대응되는 고도를 표시할 수 있다. 도 37에서는 드래깅 거리가 일정 거리(s1) 이하이면 0m라는 메시지를 표시하고, s1 초과 s2 이하이면 30m, s2를 초과하면 상공이라는 메시지를 표시하는 것을 나타낸다.
제어부(130)는 사용자의 드래깅이 해제되면, 그 해제될 때까지의 드래깅 거리에 대응되는 고도를 선택한다. 도 37에서는 0m가 선택되면, 제어부(130)는 지표면에서 바라본 이미지(3720)를 맵 화면(3700) 내에 디스플레이한다. 반면, 30m가 선택되면, 제어부(130)는 지표면으로부터 30m 높은 위치에서 바라본 이미지(3730)를 맵 화면(3700) 내에 디스플레이한다. 상공이 선택된 경우, 제어부(130)는 상공에서 내려다본 이미지(3740)를 디스플레이한다.
상술한 바와 같이, 제어부(130)는 사용자가 선택한 위치, 방향, 고도에 대한 정보를 서버 장치(300)로 전송하여, 그 위치, 방향, 고도에 대응되는 이미지를 서버 장치(300)로부터 수신하여 디스플레이할 수 있다.
이 밖에도, 옵션은 다양하게 마련될 수 있으며, 옵션 선택 방법도 실시 예에 따라 다양하게 변형될 수 있다.
이상과 같이 사용자 단말 장치는 다양한 형태로 구현되어, 다양한 서비스를 제공하여 줄 수 있다. 상술한 각 실시 예들은 필요에 따라 서로 조합되어 구현될 수 있음은 물론이다.
상술한 다양한 실시 예들에 따른 사용자 단말 장치의 디스플레이 방법 또는 네비게이션 방법은 비일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
일 예로, 맵 화면을 디스플레이하는 단계, 사용자 조작을 감지하는 단계 및 상기 사용자 조작에 의해 목적지가 정해지면 상기 목적지까지의 이동 경로 및 상기 이동 경로를 따라 이동하는 이동 방향으로 바라본 이미지를 상기 맵 화면상에 추가 표시하는 디스플레이 단계를 수행하기 위한 프로그램 코드가 비일시적 판독 가능 매체(non-transitory readable medium)에 저장되어 제공될 수 있다.
또는, 맵 화면을 디스플레이하는 단계, 사용자 조작을 감지하는 단계 및 사용자 조작에 의해 상기 맵 화면 내에서 위치 및 방향이 정해지면, 정해진 위치에서 정해진 방향으로 촬영된 이미지를 선택하고, 선택된 이미지를 맵 화면에 추가 표시하는 단계를 수행하기 위한 프로그램 코드가 비일시적 판독 가능 매체에 저장되어 제공될 수도 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 디스플레이부　　　　　　　　　　　　　　　　　　　　　　　　　　120 : 감지부
130 : 제어부

Claims (28)

  1. 맵 화면을 디스플레이하는 디스플레이부;
    사용자 조작을 감지하기 위한 감지부; 및
    상기 맵 화면에 대한 상기 사용자 조작에 의해 위치 및 방향이 입력되면, 상기 위치에서 상기 방향으로 촬영된 촬영 이미지를 표시하는 제어부;를 포함하는 사용자 단말 장치.
  2. 제1항에 있어서,
    상기 제어부는 상기 사용자 조작에 의해 상기 맵 화면상의 경로가 입력되면, 상기 경로 상의 복수의 위치 및 상기 복수의 위치에서의 방향에 대응되는 복수의 촬영 이미지를 표시하는 것을 특징으로 하는 사용자 단말 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 복수의 촬영 이미지를 순차적으로 표시하는 것을 특징으로 하는 사용자 단말 장치.
  4. 제1항에 있어서,
    상기 제어부는,
    목적지가 결정되면, 현재 위치부터 상기 목적지까지의 이동 경로를 상기 맵 화면에 표시하고, 상기 이동 경로에 대응되는 촬영 이미지들 중에서 상기 이동 경로를 따라 이동하는 이동 방향으로 촬영된 적어도 하나의 촬영 이미지를 상기 맵 화면에 추가 표시하는 것을 특징으로 하는 사용자 단말 장치.
  5. 제4항에 있어서,
    상기 제어부는,
    상기 맵 화면 상에서 상기 사용자 조작에 의해 텍스트가 드로잉되면, 상기 텍스트를 인식하여 상기 목적지를 결정하고, 현재 위치로부터 상기 목적지까지의 이동 경로를 자동으로 탐색하는 것을 특징으로 하는 사용자 단말 장치.
  6. 제4항에 있어서,
    상기 제어부는,
    상기 맵 화면 상에서 상기 사용자 조작에 의해 라인이 드로잉되면, 상기 라인의 궤적에 기초하여 상기 이동 경로를 결정하는 것을 특징으로 하는 사용자 단말 장치.
  7. 제4항에 있어서,
    상기 제어부는,
    상기 이동 경로를 따라 이동하는 펜 호버링 조작이 감지되면, 상기 이동 경로 상의 각 지점에서 이동 방향으로 촬영된 촬영 이미지들을 상기 펜 호버링 조작에 따라 순차적으로 디스플레이하는 것을 특징으로 하는 사용자 단말 장치.
  8. 제4항에 있어서,
    상기 제어부는,
    상기 이동 경로 상에서 기 설정된 조건에 충족하는 지점을 선택하여, 선택된 각 지점에서 상기 이동 경로 방향으로 촬영된 촬영 이미지를 디스플레이하는 것을 특징으로 하는 사용자 단말 장치.
  9. 제1항에 있어서,
    상기 사용자 조작은 펜을 이용한 조작을 포함하며,
    상기 제어부는,
    상기 맵 화면 상에서 상기 펜이 터치된 후 일 방향으로 드래깅 또는 플릭되면, 그 터치 지점에 기초하여 상기 위치를 결정하고, 상기 드래깅 또는 플릭 방향에 기초하여 상기 방향을 결정하는 것을 특징으로 하는 사용자 단말 장치.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 펜의 터치 강도, 터치 면적, 터치 시간, 상기 펜의 이동 거리, 상기 펜의 이동 속도 중 적어도 하나에 기초하여, 상기 촬영 이미지의 배율, 사이즈, 표시 위치, 촬영 각도 중 적어도 하나를 선택하고, 선택된 촬영 이미지를 상기 맵 화면에 추가 표시하는 것을 특징으로 하는 사용자 단말 장치.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    저장부;를 더 포함하며,
    상기 제어부는, 상기 저장부에 저장된 촬영 이미지 중에서 상기 위치 및 상기 방향에 대응되는 촬영 이미지를 선택하는 것을 특징으로 하는 사용자 단말 장치.
  12. 제1항 내지 제10항 중 어느 한 항에 있어서,
    서버 장치와 통신을 수행하기 위한 통신부;를 더 포함하며,
    상기 제어부는, 상기 위치 및 방향에 대응되는 촬영 이미지를 상기 서버 장치에서 검색하여 다운로드하고, 다운로드된 촬영 이미지를 상기 맵 화면에 추가 표시하는 것을 특징으로 하는 사용자 단말 장치.
  13. 제1항 내지 제10항 중 어느 한 항에 있어서,
    저장부; 및
    서버 장치와 통신을 수행하기 위한 통신부;를 더 포함하며,
    상기 제어부는, 상기 위치 및 방향에 대응되는 상기 촬영 이미지를 상기 저장부 및 상기 서버 장치 중 적어도 하나로부터 선택적으로 검출하며,
    상기 촬영 이미지가 복수 개 검출되면, 상기 복수 개의 촬영 이미지를 연속적으로 디스플레이하여 동영상 효과를 제공하는 것을 특징으로 하는 사용자 단말 장치.
  14. 제13항에 있어서,
    상기 제어부는,
    공유 명령이 입력되면, 상기 통신부를 이용하여 상기 촬영 이미지를 타 사용자 단말 장치로 전송하는 것을 특징으로 하는 사용자 단말 장치.
  15. 제1항에 있어서,
    상기 제어부는, 상기 촬영 이미지를 상기 위치에서 상기 맵 화면 상에 중첩(overlay)하여 표시하는 것을 특징으로 하는 사용자 단말 장치.
  16. 제1항에 있어서,
    상기 제어부는, 상기 촬영 이미지를 상기 맵 화면과 별개의 화면으로 표시하는 것을 특징으로 하는 사용자 단말 장치.
  17. 사용자 단말 장치의 디스플레이 방법에 있어서,
    맵 화면을 디스플레이하는 단계;
    사용자 조작을 감지하는 단계; 및
    상기 맵 화면에 대한 상기 사용자 조작에 의해 위치 및 방향이 입력되면, 상기 위치에서 상기 방향으로 촬영된 촬영 이미지를 표시하는 단계;를 포함하는 디스플레이 방법.
  18. 제17항에 있어서,
    상기 사용자 조작에 의해 상기 맵 화면 상의 경로가 입력되면, 상기 경로 상의 복수의 위치 및 상기 복수의 위치 각각에서의 방향에 대응되는 복수의 촬영 이미지를 표시하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 방법.
  19. 제18항에 있어서,
    상기 복수의 촬영 이미지는 순차적으로 표시되는 것을 특징으로 하는 디스플레이 방법.
  20. 제17항에 있어서,
    상기 사용자 조작에 의해 목적지가 결정되면, 현재 위치로부터 상기 목적지까지의 이동 경로를 상기 맵 화면에 표시하는 단계;
    상기 이동 경로에 대응되는 촬영 이미지들 중에서 상기 이동 경로를 따라 이동하는 이동 방향으로 촬영된 적어도 하나의 촬영 이미지를 상기 맵 화면에 추가 표시하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 방법.
  21. 제20항에 있어서,
    상기 맵 화면 상에서 상기 사용자 조작에 의해 텍스트가 드로잉되면, 상기 텍스트를 인식하여 상기 목적지를 결정하고, 상기 현재 위치로부터 상기 목적지까지의 이동 경로를 자동으로 탐색하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 방법.
  22. 제20항에 있어서,
    상기 맵 화면 상에서 상기 사용자 조작에 의해 라인이 드로잉되면, 상기 라인의 궤적에 기초하여 상기 이동 경로를 결정하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 방법.
  23. 제20항에 있어서,
    상기 촬영 이미지를 상기 맵 화면에 추가 표시하는 단계는,
    상기 이동 경로를 따라 이동하는 펜 호버링 조작이 감지되면, 상기 이동 경로 상의 각 지점에서 상기 이동 방향으로 촬영된 촬영 이미지들을 상기 펜 호버링 조작에 따라 순차적으로 디스플레이하는 것을 특징으로 하는 디스플레이 방법.
  24. 제20항에 있어서,
    상기 선택된 촬영 이미지를 상기 맵 화면에 추가 표시하는 단계는,
    상기 이동 경로 상에서 기 설정된 조건에 충족하는 지점을 선택하여, 선택된 각 지점에서 상기 이동 방향으로 촬영된 촬영 이미지를 디스플레이하는 것을 특징으로 하는 디스플레이 방법.
  25. 제17항에 있어서,
    상기 위치 및 상기 방향에 대응되는 촬영 이미지를 상기 사용자 단말 장치의 저장부 또는 외부의 서버 장치로부터 검색하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 방법.　
  26. 제25항에 있어서,
    상기 디스플레이 단계는,
    상기 촬영 이미지가 복수 개 검출되면, 상기 복수 개의 촬영 이미지를 동영상처럼 연속적으로 디스플레이하는 것을 특징으로 하는 디스플레이 방법.
  27. 제17항에 있어서,
    공유 명령이 입력되면, 상기 촬영 이미지를 타 사용자 단말 장치로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 방법.
  28. 복수의 사용자 단말 장치; 및,
    상기 복수의 사용자 단말 장치로부터 업 로드되는 촬영 이미지를 저장하는 서버 장치;를 포함하며,
    상기 서버 장치는, 상기 복수의 사용자 단말 장치 중 하나의 사용자 단말 장치로부터 이동 경로 및 이동 방향에 대한 정보가 전송되면, 기 저장된 촬영 이미지 중에서 상기 이동 경로 상의 각 지점에서 상기 이동 방향으로 촬상된 촬영 이미지를 검색하고, 검색된 촬영 이미지를 상기 하나의 사용자 단말 장치로 전송하는 것을 특징으로 하는 네비게이션 서비스 제공 시스템.



KR1020130097822A 2013-08-19 2013-08-19 맵 화면을 디스플레이 하는 사용자 단말 장치 및 그 디스플레이 방법 KR102222336B1 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR1020130097822A KR102222336B1 (ko) 2013-08-19 2013-08-19 맵 화면을 디스플레이 하는 사용자 단말 장치 및 그 디스플레이 방법
CN201480045600.8A CN105452811B (zh) 2013-08-19 2014-08-19 用于显示地图的用户终端设备及其方法
PCT/KR2014/007659 WO2015026122A1 (en) 2013-08-19 2014-08-19 User terminal device for displaying map and method thereof
EP14838709.5A EP3036619B1 (en) 2013-08-19 2014-08-19 User terminal device for displaying map and method thereof
CN202010511254.5A CN111678532B (zh) 2013-08-19 2014-08-19 用于显示地图的用户终端设备及其方法
US14/462,691 US10066958B2 (en) 2013-08-19 2014-08-19 User terminal device for displaying map and method thereof
EP19175598.2A EP3598073A1 (en) 2013-08-19 2014-08-19 User terminal device for displaying map and method thereof
US16/055,900 US10883849B2 (en) 2013-08-19 2018-08-06 User terminal device for displaying map and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130097822A KR102222336B1 (ko) 2013-08-19 2013-08-19 맵 화면을 디스플레이 하는 사용자 단말 장치 및 그 디스플레이 방법

Publications (2)

Publication Number Publication Date
KR20150020850A true KR20150020850A (ko) 2015-02-27
KR102222336B1 KR102222336B1 (ko) 2021-03-04

Family

ID=52467412

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130097822A KR102222336B1 (ko) 2013-08-19 2013-08-19 맵 화면을 디스플레이 하는 사용자 단말 장치 및 그 디스플레이 방법

Country Status (5)

Country Link
US (2) US10066958B2 (ko)
EP (2) EP3598073A1 (ko)
KR (1) KR102222336B1 (ko)
CN (2) CN105452811B (ko)
WO (1) WO2015026122A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180042551A (ko) * 2016-10-18 2018-04-26 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR20180044380A (ko) * 2016-01-28 2018-05-02 후아웨이 테크놀러지 컴퍼니 리미티드 장면 공유 기반 내비게이션 지원 방법 및 단말
KR102136807B1 (ko) * 2019-05-24 2020-07-22 서울시립대학교 산학협력단 도시 인프라를 이용한 맞춤형 조깅경로 제공장치 및 맞춤형 조깅경로 제공방법

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8812345B2 (en) 2010-04-02 2014-08-19 Vivint, Inc. Door to door sales management tool
US11288633B2 (en) * 2010-04-02 2022-03-29 Vivint, Inc. Door to door sales management tool
KR102150289B1 (ko) 2012-08-30 2020-09-01 삼성전자주식회사 사용자 단말에서 사용자 인터페이스 장치 및 이를 지원하는 방법
US10126913B1 (en) * 2013-11-05 2018-11-13 Google Llc Interactive digital map including context-based photographic imagery
KR20170004702A (ko) 2015-07-03 2017-01-11 엘지전자 주식회사 디스플레이 장치 및 제어 방법
US9464914B1 (en) 2015-09-01 2016-10-11 International Business Machines Corporation Landmark navigation
JP2017096635A (ja) * 2015-11-18 2017-06-01 アイシン・エィ・ダブリュ株式会社 目的地設定システム、方法およびプログラム
KR20170059760A (ko) * 2015-11-23 2017-05-31 엘지전자 주식회사 이동단말기 및 그 제어방법
US10054460B2 (en) 2016-03-28 2018-08-21 Microsoft Technology Licensing, Llc Processing map-related user input to detect route requests
TWI626428B (zh) 2016-03-29 2018-06-11 群邁通訊股份有限公司 路線規劃系統及方法
KR102535056B1 (ko) * 2016-08-03 2023-05-22 삼성전자 주식회사 전자 장치 및 터치 인식 방법
CN106484907A (zh) * 2016-10-24 2017-03-08 重庆联导金宏实业有限公司 基于地图引擎的快速搜索显示方法、装置以及地图引擎
CN106534775A (zh) * 2016-11-03 2017-03-22 北京小米移动软件有限公司 视频剪辑、视频拍摄方法及装置
US11231291B2 (en) * 2017-06-02 2022-01-25 Apple Inc. Presenting non-recommended routes
TWI687112B (zh) * 2018-01-29 2020-03-01 光禾感知科技股份有限公司 分散式室內定位系統及其方法
CN108801240A (zh) * 2018-03-30 2018-11-13 浙江大华技术股份有限公司 一种导航方法、装置及系统
KR20190140657A (ko) * 2018-06-12 2019-12-20 삼성전자주식회사 오브젝트를 생성하는 전자장치 및 시스템
CN109115238B (zh) * 2018-07-04 2021-03-23 百度在线网络技术（北京）有限公司 地图显示方法、装置及设备
US10627974B1 (en) * 2019-03-29 2020-04-21 Champ Vision Display Inc. Touch display apparatus and backlight module
US11164196B1 (en) * 2019-04-29 2021-11-02 Vivint, Inc. Techniques for lead scoring
CN115443400A (zh) * 2019-12-27 2022-12-06 英特尔公司 用于路线规划的设备和方法
CN113132531B (zh) * 2020-01-14 2022-06-24 北京小米移动软件有限公司 照片展示方法、装置及存储介质
CN111750872B (zh) * 2020-06-17 2021-04-13 北京嘀嘀无限科技发展有限公司 信息交互方法、装置、电子设备和计算机可读存储介质
CN114475246B (zh) * 2021-12-31 2024-03-26 浙江零跑科技股份有限公司 一种带有显示保护的智能座舱仪表显示系统和显示方法
TW202344979A (zh) * 2022-05-09 2023-11-16 日商和冠股份有限公司 電腦

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070067104A1 (en) * 2000-09-28 2007-03-22 Michael Mays Devices, methods, and systems for managing route-related information
US20070198182A1 (en) * 2004-09-30 2007-08-23 Mona Singh Method for incorporating images with a user perspective in navigation
US20130162665A1 (en) * 2011-12-21 2013-06-27 James D. Lynch Image view in mapping

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002258740A (ja) * 2001-03-02 2002-09-11 Mixed Reality Systems Laboratory Inc 画像記録装置及び画像再生装置とそれらの方法
JP3603118B2 (ja) * 2001-06-08 2004-12-22 東京大学長 擬似３次元空間表現システム、擬似３次元空間構築システム、ゲームシステム、及び電子地図提供システム
JP2004053351A (ja) * 2002-07-18 2004-02-19 Fujitsu Ten Ltd ナビゲーション装置
JP2005077214A (ja) * 2003-08-29 2005-03-24 Mitsubishi Electric Corp 道案内システム
US7474959B2 (en) * 2004-10-08 2009-01-06 Scenera Technologies, Llc Method for providing recommendations using image, location data, and annotations
WO2006096044A1 (en) 2005-03-09 2006-09-14 Tomtom International B.V. Appatatus for and method of compiling a combined picture and showing it on a display
US20070150188A1 (en) * 2005-05-27 2007-06-28 Outland Research, Llc First-person video-based travel planning system
NZ564319A (en) * 2005-06-06 2009-05-31 Tomtom Int Bv Navigation device with camera-info
US7728869B2 (en) * 2005-06-14 2010-06-01 Lg Electronics Inc. Matching camera-photographed image with map data in portable terminal and travel route guidance method
KR100674805B1 (ko) * 2005-06-14 2007-01-29 엘지전자 주식회사 카메라 영상과 지도 데이터 간에 건물 매칭 방법
US20070055441A1 (en) * 2005-08-12 2007-03-08 Facet Technology Corp. System for associating pre-recorded images with routing information in a navigation system
CN101197094B (zh) 2006-12-08 2010-06-16 高德软件有限公司 电子地图中连续分歧的引导方法
US8332141B2 (en) * 2007-06-15 2012-12-11 Microsoft Corporation Route modifications
US8204684B2 (en) * 2007-06-28 2012-06-19 Apple Inc. Adaptive mobile device navigation
US8019536B2 (en) * 2007-12-28 2011-09-13 At&T Intellectual Property I, L.P. Methods, devices, and computer program products for geo-tagged photographic image augmented GPS navigation
CN101246018B (zh) 2008-03-14 2012-04-11 深圳市凯立德欣软件技术有限公司 一种支持图片的道路显示方法、装置及导航设备
US8428873B2 (en) * 2008-03-24 2013-04-23 Google Inc. Panoramic images within driving directions
US8359157B2 (en) * 2008-04-07 2013-01-22 Microsoft Corporation Computing navigation device with enhanced route directions view
US20090289937A1 (en) * 2008-05-22 2009-11-26 Microsoft Corporation Multi-scale navigational visualtization
EP2318897B1 (en) * 2008-05-28 2018-05-16 Google LLC Motion-controlled views on mobile computing devices
WO2009152515A2 (en) * 2008-06-13 2009-12-17 Blue Dasher Technologies, Inc. Street-level routing
KR101612785B1 (ko) * 2009-06-01 2016-04-26 엘지전자 주식회사 차량 내비게이션 방법 및 그 장치
US9477400B2 (en) * 2009-06-11 2016-10-25 Alpine Electronics, Inc. Method and apparatus for navigation system for selecting icons and application area by hand drawing on map image
US20110099507A1 (en) * 2009-10-28 2011-04-28 Google Inc. Displaying a collection of interactive elements that trigger actions directed to an item
KR101635016B1 (ko) * 2009-11-19 2016-06-30 엘지전자 주식회사 이동단말기 및 그의 지도 검색 방법
JP5482320B2 (ja) * 2010-03-11 2014-05-07 株式会社デンソー 車両用運転支援装置
WO2011124271A1 (en) * 2010-04-09 2011-10-13 Tomtom International B.V. Method of generating a route
KR101135098B1 (ko) 2010-05-10 2012-04-16 창원대학교 산학협력단 지도 기반 사진 제공 시스템 및 방법
US9582166B2 (en) * 2010-05-16 2017-02-28 Nokia Technologies Oy Method and apparatus for rendering user interface for location-based service having main view portion and preview portion
KR101695812B1 (ko) * 2010-06-07 2017-01-23 엘지전자 주식회사 이동단말기 및 그 제어방법
US8762041B2 (en) * 2010-06-21 2014-06-24 Blackberry Limited Method, device and system for presenting navigational information
US20120092266A1 (en) * 2010-10-14 2012-04-19 Motorola Mobility, Inc. Method and Apparatus for Providing a Navigation Path on a Touch Display of a Portable Device
KR101740435B1 (ko) 2010-10-18 2017-05-26 엘지전자 주식회사 이동 단말기 및 이것의 객체 관련 정보 관리 방법
US9664527B2 (en) * 2011-02-25 2017-05-30 Nokia Technologies Oy Method and apparatus for providing route information in image media
US20130050131A1 (en) * 2011-08-23 2013-02-28 Garmin Switzerland Gmbh Hover based navigation user interface control
JP5978610B2 (ja) * 2011-12-09 2016-08-24 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9047691B2 (en) * 2012-06-05 2015-06-02 Apple Inc. Route display and review
CN103017750B (zh) * 2012-07-03 2015-11-18 腾讯科技（深圳）有限公司 移动终端导航方法及相应的导航系统
JP6159113B2 (ja) * 2013-03-22 2017-07-05 ヤフー株式会社 案内サーバ、案内方法および案内プログラム
US9404766B2 (en) * 2013-06-08 2016-08-02 Apple Inc. Navigation peek ahead and behind in a navigation application
CN103822626B (zh) * 2014-02-17 2018-04-10 惠州Tcl移动通信有限公司 移动终端及其生成数字地图或导航方法、装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070067104A1 (en) * 2000-09-28 2007-03-22 Michael Mays Devices, methods, and systems for managing route-related information
US20070198182A1 (en) * 2004-09-30 2007-08-23 Mona Singh Method for incorporating images with a user perspective in navigation
US20130162665A1 (en) * 2011-12-21 2013-06-27 James D. Lynch Image view in mapping

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180044380A (ko) * 2016-01-28 2018-05-02 후아웨이 테크놀러지 컴퍼니 리미티드 장면 공유 기반 내비게이션 지원 방법 및 단말
US10959049B2 (en) 2016-01-28 2021-03-23 Huawei Technologies Co., Ltd. Scene sharing-based navigation assistance method and terminal
KR20180042551A (ko) * 2016-10-18 2018-04-26 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR102136807B1 (ko) * 2019-05-24 2020-07-22 서울시립대학교 산학협력단 도시 인프라를 이용한 맞춤형 조깅경로 제공장치 및 맞춤형 조깅경로 제공방법

Also Published As

Publication number Publication date
EP3036619A1 (en) 2016-06-29
US10066958B2 (en) 2018-09-04
KR102222336B1 (ko) 2021-03-04
CN111678532B (zh) 2023-10-13
EP3598073A1 (en) 2020-01-22
US10883849B2 (en) 2021-01-05
US20180356247A1 (en) 2018-12-13
EP3036619B1 (en) 2019-08-07
CN105452811B (zh) 2020-07-03
WO2015026122A1 (en) 2015-02-26
CN111678532A (zh) 2020-09-18
US20150051835A1 (en) 2015-02-19
CN105452811A (zh) 2016-03-30
EP3036619A4 (en) 2017-04-05

Similar Documents

Publication Publication Date Title
US10883849B2 (en) User terminal device for displaying map and method thereof
US10788977B2 (en) System and method for displaying information on transparent display device
US11340759B2 (en) User terminal device with pen and controlling method thereof
US10187520B2 (en) Terminal device and content displaying method thereof, server and controlling method thereof
US9741149B2 (en) User terminal device for providing animation effect and display method thereof
US10470538B2 (en) Portable terminal and display method thereof
US9406281B2 (en) Multi-display device and method of controlling thereof
TWI410906B (zh) 使用擴增實境導航路徑之方法及使用該方法之行動終端機
KR102098058B1 (ko) 뷰 모드에서 정보 제공 방법 및 장치
CN104246683B (zh) 在包括透明显示器的装置中执行的对象控制方法、装置及其计算机可读记录介质
US11054978B2 (en) Portable device and method for controlling brightness of the same
CN106055218A (zh) 显示装置及其控制方法
US10353988B2 (en) Electronic device and method for displaying webpage using the same
CN105577913B (zh) 移动终端及其控制方法
AU2018223043A1 (en) Portable terminal and display method thereof
WO2014102455A2 (en) Methods, apparatuses, and computer program products for retrieving views extending a user´s line of sight
CN107710147B (zh) 能够控制其亮度的便携式终端及其亮度控制方法
KR20140037753A (ko) 투명 디스플레이 기기상에 정보를 디스플레이 하는 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant