KR102627612B1 - 증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치 - Google Patents

증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR102627612B1
KR102627612B1 KR1020190019172A KR20190019172A KR102627612B1 KR 102627612 B1 KR102627612 B1 KR 102627612B1 KR 1020190019172 A KR1020190019172 A KR 1020190019172A KR 20190019172 A KR20190019172 A KR 20190019172A KR 102627612 B1 KR102627612 B1 KR 102627612B1
Authority
KR
South Korea
Prior art keywords
poi
information
electronic device
location
focus
Prior art date
Application number
KR1020190019172A
Other languages
English (en)
Other versions
KR20200101034A (ko
Inventor
유진우
고상혁
이승현
김동훈
손주영
이다솜
이용구
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190019172A priority Critical patent/KR102627612B1/ko
Priority to PCT/KR2020/002246 priority patent/WO2020171513A1/en
Priority to CN202080028264.1A priority patent/CN113692604A/zh
Priority to EP20759343.5A priority patent/EP3912140A4/en
Priority to US16/795,400 priority patent/US11592311B2/en
Publication of KR20200101034A publication Critical patent/KR20200101034A/ko
Priority to US18/156,270 priority patent/US20230160716A1/en
Application granted granted Critical
Publication of KR102627612B1 publication Critical patent/KR102627612B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0261Targeted advertisements based on user location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

본 발명은 증강현실을 이용한 주변 관심 장소 표현 방법 및 그 전자 장치에 관한 것으로, 전자 장치의 동작 방법은 카메라 모듈이 촬영하는 프리뷰 영상을 획득하는 동작, 상기 전자 장치의 위치 정보를 획득하는 동작, 상기 위치 정보를 기초로 주변에 위치하는 적어도 하나의 POI(point of interest)에 대한 정보를 획득하는 동작, 상기 적어도 하나의 POI에 대한 정보에 기초하여 상기 적어도 하나의 POI 중 포커스 POI를 선정하는 동작, 상기 적어도 하나의 POI 중 상기 선정된 포커스 POI를 제외한 나머지 POI를 포함하는 일반 POI에 대해 사용자에게 제공할 제1 정보를 결정하는 동작, 상기 포커스 POI에 대해 상기 사용자에게 제공할 상기 제1 정보에 비하여 더 많은 정보를 포함하는 제2 정보를 결정하는 동작, 상기 적어도 하나의 POI의 정보가 표시될 상기 프리뷰 영상이 제공되는 화면 상의 위치를 결정하는 동작 및 상기 적어도 하나의 POI의 전부 또는 일부 POI의 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 제1 정보 또는 상기 제2 정보를 제공하는 표시를 하는 동작을 포함할 수 있다.

Description

증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치 {METHOD FOR DISPLAYING NERBY INFORMATION USING AUGMENTED REALITY AND ELECTONIC DEVICE THEROF}
다양한 실시예는 증강현실을 이용한 주변 관심 장소 표시 방법 및 그 전자 장치에 관한 것이다.
스마트폰이 인터넷과 연동되고, 데이터를 자유롭게 사용할 수 있게 되면서, 필요한 정보를 즉시 얻고자 하는 경향이 있다. 일 예로 사용자가 주변의 맛집 정보나 관심 분야 관련 정보를 스마트폰을 이용하여 검색하는 경우가 많으며, 이때 다양한 지도 어플리케이션이 사용되어, 지도 위에 사용자가 검색하는 정보를 표시하여 주는 기능을 포함하고 있다.
지도 어플리케이션에서는 사용자의 현재 위치와 검색하는 위치 또는 장소를 함께 보여주고, 찾고자 하는 장소의 속성에 따라 다른 아이콘으로 보여줄 수도 있다. 하지만, 아직까지 지도 어플리케이션은 단순히 검색 용어에 기초하여 검색된 위치를 단순히 표시하는 것에 한정되어 있어 더욱 개선될 여지가 있다.
종래의 지도 어플리케이션은 사용자에게 주변 장소들의 위치를 지도 상에 표시함으로써 사용자가 원하는 장소에 찾아갈 수 있도록 도움을 줄 수 있다. 하지만 지도 상의 위치만으로 원하는 장소에 찾아가기 위해서는 도로, 건물 등의 주위 환경을 보고 방향을 파악해야 하는 불편한 점이 있다.
본 발명의 다양한 실시예는 주변 위치 검색 시 관심 있는 장소의 위치 정보뿐만 아니라 카메라 프리뷰 화면과 함께 현재 위치 기준의 방향도 알려줌으로써, 사용자가 원하는 장소로 쉽게 찾아갈 수 있도록 보조하는 방법 및 장치를 제공함에 있다.
또한, 본 발명의 다양한 실시예는 관심 장소의 단순 위치 이외에도 해당 장소에서 제공하는 쿠폰 등 해당 장소와 연관된 정보를 함께 제공하여 사용자로 하여금 다양한 정보를 확인할 수 있도록 하는 방법 및 장치를 제공함에 있다.
또한, 본 발명의 다양한 실시예는 사용자에게 보다 유용하게 사용될 수 있는 정보를 다른 정보와 상이하게 보여줌으로써 가독성을 높일 수 있는 방법 및 장치를 제공함에 있다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 다양한 실시예들에 따르면, 전자 장치는 외부 장치와의 통신을 수행하는 통신 모듈, 동영상을 촬영하는 카메라 모듈, 상기 통신 모듈 및 상기 카메라 모듈과 작동적으로 연결되는 적어도 하나의 프로세서 및 상기 적어도 하나의 프로세서와 작동적으로 연결되는 적어도 하나의 메모리를 포함하고, 상기 적어도 하나의 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가, 상기 카메라 모듈을 제어하여 상기 카메라 모듈이 촬영하는 프리뷰 영상을 획득하고, 상기 전자 장치의 위치 정보를 획득하고, 상기 위치 정보를 기초로 주변에 위치하는 적어도 하나의 POI(point of interest)에 대한 정보를 획득하고, 상기 적어도 하나의 POI에 대한 정보에 기초하여 상기 적어도 하나의 POI 중 포커스 POI를 선정하고, 상기 적어도 하나의 POI 중 상기 선정된 포커스 POI를 제외한 나머지 POI를 포함하는 일반 POI에 대해 사용자에게 제공할 제1 정보를 결정하고, 상기 포커스 POI에 대해 상기 사용자에게 제공할 제2 정보를 결정하되, 상기 제2 정보는 상기 제1 정보에 비하여 더 많은 정보를 포함하고, 상기 적어도 하나의 POI의 정보가 표시될 상기 프리뷰 영상이 제공되는 화면 상의 위치를 결정하고, 상기 적어도 하나의 POI의 전부 또는 일부 POI의 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 제1 정보 또는 상기 제2 정보를 제공하는 표시를 하도록 하는 인스트럭션들을 저장할 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치의 동작 방법은 카메라 모듈이 촬영하는 프리뷰 영상을 획득하는 동작, 상기 전자 장치의 위치 정보를 획득하는 동작, 상기 위치 정보를 기초로 주변에 위치하는 적어도 하나의 POI(point of interest)에 대한 정보를 획득하는 동작, 상기 적어도 하나의 POI에 대한 정보에 기초하여 상기 적어도 하나의 POI 중 포커스 POI를 선정하는 동작, 상기 적어도 하나의 POI 중 상기 선정된 포커스 POI를 제외한 나머지 POI를 포함하는 일반 POI에 대해 사용자에게 제공할 제1 정보를 결정하는 동작, 상기 포커스 POI에 대해 상기 사용자에게 제공할 상기 제1 정보에 비하여 더 많은 정보를 포함하는 제2 정보를 결정하는 동작, 상기 적어도 하나의 POI의 정보가 표시될 상기 프리뷰 영상이 제공되는 화면 상의 위치를 결정하는 동작 및 상기 적어도 하나의 POI의 전부 또는 일부 POI의 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 제1 정보 또는 상기 제2 정보를 제공하는 표시를 하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치의 동작 방법은 상기 전자 장치의 위치 정보를 콘텐트 제공자(content provider; CP) 서버로 전달하는 동작, 상기 CP 서버로부터 주변에 위치하는 적어도 하나의 POI(point of interest)에 대한 정보를 획득하는 동작, 상기 전자 장치의 위치 정보를 기초로 상기 적어도 하나의 POI를 상기 전자 장치와의 거리에 따라 정렬하는 동작, 상기 전자 장치의 위치 및 상기 전자 장치의 프리뷰 영상 촬영 방향을 기초로 상기 적어도 하나의 POI의 각 POI의 표시 위치를 설정하는 동작, 상기 표시 위치가 설정된 포커스 영역 내인 포커스 POI의 경우 상기 포커스 POI 관련하여 표시할 정보를 설정하는 동작 및 상기 프리뷰 영상이 표시되는 화면 상의 상기 설정된 표시 위치에 상기 설정된 정보를 포함하는 UI(user interface)를 표시하는 동작을 포함하고, 상기 표시 위치가 설정된 포커스 영역 밖인 일반 POI의 경우 상기 일반 POI의 카테고리 정보를 획득하는 동작 및 상기 프리뷰 영상이 표시되는 화면 상의 상기 설정된 표시 위치에 상기 카테고리에 대응하는 아이콘을 표시하는 동작을 포함할 수 있다.
다양한 실시예들에 따른 방법 및 그 전자 장치는 사용자에게 고정된 지도 이미지를 통해 장소에 대한 정보를 얻는 방법 이외로 사용자가 촬영하고 있는 화면에 장소 정보를 렌더링하여 줌으로써 보다 위치 정보를 찾기 쉽게 제공할 수 있는 효과가 있다.
다양한 실시예들에 따른 방법 및 그 전자 장치는 단순 위치 이외에도 해당 장소와 관련된 정보를 함께 제공하여 사용자로 하여금 다양한 정보를 확인할 수 있도록 하는 효과가 있다.
다양한 실시예들에 따른 방법 및 그 전자 장치는 사용자에게 보다 유용하게 사용될 수 있는 정보를 다른 정보보다 상세하게 보여주어 사용자의 가독성을 높일 수 있는 효과가 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 다양한 실시 예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는, 다양한 실시예들에 따른, 카메라 모듈의 블록도이다.
도 3은 다양한 실시예들에 따른 전자 장치의 기능적 구성의 예를 도시한 도면이다.
도 4는 다양한 실시예들에 따른 전자 장치의 화면에 지정된 포커스 영역의 일 예를 도시한 도면이다.
도 5는 다양한 실시예들에 따른 전자 장치의 디스플레이 화면에 POI 정보를 표시하는 일 예를 도시한 도면이다.
도 6은 다양한 실시예들에 따른 전자 장치의 디스플레이 화면에 상세 POI 정보를 표시하는 일 예를 도시한 도면이다.
도 7은 다양한 실시예들에 따른 전자 장치의 디스플레이 화면에 POI 정보를 표시하는 또 다른 일 예를 도시한 도면이다.
도 8은 다양한 실시예들에 따른 전자 장치의 주변 정보를 디스플레이 화면에 표시하는 동작을 도시한 흐름도이다.
도 9는 다양한 실시예들에 따른 전자 장치의 주변 정보를 디스플레이 화면에 표시하는 동작의 다른 예를 도시한 흐름도이다.
도 10은 다양한 실시예들에 따른 POI 그룹을 고려하여 전자 장치의 주변 정보를 디스플레이 화면에 표시하는 동작의 예를 도시한 흐름도이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하 다양한 실시예들이 첨부된 도면을 참고하여 상세히 설명된다.
도 1은 다양한 실시예들에 따른 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참고하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드(embedded) 된 채 구현될 수 있다
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)는, 예를 들면, 마이크, 마우스, 키보드 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 적어도 하나의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD 카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 적어도 하나의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 적어도 하나의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, 또는 108) 중 적어도 하나의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 적어도 하나의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 요청을 수신한 적어도 하나의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 결과를, 그대로 또는 추가적으로 처리하여, 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는, 다양한 실시예들에 따른, 카메라 모듈(180)의 블록도(200)이다. 도 2를 참조하면, 카메라 모듈(180)은 렌즈 어셈블리(210), 플래쉬(220), 이미지 센서(230), 이미지 스태빌라이저(240), 메모리(250)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(260)를 포함할 수 있다. 렌즈 어셈블리(210)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(210)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 복수의 렌즈 어셈블리(210)들을 포함할 수 있다. 이런 경우, 카메라 모듈(180)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)일 수 있다. 복수의 렌즈 어셈블리(210)들은 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 어셈블리와 적어도 하나의 다른 렌즈 속성을 가질 수 있다. 렌즈 어셈블리(210)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다. 플래쉬(220)는 피사체로부터 방출되는 빛을 강화하기 위하여 사용되는 광원을 방출할 수 있다. 플래쉬(220)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다.
이미지 센서(230)는 피사체로부터 렌즈 어셈블리(210)를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일 실시예에 따르면, 이미지 센서(230)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(230)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서로 구현될 수 있다.
이미지 스태빌라이저(240)는 카메라 모듈(180) 또는 이를 포함하는 전자 장치(101)의 움직임에 반응하여, 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향(예: 이미지 흔들림)을 적어도 일부 보상하기 위하여 렌즈 어셈블리(210)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(230)를 특정한 방향으로 움직이거나 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 일 실시예에 따르면, 이미지 스태빌라이저(240)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있으며, 카메라 모듈(180)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 상기 움직임을 감지할 수 있다.
메모리(250)는 이미지 센서(230)을 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: 높은 해상도의 이미지)는 메모리(250)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 표시 장치(160)을 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(250)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(260)에 의해 획득되어 처리될 수 있다. 일실시예에 따르면, 메모리(250)는 메모리(130)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 시그널 프로세서(260)는 이미지 센서(230)을 통하여 획득된 이미지 또는 메모리(250)에 저장된 이미지에 대하여 이미지 처리(예: 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening))을 수행할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(260)는 카메라 모듈(180)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(230))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(260)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(250)에 다시 저장되거나 카메라 모듈(180)의 외부 구성 요소(예: 메모리(130), 표시 장치(160), 전자 장치(102), 전자 장치(104), 또는 서버(108))로 전달될 수 있다. 일 실시예에 따르면, 이미지 시그널 프로세서(260)는 프로세서(120)의 적어도 일부로 구성되거나, 프로세서(120)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(260)에 의해 처리된 이미지들은 프로세서(120)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 표시 장치(160)를 통해 표시될 수 있다.
일 실시예에 따르면, 전자 장치(101)는 각각 다른 속성 또는 기능을 가진 둘 이상의 카메라 모듈(180)들을 포함할 수 있다. 이런 경우, 예를 들면, 적어도 하나의 카메라 모듈(180)은 광각 카메라 또는 전면 카메라이고, 적어도 하나의 다른 카메라 모듈은 망원 카메라 또는 후면 카메라일 수 있다.
본 발명에서 제시하는 증강 현실을 이용한 주변 정보 표현 장치 또는 방법은 사용자가 카메라로 주변을 촬영하고 있는 상황에서 현재 위치를 기반으로 주변에 산재되어 있는 관심 장소(point of interest; POI)에 대한 정보를 획득하고, 카메라가 촬영하여 디스플레이에 표시하는 프리뷰 이미지 또는 화면과 함께 이 획득한 정보를 증강 현실 기법으로 함께 보여주는 것을 기본으로 한다.
설명을 위하여 필요한 기본적인 용어들에 대하여 먼저 정의한다.
관심 장소: 사용자에게 유용하거나 사용자가 관심을 가질 만한 장소를 의미한다. 이하에서 POI(point of interest)로 칭해질 수 있다.
콘텐트 제공자 서버: 모든 POI 목록 및 각 POI에 대한 정보를 저장하고 있고, 사용자의 위치에 기반한 요청에 의하여 위치 주변의 POI 목록 및 관련 정보를 제공할 수 있다. 이하 CP(contents provider) 서버로 칭해질 수 있다.
POI 관련 정보: 사용자에게 유용하거나 사용자가 좀 더 관심을 가질 수 있도록 유도할 수 있는 POI에 대해 설명하는 정보를 포함한다. POI의 관련 이미지, 이름(상호명), 위치, 카테고리, 주소, 전화번호 등을 포함할 수 있고, 추가적으로, 특정한 경우에 광고나 이벤트 관련 정보를 포함할 수도 있다. POI 관련 이미지는 그 POI를 대변할 수 있는 이미지로서 상호를 포함하거나, 대표 상품을 포함하는 이미지일 수 있다. 카테고리는 POI가 속하는 업종을 나타낼 수 있다. 카테고리는 콘텐트 제공자에 의해 미리 설정될 수 있고, 각 POI가 어느 카테고리에 속하는 지 미리 설정하여 놓을 수 있다. 일 실시예로, 각 POI에 대해 카페, 식당, 영화관, 호텔 등과 같이 업종 별로 카테고리를 설정할 수 있고, 또는 더 세분화하여 양식 식당, 한식 식당, 분식 식당 등으로 더 세분화된 카테고리를 설정할 수도 있다.
도 3은 다양한 실시예들에 따른 전자 장치(300)의 기능적 구성의 예를 도시한 도면이다. 도 3은 본 발명에서 제시하는 방법을 실현하기 위하여 필요하다고 판단되는 기능적 구성을 간략하게 도시하고 있다. 일 실시예로 도 3의 전자 장치(300)는 도 1의 전자 장치(101)일 수 있다.
도 3을 참조하면, 전자 장치(300)는, 프로세서(310), 메모리(320), 디스플레이(330), 센서 모듈(340), 통신 모듈(360), 및/또는 GPS 모듈(370)을 포함할 수 있다. 다만 이에 한정되지 않으며, 전자 장치(300)에는 이 구성요소들 중 적어도 하나가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다.
카메라 모듈(350)은 현재 위치의 주변을 촬영할 수 있다. 카메라 모듈(350)의 구체적은 구성은 도 2에 도시된 카메라 모듈(180)일 수 있다. 카메라 모듈(350)에서 촬영되는 이미지 또는 영상은 디스플레이(330)에 표시될 수 있다.
센서 모듈(340)은, 지자기 센서, 가속도 센서(acceleration sensor)(예: 가속도계 (accelerometer)), 자이로 센서(gyro sensor)(예: 자이로스코프(gyroscope)), 또는 6축 센서 중 적어도 하나를 포함할 수 있다. 센서 모듈(340)은 포함된 센서를 이용하여 획득한 정보를 기초로 전자 장치(300)의 카메라 모듈(350)이 촬영하는 방향을 검출할 수 있다. 검출된 방향은 프로세서(310)가 디스플레이(330)에 표시할 주변 정보를 선별하는데 사용될 수 있다. 센서 모듈(340)는 도 1의 센서 모듈(176)에 상응하거나 이의 일부일 수 있다.
통신 모듈(360)은, 전자 장치(300)와 외부 전자 장치(예: 도 1의 서버(108)) 사이의 통신 링크를 수립할 수 있고, 수립된 통신 링크를 통한 통신을 수행할 수 있다. 예를 들면, 통신 모듈(390)은 Bluetooth, BLE, Wi-Fi, NFC, LTE 와 같은 통신 방식을 이용하여 다른 전자 장치와 제어 명령 또는 데이터를 주고받을 수 있다.
GPS 모듈(370)은 전자 장치(300)의 현재 위치를 검출한 위치 정보를 생성할 수 있다. GPS 모듈(370)은 GPS 위성으로부터 신호를 수신하여 현재 전자 장치(300)의 위치에 대한 정보, 예를 들면, 위도/경도에 대한 정보를 포함하는 위치 정보를 생성할 수 있다.
통신 모듈(360)은 프로세서(310)의 제어에 기초하여 외부 전자 장치로 정보를 전송하거나 수신할 수 있다. 예를 들면, 통신 모듈(360)은, GPS 모듈(370)에서 생성한 위치 정보 및 센서 모듈(340)에 의해 획득한 방향 정보를 외부 전자 장치(예: 도 1의 서버(108))로 전달하고, 외부 전자 장치로부터 주변 정보를 획득할 수 있다.
디스플레이(330)는, 정보를 표시하여 사용자에게 정보를 제공할 수 있다. 디스플레이(330)는, 도 1의 표시 장치(160)에 상응할 수 있다. 디스플레이(330)는, 전자 장치(300)의 카메라 모듈(350)이 촬영하고 있는 프리뷰 영상과 주변 정보를 증강 현실(augmented reality; AR) 형식으로 화면에 표시할 수 있다.
프로세서(310)는, 전자 장치(310)의 전반적인 동작을 제어할 수 있다. 프로세서(310)는, 다른 구성 요소들(예: 메모리(320), 디스플레이(330), 센서 모듈(340), 카메라 모듈(350), 통신 모듈(360), GPS 모듈(370))과 유기적으로 결합되어 다른 구성 요소들이 올바르게 동작하도록 제어할 수 있으며, 다른 구성 요소들이 필요로 하는 데이터를 제공할 수 있고, 또한 다른 구성 요소들로부터 필요 데이터를 획득하여 처리할 수 있다. 프로세서(310)는, 소프트웨어로 구현될 수도 있고, 칩(chip), 회로(circuitry) 등과 같은 하드웨어로 구현될 수도 있으며, 소프트웨어 및 하드웨어의 집합체로 구현될 수도 있다. 프로세서(310)는, 하나일 수도 있고, 복수의 프로세서들의 집합체일 수도 있다.
메모리(320)는, 하나 이상의 메모리 집합을 의미할 수 있다. 메모리(320)는, 프로세서(320)와의 시그널링에 기반하여 메모리(320)에 저장된 명령어들을 실행할 수 있다. 메모리(320)는, 다른 구성 요소들(예: 프로세서(120), 센서 모듈(340), 통신 모듈(360), 디스플레이(330))로부터 수신되거나 다른 구성 요소들에 의해 생성된 데이터 및/또는 명령을 저장할 수 있다.
다양한 실시예들에 따르면, 프로세서(310)는 사용자가 촬영을 시작하거나 관련 어플리케이션을 실행하여 주변 위치에 대한 정보를 얻고자 할 때, GPS 모듈(370)을 이용하여 사용자 또는 전자 장치(300)의 현재 위치 정보를 획득하고, 획득한 위치 정보를 통신 모듈(360)을 이용하여 외부 전자 장치(예: 도 1의 서버(108))로 전송할 수 있다. 프로세서(310)는 외부 전자 장치로부터 사용자 또는 전자 장치(300) 위치 주변의 POI(point of interest) 정보를 수신할 수 있다. 프로세서(310)는 수신한 POI 정보를 이용하여 전자 장치(300)의 현재 위치를 기반으로 각 POI까지의 거리 방향 등을 계산하고 정렬할 수 있다. 프로세서(310)는 정렬된 결과를 기초로 어떤 POI를 화면에 표시할 것이지 그리고 화면의 어디에 표시할 것인지를 결정할 수 있다. 프로세서(310)는 또한, POI들을 일반 POI 및 포커스(focus) POI로 구별하고, 포커스 POI에 대해서는 보다 자세한 정보를 화면에 표시할 수 있고, 일반 POI에 대해서는 아이콘으로만 표시하여 사용자에게 정보를 제공할 수 있다. 나아가 포커스 POI는 디스플레이(330) 화면 상에 지정된 포커스 영역에 표시될 수도 있다. 다른 일 실시예에 따르면, 프로세서(310)는 일반 POI, 포커스 POI 외에도 광고 POI를 구별할 수 있다. 광고 POI는 광고주의 요청에 의하여 POI 정보 내에 광고나 이벤트 정보를 포함하고 있는 POI일 수 있다. 프로세서(310)는 광고 POI에 대하여 일반 POI 또는 포커스 POI가 보여주는 정보 이외에 광고나 이벤트 정보를 추가적으로 화면에 표시할 수 있다.
다양한 실시예들에 따르면, 프로세서(310)는 GPS 모듈(370)을 이용하여 전자 장치(300)의 현재 위치를 획득할 수 있다. 프로세서(310)는 전자 장치(300)의 현재 위치로부터 일정 거리 이내의 POI 목록 데이터를 콘텐트 제공자(content provider; CP) 서버 (예: 도 1의 서버(108)에 요청할 수 있다. CP 서버는 사용자에게 제공할 POI 정보를 저장하고 있을 수 있다. 일 실시예로, 프로세서(310)는 통신 모듈(360)을 이용하여 CP 서버로 전자 장치(300)의 현재 위치를 전송하여, CP 서버에 POI 목록 데이터를 요청할 수 있다. 전송된 위치 정보에 대한 응답으로 프로세서(310)는 통신 모듈(360)을 통해 CP 서버로부터 POI 목록 데이터를 수신할 수 있다. CP 서버로부터 수신하는 POI 목록 데이터에 포함되는 정보는 각 POI의 위치를 나타내는 위도/경도 정보, 이름, 대표 이미지를 포함하는 이미지 정보, 연락처, 카테고리 정보, 기타 텍스트 정보 등을 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(310)는 CP 서버로부터 전달받은 POI 목록의 위치 정보를 기초로 전자 장치(310)의 현재 위치를 기준으로 각 POI의 거리 및 방향 등을 계산하고, 전자 장치(310)의 현재 위치와의 거리 순으로 정렬할 수 있다. 일 실시예에 따라, 프로세서(310)는 CP 서버로부터 수신한 POI 정보에 포함된 위도/경도를 이용하여 전자 장치(310)가 현재 위치한 위도/경도와의 거리 및 각도 등을 계산할 수 있다. 프로세서(310)를 이렇게 계산한 결과를 이용하여 전자 장치(310)와 각 POI 간의 상대적 위치 값을 이용하여 정렬을 할 수 있다.
다양한 실시예들에 따르면, 프로세서(310)는 카메라 모듈(350)이 촬영한 결과인 프리뷰 화면과 함께 주변 POI들의 정보를 증강 현실 형식으로 화면에 표시할 수 있다. 하지만 주변 정보의 양, 디스플레이의 크기, 카메라 모듈(350)에 있는 카메라의 화각 등의 조건에 의해 여러 POI의 표시할 위치가 중복될 수 있으며, 중복되는 POI를 디스플레이(330)의 한 화면에 모두 보여주는 것은 불가능할 수 있다. 따라서, 프로세서(310)는 카메라 화각, 디스플레이 크기, UI(user interface) 등의 조건을 고려하여 모든 POI의 표시될 위치를 예측하고 중복되는 POI 그룹을 생성할 수 있다. POI 그룹이란 특정 기준으로 묶인 POI들의 묶음을 의미할 수 있다. 프로세서(310)는 디스플레이(330) 화면의 공간상 제약으로 모든 POI, 특히 POI간 거리가 가까운 경우에는 많은 POI를 구별하여 화면에 표시하는 것이 불가능하기 때문에 POI 그룹으로 묶어 단일하게 표시할 수 있다. 일 실시예로 프로세서(310)는 POI간의 거리, 방향 등의 수치를 이용하여 그 값이 유사한 POI끼리 묶어서 POI 그룹으로 정의할 수 있다. 프로세서(310)는 POI 그룹을 하나의 대표 POI를 기준으로 표시할 수 있고, 대표 POI를 인터페이스로 하여 사용자가 해당 POI 그룹에 포함된 다른 POI의 정보에 접근할 수 있도록 할 수 있다. 프로세서(310)는 대표 POI를 CP 서버에서 전달받은 정보에 기초하여 결정하거나, 사용자의 사용 습관, 선호도 등에 기초하여 결정할 수 있다. 일 실시예로 프로세서(310)는 POI그룹에 포함되는 POI 중 전자 장치(300)의 현재 위치와 거리가 가장 가까운 POI를 대표 POI로 결정할 수 있다. 다른 실시예로, 프로세서(310)는 CP 서버로부터 수신한 POI 정보에 기초하여, 가장 평점이 높은 POI를 대표 POI로 결정할 수 있다. 다른 실시예로 프로세서(310)는 사용자가 레스토랑 카테고리를 선호하는 경우 해당 카테고리에 포함되는 POI를 대표 POI로 결정할 수 있다. 프로세서(310)는 미리 설정된 기준에 기초하여 생성된 각 POI 그룹을 화면에 표시하기 위한 대표 정보와 표시 위치를 결정할 수 있다.
다양한 실시예들에 따르면, 프로세서(310)는 카메라 모듈(350)에서 촬영하고 있는 프리뷰 영상을 화면에 표시하고, 그 위에 상술한 각 POI 그룹을 증강 현실 형식으로 화면에 표시할 수 있다. 프로세서(310)는 각 POI 그룹을 화면에 표시하기 위해서, 센서 모듈(340)을 이용하여 전자 장치(300) 또는 카메라 모듈(350)의 카메라가 촬영하는 방향을 실시간으로 획득하고, 각 POI 그룹의 위치와 방향, 카메라의 화각을 고려하여 POI 그룹의 정보를 표시할 수 있다. 이때 디스플레이(330)의 화면에 표시되는 정보는 각 POI 그룹을 대표하는 정보이고, 중복되는 다른 POI의 정보를 확인하기 위해서는 추가적인 사용자와의 인터페이스가 필요할 수 있다. 예를 들면, 프로세서(310)는 화면에 대표 POI와 관련된 UI만을 보여주고, 동일 POI 그룹에 포함된 다른 POI의 정보를 사용자가 획득하기 위해 해당 UI를 인터페이스를 사용할 수 있다. 일 실시예로 프로세서(310)는 사용자의 좌/우로 스크롤하는 동작을 획득하면 동일 POI 그룹 내 다른 POI의 정보를 디스플레이(330) 화면에 표시할 수 있다.
다양한 실시예들에 따르면, 프로세서(310)는 카메라 모듈(350)에서 촬영하는 영상과 함께 카메라 모듈(350)이 촬영하는 방향의 POI 정보를 화면에 표시하여 동시에 사용자에게 제공할 수 있다. 이에 따라, 프로세서(310)는 사용자의 좌 또는 우로 전자 장치(300)를 회전함에 따라 변경되는 카메라 모듈(350)이 촬영하는 방향에 응답하여, 그 방향에 해당하는 POI를 확인하여 화면에 표시할 수 있다.
상술한 바와 같이 프로세서(310)가 디스플레이(330) 화면에 주변 정보를 표시할 때, 각 POI 그룹이 표시되는 UI 영역과 제공되는 데이터의 양 사이에는 상충관계가 있을 수 있다. 사용자에게 많은 데이터를 제공하기 위해서는 UI 영역이 증가하게 되고, UI 영역이 줄어들면 제한된 정보만 제공할 수 있다. 따라서, 본 발명에서는 포커스 POI를 정의하여 사용자에게 중요하다고 판단되는 POI 그룹에 대해서는 좀 더 자세한 정보를 포커스 영역에서 제공할 수 있도록 할 수 있다.
도 4는 다양한 실시예들에 따른 전자 장치(300)의 화면에 지정된 포커스 영역(410)의 일 예를 도시한 도면(400)이다.
다양한 실시예들에 따르면, 프로세서(310)는, 디스플레이(330) 화면의 일부 영역을 포커스 영역(410)으로 지정할 수 있다. 일 실시예로, 도 4를 참조하면, 도 4의 점선 박스와 같이 디스플레이(330) 화면의 중앙 하단부를 포커스 영역(410)으로 지정할 수 있다. 프로세서(310)는 전자 장치(300)의 위치 및 카메라 모듈(350)의 촬영 방향과 POI의 거리, 각도 등을 이용하여 포커스 영역(410)에 표시될 포커스 POI 또는 포커스 POI 그룹을 결정할 수 있다. 사용자의 조작에 의한 전자 장치(300)의 위치 및/또는 촬영 방향의 변경에 대응하여 포커스 영역에 표시될 포커스 POI 또는 포커스 POI 그룹이 변경될 수 있다. 프로세서(310)는 포커스 영역에 표시될 수 없는 일반 POI 또는 일반 POI 그룹은 간단한 UI(421 내지 427))를 이용해 최소한의 정보만을 제공하고, 포커스 영역에 표시되는 포커스 POI 그룹은 UI 영역(430)을 확장하여 좀 더 많은 정보를 사용자에게 제공할 수 있다.
일 실시예로, 프로세서(310)는 일반 POI 또는 일반 POI 그룹에 대해서는 해당 POI 또는 POI 그룹의 카테고리를 나타내는 아이콘(421, 423, 425 427)만으로 표시하여 줄 수 있다. 일 실시예로 아이콘(421)은 양식당을 나타내기 위하여 칼과 나이프를 형상화한 아이콘일 수 있으며, 양식당 카테고리를 나타낼 수 있고, 아이콘(425)은 영사기를 형상화한 아이콘일 수 있으며, 영화관 카테고리를 나타낼 수 있고, 아이콘(427)은 커피잔을 형상화한 아이콘일 수 있으며, 카페 카테고리를 나타내기 위해 사용될 수 있다. 다른 일 실시예로, 프로세서(310)는 포커스 POI 또는 포커스 POI 그룹에 대해서는 해당 POI 또는 POI 그룹의 이미지, 이름 등을 포함하는 UI를 표시해 줄 수 있다. 그 결과 포커스 POI 또는 포커스 POI 그룹에 대해서는 일반 POI 또는 일반 POI 그룹보다 더 많은 정보를 포함하는 UI(430)를 디스플레이(330) 화면에 표시하여 사용자에게 제공할 수 있다. 프로세서(310)는 POI 그룹을 디스플레이(330) 화면에 표시하는 경우, 일반 POI 그룹에 대하여는 대표 POI의 카테고리에 대응하는 아이콘을 표시해 주고, 포커스 POI 그룹에 대해서는 해당 POI 그룹의 대표 POI의 이미지, 이름 등을 함께 표시할 수 있다.
다양한 실시예들에 따르면, 프로세서(310)는 광고 POI를 별도로 구분하여 일반 POI의 아이콘에 추가로 광고 또는 이벤트 정보를 표시할 수 있고 또는 포커스 POI의 UI에 추가로 광고 또는 이벤트 정보를 포함시켜 표시해 줄 수 있다. 또한, POI 그룹에 광고 POI가 포함되는 경우, 광고 POI를 다른 POI에 우선하여 대표 POI로 결정할 수 있다.
다양한 실시예들에 따르면, 프로세서(310)는 전자 장치(300)의 위치 및/또는 촬영 방향의 변경에 의하여 포커스 POI가 일반 POI로 전환될 수도 있으며, 일반 POI가 포커스 POI로 전환될 수도 있다. 이러한 변화를 화면에 표시하기 위하여 프로세서(310)는 포커스 POI를 나타내는 UI에서 일반 POI를 나타내는 UI로 UI를 점진적으로 변경하거나 또는 반대로 일반 POI를 나타내는 UI에서 포커스 POI를 나타내는 UI로 UI를 점진적으로 변경할 수 있다.
도 5는 다양한 실시예들에 따른 전자 장치(300)의 디스플레이(330) 화면에 POI 정보를 표시하는 일 예를 도시한 도면(500)이다.
도 6은 다양한 실시예들에 따른 전자 장치(300)의 디스플레이(330) 화면에 상세 POI 정보를 표시하는 일 예를 도시한 도면(600)이다.
일 실시예에 따른 도 5를 참조하면, 프로세서(310)는 카메라 모듈(350)에 의해 촬영되고 있는 프리뷰 영상(501)과 함께 POI 정보를 포함하는 UI를 디스플레이(330) 화면에 표시할 수 있다. UI(531, 532)는 포커스 POI에 대한 정보를 포함하고 있는 것으로, 프로세서(310)는 POI와 관련한 대표 이미지, 이름, 거리, 별점, 평점과 같은 정보를 표시할 수 있다. 특히 UI(531, 532)은 디스플레이(330) 화면의 포커스 영역(510) 내에 표시될 수 있다. 반면에 UI(521, 523, 525)는 일반 POI들의 정보를 표시한 것으로, 프로세서(310)는 해당 POI의 카테고리를 나타내는 아이콘으로만 정보를 표시할 수 있으며, 아이콘은 카테고리 별로 다른 아이콘일 수 있다. 일 실시예에 따르면, 이외에도 광고 POI가 화면에 표시될 수 있으며, 광고 POI의 경우에는 화면에 표시되는 정보에 광고 정보 및/또는 이벤트 정보를 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(310)는 POI가 일반 POI인지 또는 포커스 POI 인지 또는 광고 POI인지 여부와 관계없이 디스플레이(330) 화면에 표시된 UI를 사용자가 터치하면, 도 6에 도시된 것과 같이 터치된 UI의 해당 POI와 관련된 상세 정보를 포함하는 UI(610)를 화면에 표시할 수 있다. UI(610)는 CP 서버로부터 수신한 POI 관련 다양한 정보를 사용자에게 보여줄 수 있으며, UI(610)에 표시된 상세 정보는 하이퍼 링크 등에 의하여 별도의 앱으로 연결되어 추가적인 서비스를 제공할 수 있다. 예를 들면, UI(610)은 대표 이미지, 이름, 별점, 평점, 거리, 주소, 연락처 등을 표시할 수 있으며, UI(610)에 표시된 연락처를 누르면 전화를 거는 앱(CALL)이 실행되어 전화 통화 서비스를 제공할 수 있으며, 대표 이미지나 이름을 터치하면 인터넷 앱을 실행하여 해당 POI의 웹사이트를 표시할 수 있으며, 주소 또는 "Get directions"를 터치하면 지도 관련 앱과 연동되어 해당 장소로 가는 길을 상세히 안내해 주는 서비스가 제공될 수 있다. 또한, 사용자가 터치한 POI가 단일 POI가 아닌 복수 개의 POI가 그룹핑된 POI 그룹인 경우 프로세서(310)는 별도의 UI(620)를 디스플레이(330) 화면에 표시하여 POI 그룹임을 나타낼 뿐만 아니라 POI 그룹에 포함된 POI의 개수 관련 정보를 사용자에게 제공할 수 있다. 이때, 프로세서(310)는 사용자의 좌/우 스위핑(sweeping) 동작에 응답하여 현재 표시된 POI 외의 다른 POI의 정보를 디스플레이(330) 화면에 제공할 수 있다.
도 7은 다양한 실시예들에 따른 전자 장치(300)의 디스플레이(330) 화면에 POI 정보를 표시하는 또 다른 일 예를 도시한 도면(700)이다.
도 7을 참조하면, 사용자가 본 발명의 방법을 구현한 어플리케이션을 사용하고 있는 상황에서, 프로세서(310)는 카메라 모듈(350)에 의해 촬영된 프리뷰와 함께 POI 정보를 디스플레이(330) 화면에 표시할 수 있는데, 일반 POI의 경우 각 POI의 카테고리를 나타내는 아이콘(721, 723, 725, 727)으로 POI 정보를 표시할 수 있다. 일 실시예로 아이콘(721) 및 아이콘(727)은 해당 POI가 식당 카테고리임을 나타내기 위하여 사용될 수 있고, 아이콘(725)는 해당 POI가 회의를 진행할 수 있는 장소에 대한 카테고리임을 나타내기 위해 사용될 수 있다. 일 실시예에 따라 프로세서(310)는 전자 장치(300)의 현재 위치로부터의 거리에 따라 아이콘의 크기를 다르게 하여, 가까운 POI의 경우에는 상대적으로 큰 크기의 아이콘(727)으로, 먼 POI의 경우에는 상대적으로 작은 크기의 아이콘(723)으로 표시할 수 있다. 일 실시예에 따라 프로세서(310)는 사용자의 선호도를 반영한 아이콘을 제공할 수 있는데, 프로세서(310)는 사용자의 선호도가 높은 POI에 대하여는 아이콘(727)처럼 하트 모양을 포함하여 표시할 수 있다. 특정 아이콘에 대해, 터치와 같은 사용자의 동작이 있는 경우, 해당 아이콘에 대응되는 POI의 상세 정보를 도 6에 도시된 것처럼 제공할 수 있다. 포커스 POI의 경우에, 프로세서(310)는 이미지와 함께 POI의 이름, 별점, 평점 등의 추가적인 정보를 제공하는 UI(731, 733)를 디스플레이(330) 화면에 표시할 수 있다. 포커스 POI의 경우에도, 프로세서(310)는 거리에 따라 전자 장치(300)와의 거리가 가까우면 상대적으로 큰 UI(731)로, 거리가 멀면 상대적으로 작은 UI(733)로 표시할 수 있다. 또 다른 일 실시예에 따르면, 프로세서는 거리가 상대적으로 가까운 POI에 대해서는 화면의 아래쪽에 위치하도록 하고, 상대적으로 먼 POI에 대해서는 화면의 위쪽에 위치하도록 표시할 수 있다. 일 실시예에 따라, 프로세서(310)는 사용자의 선호도를 반영한 UI를 제공할 수 있는데, 프로세서(310)는 사용자의 선호도가 높은 POI에 대하여는 UI(731)처럼 하트 모양을 포함하여 표시할 수 있다. 또한, 광고 POI의 경우에, 프로세서(310)는 이미지와 함께 POI의 이름, 별점, 평점 등의 정보에 추가로 광고 정보 또는 이벤트 정보 등의 정보를 제공하는 UI(미도시)를 디스플레이(330) 화면에 표시할 수 있다. 일 실시예에 따르면, 광고 POI는 일반 POI 및 포커스 POI에 비하여 훨씬 더 두드러지게 표시하여 사용자가 좀 더 잘 인지하도록 할 수 있다. 일 실시예에 따르면, 광고 POI는 일반 POI에 포함될 수도 있고, 포커스 POI에 포함될 수도 있다.
다양한 실시예들에 따르면, 프로세서(310)는 카메라 모듈(350)에서 생성하는 프리뷰 화면의 특정 영역을 포커스 영역으로 설정하고, 포커스 영역 안에 있는 POI들을 포커스 POI로 설정할 수 있다. 프로세서(310)는 전자 장치(300)와 POI 간의 위치, 방향 정보, 도로 현황, 도로 상황 등을 비교하였을 때 사용자가 보다 접근하기 쉬운 장소를 포커스 영역으로 설정할 수 있고, 해당 포커스 영역 안에 있는 POI를 포커스 POI로 설정하고 상대적으로 다양한 정보를 제공할 수 있다.
다양한 실시예들에 따르면, 프로세서(310)는 다양한 기준을 기초로 포커스 POI를 선정할 수 있다. 일 실시예로, 상술한 바와 같이 프로세서(310)는 접근하기 쉬운 포커스 영역 내의 모든 POI를 포커스 POI로 선정할 수 있다. 다른 일 실시예로 프로세서(310)는 카메라 모듈(350)에 의해 촬영되고 있는 방향, 카메라의 화각, 전자 장치(300)의 현재 위치와 POI 간의 거리 등을 기초로 포커스 POI를 선정할 수 있다. 이에 따른 실시예로, 주변 POI들 중에서 카메라 모듈(350)에 의해 촬영되는 방향과 화각에 기초하여 결정되는 프리뷰 화면에 실제 위치가 포함되면서 거리가 일정 값 이내인 POI를 포커스 POI로 선정할 수 있다. 다른 일 실시예로 프로세서(310)는 사용자가 기존에 방문한 POI이거나, 이전에 해당 POI에 대한 정보를 검색해 본 적이 있는 POI를 포커스 POI로 선정할 수 있다. 다른 일 실시예로 프로세서(310)는 사용자의 과거 사용 히스토리(history), 행위 등에 기초하여 포커스 POI를 선정할 수 있다. 다른 일 실시예로 프로세서(310)는 사용자가 미리 설정해 놓은 선호도에 기초하여 포커스 POI를 선정할 수 있다. 예를 들면, 사용자가 선호도의 최상위에 둔 것이 식당인 경우, 프로세서(310)는 식당 관련 POI를 포커스 POI로 선정할 수 있다. 다른 일 실시예로 프로세서(310)는 상술한 각각의 선정 조건을 조합한 조건을 기초로 하여 포커스 POI를 선정할 수도 있다.
다양한 실시예들에 따르면 포커스 POI에 포함되는 POI들에 대해서도 프로세서(310)는 과거 사용 히스토리, 행위 등에 기초하여 POI 별로 제공하는 정보 수준을 다르게 할 수도 있다.
다양한 실시예들에 따르면, 프로세서(310)는 사용자에 의한 전자 장치(300)의 위치 변경시에 모든 POI와의 거리, 각도를 새롭게 변경하여야 하고, 이에 따라, 포커스 POI의 선정을 새롭게 하여야 하고, POI 그룹의 추가, 삭제, 변경 등도 수행할 필요가 있다. 또한, 프로세서(310)는 사용자에 의한 카메라 모듈(350)의 촬영하는 방향이 변경되는 경우에도 포커스 POI의 선정을 새롭게 하여야 할 수 있다. 일 실시예로 카메라 모듈(350)의 촬영하는 방향만 변경되는 경우에, 프로세서(310)는 새로운 포커스 POI의 선정없이, 기존에 선정해 놓은 포커스 POI 중에서 현재 카메라 모듈(350)에 의해 촬영되어 표시되는 프리뷰 영상 내에 포함되는 포커스 POI를 디스플레이(330) 화면에 표시할 수도 있다.
다양한 실시예들에 따르면, 프로세서(310)는 전자 장치(300)의 위치가 변경되는 정도에 따라 CP 서버로부터 새로운 POI 정보를 받아와서 새롭게 포커스 POI를 선정하고 디스플레이(330) 화면에 표시하는 동작을 수행할 수도 있다.
상술한 프로세서(310)의 동작들에 의하여 본 발명은 사용자에게 고정된 지도 이미지를 통해 장소에 대한 정보를 제공하는 것이 아닌 사용자가 촬영하고 있는 영상에 장소 정보를 렌더링하여 보다 위치 정보를 찾기 쉽게 제공할 수 있으며, 단순 위치 이외에도 해당 장소와 관련한 다양한 정보를 사용자에게 제공하여 줄 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 3의 전자 장치(300))는 외부 장치와의 통신을 수행하는 통신 모듈, 동영상을 촬영하는 카메라 모듈, 상기 통신 모듈 및 상기 카메라 모듈과 작동적으로 연결되는 적어도 하나의 프로세서 및 상기 적어도 하나의 프로세서와 작동적으로 연결되는 적어도 하나의 메모리를 포함하고, 상기 적어도 하나의 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가, 상기 카메라 모듈을 제어하여 상기 카메라 모듈이 촬영하는 프리뷰 영상을 획득하고, 상기 전자 장치의 위치 정보를 획득하고, 상기 위치 정보를 기초로 주변에 위치하는 적어도 하나의 POI(point of interest)에 대한 정보를 획득하고, 상기 적어도 하나의 POI에 대한 정보에 기초하여 상기 적어도 하나의 POI 중 포커스 POI를 선정하고, 상기 적어도 하나의 POI 중 상기 선정된 포커스 POI를 제외한 나머지 POI를 포함하는 일반 POI에 대해 사용자에게 제공할 제1 정보를 결정하고, 상기 포커스 POI에 대해 상기 사용자에게 제공할 제2 정보를 결정하되, 상기 제2 정보는 상기 제1 정보에 비하여 더 많은 정보를 포함하고, 상기 적어도 하나의 POI의 정보가 표시될 상기 프리뷰 영상이 제공되는 화면 상의 위치를 결정하고, 상기 적어도 하나의 POI의 전부 또는 일부 POI의 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 제1 정보 또는 상기 제2 정보를 제공하는 표시를 하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시예들에 따르면, 상기 인스트럭션들은 상기 적어도 하나의 프로세서가, 상기 적어도 하나의 POI 중에서 상기 적어도 하나의 POI에 대한 정보에 광고 및/또는 이벤트 정보를 포함하는 POI를 광고 POI로 선정하고, 상기 광고 POI에 대해 상기 사용자에게 제공할 제3 정보를 결정하되, 상기 제3 정보는 상기 광고 및/또는 이벤트 정보를 포함하고, 상기 광고 POI에 대해 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 제3 정보를 제공하는 표시를 하도록 할 수 있다.
다양한 실시예들에 따르면, 상기 인스트럭션들은 상기 적어도 하나의 프로세서가, 상기 카메라 모듈이 상기 프리뷰 영상을 촬영하는 방향 및 상기 카메라 모듈의 화각에 기초하여 상기 적어도 하나의 POI 중에서 상기 프리뷰 영상이 제공되는 화면 상에 표시할 상기 일부 POI를 선정하고, 상기 선정된 일부 POI의 각 POI의 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 제1 정보 또는 상기 제2 정보를 제공하는 표시를 하도록 할 수 있다.
다양한 실시예들에 따르면, 상기 인스트럭션들은 상기 적어도 하나의 프로세서가, 상기 포커스 POI에 해당하는 조건을 설정하고, 상기 적어도 하나의 POI에 대한 정보가 상기 포커스 POI에 해당하는 조건을 만족하는 POI에 대해 포커스 POI로 선정하도록 할 수 있다.
다양한 실시예들에 따르면, 상기 인스트럭션들은 상기 적어도 하나의 프로세서가, 상기 프리뷰 영상 내의 일부 영역을 포커스 영역으로 설정하고, 실제 위치가 상기 포커스 영역에 포함되는 POI로 상기 포커스 POI에 해당하는 조건으로 설정하도록 할 수 있다.
다양한 실시예들에 따르면, 상기 인스트럭션들은 상기 적어도 하나의 프로세서가, 상기 포커스 POI에 해당하는 조건으로 상기 전자 장치의 위치 정보 및 상기 적어도 하나의 POI에 대한 정보에 포함된 각 POI의 위치 정보를 기초로 상기 전자 장치와 각 POI 간의 거리를 결정하고, 상기 결정된 전자 장치와 각 POI 간의 거리에 기초하여, 상기 전자 장치와 POI 간의 거리가 미리 설정된 일정 값 이내인 POI로 설정하도록 할 수 있다.
다양한 실시예들에 따르면, 상기 인스트럭션들은 상기 적어도 하나의 프로세서가, 상기 포커스 POI에 해당하는 조건으로 사용자가 기존에 방문한 POI, 이전에 정보를 검색해 본 적이 있는 POI를 포함하는 사용자의 행위를 기초로 설정한 사용자의 선호도에 기초하여 선호도가 높은 POI를 설정하도록 할 수 있다.
다양한 실시예들에 따르면, 상기 인스트럭션들은 상기 적어도 하나의 프로세서가, 상기 프리뷰 영상이 제공되는 화면 상의 일부를 포커스 영역으로 지정하고, 상기 포커스 POI에 대한 상기 제2 정보를 제공하는 표시를 상기 포커스 영역 내에 표시하도록 할 수 있다.
다양한 실시예들에 따르면, 상기 인스트럭션들은 상기 적어도 하나의 프로세서가, 상기 적어도 하나의 POI의 정보에 포함된 각 POI의 위치 정보 또는 상기 적어도 하나의 POI의 정보가 표시될 화면 상의 위치를 기초로, 서로 간의 거리가 미리 설정된 일정 거리 이내인 POI들을 POI 그룹으로 설정하고, 상기 POI 그룹 내의 POI 중에서 대표 POI를 선정하고, 상기 POI 그룹을 대표하여 상기 대표 POI의 상기 화면 상의 위치에 상기 대표 POI의 정보를 제공하는 표시를 하도록 할 수 있다.
다양한 실시예들에 따르면, 상기 인스트럭션들은 상기 적어도 하나의 프로세서가, 상기 제1 정보는 POI의 카테고리로 결정하고, 상기 제2 정보는 POI 관련 이미지, 이름, 전자 장치의 현재 위치와의 거리 중의 적어도 하나를 포함하도록 결정하고, 상기 제1 정보를 제공하는 표시로 상기 카테고리에 대응하는 아이콘을 표시하고, 상기 제2 정보를 제공하는 표시로 상기 제2 정보를 포함하는 UI(user interface)를 표시하도록 할 수 있다.
이하 상술한 전자 장치(300)에서 주변 정보를 증강 현실(augmented reality) 형식으로 카메라 프리뷰 영상 위에 함께 제공하는 방법에 대하여 설명한다.
도 8은 다양한 실시예들에 따른 전자 장치의 주변 정보를 디스플레이 화면에 표시하는 동작을 도시한 흐름도(800)이다. 도 8에 예시된 흐름도(800)의 동작 주체는 전자 장치(예: 도 1의 전자 장치(101), 도 3의 전자 장치(300)) 또는 전자 장치의 프로세서(예: 도 1의 프로세서(120), 도 3의 프로세서(310))로 이해될 수 있다.
다양한 실시예들에 따르면, 동작 801에서, 전자 장치(101, 300)는 주변 POI 정보를 획득할 수 있다. 주변 POI 정보를 획득하기 위하여 전자 장치(101, 300)는 사용자가 카메라 모듈(350)을 이용하여 촬영을 시작하거나, 관련 어플리케이션을 실행하여 주변 위치에 대한 정보를 얻고자 할 때, GPS 모듈(370)을 이용하여 전자 장치(101, 300)의 현재 위치 정보를 획득할 수 있다. 현재 위치는 위도 및 경도로 표시될 수 있다. 전자 장치(101, 300)는 자신의 현재 위치를 기초로 주변 POI 정보를 획득할 수 있다. 일 실시예로 전자 장치(101, 300)는 어플리케이션에 의하여 메모리(130, 320)에 저장되어 있는 POI들 중에서 자신의 현재 위치와 일정 거리 이내에 있는 POI를 선정하여 주변 POI 정보를 획득할 수 있다. 또 다른 일 실시예로, 전자 장치(101, 300)는 자신의 현재 위치를 CP 서버(예: 도 1의 서버(108))로 전달하고, CP 서버로부터 현재 위치에 기반하여 추출된 주변 POI(point of interest) 정보를 수신함으로써 주변 POI 정보를 획득할 수 있다. 이때 CP 서버는 전자 장치(101, 300)의 현재 위치에서 일정 거리 이내에 있는 POI들의 정보를 제공할 수 있다. POI 정보는 각 POI의 위치를 나타내는 위도 및 경도 정보, 이름, 대표 이미지를 포함하는 이미지 정보, 연락처, 카테고리 정보, 기타 텍스트 정보 등을 포함할 수 있다.
다양한 실시예들에 따르면, 동작 803에서 전자 장치(101, 300)는 획득한 주변 POI 정보를 기초로 포커스 POI를 선정할 수 있다. 또한 전자 장치(101, 300)는 추가적으로 광고 POI를 선정할 수 있다. 포커스 POI는 일반 POI에 비하여 사용자가 좀 더 관심을 가질 수 있다고 판단되는 POI일 수 있다. 광고 POI는 광고 및/또는 이벤트 정보를 포함하고 있는 POI일 수 있다. 일 실시예에 따르면, 전자 장치(101, 300)는 획득한 POI 정보를 기초로, 광고 및/또는 이벤트 정보를 포함하는 POI에 대하여는 광고 POI로 선정할 수 있다. 광고 POI는 일반 POI 또는 포커스 POI와 구별되게 선정할 수도 있지만, 일반 POI 또는 포커스 POI이면서 광고 POI일수도 있다.
다양한 실시예들에 따르면, 전자 장치(101, 300)는 다양한 기준을 기초로 포커스 POI를 선정할 수 있다. 일 실시예로 전자 장치(101, 300)는 사용자가 접근하기 쉬운 장소 근처를 포커스 영역으로 설정하고, 포커스 영역 내의 모든 POI를 포커스 POI로 선정할 수 있다. 다른 일 실시예로 전자 장치(101, 300)는 카메라 모듈(350)에 의해 촬영되고 있는 방향, POI와의 거리, 카메라의 화각 등을 기초로 포커스 POI를 선정할 수 있다. 다른 일 실시예로 전자 장치(101, 300)는 사용자가 기존에 방문한 POI이거나, 이전에 해당 POI에 대한 정보를 검색해 본 적이 있는 POI를 포커스 POI로 선정할 수 있다. 다른 일 실시예로 전자 장치(101, 300)는 사용자의 과거 사용 히스토리(history), 행위 등에 기초하여 포커스 POI를 선정할 수 있다. 다른 일 실시예로 전자 장치(101, 300)는 사용자가 미리 설정해 놓은 선호도에 기초하여 포커스 POI를 선정할 수 있다. 예를 들면, 사용자가 선호도의 최상위에 둔 것이 식당인 경우, 전자 장치(101, 300)는 식당 관련 POI를 포커스 POI로 선정할 수 있다. 다른 일 실시예로 전자 장치(101, 300)는 상술한 각각의 선정 조건을 조합한 조건을 기초로 하여 포커스 POI를 선정할 수도 있다.
다양한 실시예들에 따르면, 전자 장치(101, 300)는 포커스 POI 선정을 위하여 획득한 주변 POI들을 상술한 조건에 따라 정렬할 수 있다. 일 실시예로 거리에 따라 포커스 POI를 선정하는 경우, 주변 POI들의 위치 정보를 기초로 전자 장치(101, 300)의 현재 위치와 각 POI 간의 거리를 획득하고, 거리에 따라 주변 POI들을 정렬하고, 일정 거리 이내에 있는 주변 POI들을 포커스 POI로 선정할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101, 300)는 위치가 변경되면 새롭게 포커스 POI를 선정할 수 있다. 일 실시예에 따라, 전자 장치(101, 300)의 위치가 변경되면, 각 POI까지의, 거리, 각도를 새로 계산하여 획득하여야 하고 따라서 포커스 POI에 해당하는 POI도 변경될 수 있으므로 새로 선정할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101, 300)의 촬영 방향이 변경되는 경우에도 새롭게 포커스 POI를 선정할 수 있다. 전자 장치(101, 300)는 촬영 방향이 변경되면, 촬영에 의한 프리뷰 화면에 표시될 수 있는 POI들이 변경될 수 있다. 따라서, 현재의 프리뷰 화면에 포함될 수 있는 POI들 중에서 포커스 POI를 새롭게 선정할 수 있다. 전자 장치(101, 300)의 촬영 방향이 변경되는 경우, 특정 POI는 포커스 POI에서 일반 POI로 또는 일반 POI에서 포커스 POI로 변경될 수 있다.
다양한 실시예들에 따르면, 동작 805에서, 전자 장치(101, 300)는 디스플레이(예: 도 1의 표시장치(160), 도 3의 디스플레이(330))의 화면에 표시할 POI별 표시 위치 및 정보를 설정할 수 있다. 일 실시예로 POI별 표시 위치는 카메라 모듈(350)로 촬영하여 화면에 표시되고 있는 프리뷰 영상에서 실제 위치와 대응되는 위치일 수도 있다. 다른 일 실시예에 따르면, 프리뷰 영상이 표시되는 화면 중의 일부 영역을 포커스 영역으로 설정하고, 포커스 POI는 포커스 영역 내에 표시하고, 일반 POI는 포커스 영역 밖에 표시할 수 있다. 또한, 전자 장치(101, 300)는 전자 장치(101, 300)의 현재 위치와 가까운 POI에 대하여는 화면의 하단에 좀 더 가깝게 위치하도록 표시 위치를 설정할 수 있고, 전자 장치(101, 300)의 현재 위치와 먼 POI에 대하여는 화면의 상단쪽으로 치우치도록 표시 위치를 설정할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101, 300)는 일반 POI와 포커스 POI에 대해 제공되는 정보가 다르도록 설정할 수 있다. 일 실시예에 따라, 전자 장치(101, 300)는 일반 POI에 대해 제공되는 정보를 해당 POI의 카테고리만으로 설정할 수 있다. 반면에, 전자 장치(101, 300)는 포커스 POI에 대해 제공되는 정보를 일반 POI보다 더 많도록 설정할 수 있다. 일 실시예로 전자 장치(101, 300)는 포커스 POI에 대해서는 관련 이미지, 이름, 거리, 별점, 평점들 중의 적어도 하나를 제공하는 정보로 설정할 수 있다. 또한, 다른 일 실시예로 전자 장치(101, 300)는 포커스 POI에 대해서도 과거 사용 히스토리, 행위 등에 기초하여 포커스 POI 별로 제공하는 정보를 다르게 설정할 수도 있다.
다양한 실시예에 따르면 주변 POI 정보의 양, 디스플레이 화면의 크기, 카메라의 화각 등의 조건에 의해 복수 POI의 표시 위치가 중복될 수 있으며, 중복되는 POI를 한 화면에 모두 동시에 보여주는 것은 불가능할 수 있다. 따라서, 전자 장치(101, 300)는 카메라 화각, 디스플레이 크기, UI(user interface) 등의 조건을 고려하여 상술한 것처럼 모든 주변 POI의 표시 위치를 설정하고, 표시 위치가 중복되는 POI들을 그룹화하여 POI 그룹을 생성할 수 있다. POI 그룹이란 특정 기준으로 묶인 POI들의 묶음을 의미할 수 있다. 전자 장치(101, 300)는 디스플레이 화면의 공간상 제약으로 모든 POI, 특히 POI간 거리가 가까운 경우에는 많은 POI를 구별하여 화면에 표시하는 것이 불가능하기 때문에 POI 그룹으로 묶어 단일하게 표시할 수 있다. 일 실시예로 프로세서(310)는 POI간의 거리, 각도 등의 수치를 이용하여 그 값이 유사한 POI끼리 묶어서 POI 그룹으로 정의할 수 있다. 전자 장치(101, 300)는 POI 그룹을 하나의 대표 POI를 기준으로 표시 위치를 설정할 수 있고, 대표 POI를 인터페이스로 하여 사용자가 해당 POI 그룹에 포함된 다른 POI의 정보에 접근할 수 있도록 할 수 있다. 전자 장치(101, 300)는 대표 POI를 동작 801에서 획득한 POI 정보에 기초하여 결정하거나, 사용자의 사용 습관, 선호도 등에 기초하여 결정할 수 있다. 일 실시예로 전자 장치(101, 300)는 POI그룹에 포함되는 POI 중 전자 장치(300)의 현재 위치와 거리가 가장 가까운 POI를 대표 POI로 결정할 수 있다. 다른 실시예로, 전자 장치(101, 300)는 획득한 주변 POI 정보에 기초하여, 가장 평점이 높은 POI를 대표 POI로 결정할 수 있다. 다른 실시예로 전자 장치(101, 300)는 사용자가 레스토랑 카테고리를 선호하는 경우 해당 카테고리에 포함되는 POI를 대표 POI로 결정할 수 있다. 전자 장치(101, 300)는 미리 설정된 기준에 기초하여 생성된 각 POI 그룹을 화면에 표시하기 위한 대표 정보와 표시 위치를 대표 POI의 정보와 표시 위치로 설정할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101, 300)는 화면에 카메라 모듈(350)에서 촬영하고 있는 프리뷰 영상과 함께 POI 정보를 표시할 수 있다. 일 실시예로 전자 장치(101, 300)는 동작 805에서 설정한 POI별 또는 그룹 POI별 표시 위치 및 정보를 프리뷰 영상 위에 함께 표시할 수 있다. 일 실시예로 전자 장치(101, 300)는 일반 POI의 경우, 동작 805에서 결정된 표시 위치에 POI의 카테고리에 대응하는 아이콘을 표시하여 POI 정보를 표시할 수 있다. 또한 전자 장치(101, 300)는 포커스 POI의 경우, 동작 805에서 결정된 표시 위치에 설정된 정보(예를 들면, 이미지, 이름, 위치, 별점, 평점 중의 적어도 하나)를 포함하는 UI를 표시할 수 있다. 다른 일 실시예로, 일반 POI 그룹의 경우, 전자 장치(101, 300)는 대표 POI에 대해 동작 805에서 결정된 표시 위치에 대표 POI의 카테고리에 대응하는 아이콘을 표시할 수 있다. 또한, 전자 장치(101, 330)는 포커스 POI 그룹의 경우, 대표 POI에 대해 동작 805에서 결정된 표시 위치에 대표 POI에 대해 설정된 정보를 포함하는 UI를 표시할 수 있다. 포커스 POI 또는 포커스 POI 그룹의 경우 표시 위치는 화면의 포커스 영역 내일 수 있다. 또한, 전자 장치(101, 300)는 광고 POI의 경우, 동작 805에서 결정된 표시 위치에 설정된 정보를 포함하는 UI를 표시할 수 있다. 광고 POI의 설정된 정보에는 광고 및/또는 이벤트 정보를 반드시 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101, 300)는 화면에 대표 POI와 관련된 정보만을 포함하는 UI만을 보여주고, 동일 POI 그룹에 포함된 다른 POI의 정보는 사용자와의 추가적인 인터페이스를 통해 제공할 수 있다. 일 실시예로 전자 장치(101, 300)는 사용자의 좌/우로 스크롤하는 동작을 획득하면 동일 POI 그룹 내 다른 POI의 정보를 디스플레이(330) 화면에 표시할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101, 300)는 각 POI별 또는 POI 그룹별로 표시되는 UI의 크기를 다르게 설정할 수 있다. 일 실시예로 전자 장치(101, 300)는 전자 장치(101, 300)의 현재 위치로부터의 거리에 따라 아이콘 또는 UI의 크기를 다르게 하여 화면에 표시할 수 있다. 전자 장치(101, 300)는 가까운 POI의 경우에는 상대적으로 큰 크기의 아이콘 또는 UI로, 먼 POI의 경우에는 상대적으로 작은 크기의 아이콘 또는 UI로 표시할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101, 300)는 촬영 방향의 변경에 따라 일반 POI에서 포커스 POI로 변경하는 POI 또는 포커스 POI에서 일반 POI로 변경하는 POI에 대해 변경되고 있음을 표시하기 위하여 UI를 점진적으로 변경시킬 수 있다. 일 실시예로, 일반 POI에서 포커스 POI로 변경되는 경우 아이콘이 점진적으로 펼쳐지면서 해당 POI의 정보를 포함하는 UI로 변경될 수 있다. 다른 일 실시예로 포커스 POI에서 일반 POI로 변경되는 경우 해당 POI의 정보를 포함하는 UI가 점진적으로 축소되면서 최종적으로 아이콘으로 변경될 수 있다.
도 9는 다양한 실시예들에 따른 전자 장치의 주변 정보를 디스플레이 화면에 표시하는 동작의 다른 예를 도시한 흐름도(900)이다. 도 9에 예시된 흐름도(900)의 동작 주체는 전자 장치(예: 도 1의 전자 장치(101), 도 3의 전자 장치(300)) 또는 전자 장치의 프로세서(예: 도 1의 프로세서(120), 도 3의 프로세서(310))로 이해될 수 있다.
다양한 실시예들에 따르면, 동작 901에서, 전자 장치는 자신의 현재 위치를 CP 서버(예: 도 1의 서버(108))로 전달할 수 있다. 사용자가 촬영을 시작하거나 전자 장치에 구비된 어플리케이션을 구동하여 주변 위치에 대한 정보를 얻고자 할 때, 전자 장치는 자신의 현재 위치를 GPS 모듈(예: 도 3의 GPS 모듈(370))을 이용하여 획득하고, CP 서버로 전달할 수 있다.
다양한 실시예들에 따르면, 동작 903에서, 전자 장치는 CP 서버로부터 주변 POI 정보를 수신할 수 있다. 주변 POI는 전자 장치의 현재 위치로부터 일정 거리 내에 있는 POI를 의미할 수 있다. 일 실시예에서 일정 거리는 CP 서버에 설정되어 있을 수 있으며, 다른 일 실시예에서는 일정 거리가 전자 장치에 설정되어 있을 수 있고, 전자 장치가 CP 서버로 현재 위치를 전송 시에 미리 설정된 일정 거리를 같이 전송할 수 있다. 이때 일정 거리는 사용자에 입력을 받아 설정될 수 있다.
다양한 실시예들에 따르면, 동작 905에서, 전자 장치의 현재 위치에 기반하여 CP 서버로부터 수신한 주변 POI를 정렬할 수 있다. 전자 장치는 CP 서버로부터 수신한 POI 목록의 위치 정보를 기초로, 전자 장치의 현재 위치를 기준으로 하여 각 POI의 거리 및 방향 등을 획득할 수 있고, 거리 순으로 각 POI를 정렬할 수 있다.
다양한 실시예들에 따르면, 동작 907에서, 전자 장치는 전자 장치의 현재 위치 및 프리뷰 영상을 촬영하는 방향과 획득한 각 POI의 거리 및 방향을 기초로 각 POI의 표시 위치를 설정할 수 있다. 일 실시예에서 전자 장치는 실제 위치가 프리뷰 영상 내에 포함되는 POI에 대해서만 표시 위치를 설정할 수 있다. 전자 장치는 프리뷰 영상을 촬영하는 방향과 획득한 POI의 방향을 비교하여 프리뷰 영상 내에 실제 위치가 포함되지 않는 일부 POI에 대하여는 프리뷰 영상 내의 표시 위치를 설정하지 못할 수도 있다.
다양한 실시예들에 따르면, 동작 909에서 전자 장치는 각 POI의 표시 위치가 포커스 영역 내부 인지를 판단할 수 있다.
일 실시예로서 포커스 영역은 전자 장치에 의하여 임의로 지정되거나 사용자의 입력에 기초하여 지정될 수 있는 것으로, 도 4의 일 실시예에서는 화면의 중앙 하단부가 포커스 영역으로 지정될 수 있다. 그리고 전자 장치는 POI를 포커스 POI와 일반 POI로 구별할 수 있다. 추가적으로 광고 POI를 구별할 수도 있다. 포커스 POI는 일반 POI에 비하여 사용자가 좀 더 관심을 둘 수 있다고 판단되는 POI들일 수 있다. 광고 POI는 광고 및/또는 이벤트 정보를 포함하고 있는 POI일 수 있다. 따라서, 전자 장치는 광고 및/또는 이벤트 정보를 포함하고 있는 POI는 광고 POI로 선정할 수 있다. 포커스 POI를 선정하는 조건은 다양할 수 있다. 포커스 POI는 화면의 지정된 포커스 영역 내로 표시 위치를 설정할 수 있다.
다양한 실시예들에 따르면, 동작 909에서의 판단에 기초하여 POI의 표시 위치가 포커스 영역 내부이면 동작 911에서, 해당 POI 관련하여 표시할 정보를 설정할 수 있다. 일 실시예로, 해당 POI 관련 이미지, 거리, 이름, 별점, 평점 중의 적어도 하나를 표시할 정보로 설정할 수 있으나 반드시 이에 한정하는 것을 아니다. 만약 해당 POI가 광고 및/또는 이벤트 정보를 포함하고 있는 경우, 즉 광고 POI인 경우, 광고 및/또는 이벤트 정보는 반드시 표시할 정보로 설정될 필요가 있다. 그리고 동작 913에서, 카메라에서 촬영하고 있는 프리뷰 화면 상의 동작 907에서 결정된 표시 위치에 동작 911에서 설정된 표시할 정보를 포함하는 UI를 표시할 수 있다.
다양한 실시예들에 따르면, 동작 909에서의 판단에 기초하여 POI의 표시 위치가 포커스 영역 밖이면 동작 915에서, 해당 POI의 카테고리를 획득하고, 동작 917에서, 카메라에서 촬영하고 있는 프리뷰 화면 상의 동작 907에서 결정된 표시 위치에 동작 915에서 획득한 POI의 카테고리에 대응하는 아이콘을 표시할 수 있다.
상술한 동작 911 내지 917에 의한 전자 장치의 POI 정보 표시 시에, 전자 장치는 현재 촬영되고 있는 카메라(예: 도 3의 카메라 모듈(350)의 촬영 방향 및 카메라의 화각을 고려하여야 한다. 일 실시예로 동작 905에서, 각 POI의 방향은 절대 방위로 표시될 수 있다. 전자 장치의 현재 위치를 기준으로 정북쪽에 있는 POI의 방향은 0도로 설정되고, 정동쪽에 있는 POI의 방향은 90도로, 정남쪽에 있는 POI의 방향은 180도로, 그리고 정서쪽에 있는 POI의 방향은 270도로 설정될 수 있다. 그리고 카메라의 촬영 방향이 정남쪽이고 카메라의 화각이 60도라면, POI의 방향이 150도에서 210도 내인 POI만이 카메라에 의해 촬영되고 있는 프리뷰 영상 내에 위치하여 표시될 수 있다. 그 외의 POI 방향은 프리뷰 영상 밖이므로, 그 외의 POI 방향을 가진 POI들은 화면에 표시되지 않을 수 있다.
도 10은 다양한 실시예들에 따른 POI 그룹을 고려하여 전자 장치의 주변 정보를 디스플레이 화면에 표시하는 동작의 예를 도시한 흐름도(1000)이다. 도 10에 예시된 흐름도(1000)의 동작 주체는 전자 장치(예: 도 1의 전자 장치(101), 도 3의 전자 장치(300)) 또는 전자 장치의 프로세서(예: 도 1의 프로세서(120), 도 3의 프로세서(310))로 이해될 수 있다.
도 10의 흐름도에서 동작 901 내지 동작 917은 도 9의 흐름도 설명과 동일하게 동작할 수 있으며, 다만 동작 907 이후에, POI 그룹을 생성하는 구성이 추가될 수 있다.
POI 그룹이란 특정 기준으로 묶인 POI들의 묶음을 의미할 수 있으며, 일 실시예로 포커스 POI에 속하는 POI들 중 화면 상 표시 위치가 거의 동일한 POI들을 하나의 POI 그룹으로 설정할 수 있다. 화면 공간상 제약으로 모든 POI, 특히 POI간 거리가 가까운 경우에는 많은 POI를 구별하여 화면에 표시하는 것이 불가능하기 때문에 POI 그룹으로 묶어 단일하게 표시할 수 있다. 일 실시예로 POI 서로 간의 거리, 방향 등을 이용하여 그 값이 유사한 POI끼리 묶어서 POI 그룹으로 정의할 수 있다. POI 그룹에 대해서는 동작 911 내지 917에 따른 표시시에 대표 POI를 기초로 화면 상에 표시할 수 있다.
다양한 실시예들에 따르면, 동작 1001에서, 전자 장치는 POI 그룹 생성이 가능한 지를 판단한다. 일 실시예로 POI 그룹 생성 가능 여부는 POI 그룹 생성 조건을 설정하고, 생성 조건을 만족하는 POI들이 있는 지를 결정하여 판단할 수 있다. 예를 들면, POI 간의 거리가 2m 이내에 있는 POI들을 POI 그룹으로 생성할 수 있다. 또 다른 일 실시 예로, 동일한 건물 안에 있는 POI들을 POI 그룹으로 생성할 수 있다.
POI 그룹 생성이 가능하지 않으면 바로 동작 909의 동작을 수행할 수 있다. POI 그룹 생성이 가능하다면, 동작 1003에서, 상술한 조건을 만족하는 POI들을 묶어서 POI 그룹을 생성할 수 있다.
다양한 실시예들에 따르면, 동작 1005에서 POI 그룹별 대표 POI를 선정할 수 있다. 대표 POI는 POI 그룹에 포함된 각 POI 정보에 기초하여 결정하거나, 사용자의 사용 습관, 선호도 등에 기초하여 결정할 수 있다. 일 실시예에 따르면, 전자 장치는 자신의 현재 위치와 거리가 가장 가까운 POI를 대표 POI로 선정할 수 있다. 다른 실시예에 따르면, 전자 장치는 선호도가 가장 높은 카테고리의 POI 중에서 평점이 가장 좋은 POI를 대표 POI로 설정할 수도 있다.
그리고 이하 909 내지 917의 동작은 POI 그룹의 대표 POI의 정보를 기초로 수행될 수 있다.
다양한 실시예들에 따르면, 도 10의 동작 909에서 전자 장치는 각 POI 그룹의 대표 POI의 표시 위치가 포커스 영역 내부 인지를 판단할 수 있다.
다양한 실시예들에 따르면, 동작 909에서의 판단에 기초하여 POI 그룹의 대표 POI의 표시 위치가 포커스 영역 내부이면 동작 911에서, 해당 대표 POI 관련하여 표시할 정보를 설정할 수 있다. 일 실시예로, 해당 대표 POI 관련 이미지, 거리, 이름, 별점, 평점 중의 적어도 하나를 표시할 정보로 설정할 수 있으나 반드시 이에 한정하는 것을 아니다. 그리고 동작 913에서, 카메라에서 촬영하고 있는 프리뷰 화면 상의 동작 907에서 결정된 대표 POI의 표시 위치에 동작 911에서 설정된 대표 POI에 대해 표시할 정보를 포함하는 UI를 표시할 수 있다.
다양한 실시예들에 따르면, 동작 909에서의 판단에 기초하여 대표 POI의 표시 위치가 포커스 영역 밖이면 동작 915에서, 해당 대표 POI의 카테고리를 획득하고, 동작 917에서, 카메라에서 촬영하고 있는 프리뷰 화면 상의 동작 907에서 결정된 대표 POI의 표시 위치에 동작 915에서 획득한 POI의 카테고리에 대응하는 아이콘을 표시할 수 있다.
상술한 방법 또는 상술한 방법을 실현하는 어플리케이션을 이용하여 본원 발명의 다양한 실시예들은 사용자가 촬영하고 있는 화면에 장소 정보를 표시하여 위치 정보를 보다 찾기 쉽게 제공할 수 있을 것이다. 또한, 본 방법은 단순 위치 이외에도 해당 장소와 관련된 정보를 함께 제공하여 사용자 여러 장소 중 선택을 하고자 하는 경우에 선택을 위한 부가 정보를 제공하여 줄 수 있을 것이다.
다양한 실시예들에 따르면, 전자 장치(예: 도 1의 전자 장치(101), 도 3의 전자 장치(300))의 동작 방법은 카메라 모듈(예: 도 3의 카메라 모듈(350))이 촬영하는 프리뷰 영상을 획득하는 동작, 상기 전자 장치의 위치 정보를 획득하는 동작, 상기 위치 정보를 기초로 주변에 위치하는 적어도 하나의 POI(point of interest)에 대한 정보를 획득하는 동작, 상기 적어도 하나의 POI에 대한 정보에 기초하여 상기 적어도 하나의 POI 중 포커스 POI를 선정하는 동작, 상기 적어도 하나의 POI 중 상기 선정된 포커스 POI를 제외한 나머지 POI를 포함하는 일반 POI에 대해 사용자에게 제공할 제1 정보를 결정하는 동작, 상기 포커스 POI에 대해 상기 사용자에게 제공할 상기 제1 정보에 비하여 더 많은 정보를 포함하는 제2 정보를 결정하는 동작, 상기 적어도 하나의 POI의 정보가 표시될 상기 프리뷰 영상이 제공되는 화면 상의 위치를 결정하는 동작 및 상기 적어도 하나의 POI의 전부 또는 일부 POI의 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 제1 정보 또는 상기 제2 정보를 제공하는 표시를 하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 상기 방법은 상기 적어도 하나의 POI 중에서 상기 적어도 하나의 POI에 대한 정보에 광고 및/또는 이벤트 정보를 포함하는 POI를 광고 POI로 선정하는 동작, 상기 광고 POI에 대해 상기 사용자에게 제공할 제3 정보를 결정하는 동작 -상기 제3 정보는 상기 광고 및/또는 이벤트 정보를 포함함- 및 상기 광고 POI에 대해 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 제3 정보를 제공하는 표시를 하는 동작을 더 포함할 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 POI의 전부 또는 일부 POI의 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 제1 정보 또는 상기 제2 정보를 제공하는 표시를 하는 동작은 상기 카메라 모듈이 상기 프리뷰 영상을 촬영하는 방향 및 상기 카메라 모듈의 화각에 기초하여 상기 적어도 하나의 POI 중에서 상기 프리뷰 영상이 제공되는 화면 상에 표시할 상기 일부 POI를 선정하는 동작 및 상기 선정된 일부 POI의 각 POI의 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 제1 정보 또는 상기 제2 정보를 제공하는 표시를 하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 POI에 대한 정보에 기초하여 상기 적어도 하나의 POI 중 포커스 POI를 선정하는 동작은 상기 프리뷰 영상 내의 일부 영역을 포커스 영역으로 설정하는 동작 및 실제 위치가 상기 포커스 영역에 포함되는 POI를 상기 포커스 POI로 선정하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 POI에 대한 정보에 기초하여 상기 적어도 하나의 POI 중 포커스 POI를 선정하는 동작은 상기 전자 장치의 위치 정보 및 상기 적어도 하나의 POI에 대한 정보에 포함된 각 POI의 위치 정보를 기초로 상기 전자 장치와 각 POI 간의 거리를 결정하는 동작 및 상기 결정된 전자 장치와 각 POI 간의 거리에 기초하여, 상기 전자 장치와 POI 간의 거리가 미리 설정된 일정 값 이내인 POI를 상기 포커스 POI로 선정하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 POI의 정보가 표시될 상기 프리뷰 영상이 제공되는 화면 상의 위치를 결정하는 동작은 상기 프리뷰 영상이 제공되는 화면 상의 일부를 포커스 영역으로 지정하는 동작 및 상기 포커스 POI의 정보가 표시될 상기 프리뷰 영상이 제공되는 화면 상의 위치로 상기 지정된 포커스 영역 내의 위치를 결정하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 상기 방법은 상기 적어도 하나의 POI의 정보에 포함된 각 POI의 위치 정보 또는 상기 적어도 하나의 POI의 정보가 표시될 화면 상의 위치를 기초로, 서로 간의 거리가 미리 설정된 일정 거리 이내인 POI들을 POI 그룹으로 설정하는 동작 및 상기 POI 그룹 내의 POI 중에서 대표 POI를 선정하는 동작을 더 포함하고, 상기 적어도 하나의 POI의 전부 또는 일부 POI의 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 제1 정보 또는 상기 제2 정보를 제공하는 표시를 하는 동작은 상기 POI 그룹을 대표하여 상기 대표 POI의 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 대표 POI의 정보를 제공하는 표시를 하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 상기 제1 정보는 POI의 카테고리이고, 상기 제2 정보는 POI 관련 이미지, 이름, 전자 장치의 현재 위치와의 거리 중의 적어도 하나를 포함하고, 상기 적어도 하나의 POI의 전부 또는 일부 POI의 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 제1 정보 또는 상기 제2 정보를 제공하는 표시를 하는 동작은 상기 제1 정보를 제공하는 표시로 상기 카테고리에 대응하는 아이콘을 표시하는 동작 및 상기 제2 정보를 제공하는 표시로 상기 제2 정보를 포함하는 UI(user interface)를 표시하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 도 1의 전자 장치(101), 도 3의 전자 장치(300))의 동작 방법은 상기 전자 장치의 위치 정보를 CP 서버(예: 도 1의 서버(108))로 전달하는 동작, 상기 CP 서버로부터 주변에 위치하는 적어도 하나의 POI(point of interest)에 대한 정보를 획득하는 동작, 상기 전자 장치의 위치 정보를 기초로 상기 적어도 하나의 POI를 상기 전자 장치와의 거리에 따라 정렬하는 동작, 상기 전자 장치의 위치 및 상기 전자 장치의 프리뷰 영상 촬영 방향을 기초로 상기 적어도 하나의 POI의 각 POI의 표시 위치를 설정하는 동작, 상기 표시 위치가 설정된 포커스 영역 내인 포커스 POI의 경우 상기 포커스 POI 관련하여 표시할 정보를 설정하는 동작 및 상기 프리뷰 영상이 표시되는 화면 상의 상기 설정된 표시 위치에 상기 설정된 정보를 포함하는 UI(user interface)를 표시하는 동작을 포함하고, 상기 표시 위치가 설정된 포커스 영역 밖인 일반 POI의 경우 상기 일반 POI의 카테고리 정보를 획득하는 동작 및 상기 프리뷰 영상이 표시되는 화면 상의 상기 설정된 표시 위치에 상기 카테고리에 대응하는 아이콘을 표시하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 상기 프리뷰 영상 화면에 하나의 표시로 표시되는 적어도 하나의 POI를 포함하는 POI 그룹의 생성이 가능한지 판단하는 동작, POI 그룹의 생성이 가능하다면, POI 그룹을 생성하고, POI 그룹 별 대표 POI를 선정하는 동작을 더 포함하고, 상기 프리뷰 영상이 표시되는 화면 상의 상기 설정된 표시 위치에 상기 설정된 정보를 포함하는 UI(user interface)를 표시하는 동작은 상기 프리뷰 영상이 표시되는 화면 상의 상기 대표 POI의 상기 설정된 표시 위치에 상기 대표 POI의 상기 설정된 정보를 포함하는 UI(user interface)를 표시하는 동작을 포함하고, 상기 프리뷰 영상이 표시되는 화면 상의 상기 설정된 표시 위치에 상기 카테고리에 대응하는 아이콘을 표시하는 동작은 상기 프리뷰 영상이 표시되는 화면 상의 상기 대표 POI의 상기 설정된 표시 위치에 상기 대표 POI의 상기 카테고리에 대응하는 아이콘을 표시하는 동작을 포함할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나",“A 또는 B 중 적어도 하나”, "A, B 또는 C", "A, B 및 C 중 적어도 하나”및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, “기능적으로” 또는 “통신적으로 ”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 어떤 구성요소가 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 적어도 하나의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: CD-ROM(compact disc read only memory))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱(heuristic)하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (20)

  1. 전자 장치에 있어서,
    외부 장치와의 통신을 수행하는 통신 모듈;
    정지 영상 및 동영상을 촬영하는 카메라 모듈;
    상기 통신 모듈 및 상기 카메라 모듈과 작동적으로 연결되는 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 작동적으로 연결되는 적어도 하나의 메모리를 포함하고,
    상기 적어도 하나의 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가,
    상기 카메라 모듈을 제어하여 상기 카메라 모듈이 촬영하는 프리뷰 영상을 획득하고,
    상기 전자 장치의 위치 정보를 획득하고,
    상기 위치 정보를 기초로 주변에 위치하는 적어도 하나의 POI(point of interest)에 대한 정보를 획득하고,
    상기 전자 장치와 상기 POI 간의 위치 또는 방향 정보 중 적어도 하나에 기초하여 상기 프리뷰 영상 내의 일부를 포커스 영역으로 설정하고,
    상기 적어도 하나의 POI에 대한 정보에 기초하여 상기 적어도 하나의 POI 중 포커스 POI를 상기 포커스 영역 내에서 선정하고,
    상기 적어도 하나의 POI 중 상기 선정된 포커스 POI를 제외한 나머지 POI를 포함하는 일반 POI에 대해 사용자에게 제공할 제1 정보를 결정하고,
    상기 포커스 POI에 대해 상기 사용자에게 제공할 제2 정보를 결정하되, 상기 제2 정보는 상기 제1 정보에 비하여 더 많은 정보를 포함하고,
    상기 적어도 하나의 POI의 정보가 표시될 상기 프리뷰 영상이 제공되는 화면 상의 위치를 결정하고,
    상기 적어도 하나의 POI의 전부 또는 일부 POI의 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 제1 정보 및 상기 제2 정보를 제공하는 표시를 하도록 하는 인스트럭션들을 저장하는 전자 장치.
  2. 제1항에 있어서,
    상기 인스트럭션들은 상기 적어도 하나의 프로세서가,
    상기 적어도 하나의 POI 중에서 상기 적어도 하나의 POI에 대한 정보에 광고 및/또는 이벤트 정보를 포함하는 POI를 광고 POI로 선정하고,
    상기 광고 POI에 대해 상기 사용자에게 제공할 제3 정보를 결정하되, 상기 제3 정보는 상기 광고 및/또는 이벤트 정보를 포함하고,
    상기 광고 POI에 대해 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 제3 정보를 제공하는 표시를 하도록 하는, 전자 장치.
  3. 제1항에 있어서,
    상기 인스트럭션들은 상기 적어도 하나의 프로세서가,
    상기 카메라 모듈이 상기 프리뷰 영상을 촬영하는 방향 및 상기 카메라 모듈의 화각에 기초하여 상기 적어도 하나의 POI 중에서 상기 프리뷰 영상이 제공되는 화면 상에 표시할 상기 일부 POI를 선정하고,
    상기 선정된 일부 POI의 각 POI의 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 제1 정보 또는 상기 제2 정보를 제공하는 표시를 하도록 하는, 전자 장치.
  4. 제1항에 있어서,
    상기 인스트럭션들은 상기 적어도 하나의 프로세서가,
    상기 포커스 POI에 해당하는 조건을 설정하고,
    상기 적어도 하나의 POI에 대한 정보가 상기 포커스 POI에 해당하는 조건을 만족하는 POI에 대해 포커스 POI로 선정하도록 하는, 전자 장치.
  5. 제4항에 있어서,
    상기 인스트럭션들은 상기 적어도 하나의 프로세서가,
    상기 프리뷰 영상 내의 일부 영역을 포커스 영역으로 설정하고,
    실제 위치가 상기 포커스 영역에 포함되는 POI로 상기 포커스 POI에 해당하는 조건으로 설정하도록 하는, 전자 장치.
  6. 제4항에 있어서,
    상기 인스트럭션들은 상기 적어도 하나의 프로세서가,
    상기 포커스 POI에 해당하는 조건으로 상기 전자 장치의 위치 정보 및 상기 적어도 하나의 POI에 대한 정보에 포함된 각 POI의 위치 정보를 기초로 상기 전자 장치와 각 POI 간의 거리를 결정하고,
    상기 결정된 전자 장치와 각 POI 간의 거리에 기초하여, 상기 전자 장치와 POI 간의 거리가 미리 설정된 일정 값 이내인 POI로 설정하도록 하는, 전자 장치.
  7. 제4항에 있어서,
    상기 인스트럭션들은 상기 적어도 하나의 프로세서가,
    상기 포커스 POI에 해당하는 조건으로 사용자가 기존에 방문한 POI, 이전에 정보를 검색해 본 적이 있는 POI를 포함하는 사용자의 행위를 기초로 설정한 사용자의 선호도에 기초하여 선호도가 높은 POI를 설정하도록 하는, 전자 장치.
  8. 제1항에 있어서,
    상기 인스트럭션들은 상기 적어도 하나의 프로세서가,
    상기 프리뷰 영상이 제공되는 화면 상의 일부를 포커스 영역으로 지정하고,
    상기 포커스 POI에 대한 상기 제2 정보를 제공하는 표시를 상기 포커스 영역 내에 표시하도록 하는, 전자 장치.
  9. 제1항에 있어서,
    상기 인스트럭션들은 상기 적어도 하나의 프로세서가,
    상기 적어도 하나의 POI의 정보에 포함된 각 POI의 위치 정보 또는 상기 적어도 하나의 POI의 정보가 표시될 화면 상의 위치를 기초로, 서로 간의 거리가 미리 설정된 일정 거리 이내인 POI들을 POI 그룹으로 설정하고,
    상기 POI 그룹 내의 POI 중에서 대표 POI를 선정하고,
    상기 POI 그룹을 대표하여 상기 대표 POI의 상기 화면 상의 위치에 상기 대표 POI의 정보를 제공하는 표시를 하도록 하는, 전자 장치.
  10. 제1항에 있어서,
    상기 인스트럭션들은 상기 적어도 하나의 프로세서가,
    상기 제1 정보는 POI의 카테고리로 결정하고,
    상기 제2 정보는 POI 관련 이미지, 이름, 전자 장치의 현재 위치와의 거리 중의 적어도 하나를 포함하도록 결정하고,
    상기 제1 정보를 제공하는 표시로 상기 카테고리에 대응하는 아이콘을 표시하고,
    상기 제2 정보를 제공하는 표시로 상기 제2 정보를 포함하는 UI(user interface)를 표시하도록 하는, 전자 장치.
  11. 전자 장치의 동작 방법에 있어서,
    카메라 모듈이 촬영하는 프리뷰 영상을 획득하는 동작;
    상기 전자 장치의 위치 정보를 획득하는 동작;
    상기 위치 정보를 기초로 주변에 위치하는 적어도 하나의 POI(point of interest)에 대한 정보를 획득하는 동작;
    상기 전자 장치와 상기 POI 간의 위치 또는 방향 정보 중 적어도 하나에 기초하여 상기 프리뷰 영상 내의 일부를 포커스 영역으로 설정하는 동작;
    상기 적어도 하나의 POI에 대한 정보에 기초하여 상기 적어도 하나의 POI 중 포커스 POI를 상기 포커스 영역 내에서 선정하는 동작;
    상기 적어도 하나의 POI 중 상기 선정된 포커스 POI를 제외한 나머지 POI를 포함하는 일반 POI에 대해 사용자에게 제공할 제1 정보를 결정하는 동작;
    상기 포커스 POI에 대해 상기 사용자에게 제공할 상기 제1 정보에 비하여 더 많은 정보를 포함하는 제2 정보를 결정하는 동작;
    상기 프리뷰 영상 내에서 상기 제2 정보를 표시하는 UI 크기를 상기 제1 정보를 표시하는 UI 크기와 다르게 결정하는 동작;
    상기 적어도 하나의 POI의 정보가 표시될 상기 프리뷰 영상이 제공되는 화면 상의 위치를 결정하는 동작; 및
    상기 적어도 하나의 POI의 전부 또는 일부 POI의 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 제1 정보 및 상기 제2 정보를 제공하는 표시를 하는 동작을 포함하는, 방법.
  12. 제11항에 있어서,
    상기 적어도 하나의 POI 중에서 상기 적어도 하나의 POI에 대한 정보에 광고 및/또는 이벤트 정보를 포함하는 POI를 광고 POI로 선정하는 동작;
    상기 광고 POI에 대해 상기 사용자에게 제공할 제3 정보를 결정하는 동작 -상기 제3 정보는 상기 광고 및/또는 이벤트 정보를 포함함-; 및
    상기 광고 POI에 대해 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 제3 정보를 제공하는 표시를 하는 동작을 더 포함하는 방법.
  13. 제11항에 있어서,
    상기 적어도 하나의 POI의 전부 또는 일부 POI의 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 제1 정보 또는 상기 제2 정보를 제공하는 표시를 하는 동작은,
    상기 카메라 모듈이 상기 프리뷰 영상을 촬영하는 방향 및 상기 카메라 모듈의 화각에 기초하여 상기 적어도 하나의 POI 중에서 상기 프리뷰 영상이 제공되는 화면 상에 표시할 상기 일부 POI를 선정하는 동작; 및
    상기 선정된 일부 POI의 각 POI의 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 제1 정보 또는 상기 제2 정보를 제공하는 표시를 하는 동작을 포함하는 방법.
  14. 제11항에 있어서,
    상기 적어도 하나의 POI에 대한 정보에 기초하여 상기 적어도 하나의 POI 중 포커스 POI를 선정하는 동작은,
    상기 프리뷰 영상 내의 일부 영역을 포커스 영역으로 설정하는 동작; 및
    실제 위치가 상기 포커스 영역에 포함되는 POI를 상기 포커스 POI로 선정하는 동작을 포함하는 방법.
  15. 제11항에 있어서,
    상기 적어도 하나의 POI에 대한 정보에 기초하여 상기 적어도 하나의 POI 중 포커스 POI를 선정하는 동작은,
    상기 전자 장치의 위치 정보 및 상기 적어도 하나의 POI에 대한 정보에 포함된 각 POI의 위치 정보를 기초로 상기 전자 장치와 각 POI 간의 거리를 결정하는 동작; 및
    상기 결정된 전자 장치와 각 POI 간의 거리에 기초하여, 상기 전자 장치와 POI 간의 거리가 미리 설정된 일정 값 이내인 POI를 상기 포커스 POI로 선정하는 동작을 포함하는 방법.
  16. 제11항에 있어서,
    상기 적어도 하나의 POI의 정보가 표시될 상기 프리뷰 영상이 제공되는 화면 상의 위치를 결정하는 동작은,
    상기 프리뷰 영상이 제공되는 화면 상의 일부를 포커스 영역으로 지정하는 동작; 및
    상기 포커스 POI의 정보가 표시될 상기 프리뷰 영상이 제공되는 화면 상의 위치로 상기 지정된 포커스 영역 내의 위치를 결정하는 동작을 포함하는 방법.
  17. 제11항에 있어서,
    상기 적어도 하나의 POI의 정보에 포함된 각 POI의 위치 정보 또는 상기 적어도 하나의 POI의 정보가 표시될 화면 상의 위치를 기초로, 서로 간의 거리가 미리 설정된 일정 거리 이내인 POI들을 POI 그룹으로 설정하는 동작; 및
    상기 POI 그룹 내의 POI 중에서 대표 POI를 선정하는 동작을 더 포함하고,
    상기 적어도 하나의 POI의 전부 또는 일부 POI의 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 제1 정보 또는 상기 제2 정보를 제공하는 표시를 하는 동작은,
    상기 POI 그룹을 대표하여 상기 대표 POI의 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 대표 POI의 정보를 제공하는 표시를 하는 동작을 포함하는 방법.
  18. 제11항에 있어서,
    상기 제1 정보는 POI의 카테고리이고,
    상기 제2 정보는 POI 관련 이미지, 이름, 전자 장치의 현재 위치와의 거리 중의 적어도 하나를 포함하고,
    상기 적어도 하나의 POI의 전부 또는 일부 POI의 상기 결정된 프리뷰 영상이 제공되는 화면 상의 위치에 상기 제1 정보 또는 상기 제2 정보를 제공하는 표시를 하는 동작은,
    상기 제1 정보를 제공하는 표시로 상기 카테고리에 대응하는 아이콘을 표시하는 동작; 및
    상기 제2 정보를 제공하는 표시로 상기 제2 정보를 포함하는 UI(user interface)를 표시하는 동작을 포함하는 방법.
  19. 전자 장치의 동작 방법에 있어서,
    상기 전자 장치의 위치 정보를 콘텐트 제공자(content provider; CP) 서버로 전달하는 동작;
    상기 CP 서버로부터 주변에 위치하는 적어도 하나의 POI(point of interest)에 대한 정보를 획득하는 동작;
    상기 전자 장치와 상기 POI 간의 위치 또는 방향 정보 중 적어도 하나에 기초하여 프리뷰 영상 내의 일부를 포커스 영역으로 설정하는 동작;
    상기 전자 장치의 위치 정보를 기초로 상기 적어도 하나의 POI를 상기 전자 장치와의 거리에 따라 정렬하는 동작;
    상기 전자 장치의 위치 및 상기 전자 장치의 프리뷰 영상 촬영 방향을 기초로 상기 적어도 하나의 POI의 각 POI의 표시 위치를 설정하는 동작;
    상기 표시 위치가 설정된 포커스 영역 내인 포커스 POI의 경우,
    상기 포커스 POI 관련하여 표시할 정보를 설정하는 동작; 및
    상기 프리뷰 영상이 표시되는 화면 상의 상기 설정된 표시 위치에 상기 설정된 정보를 포함하는 UI(user interface)를 표시하는 동작을 포함하고,
    상기 표시 위치가 설정된 포커스 영역 밖인 일반 POI의 경우,
    상기 일반 POI의 카테고리 정보를 획득하는 동작; 및
    상기 프리뷰 영상이 표시되는 화면 상의 상기 설정된 표시 위치에 상기 카테고리에 대응하고, 상기 UI 보다 작은 크기인 아이콘을 표시하는 동작을 포함하는 방법.
  20. 제19항에 있어서,
    상기 프리뷰 영상 화면에 하나의 표시로 표시되는 적어도 하나의 POI를 포함하는 POI 그룹의 생성이 가능한지 판단하는 동작;
    POI 그룹의 생성이 가능하다면, POI 그룹을 생성하고, POI 그룹 별 대표 POI를 선정하는 동작을 더 포함하고,
    상기 프리뷰 영상이 표시되는 화면 상의 상기 설정된 표시 위치에 상기 설정된 정보를 포함하는 UI(user interface)를 표시하는 동작은,
    상기 프리뷰 영상이 표시되는 화면 상의 상기 대표 POI의 상기 설정된 표시 위치에 상기 대표 POI의 상기 설정된 정보를 포함하는 UI(user interface)를 표시하는 동작을 포함하고,
    상기 프리뷰 영상이 표시되는 화면 상의 상기 설정된 표시 위치에 상기 카테고리에 대응하는 아이콘을 표시하는 동작은,
    상기 프리뷰 영상이 표시되는 화면 상의 상기 대표 POI의 상기 설정된 표시 위치에 상기 대표 POI의 상기 카테고리에 대응하는 아이콘을 표시하는 동작을 포함하는 방법.
KR1020190019172A 2019-02-19 2019-02-19 증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치 KR102627612B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020190019172A KR102627612B1 (ko) 2019-02-19 2019-02-19 증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치
PCT/KR2020/002246 WO2020171513A1 (en) 2019-02-19 2020-02-17 Method and apparatus for displaying surrounding information using augmented reality
CN202080028264.1A CN113692604A (zh) 2019-02-19 2020-02-17 用于使用增强现实来显示周围信息的方法和装置
EP20759343.5A EP3912140A4 (en) 2019-02-19 2020-02-17 METHOD AND APPARATUS FOR DISPLAYING ENVIRONMENTAL INFORMATION USING AUGMENTED REALITY
US16/795,400 US11592311B2 (en) 2019-02-19 2020-02-19 Method and apparatus for displaying surrounding information using augmented reality
US18/156,270 US20230160716A1 (en) 2019-02-19 2023-01-18 Method and apparatus for displaying surrounding information using augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190019172A KR102627612B1 (ko) 2019-02-19 2019-02-19 증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치

Publications (2)

Publication Number Publication Date
KR20200101034A KR20200101034A (ko) 2020-08-27
KR102627612B1 true KR102627612B1 (ko) 2024-01-22

Family

ID=72043195

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190019172A KR102627612B1 (ko) 2019-02-19 2019-02-19 증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치

Country Status (5)

Country Link
US (2) US11592311B2 (ko)
EP (1) EP3912140A4 (ko)
KR (1) KR102627612B1 (ko)
CN (1) CN113692604A (ko)
WO (1) WO2020171513A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102418992B1 (ko) * 2017-11-23 2022-07-11 삼성전자주식회사 전자 장치 및 전자 장치의 증강 현실 서비스 제공 방법
KR102627612B1 (ko) * 2019-02-19 2024-01-22 삼성전자주식회사 증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치
US11263787B2 (en) * 2020-03-05 2022-03-01 Rivian Ip Holdings, Llc Augmented reality detection for locating autonomous vehicles
US20220101565A1 (en) * 2020-09-30 2022-03-31 Snap Inc. Augmented reality content generators for identifying destination geolocations and planning travel
KR20220110967A (ko) * 2021-02-01 2022-08-09 현대자동차주식회사 사용자 단말 및 그 제어 방법
KR20220132863A (ko) 2021-03-24 2022-10-04 현대자동차주식회사 모바일 장치 및 차량
KR102433948B1 (ko) * 2021-07-20 2022-08-19 주식회사 제이어스 증강현실 기반의 마케팅 시스템
US11789685B1 (en) * 2022-08-29 2023-10-17 International Business Machines Corporation Training and using a machine learning module to determine locales and augmented reality representations of information on locales to render in an augmented reality display
CN117793522A (zh) * 2022-09-28 2024-03-29 华为技术有限公司 一种图片拍摄与分享方法及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101205485B1 (ko) * 2005-01-13 2012-11-28 엘지전자 주식회사 Poi 서비스 장치 및 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101115B (zh) 2009-07-30 2019-09-20 Sk普兰尼特有限公司 用于提供增强现实的方法、服务器和便携终端
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
KR101648339B1 (ko) * 2009-09-24 2016-08-17 삼성전자주식회사 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법 및 장치
US20110279446A1 (en) * 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for rendering a perspective view of objects and content related thereto for location-based services on mobile device
KR101658087B1 (ko) 2010-07-02 2016-09-21 엘지전자 주식회사 이동단말기 및 그의 증강현실을 이용한 정보 표시 방법
JP5405412B2 (ja) 2010-08-11 2014-02-05 株式会社Nttドコモ オブジェクト表示装置及びオブジェクト表示方法
KR101659089B1 (ko) 2010-08-11 2016-09-22 주식회사 엘지유플러스 위치 정보를 이용한 증강 현실 장치
KR101329882B1 (ko) 2010-08-12 2013-11-15 주식회사 팬택 Ar 정보창 표시를 위한 사용자 장치 및 그 방법
US9710554B2 (en) 2010-09-23 2017-07-18 Nokia Technologies Oy Methods, apparatuses and computer program products for grouping content in augmented reality
KR101324336B1 (ko) 2010-12-28 2013-10-31 주식회사 팬택 증강 현실 제공 단말기
US20130328926A1 (en) 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd Augmented reality arrangement of nearby location information
US9870642B2 (en) 2012-08-10 2018-01-16 Here Global B.V. Method and apparatus for layout for augmented reality view
CN104102678B (zh) * 2013-04-15 2018-06-05 腾讯科技(深圳)有限公司 增强现实的实现方法以及实现装置
KR101810189B1 (ko) * 2017-01-11 2018-01-18 네이버 주식회사 사용자 리뷰 제공 방법, 장치 및 컴퓨터 프로그램
KR101921743B1 (ko) 2017-05-23 2019-02-13 부동산일일사 주식회사 부동산 증강 현실 서비스 제공 장치 및 제공 방법
TWI677841B (zh) * 2018-05-11 2019-11-21 開曼群島商粉迷科技股份有限公司 在贊助下的興趣點媒體內容管理方法與系統
KR102627612B1 (ko) * 2019-02-19 2024-01-22 삼성전자주식회사 증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치
IT201900005806A1 (it) * 2019-04-15 2020-10-15 Pikkart Srl Metodo per realizzare realta' aumentata

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101205485B1 (ko) * 2005-01-13 2012-11-28 엘지전자 주식회사 Poi 서비스 장치 및 방법

Also Published As

Publication number Publication date
KR20200101034A (ko) 2020-08-27
CN113692604A (zh) 2021-11-23
US11592311B2 (en) 2023-02-28
WO2020171513A1 (en) 2020-08-27
US20200264007A1 (en) 2020-08-20
EP3912140A4 (en) 2022-03-23
EP3912140A1 (en) 2021-11-24
US20230160716A1 (en) 2023-05-25

Similar Documents

Publication Publication Date Title
KR102627612B1 (ko) 증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치
CN108415705B (zh) 网页生成方法、装置、存储介质及设备
CN107885533B (zh) 管理组件代码的方法及装置
KR102560689B1 (ko) Ar 객체를 표시하기 위한 장치 및 방법
CN111052727A (zh) 用于根据使用图像获得的深度信息的属性结合图像存储深度信息的电子装置及其控制方法
KR102583682B1 (ko) 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법
CN111737547A (zh) 商户信息的获取系统、方法、装置、设备及存储介质
US20220076469A1 (en) Information display device and information display program
US20230284000A1 (en) Mobile information terminal, information presentation system and information presentation method
CN112230914A (zh) 小程序的制作方法、装置、终端及存储介质
KR20190019606A (ko) 심도 맵을 이용하여 객체를 합성하기 위한 장치 및 그에 관한 방법
KR20200090014A (ko) 영상 처리 방법 및 이를 지원하는 전자 장치
KR20200101233A (ko) 이미지 내의 오브젝트 선택에 대응하는 서비스를 제공하기 위한 전자 장치 및 방법
CN106506945A (zh) 一种控制方法及终端
KR102646344B1 (ko) 이미지를 합성하기 위한 전자 장치 및 그의 동작 방법
US11238622B2 (en) Method of providing augmented reality contents and electronic device therefor
KR20200072727A (ko) 웹 콘텐츠를 ar모드에서 표시하는 전자 장치 및 방법
KR102620877B1 (ko) 이미지의 촬영 장소를 추천하는 전자 장치 및 방법
CN110990728A (zh) 兴趣点信息的管理方法、装置、设备及存储介质
KR102457559B1 (ko) 이미지에 포함된 오브젝트에 기반하여 이미지를 보정하기 위한 전자 장치 및 방법
US11889181B2 (en) Electronic device having plurality of lenses where the device changes a visual object corresponding to a recommended lens
CN113051485A (zh) 群组搜索方法、装置、终端及存储介质
JP2010191206A (ja) 位置特定装置および位置特定プログラム
KR20190021140A (ko) 그래픽컬 콘텐트를 제공하는 전자 장치 및 제어 방법
US20240171854A1 (en) Electronic device, method, and computer-readable storage media for identifying visual object corresponding to code information using a plurality of cameras

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant