KR101343609B1 - 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치 및 방법 - Google Patents

증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치 및 방법 Download PDF

Info

Publication number
KR101343609B1
KR101343609B1 KR1020110084792A KR20110084792A KR101343609B1 KR 101343609 B1 KR101343609 B1 KR 101343609B1 KR 1020110084792 A KR1020110084792 A KR 1020110084792A KR 20110084792 A KR20110084792 A KR 20110084792A KR 101343609 B1 KR101343609 B1 KR 101343609B1
Authority
KR
South Korea
Prior art keywords
application
augmented reality
data
extracted
unit
Prior art date
Application number
KR1020110084792A
Other languages
English (en)
Other versions
KR20130022491A (ko
Inventor
임상혁
김금호
김유승
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020110084792A priority Critical patent/KR101343609B1/ko
Priority to US13/336,748 priority patent/US20130051615A1/en
Publication of KR20130022491A publication Critical patent/KR20130022491A/ko
Application granted granted Critical
Publication of KR101343609B1 publication Critical patent/KR101343609B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0261—Targeted advertisements based on user location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72406—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by software upgrading or downloading
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/08—Access security
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/60—Subscription-based services using application servers or record carriers, e.g. SIM application toolkits
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Computer Security & Cryptography (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 방법으로, 자동 어플리케이션 객체를 인식하는 단계와, 상기 인식된 객체에 관련된 태그 정보를 획득하는 단계와, 상기 태그 정보를 분석하여 하나 이상의 어플리케이션 검색 요소를 추출하는 단계와, 상기 어플리케이션 검색 요소와 관련된 퍼미션 정보를 가지는 하나 이상의 어플리케이션을 추출하는 단계와, 상기 추출된 하나 이상의 어플리케이션을 출력하는 단계를 포함한다.

Description

증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치 및 방법{Apparatus and Method for Automatically recommending Application using Augmented Reality Data}
본 발명은 증강 현실에 관한 것으로, 특히 증강 현실 데이터를 이용할 수 있는 어플리케이션을 제공하는 장치 및 방법에 관한 것이다.
위치 및 방향 정보를 이용하여 대략적인 위치를 파악하고 주변의 건물 정보와 같은 시설물 정보와 카메라의 움직임에 따라 입력되는 실사 영상 정보간의 비교를 통해 사용자가 원하는 서비스를 파악하여 관련 정보를 제공하는 기술을 증강 현실(Augmented Reality: AR) 기술이라 한다. 더욱 구체적으로, 증강 현실은 가상현실(Virtual Reality: VR)의 한 분야로서 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법으로서, 증강 현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실과 달리 현실 세계의 기반에 가상 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 기술이다. 현재 증강 현실 기술은 방송, 광고, 전시, 게임, 테마 파크, 군용, 교육 및 프로모션 등의 분야에서 사용 중이지만 아직 대중적으로 확산되지는 않은 상태이다.
이러한 증강 현실 기술은 통신 단말기에서 사용되는 모바일 AR 기술 분야에서 각광받고 있는 추세이다. 현재 모바일 AR 기술의 어플리케이션들이 조금씩 등장하고 있는 상태이다.
그런데, 종래 기술에서는 사용자가 특정 객체의 증강 현실 정보를 얻고자 할 경우, 객체에 관련된 증강 현실 정보를 제공할 수 있는 어플리케이션을 미리 설치해야 한다는 번거로움이 따른다. 그리고, 설치된 어플리케이션에 컨텐츠를 제공하는 컨텐츠 제공자(Contents Provider)는 사용자로부터 특정 객체에 관련해서 요청된 정보가 데이터베이스에 저장된 데이터일 경우에만, 객체에 관련된 정보를 제공한다. 하지만, 이때 제공되는 정보는 컨텐츠 제공자가 정해놓은 범위 내에 있으므로 정보가 한정적이다.
본 발명은 특정 객체에 관련된 증강 현실 정보를 분석하여 분석된 정보를 이용할 수 있는 어플리케이션을 추천하는 한편, 분석된 정보를 추천된 어플리케이션 내에 자동적으로 적용되어 실행될 수 있도록 지원하는 장치 및 방법을 제공한다.
본 발명은 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 방법으로, 자동 어플리케이션 객체를 인식하는 단계와, 상기 인식된 객체에 관련된 태그 정보를 획득하는 단계와, 상기 태그 정보를 분석하여 하나 이상의 어플리케이션 검색 요소를 추출하는 단계와, 상기 어플리케이션 검색 요소와 관련된 퍼미션 정보를 가지는 하나 이상의 어플리케이션을 추출하는 단계와, 상기 추출된 하나 이상의 어플리케이션을 출력하는 단계를 포함한다.
본 발명은 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치로, 객체가 포함된 이미지를 촬영하는 객체 촬영부와, 객체에 관련된 증강 현실 데이터를 이용할 수 있는 어플리케이션을 출력하는 표시부와, 상기 객체 촬영부에서 출력된 객체에 관련된 태그 정보를 획득하고, 상기 태그 정보를 분석하여 하나 이상의 어플리케이션 검색 요소를 추출하고, 추출된 어플리케이션 검색 요소와 관련된 퍼미션 정보를 가지는 하나 이상의 어플리케이션을 추출하는 제어부를 포함한다.
본 발명은 컨텐츠 제공자가 제공하는 정보를 재해석하여 사용자가 요구하는 어플리케이션을 자동으로 추천하여, 사용자가 다양한 정보를 편리하게 이용할 수 있는 장점이 있다. 즉, 기존 방식으로는 사용자는 얻고자 하는 객체의 정보에 대해서 파악한 수, 그 정보를 특정 어플리케이션에서 이용하고자 할 경우에는 사용자가 어플리케이션을 직접 설치 및 실행하여 객체에 대한 정보를 각 어플리케이션에 직접 적용하여야 하는 불편함이 있으나, 본 발명은 객체에 관련된 정보를 분석하여 그에 상응하는 하나 이상의 어플리케이션을 검색하여 자동으로 추천해줌으로써, 객체에 관련된 정보를 사용자가 실행하고자 하는 어플리케이션 내에서 이용할 수 있도록 자동으로 적용시켜 어플리케이션을 실행하여 준다는 장점이 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 단말의 구성도이다.
도 2는 본 발명의 바람직한 실시 예에 따른 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 바람직한 실시 예에 따라 객체를 인식하는 단계를 설명하기 위한 순서도이다.
도 4는 본 발명의 바람직한 실시 예에 따라 객체를 분석하는 단계를 설명하기 위한 순서도이다.
도 5는 본 발명의 바람직한 실시 예에 따라 어플리케이션을 검색하는 단계를 설명하기 위한 순서도이다.
도 6은 본 발명의 바람직한 실시 예에 따라 데이터를 가공하는 단계를 설명하기 위한 순서도이다.
도 7은 태그 정보가 탑재된 어플리케이션의 실행 화면의 일 예를 도시한 도면이다.
도 8은 본 발명의 바람직한 실시 예에 따라 데이터를 출력하는 단계를 설명하기 위한 순서도이다.
도 9는 본 발명에 따른 위치 선정의 예를 도시한 도면이다.
도 10은 본 발명의 바람직한 실시 예에 따라 어플리케이션을 설치하는 단계를 설명하기 위한 순서도이다.
도 11 내지 도 13은 본 발명의 실시 예에 따른 출력 화면의 일 예를 도시한 도면이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
특정 객체에 관련된 증강 현실 정보를 분석하여 분석된 정보를 이용할 수 있는 어플리케이션을 추천하는 한편, 분석된 정보를 추천된 어플리케이션 내에 자동적으로 적용되어 실행될 수 있도록 지원하는 기술을 제안한다. 또한, 본 발명에서 증강 현실 제공 장치는 PDA(Personal digital assistants), 스마트 폰, 네비게이션 단말기 등의 이동 통신 단말기뿐만 아니라, 데스크 탑 컴퓨터, 노트북 등과 같은 개인용 컴퓨터와 같은 현실 객체를 인식하고, 증강 현실 데이터를 디스플레이할 수 있는 모든 장치에 적용될 수 있는 것으로 해석된다. 또한, 후술되는 상세한 설명에서는 본 발명에서 제안하는 바를 증강 현실 제공 단말 장치(이하 "단말기"라 칭함)와 증강 현실 제공 서버 장치(이하 "서버"라 칭함)가 통신망을 통해 접속 가능한 형태로 구성된 통신 시스템 상에서의 적용되는 실시 예를 들어 설명하나, 이는 본 발명의 실시 예일 뿐 본 발명의 내용이 이로 한정되지 않는다. 즉, 후술되는 증강 현실 제공 단말 장치와 증강 현실 제공 서버 장치의 연동을 통한 본 발명에 따른 동작 방법이 일체로 구성된 하나의 하드웨어 장치에서 구현될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시 예에 따른 증강 현실 데이터를 이용할 수 있는 어플리케이션을 자동 추천하는 통신 시스템의 개략적인 구성도이다.
도 1을 참조하면, 본 발명이 적용되는 통신 시스템은 하나 이상의 증강 현실 제공 단말 장치(이하 “단말기”라 칭함)(100)와, 단말기(100)에 증강 현실 서비스를 위한 정보 및 어플리케이션을 제공하는 증강 현실 제공 서버 장치(이하 “서버”라 칭함)(200)가 유/무선 통신망 통해 접속되어 있는 형태를 갖는다.
본 발명의 실시 예에 따라, 단말기(100)는 객체 촬영부(110), 표시부(120), 통신부(130), 제어부(140) 및 DB(150)을 포함한다.
객체 촬영부(110)는 실세계에 존재하는 사물 중에 관심 대상인 현실 객체에 대한 촬영 정보를 획득하여 출력한다.
표시부(120)는 제어부(140)로부터 입력되는 증강 현실 데이터를 이용할 수 있는 어플리케이션을 출력할 수 있다. 여기서, 증강 현실 데이터라 함은 현실 객체 인식에 따라 그와 관련된 각종 데이터로, 현실 객체와 가상 객체를 합성하여 생성된 데이터이거나, 가상 객체만으로 구성된 데이터일 수 있다. 본 발명의 실시 예에 따라 증강 현실 데이터를 이용할 수 있는 어플리케이션을 디스플레이한다.
통신부(130)는 유/무선 통신망을 통해 외부로부터 수신된 신호와 내부 출력 신호를 처리하는 것으로 주지된 구성이다. 본 발명의 실시 예에 따라, 상기 통신부(130)는 서버(200)로부터의 객체에 관련된 태그 정보를 수신/처리하여 제어부(120)로 출력하고, 상기 제어부(120)로부터의 객체 인식 정보를 처리하여 서버(200)에 전송한다.
제어부(140)는 상술한 바와 같은 단말기 내부 구성 요소들을 제어하여 본 발명의 실시 예에 따른 증강 현실 데이터를 이용할 수 있는 어플리케이션을 자동 추천하는 기능을 수행한다.
본 발명의 실시 예에 따라, 제어부(140)는 구체적으로 객체 인식부(141), 객체 분석부(141), 어플리케이션 검색부(142), 데이터 가공부(144), 출력 화면 편집부(145) 및 어플리케이션 권한 분석부(146)을 포함한다.
객체 인식부(141)는 객체 촬영부(110)에 의해 획득된 객체 촬영 정보에 따라 객체를 인식한다. 이때, 서버(200)의 데이터베이스(210)와 연동되어 객체를 인식하게 된다. 객체 분석부(142)는 인식한 객체에 연관되는 태그 정보를 서버(200)로부터 획득하여 어플리케이션 검색 요소를 추출한다. 태그 정보와 매핑된 어플리케이션 검색 요소의 테이블은 DB(150)에 저장되어 있다.
어플리케이션 검색부(143)는 추출된 어플리케이션 검색 요소와 관련된 퍼미션 정보를 가지는 하나 이상의 어플리케이션을 검색한다.
데이터 가공부(144)는 검색된 하나 이상의 어플리케이션들을 화면에 디스플레이하기 전에 사용자가 한번에 어플리케이션을 실행 가능하도록 어플리케이션의 실행 가능성 판단 및 실행할 수 있는 데이터를 생성시킨다. 즉, 어플리케이션 실행시 상기 태그 정보를 분석하여 추출한 어플리케이션 검색 요소와 관련된 정보가 적용되어 실행되도록 어플리케이션 데이터를 가공한다.
출력 화면 편집부(145)는 상기 데이터 가공부(144)에 의해 생성된 데이터를 최종적으로 표시부(120)에 표시하기 위해 사용자가 보기 쉽게 카테고리별 분류를 실시한다. 그리고, UI 요소, 어플리케이션의 배치 상태 및 한 화면에 표시할 수 있는 어플리케이션 개수가 초과할 경우 분류기준에 따라 폴더를 만들어서 사용자가 보기 쉽게 어플리케이션을 배치하여 화면에 표시한다.
어플리케이션 권한 분석부(146)는 태그 정보를 읽는 어플리케이션들을 추출하기 위해 어플리케이션들의 퍼미션을 분석하여, 기준별로 어플리케이션 리스트를 DB(150)에 저장하고, 표시부(120)에 출력할 어플리케이션을 카테고리별로 분류하여 저장한다.
제어부(140)의 내부 구성 요소들의 좀 더 상세한 설명은 후술되는 증강 현실 데이터를 이용할 수 있는 어플리케이션 추천 방법에서 좀 더 상세히 설명하기로 한다.
DB(150)는 단말기(100)에 설치된 어플리케이션들의 정보, 어플리케이션 분류 기준 테이블 및 어플리케이션 퍼미션 분류 기준 테이블을 포함한다. 이러한 테이블에 대해서는 후술하기로 한다.
본 발명의 실시 예에 따라, 서버(200)는 구체적으로 DB(210), 통신부(220) 및 제어부(230)로 구성된다.
DB(210)는 객체 영상에 대한 AR Tag 정보를 저장한다. 최근 컨텐츠 제공자(Content Provider)는 제품이나 행사 등 각종 홍보를 위한 수단으로 특정 객체에 정보를 실어서 단말기를 통해 정보를 사용자에게 전달하는 광고 기법을 많이 사용하고 있다. 특정 객체는 영화포스터, 신발, 휴대폰 등 물건이 될 수도 있고, Bar/QR code 등 특정 코드 등 증강 현실을 통해 단말기의 화면에서 인식할 수 있는 모든 것들을 포함한다. 컨텐츠 제공자들은 사전에 특정 객체에 관련한 정보를 사용자가 열람할 수 있도록 태그 정보를 DB(210)에 저장하여 어플리케이션으로 열람이 가능하도록 만든다.
통신부(220)는 유/무선 통신망을 통해 외부로부터 수신된 신호와 내부 출력 신호를 처리하는 것으로 주지된 구성이다. 본 발명의 실시 예에 따라, 상기 통신부(210)는 단말기(100)로부터 전송되는 객체 영상을 수신/처리하여 제어부(230)로 출력하고, 상기 제어부(230)로부터의 객체에 관련된 태그 정보를 검출하여 단말기(100)에 전송한다.
본 발명의 실시 예에 따라, 제어부(230)는 구체적으로 객체 정보 검출부(231) 및 어플리케이션 검색부(232)를 포함한다. 객체 정보 검출부(231)는 단말기(100)로부터 촬영된 객체에 상응하는 태그 정보를 데이터베이스(200)로부터 검출하여 출력한다.
그러면, 본 발명의 바람직한 실시 예에 따른 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 방법을 설명하기로 한다.
도 2는 본 발명의 바람직한 실시 예에 따른 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 방법을 설명하기 위한 순서도이다.
도 2를 참조하면, 본 발명의 바람직한 실시 예에 따른 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 방법은 객체를 인식하는 단계(10)와, 상기 인식된 객체에 관련된 태그 정보를 분석하여 어플리케이션 검색 요소를 추출하는 단계(20)와, 추출된 어플리케이션 검색 요소에 관련된 퍼미션 정보를 가지는 하나 이상의 증강 현실 데이터를 이용할 수 있는 어플리케이션을 검색하는 단계(30)와, 상기 검색된 추천 증강 현실 데이터를 이용할 수 있는 어플리케이션을 출력하는 단계(50)를 포함한다. 부가적으로 상기 검색된 어플리케이션에 따라 데이터를 가공하는 단계(40)와, 상기 출력된 어플리케이션을 설치하는 단계(60)를 더 포함할 수 있다.
그러면, 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 방법에 대해 각 단계별로 좀 더 상세히 살펴보기로 한다.
도 3은 본 발명의 바람직한 실시 예에 따라 객체를 인식하는 단계를 설명하기 위한 순서도이다.
도 3을 참조하면, 제어부(140)의 객체 인식부(141)는 310 단계에서 객체 촬영부(110)을 통해 객체 촬영 이미지가 입력됨에 따라, 320 단계에서 객체의 촬영 이미지를 서버(200)에 전송한다. 그러면, 서버(200)는 촬영 이미지에 포함되는 객체에 관련된 태그 정보를 검출하여 단말기(100)로 전송한다. 객체 인식부(141)는 촬영 이미지에 포함된 객체의 태그 정보를 서버(200)로부터 수신한다.
도 4는 본 발명의 바람직한 실시 예에 따라 객체를 분석하는 단계를 설명하기 위한 순서도이다.
도 4를 참조하면, 제어부(140)의 객체 분석부(142)는 410 단계에서 객체 인식부(141)로부터 객체의 태그 정보를 수신한다. 그리고, 420 단계에서 태그 정보로부터 어플리케이션 검색 요소를 판단하고, 430 단계에서 검색 요소를 추출한다.
객체 분석부(142)는 하기의 <표 1>과 같이 어플리케이션 분류 기준 테이블을 참조하여 어플리케이션 검색 요소를 판단한다.
어플리케이션 검색 요소 태그 정보
GPS (1) 인천시 남동구 논현동 592번지
(2) 서울시 마포구 상암동 DMC
(3) 덕수궁, 어린이대공원, 제주도
Tel Number (1) 010-1111-1111
(2) 02-111-1111
IP address (1) www.xxxxx.com
(2) 192.168.1.1
기타
(QR/Bar Code)		 QR/Bar Code
예를 들어, 특정 브랜드의 시계를 객체로 인식할 경우 컨텐츠 제공자는 객체의 태그 정보로서 다음과 같은 상점의 주소와 시계를 정보 제공자의 전화 번호를 제공한다.
Figure 112011065937017-pat00001

따라서, 객체 분석부(142)는 상기의 같은 태그 정보를 획득할 수 있다. 이런 태그 정보를 분석하여, 객체 분석부(142)는 '서울시 구로구 구로동 띄어쓰기'를 기준으로 시, 구, 동으로 끝나는 정보가 있다면, 이를 위치 기반인 GPS를 어플리케이션 검색 요소로 선정한다.
또한 전화번호는 'XXXX-XXXX' 4자리씩 2번 연속이거나, 일반적인 핸드폰 번호 자리수인 'XXX-XXXX-XXXX' 11자리가 인식되면, 어플리케이션 검색 요소는 'Tel Number' 기반으로 선정한다.
마찬가지로 http://www.xxxxxx.com와 같은 웹주소가 획득되면 'http://' 및 'www'를 파싱하여 웹기반을 어플리케이션 검색 요소로 선정한다.
도 5는 본 발명의 바람직한 실시 예에 따라 어플리케이션을 검색하는 단계를 설명하기 위한 순서도이다.
제어부(140)의 어플리케이션 검색부(143)는 객체 분석부(142)에서 추출한 어플리케이션 검색 요소를 통해 사용자가 획득하고자 하는 객체의 정보를 얻을 수 있도록 적절한 어플리케이션 리스트를 추출해낸다.
도 5를 참조하면, 어플리케이션 검색부(143)는 510 단계에서 DB(150)로부터 어플리케이션 검색 요소를 검색한다.
그리고, 어플리케이션 검색부(143)은 520 단계에서 상기 검색 요소에 상응하는 어플리케이션이 존재하는지를 판단한다. 즉, 전술한 바와 같이 단말기(100)에 설치된 모든 어플리케이션은 어플리케이션 권한 분석부(146)에서 퍼미션이 분석되고, 권한별 어플리케이션 권한 분류 리스트를 포함하는 DB(150)에 저장된다. 어플리케이션 검색부(143)는 추출한 어플리케이션 검색 요소에 관련된 퍼미션 정보를 DB(150)에서 검색하여 적절한 어플리케이션을 추출해낸다. 즉, 하기의 <표 2>에 나타낸 바와 같은 어플리케이션 퍼미션 분류 기준 테이블로부터 어플리케이션 검색 요소에 관련된 퍼미션 정보를 검색하고, 검색된 퍼미션 정보에 관련된 어플리케이션을 추출해낸다.
어플리케이션 검색 요소 퍼미션 정보
GPS android.permission.ACCESS_FINE_LOCATION
android.permission.ACCESS_NETWORK_STATE
android.permission.ACCESS_COARSE_LOCATION
Tel Number android.permission.CALL_PHONE
android.permission.SEND_SNS
IP address android.permission.INTERNET
android.permission.ACCESS_NETWORK_STATE
SNS android.permission.INTERNET
android.permission.ACCESS_NETWORK_STATE
android.permission.VIBRATE
android.permission.READ_CONTACTS
기타
(QR/Bar Code)		 android.permission.CAMERA
android.permission.INTERNET
상기 520 단계의 판단 결과 어플리케이션이 존재할 경우, 어플리케이션 검색부(143)는 530 단계에서 검색된 어플리케이션 리스트를 출력한다.
그리고, 어플리케이션 검색부(143)은 540 단계에서 검색된 어플리케이션 리스트에 포함된 어플리케이션을 우선 순위를 기준으로 필터링한다. 전술한 예에서의 태그 정보와 같이 '서울시 구로구 구로동', 즉 특정 자리 수별로 '시 구 동' 이라는 단어가 추출되어 위치 정보 기반인 GPS를, '1599-0110'을 추출하여 Tel Number를, 'customerservice@11st.co.kr'을 추출하여 Web을 어플리케이션 검색 요소로 추출되면, DB(150)에서 3개의 검색 요소에 전부 해당하는 어플리케이션을 1순위로 필터링하고, 2개의 검색 요소를 만족하는 어플리케이션을 2 순위로 필터링한다.
반면, 상기 520 단계의 판단 결과 어플리케이션 권한 분류 DB(152)에서 어플리케이션 검색 요소로 어플리케이션 리스트가 매칭되지 않으면, 어플리케이션 검색부(143)는 550 단계에서 적절한 어플리케이션을 추천하기 위해 하기의 <표 3>와 같은 마켓 검색 키워드 추출 테이블을 참조, 태그 정보를 재해석해서 검색 키워드를 선정한다.
마켓 키워드 태그 정보 키워드
GPS (1) 인천시 남동구 논현동
(2) 김포시 통진면 웅정리
(3) 덕수궁, 어린이대공원, 제주도		 (1) 위치 정보
(2) DMC 교통정보
(3) 여행지 추천, 관광지
Tel Number (1)010-1111-1111
(2)02-111-1111		 전화 걸기 전화 번호
IP address 웹 검색, 구글 검색, 네이버 검색
SNS 태그 정보의 중심 키워드
기타(QR/Bar code) QR/Bar code QR/BAR Code 리더기
예컨대, 태그 정보가 덕수궁일 경우, 상기 <표 10>를 참조하여 덕수궁은 '여행지 추천' 또는 '관광지' 란 키워드가 선정될 수 있다. 그리고, 어플리케이션 검색부(143)은 560 단계에서 검색된 키워드로 마켓에서 검색을 실행한다. 이와 같이 마켓 키워드로 추천 어플리케이션을 바로 검색할 수 있도록 출력하는 단계에서 바로가기 아이콘을 생성하여 출력할 수도 있다.
도 6은 본 발명의 바람직한 실시 예에 따라 데이터를 가공하는 단계를 설명하기 위한 순서도이다.
제어부(140)의 데이터 가공부(144)는 610 단계에서 어플리케이션 검색부(143)에서 검색된 어플리케이션 또는 마켓에서 검색한 어플리케이션 리스트들의 해당 객체의 태그 정보를 탑재한다. 예를 들어, IP Address 기반으로 www.sanghyeok.com을 실행할 웹검색 어플리케이션을 실행시키려면, 단 한번에 바로 가기 링크를 할 수 있도록 웹검색 어플리케이션에 www.sanghyeok.com 이라는 웹주소를 탑재해야 한다. 그리고, 620 단계에서 어플리케이션 프리 테스트를 실행한다.
그리고, 데이터 가공부(144)는 630 단계에서 프리 테스트 결과 실행 가능한 어플리케이션인지를 판단한다. 상기 630 단계의 판단 결과 실행 가능할 경우, 데이터 가공부(144)는 640 단계에서 프리테스트한 어플리케이션 바로가기 데이터를 생성한다. 어플리케이션 실행시 상기 태그 정보를 분석하여 추출한 어플리케이이션 검색 요소와 관련된 정보가 적용되어 실행되도록 어플리케이션 데이터를 가공한다. 즉, 상기 추출된 어플리케이션 바로 가기 데이터를 아이콘으로 생성하고, 생성된 바로가기 데이터의 아이콘은 바로가기 데이터라는 내용을 아이콘으로 표시할 수 있다.
그러나, 상기 630 단계의 판단 결과 실행 가능하지 않을 경우, 예컨대 어플리케이션이 비동작하거나, 해당 태그 정보가 어플리케이션에 제대로 탑재되지 않은 경우, 데이터 가공부(144)는 해당 어플리케이션을 어플리케이션 리스트에서 필터링한다.
결론적으로 데이터 가공부(144)는 어플리케이션의 기본적인 바로가기 데이터를 생성하는 것이 아니라 해당 태그 정보, 예를 들어 '덕수궁' 이라는 태그 정보를 실행시킬 수 있는 '데이터 명소' 란 어플리케이션에 태그 정보 탑재 검색 결과와 같이 '덕수궁'이란 태그 정보가 검색된 결과를 바로 사용자가 볼 수 있도록 해당 결과값이 바로 보여질 수 있는 데이터를 생성한다.
도 7은 태그 정보가 탑재된 어플리케이션의 실행 화면의 일 예를 도시한 도면이다.
도 7을 참조하면, '데이트 명소'라는 어플리케이션을 실행할 경우, '덕수궁'는 태그 정보에 관련된 검색 정보 결과값이 바로 출력될 수 있다.
도 8은 본 발명의 바람직한 실시 예에 따라 데이터를 출력하는 단계를 설명하기 위한 순서도이다.
도 8을 참조하면, 출력 화면 편집부(145)는 최종적으로 검색한 어플리케이션을 표시부(120)에 출력해준다. 즉, 실제 어플리케이션에 태그 정보를 탑재하여 링크된 데이터를 사용자 입장에서 편리하게 UI적으로 화면에 출력시키기 위하여, 출력 화면 편집부(145)는 810 단계에서 어플리케이션 카테고리 분류 작업을 시행한다.
카테고리의 분류는 기준은 실제 어플리케이션을 다운받거나 사용활용도가 비슷한 교육, 교통, 날씨, 뉴스 및 자비, 도구, Life 스타일, 미디어 및 동영상, 비즈니스, 쇼핑, 스포츠, 엔터테이먼트, 여행 및 지역정보, 커뮤니케이션(SNS), 소셜 콘텐츠 등으로 선정하였다.
이와 같이 분류작업을 거친 어플리케이션을 한 화면에 표시할지, 폴더를 만들어 표시할지 결정하기 위해, 출력 화면 편집부(145)는 810 단계에서 어플리케이션 개수를 카운트한다.
그리고, 출력 화면 편집부(145)는 830 단계에서 폴더 또는 파일 중 무엇으로 출력할지의 여부를 판단한다. 예컨대, 한 화면에 표시할 최대 개수를 객체를 기준으로 화면 상단에 3개, 화면 하단에 3개, 우측 화면에 4개, 좌측 화면에 4개를 포함하여 총 14개로 선정하고, 14개가 넘으면 폴더로 분류하여 폴더로 출력한다. 그러나,그 이하의 개수이면 파일로 출력한다. 폴더의 출력 위치도 파일과 같이 상단 화면 3개 하단 화면 3개 우측 화면 4개 좌측 화면 4개로 하고, 폴더 카테고리 분류가 되어 있지 않을 경우, '기타' 폴더로 정한다.
즉, 상기 830 단계의 판단 결과 폴더로 생성할 것으로 판단된 경우, 출력 화면 편집부(145)는 840 단계에서 폴더를 생성한다. 그러나, 상기 830 단계의 판단 결과 파일 출력할 것으로 판단된 경우, 출력 화면 편집부(145)는 850 단계에서 출력할 위치를 선정하게 된다. 예컨대, 출력 화면 편집부(145)는 지정된 위치 14곳의 위치에 중요도별 순서를 정한다.
도 9는 본 발명에 따른 위치 선정의 예를 도시한 도면이다.
도 9를 참조하면, 화면 위치 순서처럼 사용자가 최우선적으로 클릭하기 쉽고 볼 수 있는 좌측 최상단 위치를 1번으로 정하고, 하단에 2,3,4번을 정한다. 그 다음 순서는 우측 최상단 화면을 5번으로 정하고, 순서대로 하단에 6,7,8번을 정한다. 그 다음 순서는 상단 화면 좌측부터 우측으로 9,10,11번으로 정하고, 마지막으로 하단 화면 좌측부터 우측으로 12,13,14번으로 정한다.
다음으로 출력 화면 편집부(145)는 850 단계에서 분류별 리스트 순서 정렬을 한다.
즉, 화면에 표시할 어플리케이션의 우선 순위를 정한다. 최우선 순위는 태그 정보의 어플리케이션 검색요소와 어플리케이션의 권한이 매칭이 가장 많은 어플리케이션으로 태그 정보에서 어플리케이션 검색 요소로 4가지가 검색되었을 경우, 이 정보들 모두 실행시킬 수 있는 권한이 있는 어플리케이션을 최우선순위로 정한다. 이 부분에서 순서가 정해지지 않을 경우 해당 객체에 대해 서버(200)에 저장된 어플리케이션 검색 빈도가 높을 경우로 판별한다. 해당 객체에 대해 검색된 어플리케이션 사용 리스트를 서버(200)의 추천 어플리케이션 DB(212)에 따로 저장하고, 해당 객체에 검색된 어플리케이션 중 다른 사용자들이 사용 빈도수가 높은 어플리케이션에 우선 순위를 부여한다.
이 부분에서도 순위가 정해지지 않으면 설치된 어플리케이션 중 사용자가 지금까지 실행 빈도수 높은 것에 우선 순위를 부여하고, 이 부분에서도 순위가 정해지지 않으면 카테고리 관련 순서로 마지막으로는 가장 최근에 설치도 어플리케이션에 우선순위를 부여한다.
전술한 바와 같이 분류별 리스트 순서 정렬이 완료되면, 출력 화면 편집부(145)는 860 단계에서 사용자에게 우선 순위별로 어플리케이션을 디스플레이하여 출력해준다. 그리고, 출력 화면 편집부(145)는 870 단계에서 이렇게 해당 객체에 대해 추천된 어플리케이션 리스트를 외부 서버(200)의 추천 어플리케이션 리스트 DB(212)에 전송하여, 타 사용자가 객체 정보를 볼 때도 추천 정보로 사용될 수 있도록 한다. 이때, 출력 화면 편집부(145)는 추출된 하나 이상의 어플리케이션이 아이콘으로 표시된다.
그러면, 전술한 바와 본 발명의 실시 예를 도 10 내지 도 12를 참조하여 살펴보기로 한다.
도 10을 참조하면, 어플리케이션 바로가기 실행 아이콘들을 화면에 배치하지 않고 좌측 상단에 '추천 어플 보기' 버튼으로 생성하여 출력한다. 사용자가 해당 버튼을 클릭하였을 경우, 도 11과 같이 추천 어플리케이션 실행 아이콘들은 사용자 이동 단말기 디스플레이에 배치된다. 사용자는 자신이 얻고자 하는 정보에 해당하는 추천 어플리케이션이 있을 경우 해당 아이콘을 클릭하여 원하는 정보를 얻을 수 있다. 만일 추천어플리케이션 개수가 한 화면에 배치할 최대 개수를 넘길 경우, 도 12에 도시된 바와 같이 분류별 폴더를 생성하여 화면에 배치한다. 사용자는 이용하고자 하는 해당 폴더를 클릭하면 폴더 밑에 하위폴더를 생성하면서 어플리케이션을 바로 실행할 수 있는 실행 아이콘이 출력된다.

Claims (23)

  1. 현실 객체를 인식하고, 증강 현실 데이터를 디스플레이할 수 있는 증강 현실 제공 단말 장치에서의 어플리케이션 자동 추천 방법에 있어서,
    촬영 이미지가 입력됨에 따라, 상기 이미지에 포함된 객체를 인식하는 단계와,
    상기 인식된 객체에 관련된 정보인 태그 정보를 통신부를 통해 저장된 상기 단말 장치의 외부로부터 획득하는 단계와,
    어플리케이션 분류 기준 테이블을 참조하여, 상기 태그 정보에 매핑되는 하나 이상의 어플리케이션 검색 요소를 추출하는 단계와,
    어플리케이션 퍼미션 분류 기준 테이블을 참조하여, 상기 추출된 어플리케이션 검색 요소와 관련된 퍼미션 정보를 가지는 어플리케이션을 추출하는 단계와,
    상기 추출된 하나 이상의 어플리케이션과 관련된 정보를 화면에 표시하여 출력하는 단계를 포함함을 특징으로 하는 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 방법.
  2. 제 1항에 있어서, 상기 출력하는 단계는
    상기 추출된 하나 이상의 어플리케이션에 대한 아이콘을 생성하여 디스플레이하는 것을 특징으로 하는 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 방법.
  3. 제 1항에 있어서,
    상기 어플리케이션 실행시 상기 태그 정보에 관련된 데이터가 바로 보여질 수 있도록 어플리케이션 데이터를 가공하는 단계를 더 포함함을 특징으로 하는 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 방법.
  4. 제 1항에 있어서, 상기 출력하는 단계는
    어플리케이션을 카테고리별로 분류하여 화면에 표시함을 특징으로 하는 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 방법.
  5. 제 1항에 있어서, 상기 어플리케이션을 추출하는 단계는
    어플리케이션들에 매칭되는 어플리케이션 검색 요소의 개수를 기준으로 어플리케이션의 우선 순위를 정하고, 우선 순위에 따른 순서대로 소정 어플리케이션들을 필터링함을 특징으로 하는 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 방법.
  6. 제 1항에 있어서, 상기 어플리케이션을 추출하는 단계는
    어플리케이션 검색 요소에 상응하는 어플리케이션이 존재하지 않을 경우, 미리 저장되어 있는 마켓 검색 키워드 추출 테이블을 이용하여 상기 태그 정보에서 마켓 키워드를 추출하고, 추출된 마켓 키워드로 마켓에서 추천 어플리케이션을 검색함을 특징으로 하는 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 방법.
  7. 제 6항에 있어서, 상기 출력하는 단계는
    마켓 키워드로 추천 어플리케이션을 바로 검색할 수 있는 바로가기 아이콘을 생성하여 디스플레이함을 특징으로 하는 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 방법.
  8. 제 3항에 있어서, 상기 가공하는 단계는
    상기 추출된 어플리케이션을 미리 실행하여 테스트하고, 테스트 결과 실행 가능한 어플리케이션을 바로가기 데이터로 생성함을 특징으로 하는 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 방법.
  9. 제 8항에 있어서, 상기 가공하는 단계는
    상기 추출된 어플리케이션 바로 가기 데이터를 아이콘으로 생성하고, 생성된 아이콘을 디스플레이함을 특징으로 하는 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 방법.
  10. 삭제
  11. 제 1항에 있어서, 상기 출력하는 단계는
    상기 추출된 어플리케이션들의 개수가 소정 개수 이상일 경우, 추출된 어플리케이션들을 폴더에 포함시킨 형태로 디스플레이함을 특징으로 하는 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 방법.
  12. 객체가 포함된 이미지를 촬영하는 객체 촬영부와,
    객체에 관련된 증강 현실 데이터를 이용할 수 있는 어플리케이션과 관련된 정보를 화면에 표시하여 출력하는 표시부와,
    상기 객체 촬영부에서 촬영 이미지가 입력됨에 따라, 상기 이미지에 포함된 객체에 관련된 정보인 태그 정보를 통신부를 통해 단말 장치의 외부로부터 획득하고, 어플리케이션 분류 기준 테이블을 참조하여 상기 태그 정보에 매핑되는 하나 이상의 어플리케이션 검색 요소를 추출하고, 어플리케이션 퍼미션 분류 기준 테이블을 참조하여, 상기 추출된 어플리케이션 검색 요소와 관련된 퍼미션 정보를 가지는 하나 이상의 어플리케이션을 추출하는 제어부를 포함함을 특징으로 하는 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치.
  13. 제 12항에 있어서, 상기 제어부는
    상기 추출된 하나 이상의 어플리케이션에 대한 아이콘을 생성하여 상기 표시부에 출력함을 특징으로 하는 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치.
  14. 제 12항에 있어서, 상기 제어부는
    상기 객체 촬영부에 의해 촬영된 이미지에 포함된 객체를 인식하는 객체 인식부와,
    상기 인식된 객체에 관련된 태그 정보를 획득하고, 상기 태그 정보를 분석하여 하나 이상의 어플리케이션 검색 요소를 추출하는 객체 분석부와,
    어플리케이션 퍼미션 분류 기준 테이블을 참조하여, 상기 추출된 어플리케이션 검색 요소에 상응하는 하나 이상의 어플리케이션을 추출하는 어플리케이션 검색부와,
    상기 추천 어플리케이션을 디스플레이하는 출력 화면 편집부를 포함함을 특징으로 하는 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치.
  15. 제 12항에 있어서, 상기 제어부는
    상기 어플리케이션 실행시 상기 태그 정보에 관련된 데이터가 바로 보여질 수 있도록 어플리케이션 데이터를 가공하는 데이터 가공부를 더 포함함을 특징으로 하는 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치.
  16. 제 14항에 있어서, 상기 출력 화면 편집부는
    어플리케이션을 카테고리별로 분류하여 화면에 표시함을 특징으로 하는 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치.
  17. 제 14항에 있어서, 상기 어플리케이션 검색부는
    어플리케이션들에 매칭되는 어플리케이션 검색 요소의 개수를 기준으로 어플리케이션의 우선 순위를 정하고, 우선 순위에 따른 순서대로 소정 어플리케이션들을 필터링함을 특징으로 하는 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치.
  18. 제 14항에 있어서, 상기 어플리케이션 검색부는
    어플리케이션 검색 요소에 상응하는 어플리케이션이 존재하지 않을 경우, 미리 저장되어 있는 마켓 검색 키워드 추출 테이블을 이용하여 상기 태그 정보에서 마켓 키워드를 추출하고, 추출된 마켓 키워드로 마켓에서 추천 어플리케이션을 검색함을 특징으로 하는 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치.
  19. 제 18항에 있어서, 상기 제어부는
    마켓 키워드로 추천 어플리케이션을 바로 검색할 수 있는 바로가기 아이콘을 생성하여 상기 표시부에 디스플레이함을 특징으로 하는 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치.
  20. 제 15항에 있어서, 상기 데이터 가공부는
    상기 추출된 어플리케이션을 미리 실행하여 테스트하고, 테스트 결과 실행 가능한 어플리케이션을 바로가기 데이터로 생성함을 특징으로 하는 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치.
  21. 제 20항에 있어서, 상기 데이터 가공부는
    상기 추출된 어플리케이션 바로 가기 데이터를 아이콘으로 생성하고, 생성된 아이콘을 디스플레이함을 특징으로 하는 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치.
  22. 삭제
  23. 제 15항에 있어서, 상기 데이터 가공부는
    상기 추천 어플리케이션들의 개수가 소정 개수 이상일 경우, 추출된 어플리케이션들을 폴더에 포함시킨 형태로 디스플레이함을 특징으로 하는 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치.
KR1020110084792A 2011-08-24 2011-08-24 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치 및 방법 KR101343609B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110084792A KR101343609B1 (ko) 2011-08-24 2011-08-24 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치 및 방법
US13/336,748 US20130051615A1 (en) 2011-08-24 2011-12-23 Apparatus and method for providing applications along with augmented reality data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110084792A KR101343609B1 (ko) 2011-08-24 2011-08-24 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130022491A KR20130022491A (ko) 2013-03-07
KR101343609B1 true KR101343609B1 (ko) 2014-02-07

Family

ID=47743789

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110084792A KR101343609B1 (ko) 2011-08-24 2011-08-24 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치 및 방법

Country Status (2)

Country Link
US (1) US20130051615A1 (ko)
KR (1) KR101343609B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170035506A (ko) * 2015-09-23 2017-03-31 엘지전자 주식회사 단말기 및 그 동작 방법
KR20190109410A (ko) * 2017-01-27 2019-09-25 소니 주식회사 정보 처리 장치, 정보 처리 방법 및 그 프로그램

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101295544B1 (ko) * 2011-01-25 2013-08-16 주식회사 팬택 증강 현실 통합정보 제공 장치와 그 방법 및, 이를 포함하는 시스템
JP6089384B2 (ja) * 2011-04-11 2017-03-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US8650550B2 (en) * 2011-06-07 2014-02-11 Blackberry Limited Methods and devices for controlling access to computing resources
US9053337B2 (en) 2011-06-07 2015-06-09 Blackberry Limited Methods and devices for controlling access to a computing resource by applications executable on a computing device
US8856168B2 (en) * 2012-04-30 2014-10-07 Hewlett-Packard Development Company, L.P. Contextual application recommendations
US10178305B2 (en) * 2012-06-13 2019-01-08 Sony Corporation Imaging apparatus and method to capture images based on recommended applications
US9060152B2 (en) 2012-08-17 2015-06-16 Flextronics Ap, Llc Remote control having hotkeys with dynamically assigned functions
US11368760B2 (en) 2012-08-17 2022-06-21 Flextronics Ap, Llc Applications generating statistics for user behavior
US20160119675A1 (en) 2012-09-06 2016-04-28 Flextronics Ap, Llc Programming user behavior reporting
WO2014031126A1 (en) * 2012-08-24 2014-02-27 Empire Technology Development Llc Virtual reality applications
WO2014035367A1 (en) 2012-08-27 2014-03-06 Empire Technology Development Llc Generating augmented reality exemplars
US10664534B2 (en) * 2012-11-14 2020-05-26 Home Depot Product Authority, Llc System and method for automatic product matching
JP6025522B2 (ja) * 2012-11-27 2016-11-16 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム及びプログラム
US9323511B1 (en) * 2013-02-28 2016-04-26 Google Inc. Splitting application permissions on devices
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
EP2990920B1 (en) 2013-04-22 2019-04-03 Fujitsu Limited Information terminal control method
KR20140127527A (ko) * 2013-04-25 2014-11-04 삼성전자주식회사 디스플레이장치 및 디스플레이장치를 이용한 추천정보 제공 방법
CN103747017B (zh) * 2014-01-28 2016-12-21 北京智谷睿拓技术服务有限公司 服务信息交互方法及设备
US9847990B1 (en) * 2014-07-18 2017-12-19 Google Inc. Determining, by a remote system, applications provided on a device based on association with a common identifier
DE102016119639A1 (de) 2016-10-14 2018-04-19 Uniqfeed Ag System zur dynamischen Kontrastmaximierung zwischen Vordergrund und Hintergrund in Bildern oder/und Bildsequenzen
DE102016119637A1 (de) 2016-10-14 2018-04-19 Uniqfeed Ag Fernsehübertragungssystem zur Erzeugung angereicherter Bilder
DE102016119640A1 (de) 2016-10-14 2018-04-19 Uniqfeed Ag System zur Erzeugung angereicherter Bilder
CN113272766A (zh) 2019-01-24 2021-08-17 麦克赛尔株式会社 显示终端、应用程序控制系统和应用程序控制方法
US11245751B1 (en) * 2019-09-24 2022-02-08 Cisco Technology, Inc. Service or network function workload preemption
US11138625B2 (en) * 2020-02-28 2021-10-05 Rovi Guides, Inc. Methods and systems for managing local and remote data
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11238664B1 (en) 2020-11-05 2022-02-01 Qualcomm Incorporated Recommendations for extended reality systems
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11762952B2 (en) * 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
CN113791687B (zh) * 2021-09-15 2023-11-14 咪咕视讯科技有限公司 Vr场景中的交互方法、装置、计算设备及存储介质
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
WO2023113149A1 (en) * 2021-12-14 2023-06-22 Samsung Electronics Co., Ltd. Method and electronic device for providing augmented reality recommendations
US20230367611A1 (en) * 2022-05-10 2023-11-16 Meta Platforms Technologies, Llc World-Controlled and Application-Controlled Augments in an Artificial-Reality Environment
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060116158A (ko) * 2005-05-09 2006-11-14 소니 에릭슨 모빌 커뮤니케이션즈 재팬, 아이엔씨. 휴대단말, 정보추천방법 및 프로그램
KR20100049870A (ko) * 2008-11-04 2010-05-13 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 방법
KR20110034976A (ko) * 2009-09-29 2011-04-06 엘지전자 주식회사 이동 단말기
KR20110088643A (ko) * 2010-01-29 2011-08-04 오공일미디어 (주) 모바일 단말기를 통한 콘텐츠 이용자의 개인정보 수집 시스템 및 그 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030172296A1 (en) * 2002-03-05 2003-09-11 Gunter Carl A. Method and system for maintaining secure access to web server services using permissions delegated via electronic messaging systems
WO2003036829A1 (fr) * 2001-10-23 2003-05-01 Sony Corporation Systeme de communication de donnees, emetteur et recepteur de donnees
US7624143B2 (en) * 2002-12-12 2009-11-24 Xerox Corporation Methods, apparatus, and program products for utilizing contextual property metadata in networked computing environments
GB2430507A (en) * 2005-09-21 2007-03-28 Stephen Robert Ives System for managing the display of sponsored links together with search results on a mobile/wireless device
US20090128504A1 (en) * 2007-11-16 2009-05-21 Garey Alexander Smith Touch screen peripheral device
JP2009301197A (ja) * 2008-06-11 2009-12-24 Fujifilm Corp プレビュー提供方法、装置及びプログラム並びに画像付対象物提供装置
US20130007662A1 (en) * 2011-06-29 2013-01-03 International Business Machines Corporation Prioritization of urgent tasks on mobile devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060116158A (ko) * 2005-05-09 2006-11-14 소니 에릭슨 모빌 커뮤니케이션즈 재팬, 아이엔씨. 휴대단말, 정보추천방법 및 프로그램
KR20100049870A (ko) * 2008-11-04 2010-05-13 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 방법
KR20110034976A (ko) * 2009-09-29 2011-04-06 엘지전자 주식회사 이동 단말기
KR20110088643A (ko) * 2010-01-29 2011-08-04 오공일미디어 (주) 모바일 단말기를 통한 콘텐츠 이용자의 개인정보 수집 시스템 및 그 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170035506A (ko) * 2015-09-23 2017-03-31 엘지전자 주식회사 단말기 및 그 동작 방법
KR102412307B1 (ko) * 2015-09-23 2022-06-24 엘지전자 주식회사 단말기 및 그 동작 방법
KR20190109410A (ko) * 2017-01-27 2019-09-25 소니 주식회사 정보 처리 장치, 정보 처리 방법 및 그 프로그램
KR102410840B1 (ko) * 2017-01-27 2022-06-21 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 그 프로그램

Also Published As

Publication number Publication date
KR20130022491A (ko) 2013-03-07
US20130051615A1 (en) 2013-02-28

Similar Documents

Publication Publication Date Title
KR101343609B1 (ko) 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치 및 방법
US9934254B2 (en) Terminal apparatus, information processing system, and information processing method
KR101337555B1 (ko) 객체 연관성을 이용한 증강 현실 제공 장치 및 방법
KR101953303B1 (ko) 브라우징 액티비티에 기초하여 정합 애플리케이션을 식별하는 기법
CN101999121B (zh) 推荐信息评价装置及推荐信息评价方法
US20120027301A1 (en) Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search
US20140111542A1 (en) Platform for recognising text using mobile devices with a built-in device video camera and automatically retrieving associated content based on the recognised text
US20160019553A1 (en) Information interaction in a smart service platform
US20160283055A1 (en) Customized contextual user interface information displays
KR101611388B1 (ko) 태그를 활용한 검색 서비스 제공 방법 및 시스템
US10104024B2 (en) Apparatus, method, and computer program for providing user reviews
WO2014105399A1 (en) Predictive selection and parallel execution of applications and services
CN102822824A (zh) 解码供本机绘图应用使用的内容中的位置信息
KR101955463B1 (ko) 컨텐츠 분석에 따른 어플리케이션 추천 시스템 및 방법
CN110968998B (zh) 智能预测的输入方法和系统
WO2007116500A1 (ja) 情報呈示システム、情報呈示端末及びサーバ
US20140330814A1 (en) Method, client of retrieving information and computer storage medium
CN102402778A (zh) 通过使用附加数据来提供增强现实的设备和方法
CN112020709A (zh) 可视菜单
WO2014176938A1 (en) Method and apparatus of retrieving information
CN104573120A (zh) 用于终端获取推荐信息的方法和装置
CN110020106B (zh) 一种推荐方法、推荐装置和用于推荐的装置
KR101810189B1 (ko) 사용자 리뷰 제공 방법, 장치 및 컴퓨터 프로그램
KR20210094396A (ko) 이미지 기반 검색 어플리케이션 및 그를 위한 검색 서버
KR101300474B1 (ko) 모바일 단말의 위치정보와 웹페이지 태그정보를 이용한 브라우저 히스토리 관리 방법, 그리고 이를 위한 브라우저 히스토리 관리 프로그램을 기록한 컴퓨터로 판독가능한 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180529

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191202

Year of fee payment: 7