KR101865875B1 - Augmented reality providing mehtod using social network service - Google Patents

Augmented reality providing mehtod using social network service Download PDF

Info

Publication number
KR101865875B1
KR101865875B1 KR1020160077114A KR20160077114A KR101865875B1 KR 101865875 B1 KR101865875 B1 KR 101865875B1 KR 1020160077114 A KR1020160077114 A KR 1020160077114A KR 20160077114 A KR20160077114 A KR 20160077114A KR 101865875 B1 KR101865875 B1 KR 101865875B1
Authority
KR
South Korea
Prior art keywords
keyword
augmented reality
user
data
screen
Prior art date
Application number
KR1020160077114A
Other languages
Korean (ko)
Other versions
KR20180000014A (en
Inventor
송지성
박수조
방용호
정상범
황유비
윤현하
Original Assignee
한양대학교 에리카산학협력단
송지성
박수조
방용호
정상범
황유비
윤현하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 에리카산학협력단, 송지성, 박수조, 방용호, 정상범, 황유비, 윤현하 filed Critical 한양대학교 에리카산학협력단
Priority to KR1020160077114A priority Critical patent/KR101865875B1/en
Publication of KR20180000014A publication Critical patent/KR20180000014A/en
Application granted granted Critical
Publication of KR101865875B1 publication Critical patent/KR101865875B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 소셜 네트워크 서비스를 이용한 증강현실 제공 방법을 제공한다.
본 발명의 일 측면에 따른 소셜 네트워크 서비스를 이용한 증강현실 제공 방법은 사용자의 소셜 네트워크 서비스(SNS)의 데이터에서 선호 키워드를 선정하는 키워드 수집 단계, 상기 선호 키워드를 저장하는 저장 단계, 상기 선호 키워드와 동일 또는 유사한 데이터를 갖는 증강현실 객체를 탐색하는 객체 탐색 단계, 및 증강현실 기기의 화면 상에 나타난 객체에 선호 키드워드와 관련된 증강현실 데이터를 삽입하여 출력하는 출력 제어 단계를 포함한다.
The present invention provides a method for providing an augmented reality using a social network service.
According to an aspect of the present invention, a method for providing augmented reality using a social network service includes a keyword collection step of selecting a preferred keyword from data of a user's social network service (SNS), a storing step of storing the preference keyword, An object searching step of searching an augmented reality object having the same or similar data, and an output control step of inserting augmented reality data related to a preferred keyword word into an object displayed on the screen of the augmented reality device and outputting the augmented reality data.

Description

소셜 네트워크 서비스를 이용한 증강현실 제공 방법{AUGMENTED REALITY PROVIDING MEHTOD USING SOCIAL NETWORK SERVICE}TECHNICAL FIELD [0001] The present invention relates to a method for providing augmented reality using a social network service,

본 발명은 증강현실 제공 방법에 관한 것으로서 보다 상세하게는 소셜 네트워크 서비스를 이용한 증강현실 제공 방법에 관한 것이다.
The present invention relates to a method of providing an augmented reality, and more particularly, to a method of providing an augmented reality using a social network service.

사용자가 눈으로 보는 현실세계에 가상의 객체를 겹쳐 보여주는 기술을 '증강현실(Augmented Reality)'이라고 한다. 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.Augmented Reality is a technique for superimposing virtual objects on the real world seen by the user. It is called Mixed Reality (MR) because it combines real world and virtual world with additional information in real time and displays it as one image.

현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다.Augmented reality, a concept that complements the real world with a virtual world, uses a virtual environment created by computer graphics, but the protagonist is a real environment. Computer graphics serve to provide additional information needed for the real world.

이러한 증강현실기술은 가상환경만으로 구성된 가상현실기술과 달리, 실제 환경과 가상의 객체가 혼합된 영상을 제공하므로, 사용자가 실제 환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다.Unlike the virtual reality technology, which consists of a virtual environment only, the augmented reality technology provides a mixed reality environment and a virtual object so that the user can see the real environment and provide better reality and additional information.

증강현실기술은 원격의료진단·방송·건축설계·제조공정관리 등에 활용된다. 특히, 최근 스마트폰이 널리 보급 되면서 본격적인 상업화 단계에 들어섰으며, 게임 및 모바일 솔루션 업계·교육 분야 등에서도 다양한 제품을 개발하고 있다.Augmented reality technology is used for remote medical diagnosis, broadcasting, architectural design, manufacturing process management. In particular, smartphones have become popular in the commercialization stage in recent years, and various products are being developed in the game and mobile solution industry and education field.

또한 스마트 글래스를 이용하여 이동 중에 다양한 종류의 증강 현실을 제공하지만 증강 현실의 양이 많은 경우에는 원하지 않는 증강 현실까지 제공되어서 원하는 증강 현실을 용이하게 찾기가 쉽지 않은 문제가 있다.
[선행기술문헌]
공개특허공보 제10-2012-0134321호[2012.12.12.]
In addition, it provides various kinds of augmented reality while moving using smart glass, but when a large amount of augmented reality is present, it is provided even to an unwanted augmented reality, which makes it difficult to easily find a desired augmented reality.
[Prior Art Literature]
Japanese Patent Application Laid-Open No. 10-2012-0134321 [December 12, 2012]

본 발명은 소셜 네트워크 서비스를 이용한 증강현실 제공 방법을 제공한다.
The present invention provides a method for providing an augmented reality using a social network service.

본 발명의 일 측면에 따른 소셜 네트워크 서비스를 이용한 증강현실 제공 방법은 사용자의 소셜 네트워크 서비스(SNS)의 데이터에서 선호 키워드를 선정하는 키워드 수집 단계, 상기 선호 키워드를 저장하는 저장 단계, 상기 선호 키워드와 동일 또는 유사한 데이터를 갖는 증강현실 객체를 탐색하는 객체 탐색 단계, 및 증강현실 기기의 화면 상에 나타난 객체에 선호 키드워드와 관련된 증강현실 데이터를 삽입하여 출력하는 출력 제어 단계를 포함한다.According to an aspect of the present invention, there is provided a method for providing augmented reality using a social network service, including a keyword collection step of selecting a preferred keyword from data of a user's social network service (SNS), a storing step of storing the preference keyword, An object searching step of searching an augmented reality object having the same or similar data, and an output control step of inserting augmented reality data related to a preferred keyword word into an object displayed on the screen of the augmented reality device and outputting the augmented reality data.

여기서, 상기 증강현실 제공 방법은 상기 선호 키워드들 중에서 사용자가 지정한 키워드에 관련된 증강현실 데이터를 우선적으로 로딩시키는 모드 제어 단계를 더 포함할 수 있다.Here, the augmented reality providing method may further include a mode control step of preferentially loading the augmented reality data related to the keyword designated by the user among the favorite keywords.

또한, 상기 모드 제어 단계는 사용자가 지정한 키워드의 범주에 포함된 선호 키워드들을 추출하고 추출된 키워드들에 관련된 증강현실 데이터를 우선적으로 로딩시키는 것을 특징으로 하는 소셜 네트워크 서비스를 이용한 증강현실 제공 방법.In addition, the mode control step extracts the preferred keywords included in the category of the keyword designated by the user, and loads the augmented reality data related to the extracted keywords with priority, thereby loading the augmented reality data using the social network service.

또한, 상기 키워드 수집 단계는 사용자의 소셜 네트워크 서비스에서 선호 키워드를 추출하고 사용된 빈도를 측정하는 SNS 키워드 추출 단계를 포함할 수 있다.The keyword collection step may include an SNS keyword extraction step of extracting a preference keyword from the user's social network service and measuring a used frequency.

또한, 상기 키워드 수집 단계는 사용자의 음성 통화에서 선호 키워드를 추출하고 사용된 빈도를 측정하는 음성 키워드 추출 단계를 포함할 수 있다.The keyword collecting step may include a voice keyword extracting step of extracting a preferred keyword from a voice call of the user and measuring a used frequency.

또한, 상기 키워드 수집 단계는 사용자의 문자 메세지에서 선호 키워드를 추출하고 사용된 빈도를 측정하는 문자 키워드 추출 단계를 포함할 수 있다.The keyword collection step may include a character keyword extracting step of extracting a preferred keyword from the user's text message and measuring the used frequency.

또한, 상기 키워드 수집 단계는 자주 사용된 선호 키워드를 추출하는 동일 키워드 추출 모듈과 선호 키워드에서 파생된 키워드를 추출하는 유사 키워드 추출 단계를 포함할 수 있다.The keyword collection step may include an identical keyword extraction module for extracting frequently used preference keywords and a similar keyword extraction step for extracting a keyword derived from the preference keyword.

또한, 상기 객체 탐색 단계는 증강현실 데이터가 저장된 증강현실 서버에서 선호 키워드와 동일 또는 유사한 데이터를 갖는 증강현실 객체를 탐색하는 서버 탐색 단계를 포함할 수 있다.In addition, the object searching step may include a server searching step of searching for an augmented reality object having the same or similar data as the preference keyword in the augmented reality server storing the augmented reality data.

또한, 상기 객체 탐색 단계는 증강현실의 화면에 나타난 객체들을 인식하는 객체 인식 단계를 포함할 수 있다.In addition, the object searching step may include an object recognizing step of recognizing objects displayed on the screen of the augmented reality.

또한, 상기 객체 탐색 단계는 상기 객체 인식 모듈에서 인식된 객체에서 선호 키워드와 관련된 객체를 추출하는 화면 탐색 단계를 포함하는 것을 특징으로 하는 소셜 네트워크 서비스를 이용한 증강현실 제공 방법.In addition, the object searching step may include a screen searching step of extracting an object related to a preferred keyword from the object recognized by the object recognizing module.

또한, 상기 키워드 수집 단계는 키워드의 출현 빈도에 따라 주요 키워드와 보조 키워드로 키워드의 등급을 설정하는 등급 설정 단계를 포함할 수 있다.The keyword collection step may include a class setting step of setting a class of a keyword as a main keyword and a secondary keyword according to the appearance frequency of the keyword.

또한, 상기 객체 탐색 단계는 사용자의 위치로부터 선호 키워드와 관련된 객체를 우선적으로 탐색하는 GPS 탐색 단계를 포함할 수 있다.In addition, the object searching step may include a GPS search step of preferentially searching an object related to a preference keyword from a user's location.

또한, 상기 출력 제어 단계는 증강현실 화면에 이미지를 삽입하여 로딩하는 이미지 로딩 단계를 포함할 수 있다.The output control step may include an image loading step of inserting and loading an image on the augmented reality screen.

또한, 상기 출력 제어 단계는 증강현실 화면에 문자를 삽입하여 로딩하는 문자 로딩 단계를 포함할 수 있다.In addition, the output control step may include a character loading step of inserting and loading a character on the augmented reality screen.

또한, 상기 출력 제어 단계는 증강현실 화면에 소리를 삽입하여 로딩하는 소리 로딩 단계를 포함할 수 있다.The output control step may include a sound loading step of inserting and loading sounds into the augmented reality screen.

또한, 상기 출력 제어 단계는 증강현실 화면에 사용자가 입력한 소셜 네크워크 컨텐츠를 삽입하여 로딩하는 컨텐츠 표시 단계를 포함할 수 있다.In addition, the output control step may include a content display step of inserting and loading the social network content inputted by the user into the augmented reality screen.

또한, 상기 출력 제어 단계는 키워드 등급에 따라 서로 다른 색상으로 증강현실 내용을 표시하는 등급 표시 단계를 포함할 수 있다.Also, the output control step may include a grading step of displaying the contents of the augmented reality in different colors according to the keyword grade.

또한, 상기 출력 제어 단계는 하나의 객체에 다수의 증강현실 데이터가 존재하는 경우, 선호 키워드 관련된 증강현실 데이터만을 로딩하는 선별 표시 모듈을 포함할 수 있다.
Also, the output control step may include a selection display module for loading only the augmented reality data related to the preference keyword when a plurality of augmented reality data exists in one object.

상기와 같이 본 발명에 따르면 소셜 네트워크 서비스에서 획득한 정보를 이용하여 증강현실을 제공함으로써 사용자가 원하는 정보를 우선적으로 제공할 수 있다.
As described above, according to the present invention, the augmented reality is provided using the information acquired in the social network service, so that the user can preferentially provide the desired information.

도 1은 본 발명의 제1 실시예에 따른 소셜 네트워크 서비스를 이용한 증강현실 제공 시스템을 설명하기 위한 개략적인 도면이다.
도 2는 본 발명의 제1 실시예에 따른 소셜 네트워크 서비스를 이용한 증강현실 제공 시스템을 도시한 구성도이다.
도 3은 본 발명의 제1 실시예에 따른 소셜 네트워크 서비스를 이용한 증강현실 제공 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 제1 실시예에 따른 소셜 네트워크 서비스를 이용한 증강현실 제공 시스템에 의하여 구현된 증강현실을 나타낸 도면이다.
도 5는 본 발명의 제2 실시예에 따른 소셜 네트워크 서비스를 이용한 증강현실 제공 시스템을 도시한 구성도이다.
도 6은 본 발명의 제2 실시예에 따른 소셜 네트워크 서비스를 이용한 증강현실 제공 방법을 설명하기 위한 순서도이다.
1 is a schematic view for explaining an augmented reality providing system using a social network service according to a first embodiment of the present invention.
2 is a block diagram illustrating an augmented reality providing system using a social network service according to a first embodiment of the present invention.
3 is a flowchart illustrating a method of providing an augmented reality using a social network service according to a first embodiment of the present invention.
4 is a view illustrating an augmented reality realized by the augmented reality providing system using the social network service according to the first embodiment of the present invention.
5 is a block diagram illustrating an augmented reality providing system using a social network service according to a second embodiment of the present invention.
6 is a flowchart illustrating a method of providing an augmented reality using a social network service according to a second embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 당업자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하여 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention can be variously modified and may have various embodiments, and specific embodiments will be described in detail with reference to the drawings. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. Terms including ordinals, such as first, second, etc., may be used to describe various elements, but the elements are not limited to these terms. The terms are used only for the purpose of distinguishing one component from another.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

이하에서는 도 1 및 도 2를 참조하여 본 발명의 제1 실시예에 따른 소셜 네트워크 서비스를 이용한 증강현실 제공 시스템에 대해서 설명한다.Hereinafter, an augmented reality providing system using a social network service according to a first embodiment of the present invention will be described with reference to FIG. 1 and FIG.

도 1은 본 발명의 제1 실시예에 따른 소셜 네트워크 서비스를 이용한 증강현실 제공 시스템을 설명하기 위한 개략적인 도면이고, 도 2는 본 발명의 제1 실시예에 따른 소셜 네트워크 서비스를 이용한 증강현실 제공 시스템을 도시한 구성도이다.FIG. 1 is a schematic view for explaining an augmented reality providing system using a social network service according to a first embodiment of the present invention, and FIG. 2 is a schematic diagram showing an augmented reality providing system using a social network service according to a first embodiment of the present invention Fig.

도 1 및 도 2를 참조하여 설명하면, 본 제1 실시예에 따른 증강현실 제공 시스템(101)은 데이터 수집부(10), 객체 탐색부(20), 출력 제어부(30), 저장부(40)를 포함한다. 1 and 2, the augmented reality providing system 101 according to the first embodiment includes a data collecting unit 10, an object searching unit 20, an output controlling unit 30, a storage unit 40 ).

본 제1 실시예에 따른 증강현실 시스템(101)은 스마트 글래스(80) 또는 VR 디스플레이를 통해서 증강현실을 제공하며, 스마트 폰, 태블릿 PC 등의 스마트 기기(70)와 스마트 글래스(80)를 이용하여 데이터를 수집하고 증강현실을 제공할 수 있다.The augmented reality system 101 according to the first embodiment provides an augmented reality through a smart glass 80 or a VR display and uses a smart device 70 such as a smart phone or a tablet PC and a smart glass 80 Thereby collecting data and providing an augmented reality.

데이터 수집부(10)는 사용자의 소셜 네트워크 서비스(SNS), 통화, 문자 메시지 등에서 사용된 데이터를 바탕으로 선호 키워드를 선정한다. 데이터 수집부(10)는 사용자가 스마트 기기(70)를 이용함에 있어서 기 설정된 기간 동안 자주 사용한 키워드를 추출한다. 또한 데이터 수집부(10)는 수집된 데이터를 수정하여 최신 키워드로 업데이트 한다.The data collection unit 10 selects a preferred keyword based on data used in a user's social network service (SNS), call, text message, and the like. The data collecting unit 10 extracts frequently used keywords for a preset period of time when the user uses the smart device 70. [ The data collecting unit 10 also updates the collected data with the latest keywords.

데이터 수집부(10)는 SNS 키워드 추출 모듈(11), 음성 키워드 추출 모듈(12), 문자 키워드 추출 모듈(13), 유사 키워드 추출 모듈(14), 등급 설정 모듈(15)을 포함한다.The data collecting unit 10 includes an SNS keyword extracting module 11, a voice keyword extracting module 12, a character keyword extracting module 13, a similar keyword extracting module 14, and a rating setting module 15.

SNS 키워드 추출 모듈(11)은 사용자의 소셜 네트워크 서비스에서 선호 키워드를 추출하고 사용된 빈도를 측정한다. 예를 들어 SNS 키워드 추출 모듈(11)은 소셜 네트워크 서비스에서 10번 이상 사용된 단어를 선호 키워드로 선정할 수 있다. The SNS keyword extraction module 11 extracts a preferred keyword from the user's social network service and measures the used frequency. For example, the SNS keyword extraction module 11 may select a word that is used more than ten times in the social network service as a preferred keyword.

SNS 키워드 추출 모듈(11)은 사용자가 소셜 네트워크 서비스에 컨텐츠를 입력할 때 단어를 추출할 수 있으며, 소셜 네트워크 서비스의 사용자 계정에 접근하여 소셜 네크워크 서비스에 등록된 데이터에서 단어를 추출할 수 있다.The SNS keyword extraction module 11 can extract words when the user inputs contents into the social network service and can extract words from the data registered in the social network service by accessing the user account of the social network service.

음성 키워드 추출 모듈(12)은 사용자의 음성 통화에서 선호 키워드를 추출하고 사용된 빈도를 측정한다. 음성 키워드 추출 모듈(12)은 스마트 기기(70)를 이용한 음성 통화에서 단어들을 수집하고 사용된 빈도를 기준으로 선호 키워드를 추출한다. 예를 들어 음성 키워드 추출 모듈(12)은 음성 통화에서 10번 이상 사용된 단어를 선호 키워드로 선정할 수 있다.The voice keyword extracting module 12 extracts a preferred keyword from the user's voice call and measures the used frequency. The voice keyword extraction module 12 collects words in a voice call using the smart device 70 and extracts a preferred keyword based on the used frequency. For example, the voice keyword extracting module 12 may select a word that is used more than ten times in a voice call as a preferred keyword.

문자 키워드 추출 모듈(13)은 사용자가 전송한 문자 메세지에서 선호 키워드를 추출하고 사용된 빈도를 측정한다. 문자 키워드 추출 모듈(13)은 스마트 기기의 문자 메시지 전송에서 단어들을 수집하고 사용된 빈도를 기준으로 선호 키워드를 추출한다. 예를 들어 문자 키워드 추출 모듈(13)은 문자 메세지에서 10번 이상 사용된 단어를 선호 키워드로 선정할 수 있다.The character keyword extracting module 13 extracts a preferred keyword from the text message transmitted by the user and measures the used frequency. The character keyword extraction module 13 collects words in the text message transmission of the smart device and extracts a preferred keyword based on the used frequency. For example, the character keyword extraction module 13 may select a word that is used more than 10 times in a text message as a preferred keyword.

유사 키워드 추출 모듈(14)은 선호 키워드에서 파생된 유사 키워드를 추출한다. 선호 키워드에서 파생된 유사 키워드라 함은 선호 키워드의 하위 개념 키워드와 선호 키워드와 유사한 의미를 갖는 키워드를 포함한다. 예를 들어 선호 키워드가 여행일 경우에는 여행과 관련된 교통, 숙박, 일정, 맛집 등이 유사 키워드로 추출될 수 있다.The similar keyword extraction module 14 extracts a similar keyword derived from the preferred keyword. The similar keyword derived from the preference keyword includes a lower concept keyword of the preference keyword and a keyword having a similar meaning to the preference keyword. For example, when the preferred keyword is a travel, the traffic, accommodation, schedule, and restaurant related to the travel can be extracted as similar keywords.

등급 설정 모듈(15)은 키워드의 출현 빈도에 따라 주요 키워드와 보조 키워드로 키워드의 등급을 설정한다. 예를 들어 등급 설정 모듈(15)은 SNS, 음성 통화, 문자 메시지에서 20번 이상 언급된 키워드를 주요 키워드로 선정하고, 10번 이상 언급된 키워드를 보조 키워드로 선정할 수 있다.The class setting module 15 sets the class of the keyword as the main keyword and the secondary keyword according to the appearance frequency of the keyword. For example, the rating setting module 15 may select keywords that are mentioned 20 or more times in the SNS, voice call, and text message as the main keywords and 10 or more keywords as the secondary keywords.

객체 탐색부(20)는 선호 키워드와 동일 또는 유사한 데이터를 갖는 증강현실 객체를 탐색한다. 증강현실 객체에는 마크가 결합되어 있으며 마크에는 증강현실 이미지 또는 텍스트가 연결되어 표시된다. 객체 탐색부(20)는 증강현실 서버(90) 또는 촬영된 화면에서 선호 데이터와 동일 또는 유사한 증강현실 데이터를 갖는 객체를 탐색한다. The object search unit 20 searches for an augmented reality object having the same or similar data as the preference keyword. The augmented reality object is connected to a mark, and the augmented reality image or text is connected to the mark and displayed. The object search unit 20 searches for objects having the same or similar augmented reality data as the preference data on the augmented reality server 90 or the photographed screen.

객체 탐색부(20)는 서버 탐색 모듈(21), 객체 인식 모듈(22), 화면 탐색 모듈(23), GPS 탐색 모듈(24)을 포함한다. 서버 탐색 모듈(21)은 증강현실 데이터가 저장된 증강현실 서버(90)에서 선호 키워드와 동일 또는 유사한 데이터를 갖는 증강현실 객체를 탐색한다.The object search unit 20 includes a server search module 21, an object recognition module 22, a screen search module 23, and a GPS search module 24. The server search module 21 searches for the augmented reality object having the same or similar data as the preference keyword in the augmented reality server 90 in which the augmented reality data is stored.

객체 인식 모듈(22)은 증강현실의 화면에 나타난 객체들을 인식하는데, 증강현실 화면에 나타난 객체들에 결합된 마커를 이용하여 객체를 인식할 수 있다. 화면 탐색 모듈(23)은 객체 인식 모듈(22)에 의하여 인식된 객체에서 선호 키워드와 관련된 증강현실 데이터를 갖는 객체를 추출한다. The object recognition module 22 recognizes the objects displayed on the screen of the augmented reality, and can recognize the objects using the markers coupled to the objects displayed on the augmented reality screen. The screen search module 23 extracts an object having augmented reality data related to the preference keyword from the object recognized by the object recognition module 22. [

GPS 탐색 모듈(24)은 사용자의 위치로부터 선호 키워드와 관련된 객체를 우선적으로 탐색한다. 증강현실 화면에 선호 키워드와 관련된 객체가 나타나지 않는 경우에는 증강현실 화면에 나타나지 않더라도 사용자가 해당 객체를 찾기를 원할 수 있으므로 GPS 탐색 모듈(24)은 가까운 위치에 있는 선호 키워드와 관련된 객체를 탐색하여 제공할 수 있다.The GPS search module 24 preferentially searches for an object associated with the preference keyword from the user's location. If the object related to the preferred keyword does not appear on the augmented reality screen, the user may desire to search for the object even if it is not displayed on the augmented reality screen. Therefore, the GPS search module 24 searches for an object related to the preference keyword can do.

출력 제어부(30)는 증강현실 기기의 화면 상에 나타난 객체에 선호 키드워드와 관련된 증강현실 데이터를 삽입하여 출력한다. 여기서 증강현실 기기는 스마트 글래스, VR 디스플레이 등이 될 수 있다.The output controller 30 inserts the augmented reality data related to the preferred KID word into the object displayed on the screen of the augmented reality device and outputs the augmented reality data. Here, the augmented reality device may be a smart glass, a VR display, or the like.

출력 제어부(30)는 이미지 로딩 모듈(31), 문자 로딩 모듈(32), 소리 로딩 모듈(33), 컨텐츠 표시 모듈(34), 등급 표시 모듈(35), 선별 표시 모듈(36)을 포함한다. The output control unit 30 includes an image loading module 31, a character loading module 32, a sound loading module 33, a content display module 34, a rating display module 35 and a selection display module 36 .

이미지 로딩 모듈(31)은 증강현실 화면에 이미지를 삽입하여 로딩한다. 이미지 로딩 모듈(31)은 증강현실 화면에 선호 키워드 관련된 이미지를 삽입하여 사용자가 선호하는 객체를 알려줄 수 있다. The image loading module 31 inserts and loads an image on the augmented reality screen. The image loading module 31 may insert a favorite keyword related image into the augmented reality screen to inform the user of a preferred object.

문자 로딩 모듈(32)은 증강현실 화면에 문자를 삽입하여 로딩한다. 문자 로딩 모듈(32)은 증강현실 화면에 선호 키워드 관련된 문자를 삽입하여 사용자가 선호하는 객체를 알려줄 수 있다.The character loading module 32 inserts and loads characters on the augmented reality screen. The character loading module 32 may insert a character associated with a preference keyword on the augmented reality screen to inform the user of a preferred object.

소리 로딩 모듈(33)은 증강현실 화면에 소리를 삽입하여 로딩한다. 소리 로딩 모듈(33)은 증강현실 화면에 선호 키워드와 관련된 객체가 있음을 소리로 알려줄 수 있다.The sound loading module 33 inserts sound into the augmented reality screen and loads the sound. The sound loading module 33 may inform the augmented reality screen that there is an object related to the preferred keyword on the augmented reality screen.

컨텐츠 표시 모듈(34)은 증강현실 화면에 사용자가 입력한 소셜 네크워크 컨텐츠를 삽입하여 로딩한다. 컨텐츠 표시 모듈(34)은 증강현실 화면에 사용자가 소셜 네크워크 서비스에 입력한 컨텐츠의 전부 또는 일부를 삽입하여 사용자가 선호하는 객체를 즉각적으로 인식할 수 있도록 할 수 있다.The content display module 34 inserts and loads the social network content input by the user into the augmented reality screen. The content display module 34 may insert all or a part of the content input by the user into the social network service on the augmented reality screen so that the user can instantly recognize the preferred object.

등급 표시 모듈(35)은 키워드 등급에 따라 서로 다른 색상으로 증강현실 내용을 표시한다. 등급 표시 모듈(35)은 높은 등급의 선호 키워드가 우선적으로 보여질 수 있도록 서로 다른 색상으로 증강현실 내용을 표시한다.The rating display module 35 displays the contents of the augmented reality in different colors according to the keyword rank. The rating display module 35 displays the contents of the augmented reality in different colors so that a high-grade preferred keyword can be preferentially displayed.

선별 표시 모듈(36)은 하나의 객체에 다수의 증강현실 데이터가 존재하는 경우, 선호 키워드 관련된 증강현실 데이터만을 로딩한다. 하나의 건물에 다수의 상점이 존재하고 이에 대한 다수의 증강현실 데이터가 존재하는 경우, 선별 표시 모듈은 사용자가 명확하게 인식할 수 있도록 선호 선호 키워드 관련된 증강현실 데이터만을 로딩한다If there are a plurality of augmented reality data in one object, the selection display module 36 loads only the augmented reality data related to the preference keyword. When there are a plurality of shops in one building and a plurality of augmented reality data exists, the selection display module loads only the augmented reality data related to the preference preference keyword so that the user can clearly recognize

저장부(40)는 데이터 수집부(10)에서 수집된 선호 키워드를 서버 또는 스마트 기기의 저장 매체에 저장한다.The storage unit 40 stores the preference keywords collected by the data collection unit 10 in a storage medium of a server or a smart device.

도 4에 도시된 바와 같이 본 제1 실시예에 따른 증강현실 제공 시스템(101)은 하나의 화면에 다양한 증강현실 데이터가 존재하는 경우에 선호 키워드와 관련된 증강현실 데이터를 우선적으로 로딩하여 불필요한 정보는 제거하고 사용자가 원하는 우선적으로 제공할 수 있다.As shown in FIG. 4, the augmented reality providing system 101 according to the first embodiment preferentially loads the augmented reality data associated with a preference keyword when various augmented reality data exists on one screen, You can remove it and give it to users first.

이하에서는 본 발명의 제1 실시예에 따른 소셜 네트워크 서비스를 이용한 증강현실 제공 방법에 대해서 설명한다. 도 3은 본 발명의 제1 실시예에 따른 소셜 네트워크 서비스를 이용한 증강현실 제공 방법을 설명하기 위한 순서도이다.Hereinafter, a method for providing an augmented reality using a social network service according to a first embodiment of the present invention will be described. 3 is a flowchart illustrating a method of providing an augmented reality using a social network service according to a first embodiment of the present invention.

도 1 내지 도 3을 참조하여 설명하면, 본 제1 실시예에 따른 증강현실 제공 방법은 키워드 수집 단계(S101), 저장 단계(S102), 객체 탐색 단계(S103), 출력 제어 단계(S104)를 포함한다.1 to 3, the method of providing an augmented reality according to the first embodiment includes a keyword collection step S101, a storage step S102, an object search step S103, and an output control step S104 .

키워드 수집 단계(S101)는 사용자의 소셜 네트워크 서비스(SNS), 통화, 문자 메시지 등에서 사용된 데이터를 바탕으로 선호 키워드를 선정한다. 키워드 수집 단계(S101)는 사용자가 스마트 기기(70)를 이용함에 있어서 기 설정된 기간 동안 자주 사용한 키워드를 추출한다. 또한 키워드 수집 단계(S101)는 수집된 데이터를 수정하여 최신 키워드로 업데이트 한다.The keyword collection step (S101) selects a preferred keyword based on data used in a user's social network service (SNS), call, text message, and the like. The keyword collection step (S101) extracts frequently used keywords during a predetermined period when the user uses the smart device (70). Also, the keyword collection step (S101) updates the collected data with the latest keyword.

키워드 수집 단계(S101)는 SNS 키워드 추출 단계, 음성 키워드 추출 단계, 문자 키워드 추출 단계, 유사 키워드 추출 단계, 등급 설정 단계를 포함한다.The keyword collection step S101 includes an SNS keyword extraction step, a voice keyword extraction step, a character keyword extraction step, a similar keyword extraction step, and a rating setting step.

SNS 키워드 추출 단계는 사용자의 소셜 네트워크 서비스에서 선호 키워드를 추출하고 사용된 빈도를 측정한다. 예를 들어 SNS 키워드 추출 단계는 소셜 네트워크 서비스에서 10번 이상 사용된 단어를 선호 키워드로 선정할 수 있다. The SNS keyword extraction step extracts a preferred keyword from the user's social network service and measures the used frequency. For example, in the SNS keyword extraction step, a keyword that is used more than 10 times in the social network service can be selected as a preferred keyword.

SNS 키워드 추출 단계는 사용자가 소셜 네트워크 서비스에 컨텐츠를 입력할 때 단어를 추출할 수 있으며, 소셜 네트워크 서비스의 사용자 계정에 접근하여 소셜 네크워크 서비스에 등록된 데이터에서 단어를 추출할 수 있다.The SNS keyword extraction step can extract words when the user inputs contents into the social network service, and can extract words from the data registered in the social network service by accessing the user account of the social network service.

음성 키워드 추출 단계는 사용자의 음성 통화에서 선호 키워드를 추출하고 사용된 빈도를 측정한다. 음성 키워드 추출 는 스마트 기기(70)를 이용한 음성 통화에서 단어들을 수집하고 사용된 빈도를 기준으로 선호 키워드를 추출한다. 예를 들어 음성 키워드 추출 단계는 음성 통화에서 10번 이상 사용된 단어를 선호 키워드로 선정할 수 있다.The voice keyword extracting step extracts a preferred keyword from the user's voice call and measures the used frequency. The voice keyword extraction collects words in a voice call using the smart device 70 and extracts a preferred keyword based on the used frequency. For example, in the voice keyword extracting step, a word used more than 10 times in a voice call can be selected as a preferred keyword.

문자 키워드 추출 단계는 사용자가 전송한 문자 메세지에서 선호 키워드를 추출하고 사용된 빈도를 측정한다. 문자 키워드 추출 단계는 스마트 기기의 문자 메시지 전송에서 단어들을 수집하고 사용된 빈도를 기준으로 선호 키워드를 추출한다. 예를 들어 문자 키워드 추출 단계(13)은 문자 메세지에서 10번 이상 사용된 단어를 선호 키워드로 선정할 수 있다.In the character keyword extraction step, a preferred keyword is extracted from a text message transmitted by the user and the used frequency is measured. In the character keyword extraction step, the words are collected in the text message transmission of the smart device and the preferred keywords are extracted based on the used frequency. For example, in the character keyword extracting step 13, a word used more than ten times in a text message may be selected as a preferred keyword.

유사 키워드 추출 단계는 선호 키워드에서 파생된 유사 키워드를 추출한다. 선호 키워드에서 파생된 유사 키워드라 함은 선호 키워드의 하위 개념 키워드와 선호 키워드와 유사한 의미를 갖는 키워드를 포함한다. 예를 들어 선호 키워드가 여행일 경우에는 여행과 관련된 교통, 숙박, 일정, 맛집 등이 유사 키워드로 추출될 수 있다.The similar keyword extraction step extracts a similar keyword derived from the preferred keyword. The similar keyword derived from the preference keyword includes a lower concept keyword of the preference keyword and a keyword having a similar meaning to the preference keyword. For example, when the preferred keyword is a travel, the traffic, accommodation, schedule, and restaurant related to the travel can be extracted as similar keywords.

등급 설정 단계는 키워드의 출현 빈도에 따라 주요 키워드와 보조 키워드로 키워드의 등급을 설정한다. 예를 들어 등급 설정 단계는 SNS, 음성 통화, 문자 메시지에서 20번 이상 언급된 키워드를 주요 키워드로 선정하고, 10번 이상 언급된 키워드를 보조 키워드로 선정할 수 있다.In the rating step, the keyword is classified into the main keyword and the secondary keyword according to the appearance frequency of the keyword. For example, in the grading step, the keywords mentioned above in the SNS, voice call, and text message may be selected as the main keywords, and the keywords mentioned in the 10 or more times may be selected as the secondary keywords.

저장 단계(S102)는 데이터 수집부(10)에서 수집된 선호 키워드를 서버 또는 스마트 기기의 저장 매체에 저장한다.In the storing step (S102), the preference keyword collected by the data collecting unit 10 is stored in a storage medium of the server or the smart device.

객체 탐색 단계(S103)는 선호 키워드와 동일 또는 유사한 데이터를 갖는 증강현실 객체를 탐색한다. 증강현실 객체에는 마크가 결합되어 있으며 마크에는 증강현실 이미지 또는 텍스트가 연결되어 표시된다. 객체 탐색 단계(S103)는 증강현실 서버(90) 또는 촬영된 화면에서 선호 데이터와 동일 또는 유사한 증강현실 데이터를 갖는 객체를 탐색한다. The object searching step (S103) searches for an augmented reality object having the same or similar data as the preference keyword. The augmented reality object is connected to a mark, and the augmented reality image or text is connected to the mark and displayed. The object searching step S103 searches for objects having the same or similar augmented reality data as the preference data on the augmented reality server 90 or the photographed screen.

객체 탐색 단계(S103)는 서버 탐색 단계, 객체 인식 단계, 화면 탐색 단계, GPS 탐색 단계를 포함한다. 서버 탐색 단계는 증강현실 데이터가 저장된 증강현실 서버(90)에서 선호 키워드와 동일 또는 유사한 데이터를 갖는 증강현실 객체를 탐색한다.The object search step S103 includes a server search step, an object recognition step, a screen search step, and a GPS search step. The server searching step searches for augmented reality objects having the same or similar data as the preference keywords in the augmented reality server 90 in which the augmented reality data is stored.

객체 인식 단계는 증강현실의 화면에 나타난 객체들을 인식하는데, 증강현실 화면에 나타난 객체들에 결합된 마커를 이용하여 객체를 인식할 수 있다. 화면 탐색 단계는 객체 인식 단계에서 의하여 인식된 객체에서 선호 키워드와 관련된 증강현실 데이터를 갖는 객체를 추출한다. The object recognition step recognizes the objects displayed on the augmented reality screen, and recognizes the objects using the markers coupled to the objects displayed on the augmented reality screen. The screen searching step extracts an object having augmented reality data related to a preference keyword from the object recognized by the object recognition step.

GPS 탐색 단계는 사용자의 위치로부터 선호 키워드와 관련된 객체를 우선적으로 탐색한다. 증강현실 화면에 선호 키워드와 관련된 객체가 나타나지 않는 경우에는 증강현실 화면에 나타나지 않더라도 사용자가 해당 객체를 찾기를 원할 수 있으므로 GPS 탐색 단계는 가까운 위치에 있는 선호 키워드와 관련된 객체를 탐색하여 제공할 수 있다.The GPS search step preferentially searches for an object associated with the preferred keyword from the user's location. If the object related to the preferred keyword does not appear on the augmented reality screen, the user may want to search for the object even if it is not displayed on the augmented reality screen. Therefore, the GPS search step can search for and provide an object related to the preference keyword .

출력 제어 단계(S104)는 증강현실 기기의 화면 상에 나타난 객체에 선호 키드워드와 관련된 증강현실 데이터를 삽입하여 출력한다. 여기서 증강현실 기기는 스마트 글래스, VR 디스플레이 등이 될 수 있다.The output control step (S104) inserts the augmented reality data related to the preferred KID word into an object displayed on the screen of the augmented reality device and outputs the augmented reality data. Here, the augmented reality device may be a smart glass, a VR display, or the like.

출력 제어 단계(S104)는 이미지 로딩 단계, 문자 로딩 단계, 소리 로딩 단계, 컨텐츠 표시 단계, 등급 표시 단계, 선별 표시 단계를 포함한다. The output control step S104 includes an image loading step, a character loading step, a sound loading step, a content display step, a rating display step, and a selective display step.

이미지 로딩 단계는 증강현실 화면에 이미지를 삽입하여 로딩한다. 이미지 로딩 단계는 증강현실 화면에 선호 키워드 관련된 이미지를 삽입하여 사용자가 선호하는 객체를 알려줄 수 있다. The image loading step inserts an image on the augmented reality screen and loads the image. The image loading step may inform the user of a preferred object by inserting an image related to the preferred keyword on the augmented reality screen.

문자 로딩 단계는 증강현실 화면에 문자를 삽입하여 로딩한다. 문자 로딩 단계는 증강현실 화면에 선호 키워드 관련된 문자를 삽입하여 사용자가 선호하는 객체를 알려줄 수 있다.In the character loading step, characters are inserted and loaded on the augmented reality screen. In the character loading step, the user may be informed of the preferred object by inserting characters related to the preferred keyword on the augmented reality screen.

소리 로딩 단계는 증강현실 화면에 소리를 삽입하여 로딩한다. 소리 로딩 단계는 증강현실 화면에 선호 키워드와 관련된 객체가 있음을 소리로 알려줄 수 있다.The sound loading step inserts the sound into the augmented reality screen and loads it. The sound loading step may inform the augmented reality screen that there is an object related to the preferred keyword on the augmented reality screen.

컨텐츠 표시 단계는 증강현실 화면에 사용자가 입력한 소셜 네크워크 컨텐츠를 삽입하여 로딩한다. 컨텐츠 표시 단계는 증강현실 화면에 사용자가 소셜 네크워크 서비스에 입력한 컨텐츠의 전부 또는 일부를 삽입하여 사용자가 선호하는 객체를 즉각적으로 인식할 수 있도록 할 수 있다.The contents display step inserts and loads the social network contents inputted by the user into the augmented reality screen. In the content display step, all or a part of the content input by the user into the social network service may be inserted into the augmented reality screen so that the user can instantly recognize a preferred object.

등급 표시 단계는 키워드 등급에 따라 서로 다른 색상으로 증강현실 내용을 표시한다. 등급 표시 단계는 높은 등급의 선호 키워드가 우선적으로 보여질 수 있도록 서로 다른 색상으로 증강현실 내용을 표시한다.The grading step displays the augmented reality contents in different colors according to the keyword rank. The grading step displays the contents of the augmented reality in different colors so that a high-grade preferred keyword is preferentially displayed.

선별 표시 단계는 하나의 객체에 다수의 증강현실 데이터가 존재하는 경우, 선호 키워드 관련된 증강현실 데이터만을 로딩한다. 하나의 건물에 다수의 상점이 존재하고 이에 대한 다수의 증강현실 데이터가 존재하는 경우, 선별 표시 단계는 사용자가 명확하게 인식할 수 있도록 선호 선호 키워드 관련된 증강현실 데이터만을 로딩한다In the selection display step, when a plurality of augmented reality data exists in one object, only the augmented reality data related to the preference keyword is loaded. When there are a plurality of stores in one building and a plurality of augmented reality data exists, the selective display step loads only the augmented reality data related to the preference preference keyword so that the user can clearly recognize

이하에서는 본 발명의 제2 실시예에 따른 소셜 네트워크 서비스를 이용한 증강현실 제공 시스템에 대해서 설명한다. 도 5는 본 발명의 제2 실시예에 따른 소셜 네트워크 서비스를 이용한 증강현실 제공 시스템을 도시한 구성도이다.Hereinafter, an augmented reality providing system using a social network service according to a second embodiment of the present invention will be described. 5 is a block diagram illustrating an augmented reality providing system using a social network service according to a second embodiment of the present invention.

도 5를 참조하여 설명하면, 본 제2 실시예에 따른 증강현실 제공 시스템(102)은 데이터 수집부(10), 객체 탐색부(20), 출력 제어부(30), 저장부(40), 모드 제어부(50)를 포함한다. 5, the augmented reality providing system 102 according to the second embodiment includes a data collection unit 10, an object search unit 20, an output control unit 30, a storage unit 40, a mode And a control unit 50.

본 제2 실시예에 따른 증강현실 시스템(102)은 스마트 글래스(80) 또는 VR 디스플레이를 통해서 증강현실을 제공하며, 스마트 폰, 태블릿 PC 등의 스마트 기기(70)와 스마트 글래스(80)를 이용하여 데이터를 수집하고 증강현실을 제공할 수 있다.The augmented reality system 102 according to the second embodiment provides an augmented reality through a smart glass 80 or a VR display and uses a smart device 70 such as a smart phone or a tablet PC and a smart glass 80 Thereby collecting data and providing an augmented reality.

데이터 수집부(10)는 사용자의 소셜 네트워크 서비스(SNS), 통화, 문자 메시지 등에서 사용된 데이터를 바탕으로 선호 키워드를 선정한다. 데이터 수집부(10)는 사용자가 스마트 기기(70)를 이용함에 있어서 기 설정된 기간 동안 자주 사용한 키워드를 추출한다. 또한 데이터 수집부(10)는 수집된 데이터를 수정하여 최신 키워드로 업데이트 한다.The data collection unit 10 selects a preferred keyword based on data used in a user's social network service (SNS), call, text message, and the like. The data collecting unit 10 extracts frequently used keywords for a preset period of time when the user uses the smart device 70. [ The data collecting unit 10 also updates the collected data with the latest keywords.

데이터 수집부(10)는 SNS 키워드 추출 모듈(11), 음성 키워드 추출 모듈(12), 문자 키워드 추출 모듈(13), 유사 키워드 추출 모듈(14), 등급 설정 모듈(15)을 포함한다.The data collecting unit 10 includes an SNS keyword extracting module 11, a voice keyword extracting module 12, a character keyword extracting module 13, a similar keyword extracting module 14, and a rating setting module 15.

SNS 키워드 추출 모듈(11)은 사용자의 소셜 네트워크 서비스에서 선호 키워드를 추출하고 사용된 빈도를 측정한다. 예를 들어 SNS 키워드 추출 모듈(11)은 소셜 네트워크 서비스에서 10번 이상 사용된 단어를 선호 키워드로 선정할 수 있다. The SNS keyword extraction module 11 extracts a preferred keyword from the user's social network service and measures the used frequency. For example, the SNS keyword extraction module 11 may select a word that is used more than ten times in the social network service as a preferred keyword.

SNS 키워드 추출 모듈(11)은 사용자가 소셜 네트워크 서비스에 컨텐츠를 입력할 때 단어를 추출할 수 있으며, 소셜 네트워크 서비스의 사용자 계정에 접근하여 소셜 네크워크 서비스에 등록된 데이터에서 단어를 추출할 수 있다.The SNS keyword extraction module 11 can extract words when the user inputs contents into the social network service and can extract words from the data registered in the social network service by accessing the user account of the social network service.

음성 키워드 추출 모듈(12)은 사용자의 음성 통화에서 선호 키워드를 추출하고 사용된 빈도를 측정한다. 음성 키워드 추출 모듈(12)은 스마트 기기(70)를 이용한 음성 통화에서 단어들을 수집하고 사용된 빈도를 기준으로 선호 키워드를 추출한다. 예를 들어 음성 키워드 추출 모듈(12)은 음성 통화에서 10번 이상 사용된 단어를 선호 키워드로 선정할 수 있다.The voice keyword extracting module 12 extracts a preferred keyword from the user's voice call and measures the used frequency. The voice keyword extraction module 12 collects words in a voice call using the smart device 70 and extracts a preferred keyword based on the used frequency. For example, the voice keyword extracting module 12 may select a word that is used more than ten times in a voice call as a preferred keyword.

문자 키워드 추출 모듈(13)은 사용자가 전송한 문자 메세지에서 선호 키워드를 추출하고 사용된 빈도를 측정한다. 문자 키워드 추출 모듈(13)은 스마트 기기의 문자 메시지 전송에서 단어들을 수집하고 사용된 빈도를 기준으로 선호 키워드를 추출한다. 예를 들어 문자 키워드 추출 모듈(13)은 문자 메세지에서 10번 이상 사용된 단어를 선호 키워드로 선정할 수 있다.The character keyword extracting module 13 extracts a preferred keyword from the text message transmitted by the user and measures the used frequency. The character keyword extraction module 13 collects words in the text message transmission of the smart device and extracts a preferred keyword based on the used frequency. For example, the character keyword extraction module 13 may select a word that is used more than 10 times in a text message as a preferred keyword.

유사 키워드 추출 모듈(14)은 선호 키워드에서 파생된 유사 키워드를 추출한다. 선호 키워드에서 파생된 유사 키워드라 함은 선호 키워드의 하위 개념 키워드와 선호 키워드와 유사한 의미를 갖는 키워드를 포함한다. 예를 들어 선호 키워드가 여행일 경우에는 여행과 관련된 교통, 숙박, 일정, 맛집 등이 유사 키워드로 추출될 수 있다.The similar keyword extraction module 14 extracts a similar keyword derived from the preferred keyword. The similar keyword derived from the preference keyword includes a lower concept keyword of the preference keyword and a keyword having a similar meaning to the preference keyword. For example, when the preferred keyword is a travel, the traffic, accommodation, schedule, and restaurant related to the travel can be extracted as similar keywords.

등급 설정 모듈(15)은 키워드의 출현 빈도에 따라 주요 키워드와 보조 키워드로 키워드의 등급을 설정한다. 예를 들어 등급 설정 모듈(15)은 SNS, 음성 통화, 문자 메시지에서 20번 이상 언급된 키워드를 주요 키워드로 선정하고, 10번 이상 언급된 키워드를 보조 키워드로 선정할 수 있다.The class setting module 15 sets the class of the keyword as the main keyword and the secondary keyword according to the appearance frequency of the keyword. For example, the rating setting module 15 may select keywords that are mentioned 20 or more times in the SNS, voice call, and text message as the main keywords and 10 or more keywords as the secondary keywords.

객체 탐색부(20)는 선호 키워드와 동일 또는 유사한 데이터를 갖는 증강현실 객체를 탐색한다. 증강현실 객체에는 마크가 결합되어 있으며 마크에는 증강현실 이미지 또는 텍스트가 연결되어 표시된다. 객체 탐색부(20)는 증강현실 서버(90) 또는 촬영된 화면에서 선호 데이터와 동일 또는 유사한 증강현실 데이터를 갖는 객체를 탐색한다. The object search unit 20 searches for an augmented reality object having the same or similar data as the preference keyword. The augmented reality object is connected to a mark, and the augmented reality image or text is connected to the mark and displayed. The object search unit 20 searches for objects having the same or similar augmented reality data as the preference data on the augmented reality server 90 or the photographed screen.

객체 탐색부(20)는 서버 탐색 모듈(21), 객체 인식 모듈(22), 화면 탐색 모듈(23), GPS 탐색 모듈(24)을 포함한다. 서버 탐색 모듈(21)은 증강현실 데이터가 저장된 증강현실 서버(90)에서 선호 키워드와 동일 또는 유사한 데이터를 갖는 증강현실 객체를 탐색한다.The object search unit 20 includes a server search module 21, an object recognition module 22, a screen search module 23, and a GPS search module 24. The server search module 21 searches for the augmented reality object having the same or similar data as the preference keyword in the augmented reality server 90 in which the augmented reality data is stored.

객체 인식 모듈(22)은 증강현실의 화면에 나타난 객체들을 인식하는데, 증강현실 화면에 나타난 객체들에 결합된 마커를 이용하여 객체를 인식할 수 있다. 화면 탐색 모듈(23)은 객체 인식 모듈(22)에 의하여 인식된 객체에서 선호 키워드와 관련된 증강현실 데이터를 갖는 객체를 추출한다. The object recognition module 22 recognizes the objects displayed on the screen of the augmented reality, and can recognize the objects using the markers coupled to the objects displayed on the augmented reality screen. The screen search module 23 extracts an object having augmented reality data related to the preference keyword from the object recognized by the object recognition module 22. [

GPS 탐색 모듈(24)은 사용자의 위치로부터 선호 키워드와 관련된 객체를 우선적으로 탐색한다. 증강현실 화면에 선호 키워드와 관련된 객체가 나타나지 않는 경우에는 증강현실 화면에 나타나지 않더라도 사용자가 해당 객체를 찾기를 원할 수 있으므로 GPS 탐색 모듈(24)은 가까운 위치에 있는 선호 키워드와 관련된 객체를 탐색하여 제공할 수 있다.The GPS search module 24 preferentially searches for an object associated with the preference keyword from the user's location. If the object related to the preferred keyword does not appear on the augmented reality screen, the user may desire to search for the object even if it is not displayed on the augmented reality screen. Therefore, the GPS search module 24 searches for an object related to the preference keyword can do.

출력 제어부(30)는 증강현실 기기의 화면 상에 나타난 객체에 선호 키드워드와 관련된 증강현실 데이터를 삽입하여 출력한다. 여기서 증강현실 기기는 스마트 글래스, VR 디스플레이 등이 될 수 있다.The output controller 30 inserts the augmented reality data related to the preferred KID word into the object displayed on the screen of the augmented reality device and outputs the augmented reality data. Here, the augmented reality device may be a smart glass, a VR display, or the like.

출력 제어부(30)는 이미지 로딩 모듈(31), 문자 로딩 모듈(32), 소리 로딩 모듈(33), 컨텐츠 표시 모듈(34), 등급 표시 모듈(35), 선별 표시 모듈(36)을 포함한다. The output control unit 30 includes an image loading module 31, a character loading module 32, a sound loading module 33, a content display module 34, a rating display module 35 and a selection display module 36 .

이미지 로딩 모듈(31)은 증강현실 화면에 이미지를 삽입하여 로딩한다. 이미지 로딩 모듈(31)은 증강현실 화면에 선호 키워드 관련된 이미지를 삽입하여 사용자가 선호하는 객체를 알려줄 수 있다. The image loading module 31 inserts and loads an image on the augmented reality screen. The image loading module 31 may insert a favorite keyword related image into the augmented reality screen to inform the user of a preferred object.

문자 로딩 모듈(32)은 증강현실 화면에 문자를 삽입하여 로딩한다. 문자 로딩 모듈(32)은 증강현실 화면에 선호 키워드 관련된 문자를 삽입하여 사용자가 선호하는 객체를 알려줄 수 있다.The character loading module 32 inserts and loads characters on the augmented reality screen. The character loading module 32 may insert a character associated with a preference keyword on the augmented reality screen to inform the user of a preferred object.

소리 로딩 모듈(33)은 증강현실 화면에 소리를 삽입하여 로딩한다. 소리 로딩 모듈(33)은 증강현실 화면에 선호 키워드와 관련된 객체가 있음을 소리로 알려줄 수 있다.The sound loading module 33 inserts sound into the augmented reality screen and loads the sound. The sound loading module 33 may inform the augmented reality screen that there is an object related to the preferred keyword on the augmented reality screen.

컨텐츠 표시 모듈(34)은 증강현실 화면에 사용자가 입력한 소셜 네크워크 컨텐츠를 삽입하여 로딩한다. 컨텐츠 표시 모듈(34)은 증강현실 화면에 사용자가 소셜 네크워크 서비스에 입력한 컨텐츠의 전부 또는 일부를 삽입하여 사용자가 선호하는 객체를 즉각적으로 인식할 수 있도록 할 수 있다.The content display module 34 inserts and loads the social network content input by the user into the augmented reality screen. The content display module 34 may insert all or a part of the content input by the user into the social network service on the augmented reality screen so that the user can instantly recognize the preferred object.

등급 표시 모듈(35)은 키워드 등급에 따라 서로 다른 색상으로 증강현실 내용을 표시한다. 등급 표시 모듈(35)은 높은 등급의 선호 키워드가 우선적으로 보여질 수 있도록 서로 다른 색상으로 증강현실 내용을 표시한다.The rating display module 35 displays the contents of the augmented reality in different colors according to the keyword rank. The rating display module 35 displays the contents of the augmented reality in different colors so that a high-grade preferred keyword can be preferentially displayed.

선별 표시 모듈(36)은 하나의 객체에 다수의 증강현실 데이터가 존재하는 경우, 선호 키워드 관련된 증강현실 데이터만을 로딩한다. 하나의 건물에 다수의 상점이 존재하고 이에 대한 다수의 증강현실 데이터가 존재하는 경우, 선별 표시 모듈은 사용자가 명확하게 인식할 수 있도록 선호 선호 키워드 관련된 증강현실 데이터만을 로딩한다If there are a plurality of augmented reality data in one object, the selection display module 36 loads only the augmented reality data related to the preference keyword. When there are a plurality of shops in one building and a plurality of augmented reality data exists, the selection display module loads only the augmented reality data related to the preference preference keyword so that the user can clearly recognize

저장부(40)는 데이터 수집부(10)에서 수집된 선호 키워드를 서버 또는 스마트 기기의 저장 매체에 저장한다.The storage unit 40 stores the preference keywords collected by the data collection unit 10 in a storage medium of a server or a smart device.

모드 제어부(50)는 선호 키워드들 중에서 사용자가 지정한 선호 키워드에 관련된 증강현실 데이터를 우선적으로 로딩시킨다. 또한 모드 제어부(50)는 사용자가 지정한 키워드의 범주에 포함된 선호 키워드들을 추출하고 추출된 키워드들에 관련된 증강현실 데이터를 우선적으로 로딩시킬 수 있다.The mode control unit 50 preferentially loads the augmented reality data related to the preference keyword designated by the user among the preference keywords. Also, the mode control unit 50 may extract preference keywords included in the category of the keyword specified by the user and preferentially load the augmented reality data related to the extracted keywords.

사용자는 음성 또는 터치 입력을 통해서 선호 키워드를 지정할 수 있으며, 모드 제어부(50)는 사용자가 지정한 선호 키워드에 관련된 증강현실 데이터를 우선적으로 로딩시킨다. The user can designate the preferred keyword through voice or touch input, and the mode control unit 50 preferentially loads the augmented reality data related to the user-designated preference keyword.

예를 들어 사용자가 여행 중에 긴급하게 환전소를 찾는 경우, 사용자가 선호 키워드로 환전소를 지정하면 증강현실 화면에서 환전소에 관한 데이터가 우선적으로 로딩된다.For example, when the user urgently searches for a foreign exchange place while traveling, if the user designates a foreign exchange place as a preferred keyword, the data on the foreign exchange place is preferentially loaded on the augmented reality screen.

이하에서는 본 발명의 제2 실시예에 따른 소셜 네트워크 서비스를 이용한 증강현실 제공 방법에 대해서 설명한다. 도 6은 본 발명의 제2 실시예에 따른 소셜 네트워크 서비스를 이용한 증강현실 제공 방법을 설명하기 위한 순서도이다.Hereinafter, a method for providing an augmented reality using a social network service according to a second embodiment of the present invention will be described. 6 is a flowchart illustrating a method of providing an augmented reality using a social network service according to a second embodiment of the present invention.

도 5 및 도 6을 참조하여 설명하면, 본 제2 실시예에 따른 증강현실 제공 방법은 키워드 수집 단계(S201), 저장 단계(S202), 모드 제어 단계(S203), 객체 탐색 단계(S204), 출력 제어 단계(S205)를 포함한다.5 and 6, the method for providing an augmented reality according to the second embodiment includes a keyword collection step S201, a storage step S202, a mode control step S203, an object search step S204, And an output control step (S205).

키워드 수집 단계(S201)는 사용자의 소셜 네트워크 서비스(SNS), 통화, 문자 메시지 등에서 사용된 데이터를 바탕으로 선호 키워드를 선정한다. 키워드 수집 단계(S201)는 사용자가 스마트 기기(70)를 이용함에 있어서 기 설정된 기간 동안 자주 사용한 키워드를 추출한다. 또한 키워드 수집 단계(S201)는 수집된 데이터를 수정하여 최신 키워드로 업데이트 한다.The keyword collection step (S201) selects a preferred keyword based on data used in a user's social network service (SNS), call, text message, and the like. The keyword collection step (S201) extracts frequently used keywords during a predetermined period when the user uses the smart device (70). Also, the keyword collection step (S201) updates the collected data with the latest keyword.

키워드 수집 단계(S201)는 SNS 키워드 추출 단계, 음성 키워드 추출 단계, 문자 키워드 추출 단계, 유사 키워드 추출 단계, 등급 설정 단계를 포함한다.The keyword collection step S201 includes an SNS keyword extraction step, a voice keyword extraction step, a character keyword extraction step, a similar keyword extraction step, and a rating setting step.

SNS 키워드 추출 단계는 사용자의 소셜 네트워크 서비스에서 선호 키워드를 추출하고 사용된 빈도를 측정한다. 예를 들어 SNS 키워드 추출 단계는 소셜 네트워크 서비스에서 10번 이상 사용된 단어를 선호 키워드로 선정할 수 있다. The SNS keyword extraction step extracts a preferred keyword from the user's social network service and measures the used frequency. For example, in the SNS keyword extraction step, a keyword that is used more than 10 times in the social network service can be selected as a preferred keyword.

SNS 키워드 추출 단계는 사용자가 소셜 네트워크 서비스에 컨텐츠를 입력할 때 단어를 추출할 수 있으며, 소셜 네트워크 서비스의 사용자 계정에 접근하여 소셜 네크워크 서비스에 등록된 데이터에서 단어를 추출할 수 있다.The SNS keyword extraction step can extract words when the user inputs contents into the social network service, and can extract words from the data registered in the social network service by accessing the user account of the social network service.

음성 키워드 추출 단계는 사용자의 음성 통화에서 선호 키워드를 추출하고 사용된 빈도를 측정한다. 음성 키워드 추출 는 스마트 기기(70)를 이용한 음성 통화에서 단어들을 수집하고 사용된 빈도를 기준으로 선호 키워드를 추출한다. 예를 들어 음성 키워드 추출 단계는 음성 통화에서 10번 이상 사용된 단어를 선호 키워드로 선정할 수 있다.The voice keyword extracting step extracts a preferred keyword from the user's voice call and measures the used frequency. The voice keyword extraction collects words in a voice call using the smart device 70 and extracts a preferred keyword based on the used frequency. For example, in the voice keyword extracting step, a word used more than 10 times in a voice call can be selected as a preferred keyword.

문자 키워드 추출 단계는 사용자가 전송한 문자 메세지에서 선호 키워드를 추출하고 사용된 빈도를 측정한다. 문자 키워드 추출 단계는 스마트 기기의 문자 메시지 전송에서 단어들을 수집하고 사용된 빈도를 기준으로 선호 키워드를 추출한다. 예를 들어 문자 키워드 추출 단계(13)은 문자 메세지에서 10번 이상 사용된 단어를 선호 키워드로 선정할 수 있다.In the character keyword extraction step, a preferred keyword is extracted from a text message transmitted by the user and the used frequency is measured. In the character keyword extraction step, the words are collected in the text message transmission of the smart device and the preferred keywords are extracted based on the used frequency. For example, in the character keyword extracting step 13, a word used more than ten times in a text message may be selected as a preferred keyword.

유사 키워드 추출 단계는 선호 키워드에서 파생된 유사 키워드를 추출한다. 선호 키워드에서 파생된 유사 키워드라 함은 선호 키워드의 하위 개념 키워드와 선호 키워드와 유사한 의미를 갖는 키워드를 포함한다. 예를 들어 선호 키워드가 여행일 경우에는 여행과 관련된 교통, 숙박, 일정, 맛집 등이 유사 키워드로 추출될 수 있다.The similar keyword extraction step extracts a similar keyword derived from the preferred keyword. The similar keyword derived from the preference keyword includes a lower concept keyword of the preference keyword and a keyword having a similar meaning to the preference keyword. For example, when the preferred keyword is a travel, the traffic, accommodation, schedule, and restaurant related to the travel can be extracted as similar keywords.

등급 설정 단계는 키워드의 출현 빈도에 따라 주요 키워드와 보조 키워드로 키워드의 등급을 설정한다. 예를 들어 등급 설정 단계는 SNS, 음성 통화, 문자 메시지에서 20번 이상 언급된 키워드를 주요 키워드로 선정하고, 10번 이상 언급된 키워드를 보조 키워드로 선정할 수 있다.In the rating step, the keyword is classified into the main keyword and the secondary keyword according to the appearance frequency of the keyword. For example, in the grading step, the keywords mentioned above in the SNS, voice call, and text message may be selected as the main keywords, and the keywords mentioned in the 10 or more times may be selected as the secondary keywords.

저장 단계(S202)는 데이터 수집부(10)에서 수집된 선호 키워드를 서버 또는 스마트 기기의 저장 매체에 저장한다.In the storing step S202, the preference keyword collected by the data collecting unit 10 is stored in the storage medium of the server or the smart device.

모드 제어 단계(S203)는 선호 키워드들 중에서 사용자가 지정한 선호 키워드에 관련된 증강현실 데이터를 우선적으로 로딩시킨다. 또한 모드 제어 단계(S203)는 사용자가 지정한 키워드의 범주에 포함된 선호 키워드들을 추출하고 추출된 키워드들에 관련된 증강현실 데이터를 우선적으로 로딩시킬 수 있다.The mode control step (S203) preferentially loads the augmented reality data related to the user's preferred keyword among the favorite keywords. In addition, the mode control step (S203) may extract preference keywords included in the category of the keyword designated by the user and preferentially load the augmented reality data related to the extracted keywords.

사용자는 음성 또는 터치 입력을 통해서 선호 키워드를 지정할 수 있으며, 모드 제어 단계(S203)는 사용자가 지정한 선호 키워드에 관련된 증강현실 데이터를 우선적으로 로딩시킨다. The user can designate a preferred keyword through voice or touch input, and the mode control step (S203) preferentially loads the augmented reality data related to the user-designated preference keyword.

예를 들어 사용자가 여행 중에 긴급하게 환전소를 찾는 경우, 사용자가 선호 키워드로 환전소를 지정하면 증강현실 화면에서 환전소에 관한 데이터가 우선적으로 로딩된다.For example, when the user urgently searches for a foreign exchange place while traveling, if the user designates a foreign exchange place as a preferred keyword, the data on the foreign exchange place is preferentially loaded on the augmented reality screen.

객체 탐색 단계(S204)는 선호 키워드와 동일 또는 유사한 데이터를 갖는 증강현실 객체를 탐색한다. 증강현실 객체에는 마크가 결합되어 있으며 마크에는 증강현실 이미지 또는 텍스트가 연결되어 표시된다. 객체 탐색 단계(S204)는 증강현실 서버(90) 또는 촬영된 화면에서 선호 데이터와 동일 또는 유사한 증강현실 데이터를 갖는 객체를 탐색한다. The object searching step (S204) searches for an augmented reality object having the same or similar data as the preference keyword. The augmented reality object is connected to a mark, and the augmented reality image or text is connected to the mark and displayed. The object searching step S204 searches for objects having the same or similar augmented reality data as the preference data on the augmented reality server 90 or the photographed screen.

객체 탐색 단계(S204)는 서버 탐색 단계, 객체 인식 단계, 화면 탐색 단계, GPS 탐색 단계를 포함한다. 서버 탐색 단계는 증강현실 데이터가 저장된 증강현실 서버(90)에서 선호 키워드와 동일 또는 유사한 데이터를 갖는 증강현실 객체를 탐색한다.The object searching step (S204) includes a server searching step, an object recognizing step, a screen searching step, and a GPS searching step. The server searching step searches for augmented reality objects having the same or similar data as the preference keywords in the augmented reality server 90 in which the augmented reality data is stored.

객체 인식 단계는 증강현실의 화면에 나타난 객체들을 인식하는데, 증강현실 화면에 나타난 객체들에 결합된 마커를 이용하여 객체를 인식할 수 있다. 화면 탐색 단계는 객체 인식 단계에서 의하여 인식된 객체에서 선호 키워드와 관련된 증강현실 데이터를 갖는 객체를 추출한다. The object recognition step recognizes the objects displayed on the augmented reality screen, and recognizes the objects using the markers coupled to the objects displayed on the augmented reality screen. The screen searching step extracts an object having augmented reality data related to a preference keyword from the object recognized by the object recognition step.

GPS 탐색 단계는 사용자의 위치로부터 선호 키워드와 관련된 객체를 우선적으로 탐색한다. 증강현실 화면에 선호 키워드와 관련된 객체가 나타나지 않는 경우에는 증강현실 화면에 나타나지 않더라도 사용자가 해당 객체를 찾기를 원할 수 있으므로 GPS 탐색 단계는 가까운 위치에 있는 선호 키워드와 관련된 객체를 탐색하여 제공할 수 있다.The GPS search step preferentially searches for an object associated with the preferred keyword from the user's location. If the object related to the preferred keyword does not appear on the augmented reality screen, the user may want to search for the object even if it is not displayed on the augmented reality screen. Therefore, the GPS search step can search for and provide an object related to the preference keyword .

출력 제어 단계(S205)는 증강현실 기기의 화면 상에 나타난 객체에 선호 키드워드와 관련된 증강현실 데이터를 삽입하여 출력한다. 여기서 증강현실 기기는 스마트 글래스, VR 디스플레이 등이 될 수 있다.The output control step (S205) inserts the augmented reality data related to the preferred KID word into an object displayed on the screen of the augmented reality device and outputs the augmented reality data. Here, the augmented reality device may be a smart glass, a VR display, or the like.

출력 제어 단계(S205)는 이미지 로딩 단계, 문자 로딩 단계, 소리 로딩 단계, 컨텐츠 표시 단계, 등급 표시 단계, 선별 표시 단계를 포함한다. The output control step S205 includes an image loading step, a character loading step, a sound loading step, a content display step, a rating display step, and a selective display step.

이미지 로딩 단계는 증강현실 화면에 이미지를 삽입하여 로딩한다. 이미지 로딩 단계는 증강현실 화면에 선호 키워드 관련된 이미지를 삽입하여 사용자가 선호하는 객체를 알려줄 수 있다. The image loading step inserts an image on the augmented reality screen and loads the image. The image loading step may inform the user of a preferred object by inserting an image related to the preferred keyword on the augmented reality screen.

문자 로딩 단계는 증강현실 화면에 문자를 삽입하여 로딩한다. 문자 로딩 단계는 증강현실 화면에 선호 키워드 관련된 문자를 삽입하여 사용자가 선호하는 객체를 알려줄 수 있다.In the character loading step, characters are inserted and loaded on the augmented reality screen. In the character loading step, the user may be informed of the preferred object by inserting characters related to the preferred keyword on the augmented reality screen.

소리 로딩 단계는 증강현실 화면에 소리를 삽입하여 로딩한다. 소리 로딩 단계는 증강현실 화면에 선호 키워드와 관련된 객체가 있음을 소리로 알려줄 수 있다.The sound loading step inserts the sound into the augmented reality screen and loads it. The sound loading step may inform the augmented reality screen that there is an object related to the preferred keyword on the augmented reality screen.

컨텐츠 표시 단계는 증강현실 화면에 사용자가 입력한 소셜 네크워크 컨텐츠를 삽입하여 로딩한다. 컨텐츠 표시 단계는 증강현실 화면에 사용자가 소셜 네크워크 서비스에 입력한 컨텐츠의 전부 또는 일부를 삽입하여 사용자가 선호하는 객체를 즉각적으로 인식할 수 있도록 할 수 있다.The contents display step inserts and loads the social network contents inputted by the user into the augmented reality screen. In the content display step, all or a part of the content input by the user into the social network service may be inserted into the augmented reality screen so that the user can instantly recognize a preferred object.

등급 표시 단계는 키워드 등급에 따라 서로 다른 색상으로 증강현실 내용을 표시한다. 등급 표시 단계는 높은 등급의 선호 키워드가 우선적으로 보여질 수 있도록 서로 다른 색상으로 증강현실 내용을 표시한다.The grading step displays the augmented reality contents in different colors according to the keyword rank. The grading step displays the contents of the augmented reality in different colors so that a high-grade preferred keyword is preferentially displayed.

선별 표시 단계는 하나의 객체에 다수의 증강현실 데이터가 존재하는 경우, 선호 키워드 관련된 증강현실 데이터만을 로딩한다. 하나의 건물에 다수의 상점이 존재하고 이에 대한 다수의 증강현실 데이터가 존재하는 경우, 선별 표시 단계는 사용자가 명확하게 인식할 수 있도록 선호 선호 키워드 관련된 증강현실 데이터만을 로딩한다In the selection display step, when a plurality of augmented reality data exists in one object, only the augmented reality data related to the preference keyword is loaded. When there are a plurality of stores in one building and a plurality of augmented reality data exists, the selective display step loads only the augmented reality data related to the preference preference keyword so that the user can clearly recognize

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
As described above, preferred embodiments of the present invention have been disclosed in the present specification and drawings, and although specific terms have been used, they have been used only in a general sense to easily describe the technical contents of the present invention and to facilitate understanding of the invention , And are not intended to limit the scope of the present invention. It is to be understood by those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.

101, 102: 증강현실 제공 시스템
10: 데이터 수집부
11: SNS 키워드 추출 모듈
12: 음성 키워드 추출 모듈
13: 문자 키워드 추출 모듈
14: 유사 키워드 추출 모듈
15: 등급 설정 모듈
20: 객체 탐색부
21: 서버 탐색 모듈
22: 객체 인식 모듈
23: 화면 탐색 모듈
24: GPS 탐색 모듈
30: 출력 제어부
31: 이미지 로딩 모듈
32: 문자 로딩 모듈
33: 소리 로딩 모듈
34: 컨텐츠 표시 모듈
35: 등급 표시 모듈
36: 선별 표시 모듈
40: 저장부
50: 모드 제어부
101, 102: Augmented reality providing system
10: Data collecting unit
11: SNS keyword extraction module
12: Speech Keyword Extraction Module
13: Character Keyword Extraction Module
14: Keyword Extraction Module
15: Rating module
20: Object search section
21: Server Search Module
22: Object recognition module
23: Screen search module
24: GPS search module
30:
31: Image loading module
32: Character loading module
33: Sound loading module
34: Content display module
35: Rating display module
36: Selection display module
40:
50:

Claims (18)

데이터 수집부, 객체 탐색부, 및 출력 제어부를 포함하여 구성되는 증강현실 제공 시스템의 증강현실 제공 방법에 있어서,
상기 데이터 수집부가 사용자의 소셜 네트워크 서비스(SNS)의 데이터에서 선호 키워드를 선정하는 키워드 수집 단계;
상기 데이터 수집부가 상기 선호 키워드를 저장하는 저장 단계;
상기 객체 탐색부가 상기 선호 키워드와 동일 또는 유사한 데이터를 갖는 증강현실 객체를 탐색하는 객체 탐색 단계; 및
상기 출력 제어부가 증강현실 기기의 화면 상에 나타난 객체에 선호 키드워드와 관련된 증강현실 데이터를 삽입하여 출력하는 출력 제어 단계;를 포함하고,
상기 객체 탐색 단계는 증강현실의 화면에 나타난 객체들을 인식하는 객체 인식 단계를 포함하고, 상기 객체 탐색 단계는 상기 객체 인식 단계에서 인식된 객체에서 선호 키워드와 관련된 객체를 추출하는 화면 탐색 단계를 포함하는 것을 특징으로 하는 소셜 네트워크 서비스를 이용한 증강현실 제공 방법.
A method for providing an augmented reality in an augmented reality providing system including a data collection unit, an object search unit, and an output control unit,
A keyword collection step of selecting a preferred keyword from data of a user's social network service (SNS);
A storage step of the data collection unit storing the preference keyword;
An object searching step in which the object searching unit searches for an augmented reality object having the same or similar data as the preference keyword; And
And an output control step of inserting the augmented reality data related to the preferred KID word into an object displayed on the screen of the augmented reality device and outputting the augmented reality data,
Wherein the object searching step includes an object recognizing step of recognizing objects appearing on a screen of the augmented reality and the object searching step includes a screen searching step of extracting an object related to a preference keyword from the object recognized in the object recognizing step Wherein the augmented reality providing method is provided with a social network service.
제1 항에 있어서,
상기 선호 키워드들 중에서 사용자가 지정한 키워드에 관련된 증강현실 데이터를 우선적으로 로딩시키는 모드 제어 단계를 더 포함하는 것을 특징으로 하는 소셜 네트워크 서비스를 이용한 증강현실 제공 방법.
The method according to claim 1,
And a mode control step of preferentially loading the augmented reality data related to the keyword designated by the user among the afore-mentioned preferred keywords.
제2 항에 있어서,
상기 모드 제어 단계는 사용자가 지정한 키워드의 범주에 포함된 선호 키워드들을 추출하고 추출된 키워드들에 관련된 증강현실 데이터를 우선적으로 로딩시키는 것을 특징으로 하는 소셜 네트워크 서비스를 이용한 증강현실 제공 방법.
3. The method of claim 2,
Wherein the mode control step extracts preference keywords included in a category of a keyword designated by the user and preferentially loads the augmented reality data related to the extracted keywords.
제1 항에 있어서,
상기 키워드 수집 단계는 사용자의 소셜 네트워크 서비스에서 선호 키워드를 추출하고 사용된 빈도를 측정하는 SNS 키워드 추출 단계를 포함하는 것을 특징으로 하는 소셜 네트워크 서비스를 이용한 증강현실 제공 방법.
The method according to claim 1,
Wherein the keyword collection step includes an SNS keyword extraction step of extracting a preference keyword from a user's social network service and measuring a used frequency.
제1 항에 있어서,
상기 키워드 수집 단계는 사용자의 음성 통화에서 선호 키워드를 추출하고 사용된 빈도를 측정하는 음성 키워드 추출 단계를 포함하는 것을 특징으로 하는 소셜 네트워크 서비스를 이용한 증강현실 제공 방법.
The method according to claim 1,
Wherein the keyword collection step includes a voice keyword extracting step of extracting a preferred keyword from a user's voice call and measuring a used frequency.
제1 항에 있어서,
상기 키워드 수집 단계는 사용자의 문자 메세지에서 선호 키워드를 추출하고 사용된 빈도를 측정하는 문자 키워드 추출 단계를 포함하는 것을 특징으로 하는 소셜 네트워크 서비스를 이용한 증강현실 제공 방법.
The method according to claim 1,
Wherein the keyword collection step includes a character keyword extracting step of extracting a favorite keyword from a user's text message and measuring a used frequency.
제1 항에 있어서,
상기 키워드 수집 단계는 자주 사용된 선호 키워드를 추출하는 동일 키워드 추출 모듈과 선호 키워드에서 파생된 키워드를 추출하는 유사 키워드 추출 단계를 포함하는 것을 특징으로 하는 소셜 네트워크 서비스를 이용한 증강현실 제공 방법.
The method according to claim 1,
Wherein the keyword collection step includes an identical keyword extraction module for extracting frequently used preferred keywords and a similar keyword extraction step for extracting a keyword derived from a preferred keyword.
제1 항에 있어서,
상기 객체 탐색 단계는 증강현실 데이터가 저장된 증강현실 서버에서 선호 키워드와 동일 또는 유사한 데이터를 갖는 증강현실 객체를 탐색하는 서버 탐색 단계를 포함하는 것을 특징으로 하는 소셜 네트워크 서비스를 이용한 증강현실 제공 방법.
The method according to claim 1,
Wherein the object searching step includes a server searching step of searching for an augmented reality object having the same or similar data as the preference keyword in the augmented reality server storing the augmented reality data.
삭제delete 삭제delete 제1 항에 있어서,
상기 키워드 수집 단계는 키워드의 출현 빈도에 따라 주요 키워드와 보조 키워드로 키워드의 등급을 설정하는 등급 설정 단계를 포함하는 것을 특징으로 하는 소셜 네트워크 서비스를 이용한 증강현실 제공 방법.
The method according to claim 1,
Wherein the keyword collection step includes a rating setting step of setting a rating of a keyword as a primary keyword and a secondary keyword according to a frequency of appearance of the keyword.
제11 항에 있어서,
상기 객체 탐색 단계는 사용자의 위치로부터 선호 키워드와 관련된 객체를 우선적으로 탐색하는 GPS 탐색 단계를 포함하는 것을 특징으로 하는 소셜 네트워크 서비스를 이용한 증강현실 제공 방법.
12. The method of claim 11,
Wherein the object searching step includes a GPS search step of preferentially searching an object related to a preference keyword from a user's location.
제12 항에 있어서,
상기 출력 제어 단계는 증강현실 화면에 이미지를 삽입하여 로딩하는 이미지 로딩 단계를 포함하는 것을 특징으로 하는 소셜 네트워크 서비스를 이용한 증강현실 제공 방법.
13. The method of claim 12,
Wherein the output control step includes an image loading step of inserting and loading an image on the augmented reality screen.
제13 항에 있어서,
상기 출력 제어 단계는 증강현실 화면에 문자를 삽입하여 로딩하는 문자 로딩 단계를 포함하는 것을 특징으로 하는 소셜 네트워크 서비스를 이용한 증강현실 제공 방법.
14. The method of claim 13,
Wherein the output control step includes a character loading step of inserting and loading a character on the augmented reality screen.
제14 항에 있어서,
상기 출력 제어 단계는 증강현실 화면에 소리를 삽입하여 로딩하는 소리 로딩 단계를 포함하는 것을 특징으로 하는 소셜 네트워크 서비스를 이용한 증강현실 제공 방법.
15. The method of claim 14,
Wherein the output control step includes a sound loading step of inserting and loading sounds into the augmented reality screen.
제15 항에 있어서,
상기 출력 제어 단계는 증강현실 화면에 사용자가 입력한 소셜 네크워크 컨텐츠를 삽입하여 로딩하는 컨텐츠 표시 단계를 포함하는 것을 특징으로 하는 소셜 네트워크 서비스를 이용한 증강현실 제공 방법.
16. The method of claim 15,
Wherein the output control step includes a content display step of inserting and loading a social network content input by the user into the augmented reality screen.
제16 항에 있어서,
상기 출력 제어 단계는 키워드 등급에 따라 서로 다른 색상으로 증강현실 내용을 표시하는 등급 표시 단계를 포함하는 것을 특징으로 하는 소셜 네트워크 서비스를 이용한 증강현실 제공 방법.
17. The method of claim 16,
Wherein the output control step includes a step of displaying the contents of the augmented reality in different colors according to the keyword rating.
제17 항에 있어서,
상기 출력 제어 단계는 하나의 객체에 다수의 증강현실 데이터가 존재하는 경우, 선호 키워드 관련된 증강현실 데이터만을 로딩하는 선별 표시 모듈을 포함하는 것을 특징으로 하는 소셜 네트워크 서비스를 이용한 증강현실 제공 방법.
18. The method of claim 17,
Wherein the output control step includes a selection display module for loading only the augmented reality data related to the preference keyword when a plurality of augmented reality data exists in one object.
KR1020160077114A 2016-06-21 2016-06-21 Augmented reality providing mehtod using social network service KR101865875B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160077114A KR101865875B1 (en) 2016-06-21 2016-06-21 Augmented reality providing mehtod using social network service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160077114A KR101865875B1 (en) 2016-06-21 2016-06-21 Augmented reality providing mehtod using social network service

Publications (2)

Publication Number Publication Date
KR20180000014A KR20180000014A (en) 2018-01-02
KR101865875B1 true KR101865875B1 (en) 2018-07-11

Family

ID=61004587

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160077114A KR101865875B1 (en) 2016-06-21 2016-06-21 Augmented reality providing mehtod using social network service

Country Status (1)

Country Link
KR (1) KR101865875B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021237088A1 (en) * 2020-05-21 2021-11-25 Snap Inc. Featured content collection interface

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200137523A (en) * 2019-05-30 2020-12-09 이은령 System for Sharing Augmented Reality contents and Driving method thereof
KR20230066672A (en) 2021-11-08 2023-05-16 안병무 Toothbrush

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100068532A (en) * 2008-12-15 2010-06-24 한국전자통신연구원 Apparatus and method for keyword extraction and associative word network configuration of document data
KR20120134321A (en) * 2011-06-02 2012-12-12 (주)엘에이치에스지 Cloud-based ar system
KR20130049263A (en) * 2011-10-31 2013-05-14 삼성전자주식회사 Social data management system and method for operating thereof
KR20150046313A (en) * 2012-08-27 2015-04-29 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 Generating augmented reality exemplars

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100068532A (en) * 2008-12-15 2010-06-24 한국전자통신연구원 Apparatus and method for keyword extraction and associative word network configuration of document data
KR20120134321A (en) * 2011-06-02 2012-12-12 (주)엘에이치에스지 Cloud-based ar system
KR20130049263A (en) * 2011-10-31 2013-05-14 삼성전자주식회사 Social data management system and method for operating thereof
KR20150046313A (en) * 2012-08-27 2015-04-29 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 Generating augmented reality exemplars

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021237088A1 (en) * 2020-05-21 2021-11-25 Snap Inc. Featured content collection interface
US11843574B2 (en) 2020-05-21 2023-12-12 Snap Inc. Featured content collection interface

Also Published As

Publication number Publication date
KR20180000014A (en) 2018-01-02

Similar Documents

Publication Publication Date Title
KR101722687B1 (en) Method for providing information between objects or object and user, user device, and storage medium thereof
CN107368508B (en) Keyword search method and system using communication tool service
CN103760991B (en) Physical input method and physical input device
CN103069470B (en) Method and apparatus for searching contents
JP2012059263A (en) Augmented reality providing apparatus and method using relationship between objects
CN105262601B (en) Method and system for processing group member information
KR101865875B1 (en) Augmented reality providing mehtod using social network service
CN106776760B (en) Question searching method and device applied to intelligent terminal
CN104503994A (en) Information recommendation method and device based on input method
CN105094540A (en) Method and device for software icon display
US10754902B2 (en) Information processing system and information processing device
CN105892800A (en) Intelligent terminal message display method and device, and intelligent terminal
CN105979403A (en) Method and device for selecting identification version of video resource automatically
KR101483611B1 (en) Method and Terminal for Extracting a Object from Image
CN108595141A (en) Pronunciation inputting method and device, computer installation and computer readable storage medium
KR101870407B1 (en) Augmented reality providing system using social network service
US20140181672A1 (en) Information processing method and electronic apparatus
CN105988992B (en) Icon pushing method and device
CN106604093A (en) Keyboard matching method and device
CN105447055A (en) Method, apparatus and electronic equipment for searching applications
JP5405068B2 (en) Moving path search device, moving path search system and program
CN103616962A (en) Information processing method and device
US20160066045A1 (en) Method, electronic device, and computer program product
US10401184B2 (en) Information processing device and information presentation system
CN103702200A (en) Episode list optimizing method and device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant