KR101225476B1 - Social network system using augmented reality - Google Patents

Social network system using augmented reality Download PDF

Info

Publication number
KR101225476B1
KR101225476B1 KR1020100130602A KR20100130602A KR101225476B1 KR 101225476 B1 KR101225476 B1 KR 101225476B1 KR 1020100130602 A KR1020100130602 A KR 1020100130602A KR 20100130602 A KR20100130602 A KR 20100130602A KR 101225476 B1 KR101225476 B1 KR 101225476B1
Authority
KR
South Korea
Prior art keywords
mobile communication
communication terminal
social network
information
virtual image
Prior art date
Application number
KR1020100130602A
Other languages
Korean (ko)
Other versions
KR20120087259A (en
Inventor
최현옥
김유리
송은선
정세미
강인한
Original Assignee
최현옥
김유리
강인한
정세미
송은선
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 최현옥, 김유리, 강인한, 정세미, 송은선 filed Critical 최현옥
Priority to KR1020100130602A priority Critical patent/KR101225476B1/en
Publication of KR20120087259A publication Critical patent/KR20120087259A/en
Application granted granted Critical
Publication of KR101225476B1 publication Critical patent/KR101225476B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Abstract

본 발명은 현실감을 제공하는 현실 세계와 풍부한 정보를 제공하는 가상 세계를 결합한 환경에서 소셜 네트워크를 구축함으로써, 흥미 유발을 통해 사용자의 참여도를 높여 교류를 늘이고 인맥을 넓히도록 함은 물론, 풍부한 정보를 합리적으로 제공할 수 있는 증강 현실 소셜 네트워크 시스템에 관한 것이다.
이를 위해, 본 발명은 현재 위치에서 소정 방향에 위치한 현실 세계를 카메라 모듈로 촬상하고, 상기 현실 세계를 촬상한 실사 영상에 소셜 네트워크용 정보 데이터가 링크된 가상 이미지 아이콘을 정합시키는 제1이동통신단말기와; 상기 제1이동통신단말기로부터 상기 실사 영상과, 위치 정보와, 방향 정보 및 가상 이미지 아이콘에 링크된 정보 데이터를 입력받아 저장하고, 상기 가상 이미지 아이콘을 선택하여 정보를 요청한 제2이동통신단말기에 상기 가상 이미지 아이콘에 링크된 정보 데이터를 제공하는 중계 서버; 및 상기 제1이동통신단말기에서 촬상한 현실 세계와 동일한 장소를 촬상하여 상기 중계 서버로 소셜 네트워크 활동을 요청하고, 상기 중계 서버로부터 상기 가상 이미지 아이콘에 링크된 정보 데이터를 입력받아 확인하여 소셜 네트워크 활동을 하는 제2이동통신단말기;를 포함한다.The present invention builds a social network in an environment that combines a real world that provides a sense of reality with a virtual world that provides a wealth of information, thereby increasing user engagement through interest and increasing exchanges and networking. It relates to an augmented reality social network system that can reasonably provide.
To this end, the present invention is a first mobile communication terminal for capturing a real world located in a predetermined direction from a current location with a camera module, and matching a virtual image icon linked with information data for social networks to a live image of the real world. Wow; The second mobile communication terminal receives and stores the live image, location information, direction information, and information data linked to a virtual image icon from the first mobile communication terminal, and selects the virtual image icon to request information. A relay server providing information data linked to the virtual image icon; And requesting social network activity from the relay server by capturing the same place as the real world captured by the first mobile communication terminal, receiving information data linked to the virtual image icon from the relay server, and confirming social network activity. It includes; a second mobile communication terminal.

Figure R1020100130602
Figure R1020100130602

Description

증강 현실 소셜 네트워크 시스템{Social network system using augmented reality}Social network system using augmented reality}

본 발명은 증강 현실을 이용하여 소셜 네트워크를 제공하는 증강 현실 소셜 네트워크 시스템에 관한 것으로, 더욱 상세하게는 현실감을 제공하는 현실 세계와 풍부한 정보를 제공하는 가상 세계를 결합한 환경에서 소셜 네트워크를 구축함으로써, 흥미 유발을 통해 사용자의 참여도를 높여 교류를 늘이고 인맥을 넓히도록 함은 물론, 풍부한 정보를 합리적으로 제공할 수 있는 증강 현실 소셜 네트워크 시스템에 관한 것이다.
The present invention relates to an augmented reality social network system that provides a social network using augmented reality, and more particularly, by building a social network in an environment combining a real world that provides a sense of reality and a virtual world that provides a wealth of information, The present invention relates to an augmented reality social network system that can increase a user's participation and increase exchanges and network by inducing interest, as well as provide abundant information.

최근까지 통신 기술의 발달과 함께 개인이 사회적 관계를 형성하는 수단도 점차로 진화되어 왔다. 특히, 인터넷 기술의 발달로 등장한 웹이라는 매체는 PC를 통해 네트워크를 형성함으로써 언제 어디서나 누구와도 상호작용할 수 있다는 특성으로 시간적, 공간적 제약을 동시에 해결하고 있다.Until recently, with the development of communication technology, the means by which individuals form social relationships have gradually evolved. In particular, the web, which has emerged due to the development of Internet technology, solves both time and space constraints simultaneously by forming a network through a PC, allowing anytime, anywhere interaction with anyone.

이렇게 인터넷 기술이 발달하면서, 개인이 자신의 인터넷상의 가상 공간에서 타인과 관계를 맺을 수 있는 서비스, 즉, 커뮤니케이션을 제공하고 다양한 정보를 공유할 수 있도록 하는 서비스가 제공되고 있는데, 이를 쇼설 네트워킹 서비스(Social Networking Service, SNS)라 한다.As Internet technology develops, services that enable individuals to establish relationships with others in their virtual space on the Internet, such as providing communication and sharing various information, are being provided. Social Networking Service (SNS).

쇼설 네트워킹 서비스의 대표적인 형태로는 인터넷 서비스 제공자(Interner Service Provider, ISP)가 제공하는 미니 홈피(hompage의 약칭), 블로그, 카페 등이 있으며, 인터넷 유저들은 이를 통해 타인과 정보를 공유하거나 커뮤니케이션을 하면서 돈독한 인맥을 형성하거나 또는 관심있는 분야에 대해 주제별 커뮤니티 공간을 만들어 새로운 교류 관계를 형성해 나가기도 한다.Typical types of show networking services include mini homepages (abbreviations of hompages), blogs, and cafes provided by Internet Service Providers (ISPs), which allow Internet users to share information or communicate with others. They can also form strong connections or create new community relationships by creating topical community spaces for areas of interest.

그러나, 이상과 같은 종래의 소셜 네트워킹 서비스는 정형화된 가상 공간을 제공하는 소셜 네트워크 화면에서만 단순히 정보를 공유하도록 되어 있어서 커뮤니티 활동에 대한 흥미를 유발하지 못하여 참여도를 낮춤은 물론, 접근 편리성도 나쁘다는 문제점이 있었다.However, the above-described conventional social networking services simply share information only on social network screens that provide a standardized virtual space, which does not cause interest in community activities, thereby lowering participation and worsening accessibility. There was a problem.

또한, 종래에는 현실 세계와는 완전히 차단된 순수 가상 공간에서만 커뮤니티가 이루어지므로, 현실감을 제공하는 현실 세계의 장점과 풍부한 정보를 제공하는 가상 세계의 장점을 결합한 증강 현실(augmented reality)을 소셜 네트워크 서비스에 적용한 시도조차 없어서 증강 현실의 장점을 살릴 수 없는 문제점이 있었다.
In addition, since the community is formed only in a pure virtual space that is completely blocked from the real world, the social network service combines augmented reality, which combines the advantages of the real world that provides realism with the richness of the virtual world that provides abundant information. There is a problem that can not take advantage of the augmented reality because there is no attempt to apply to.

본 발명은 전술한 바와 같은 문제점을 해결하기 위해 제안된 것으로, 현실감을 제공하는 현실 세계와 풍부한 정보를 제공하는 가상 세계를 결합한 환경에서 소셜 네트워크를 구축함으로써, 흥미 유발을 통해 사용자의 참여도를 높여 교류를 늘이고 인맥을 넓히도록 함은 물론, 풍부한 정보를 합리적으로 제공할 수 있는 증강 현실 소셜 네트워크 시스템을 제공하고자 한다.
The present invention has been proposed to solve the above problems, and by building a social network in an environment combining a real world that provides a sense of reality and a virtual world that provides a wealth of information, thereby increasing user participation through inducing interest It aims to provide augmented reality social network system that can increase exchanges and expand network, and can provide abundant information reasonably.

이를 위해, 본 발명에 따른 증강 현실 소셜 네트워크 시스템은 증강 현실을 이용하여 소셜 네트워크 서비스를 제공함에 있어서, 현재 위치에서 소정 방향에 위치한 현실 세계를 카메라 모듈로 촬상하고, 상기 현실 세계를 촬상한 실사 영상에 소셜 네트워크용 정보 데이터가 링크된 가상 이미지 아이콘(Icon)을 정합시키는 제1이동통신단말기와; 상기 제1이동통신단말기로부터 상기 실사 영상과, 위치 정보와, 방향 정보 및 가상 이미지 아이콘에 링크된 정보 데이터를 입력받아 저장하고, 상기 가상 이미지 아이콘을 선택하여 정보를 요청한 제2이동통신단말기에 상기 가상 이미지 아이콘에 링크된 정보 데이터를 제공하는 중계 서버; 및 상기 제1이동통신단말기에서 촬상한 현실 세계와 동일한 장소를 촬상하여 상기 중계 서버로 소셜 네트워크 활동을 요청하고, 상기 중계 서버로부터 상기 가상 이미지 아이콘에 링크된 정보 데이터를 입력받아 확인하여 소셜 네트워크 활동을 하는 제2이동통신단말기;를 포함하는 것을 특징으로 한다.To this end, in the augmented reality social network system according to the present invention, in providing a social network service using augmented reality, the real world located in a predetermined direction from the current position with a camera module, the real-world image of the real world A first mobile communication terminal for matching a virtual image icon Icon to which information data for social network is linked to the first mobile communication terminal; The second mobile communication terminal receives and stores the live image, location information, direction information, and information data linked to a virtual image icon from the first mobile communication terminal, and selects the virtual image icon to request information. A relay server providing information data linked to the virtual image icon; And requesting social network activity from the relay server by capturing the same place as the real world captured by the first mobile communication terminal, receiving information data linked to the virtual image icon from the relay server, and confirming social network activity. It characterized in that it comprises a; a second mobile communication terminal.

이때, 상기 제1이동통신단말기는 자세 측정 모듈을 포함하고 있어서, 상기 현실 세계 중 특정 방향을 향해 특정 속도로 상기 제1이동통신단말기를 움직이면 상기 자세 측정 모듈이 움직임을 감지하고, 상기 감지된 움직임에 따라 상기 실사 영상 중 특정 방향과 속도에 따른 특정 거리를 갖는 부분에 상기 가상 이미지 아이콘이 정합되는 것이 바람직하다.In this case, the first mobile communication terminal includes a posture measuring module, and when the first mobile communication terminal moves at a specific speed toward a specific direction in the real world, the posture measuring module detects a movement and the detected movement. Accordingly, the virtual image icon may be matched to a portion of the live image having a specific distance according to a specific direction and speed.

또한, 상기 제2이동통신단말기는 사용자 명령을 터치 방식으로 입력받는 터치 패드 및 상기 터치 패드의 화면을 통해 디스플레이되는 활과 화살 그래픽 인터페이스를 포함하고 있어서, 상기 활과 화살 그래픽 인터페이스의 화살로 상기 가상 이미지 아이콘을 조준한 상태에서 활 시위를 당기듯 상기 터치 패드를 터치하면 상기 조준된 가상 이미지 아이콘이 선택되는 것이 바람직하다.In addition, the second mobile communication terminal includes a touch pad for receiving a user command by a touch method and a bow and arrow graphic interface displayed through a screen of the touch pad. It is preferable that the aimed virtual image icon is selected by touching the touch pad as if pulling the bow demonstration while aiming the image icon.

또한, 상기 이동통신단말기는, 상기 이동통신단말기의 위치 정보를 제공하는 측위 모듈과; 상기 이동통신단말기의 자세 정보를 제공하는 자세 측정 모듈과; 현실 세계를 촬상하는 카메라 모듈과; 상기 이동통신단말기에 소셜 네트워크 서비스 환경을 제공하는 SNS 모듈과; 사용자의 명령을 터치 방식으로 입력받는 터치 패드와; 상기 카메라 모듈을 통해 촬상된 실사 영상에 상기 가상 이미지 아이콘을 정합하여 증강 현실을 제공하는 AR 모듈; 및 상기 증강 현실 제공을 위해 필요한 데이터를 저장하는 AR 메모리;를 포함하는 것이 바람직하다.The mobile communication terminal may further include: a positioning module for providing location information of the mobile communication terminal; A posture measuring module for providing posture information of the mobile communication terminal; A camera module for imaging the real world; An SNS module for providing a social network service environment to the mobile communication terminal; A touch pad configured to receive a user command in a touch manner; An AR module that matches the virtual image icon with the live image captured by the camera module to provide augmented reality; And an AR memory for storing data necessary for providing the augmented reality.

또한, 상기 중계 서버는, 상기 이동통신단말기로부터 전송된 데이터 중 위치와 자세에 대한 정보를 판독하여 분석하는 위치·자세 분석모듈과; 상기 이동통신단말기로부터 현재 입력된 실사 영상과 기존에 저장되어 있는 실사 영상을 비교하는 영상 비교 모듈; 및 상기 이동통신단말기의 사용자 정보를 저장하는 사용자 정보 메모리와, 상기 실사 영상이 촬상된 위치와 자세 정보를 저장하는 위치·자세정보 메모리와, 상기 가상 이미지 아이콘에 링크된 소셜 네트워크용 정보 데이터를 저장하는 SNS 메모리 및 상기 이동통신단말기로부터 제공된 실사 영상을 저장하는 영상데이터 메모리를 구비한 데이터베이스;를 포함하는 것이 바람직하다.
The relay server may further include: a position and posture analysis module configured to read and analyze information on a position and a posture of data transmitted from the mobile communication terminal; An image comparison module for comparing the actual image currently input from the mobile communication terminal with the actual image stored in the mobile terminal; And a user information memory for storing user information of the mobile communication terminal, a position and posture information memory for storing position and posture information of the image of the live image, and information data for social networks linked to the virtual image icon. And a database having an SNS memory and an image data memory for storing live images provided from the mobile communication terminal.

이상과 같은 본 발명에 따른 증강 현실 소셜 네트워크 시스템에 의하면, 현실감을 제공하는 현실 세계와 풍부한 정보를 제공하는 가상 세계를 결합한 환경에서 소셜 네트워크를 구축함으로써, 흥미 유발을 통해 사용자의 참여도를 높여 교류를 늘이고 인맥을 넓히도록 함은 물론, 풍부한 정보를 합리적으로 제공할 수 있게 한다.
According to the augmented reality social network system according to the present invention as described above, by building a social network in an environment combining a real world that provides a sense of reality and a virtual world that provides a wealth of information, by increasing the user's participation through the interest In addition to increasing the number of contacts and broadening your network, you can reasonably provide a wealth of information.

도 1은 본 발명에 따른 증강 현실 소셜 네트워크 시스템을 구성하는 이동통신단말기의 시작화면을 나타낸 것이다.
도 2a는 본 발명에 따른 증강 현실 소셜 네트워크 시스템의 가상 이미지 아이콘 생성을 나타낸 것이다.
도 2b는 본 발명에 따른 증강 현실 소셜 네트워크 시스템의 가상 이미지 아이콘을 실사 영상에 정합하는 상태를 나타낸 것이다.
도 2c는 본 발명에 따른 증강 현실 소셜 네트워크 시스템의 가상 이미지 아이콘을 실사 영상에 정합하는 방법을 나타낸 것이다.
도 3a는 본 발명에 따른 증강 현실 소셜 네트워크 시스템의 가상 이미지 아이콘을 선택하는 상태를 나타낸 것이다.
도 3b는 본 발명에 따른 증강 현실 소셜 네트워크 시스템의 가상 이미지 아이콘을 선택하여 댓글을 다는 상태를 나타낸 것이다.
도 3c는 본 발명에 따른 증강 현실 소셜 네트워크 시스템의 가상 이미지 아이콘을 선택하는 방법을 나타낸 것이다.
도 4는 본 발명에 따른 증강 현실 소셜 네트워크 시스템을 구성하는 이동통신단말기의 제1 사용 화면을 나타낸 것이다.
도 5는 본 발명에 따른 증강 현실 소셜 네트워크 시스템을 구성하는 이동통신단말기의 제2 사용 화면을 나타낸 것이다.
도 6은 본 발명에 따른 증강 현실 소셜 네트워크 시스템을 개략적으로 나타낸 구성도이다.
도 7은 본 발명에 따른 증강 현실 소셜 네트워크 시스템을 구성하는 이동통신단말기를 나타낸 블록도이다.
도 8은 본 발명에 따른 증강 현실 소셜 네트워크 시스템을 구성하는 중계 서버를 나타낸 블록도이다.1 illustrates a start screen of a mobile communication terminal constituting an augmented reality social network system according to the present invention.
2A illustrates the creation of a virtual image icon of an augmented reality social network system in accordance with the present invention.
2B illustrates a state in which the virtual image icon of the augmented reality social network system according to the present invention is matched to the live image.
2C illustrates a method of matching a virtual image icon with a live image of an augmented reality social network system according to the present invention.
3A illustrates a state of selecting a virtual image icon of the augmented reality social network system according to the present invention.
3B illustrates a state in which a user selects a virtual image icon and makes a comment in the augmented reality social network system according to the present invention.
3C illustrates a method of selecting a virtual image icon of an augmented reality social network system in accordance with the present invention.
4 illustrates a first use screen of a mobile communication terminal constituting the augmented reality social network system according to the present invention.
5 illustrates a second use screen of the mobile communication terminal constituting the augmented reality social network system according to the present invention.
6 is a schematic diagram of an augmented reality social network system according to the present invention.
7 is a block diagram illustrating a mobile communication terminal constituting an augmented reality social network system according to the present invention.
8 is a block diagram illustrating a relay server configuring an augmented reality social network system according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 증강 현실 소셜 네트워크 시스템에 대해 상세히 설명한다.Hereinafter, an augmented reality social network system according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

단, 이하에서 설명할 본 발명에 따른 증강 현실 소셜 네트워크 시스템은 대학교라는 특정 사회에 적용되는 것을 일 예로 들어 설명하나, 본 발명은 이에 한정하는 것이 아니고, 그 외 기업체이나 공공기관을 비롯한 다양한 사회에도 적용 가능함은 자명할 것이다.However, the augmented reality social network system according to the present invention to be described below will be described as an example that is applied to a specific society, such as a university, the present invention is not limited to this, and in addition to various societies including businesses and public institutions Applicability will be apparent.

또한, 이하에서는 이해의 편리성을 위해 본 발명에 따른 증강 현실 소셜 네트워크 시스템을 구성하는 이동통신단말기 중 글을 남기를 것으로 제1이동통신단말기를 예로 들고, 상기 남겨진 글에 댓글을 남기는 것으로 제2이동통신달말기를 예로 들어 설명하나 본 발명이 이에 한정하지 않음은 자명할 것이다. In addition, hereinafter, a first mobile communication terminal is an example of leaving a text among the mobile communication terminals constituting the augmented reality social network system according to the present invention for convenience of understanding, and a comment is left on the remaining text. Although the mobile communication terminal is described as an example, it will be apparent that the present invention is not limited thereto.

이는, 경우에 따라서는 제2이동통신단말기를 글을 남기는 것으로 사용하고 제1이동통신단말기를 댓글을 남기는 것으로 사용하거나, 제1이동통신단말기나 제2이동통신단말기에서 각각 글과 댓글을 모두 남길 수 있는 것이므로, 이들은 서로 동일한 기능을 하는 것으로서 서로 구분할 필요가 없기 때문이다.In some cases, the second mobile communication terminal may be used to leave a message and the first mobile communication terminal may be used to leave a comment, or the first mobile communication terminal or the second mobile communication terminal may leave both a post and a comment, respectively. Because they can be, they do not need to be distinguished from each other as having the same function.

그러므로, 이하에서와 같이 제1이동통신단말기와 제2이동통신단말기를 동일한 도면 참조부호를 이용하여 설명하고, 어느 때는 제1이동통신단말기와 제2이동통신단말기를 구분하지 않고 이동통신단말기로 표현해도 전혀 잘못된 표현이 아니라는 것을 알 수 있을 것이다.
Therefore, the first mobile communication terminal and the second mobile communication terminal will be described with the same reference numerals as in the following description, and sometimes the first mobile communication terminal and the second mobile communication terminal are represented by a mobile communication terminal without distinguishing them. You will find that is not a misnomer at all.

이하, 본 발명에 대한 구성을 설명하기 전에, 이해를 돕기 위해 본 발명에 따른 증강 현실 소셜 네트워크 시스템의 사용 상태를 먼저 살펴본다.Hereinafter, before describing the configuration of the present invention, the state of use of the augmented reality social network system according to the present invention will be described first for better understanding.

도 1에 도시된 바와 같이 제1이동통신단말기(100)와 제2이동통신단말기(100)는 모두 증강 현실 소셜 네트워크 시스템 초기 화면이 제공되며, 이는 이하 설명할 중계 서버(도 6의 200 참조)나 그외 각종 유료 서버(미도시)로부터 스마트 폰용 어플리케이션('앱'이나 '어플'로 약칭하기도 함)을 다운로드받아 설치함으로써 개시된다.As shown in FIG. 1, both the first mobile communication terminal 100 and the second mobile communication terminal 100 are provided with an initial screen of an augmented reality social network system, which will be described below (see 200 in FIG. 6). In addition, it starts by downloading and installing an application for a smartphone (sometimes abbreviated as 'app' or 'app') from various paid servers (not shown).

이상과 같은 초기 화면에서 어플리케이션을 실행하면 도 2a와 같이 제1이동통신단말기(100) 사용자는 소셜 네트워크에 남길 글을 작성하고 가상 이미지 아이콘(icon)을 생성함으로써 상기 가상 이미지 아이콘과 글을 서로 링크시킨다. When the application is executed in the initial screen as described above, as shown in FIG. 2A, the user of the first mobile communication terminal 100 links the virtual image icon and the article by creating a text to be left in the social network and generating a virtual image icon. Let's do it.

가상 이미지 아이콘은 일 예로 도시한 바와 같이 에그 또는 알(egg)(이하, '에그'라 함) 형상으로 이루어져 있으므로 이하에서는 가상 이미지 아이콘을 '에그(E)'라 하고, 위 작성 글은 '정보 데이터'의 대표적인 일 예로서 사용한다.Since the virtual image icon has an egg or egg (hereinafter referred to as an 'egg') shape as shown in the example, the virtual image icon is referred to as 'egg' in the following, and the above writing is 'information'. As a representative example of the data.

도 2a와 같이 에그(E)를 생성하고 나면, 도 2b와 같이 생성된 에그(E)를 남길 현실 세계의 특정 장소를 선택하여 사진 촬영을 하고, 촬영된 전체 실사 영상 중 특정 부분에 에그(E)를 놓아둠으로써 실사 영상에 가상 이미지인 에그(E)를 정합시켜 증강 현실(augmented reality)을 구현한다. 도 2a와 도 2b는 그 순서를 바꾸어 촬영을 먼저 한 후 에그(E)를 생성할 수도 있다.After the egg E is generated as shown in FIG. 2A, a photograph is taken by selecting a specific place in the real world to leave the generated egg E as shown in FIG. 2B, and the egg E is captured in a specific part of the entire live-action image. A), augmented reality is realized by matching the egg (E), which is a virtual image, with the live image. 2A and 2B may reverse the order of photographing first to generate an egg E. FIG.

에그(E)를 실사 영상 즉 현실 세계 중 특정 부분에 놓아두기 위해서 도 2c와 같이 당해 제1이동통신단말기(100)를 상기 특정 부분을 향해 특정 속도로 움직임으로써 가능하다. It is possible to move the first mobile communication terminal 100 at a specific speed toward the specific portion as shown in FIG.

이는, 낙시대를 던지거나 공을 던지는 것과 같이 팔을 뒤로 젖혔다가 앞으로 내미는 동작 상태를 상상하면 그 이해가 용이하며, 에그(E)를 던져서 특정 방향 및 특정 거리(상기 속도에 의해 산출)에 에그(E)를 놓아두면, 아래의 다른 예에서 살펴볼 수 있는 바와 같이 제2이동통신단말기(100) 사용자가 읽고 댓글을 다는 등의 소셜 네트워크 활동을 할 수 있게 한다.This is easy to understand by imagining an arm tilted backwards and forward, like throwing a navy or throwing a ball, and throwing an egg (E) in a certain direction and at a certain distance (calculated by the speed). Leaving (E) allows the user of the second mobile communication terminal 100 to perform social network activities such as reading and commenting, as can be seen in other examples below.

한편, 제2이동통신단말기(100)는 도 3a와 같이 활과 화살 그래픽 인터페이스를 이용해서 특정 지역에 놓인 에그(E)를 선택하여 글을 확인하고, 도 3b와 같이 댓글을 작성하여 상기 선택한 에그(E)에 남김으로써 제1이동통신단말기(100) 사용자와 제2이동통신단말기(100) 사용자 간에 소셜 네트워크가 형성되도록 한다.Meanwhile, the second mobile communication terminal 100 selects an egg E placed in a specific region by using a bow and arrow graphic interface as shown in FIG. 3A to confirm the post, and writes a comment as shown in FIG. 3B to select the egg. By leaving (E), a social network is formed between the user of the first mobile communication terminal 100 and the user of the second mobile communication terminal 100.

활과 화살 그래픽 인터페이스를 이용하여 특정 에그(E)를 선택하는 방법은 도 3c와 같이 활 시위를 당기는 방향으로 터치 패드(도 7의 150 참조)를 연속적으로 이동하며 터치하였다가 손을 떼면 화살이 날아가면서 에그(E)가 선택되는 것이 바람직하며, 이를 통해 사용자에게 흥미를 유발하고 재미도 줄 수 있게 한다.In the method of selecting a specific egg (E) using the bow and arrow graphic interface, as shown in FIG. 3C, the touch pad (see 150 in FIG. 7) is continuously moved in the direction of pulling the bow demonstration and the arrow is released when the finger is released. It is preferable that the egg (E) is selected while flying, thereby causing interest and fun to the user.

이상과 같은 이동통신단말기(100)의 어플리케이션 사용 화면은 도 4와 도 5에 좀더 다양하게 나열되어 있는데, 도 4의 (a)는 생성된 에그(E)를 던지는 상태를 나타내고, 도 4의 (b)는 댓글을 남기기 위해 화살을 생성하는 상태를 나타내고, 도 4의 (c)는 활과 화살 그래픽 인터페이스를 이용하여 에그(E)를 선택하는 것을 나타내고, 도 4의 (d)는 교내의 각 장소에 놓인 에그(E)를 명예의 전당 등 대학교의 대표적인 장소에 모두 모아서 보여주는 것을 나타내는 것이며, 도 4의 (e)는 도 4의 (d)에 놓여진 모든 에그(E)의 글을 확인하는 것을 나타내는 것이다.The application usage screens of the mobile communication terminal 100 as described above are more variously listed in FIGS. 4 and 5, and FIG. 4 (a) shows a state in which the generated egg E is thrown. b) shows a state of creating an arrow to leave a comment, and (c) of FIG. 4 shows selecting an egg (E) using a bow and arrow graphical interface, and (d) of FIG. It shows that the eggs (E) placed in the place gathered and displayed all the representative places of the university, such as the Hall of Fame, Figure 4 (e) is to confirm the writing of all the eggs (E) placed in Figure 4 (d). To indicate.

그리고, 도 5의 (a)는 한 장소에 복수개의 에그(E)(핑크색은 여성용, 푸른색은 남성용)가 놓여진 상태를 나타내고, 도 5의 (b)는 에그(E)를 간단히 터치하거나 하단의 정보읽기 버튼을 터치하여 각 에그(E)의 내용을 미리보기 하는 상태를 나타내고, 도 5의 (c)는 특정 에그(E)에 연결된 글 및 댓글을 모두 읽는 상태를 나타내고, 도 5의 (d)는 에그(E)에 남겨진 댓글을 읽는 상태를 나타내며, 도 5의 (e)는 에그(E)를 생성하는 또 다른 예를 나타낸 것이다.
5 (a) shows a state in which a plurality of eggs E (pink for women and blue for men) is placed in one place, and FIG. 5 (b) simply touches the eggs E or lowers 5 shows a state of previewing the contents of each egg (E) by touching the read information button, and FIG. 5 (c) shows a state of reading all posts and comments connected to a specific egg (E). d) shows the state of reading the comments left in the egg (E), Figure 5 (e) shows another example of generating the egg (E).

이하, 이상과 같은 소셜 네트워크 활동 즉 커뮤니티를 생성할 수 있는 본 발명에 따른 증강 현실 소셜 네트워크 시스템에 설명한다.Hereinafter, a description will be given of the augmented reality social network system according to the present invention that can generate social network activities, that is, the community as described above.

도 6에 도시된 바와 같이, 본 발명에 따른 증강 현실 소셜 네트워크 시스템은 크게 증강 현실 소셜 네트워크를 이용하는 다수의 사용자 이동통신단말기(100)와, 상기 이동통신단말기(100)들 간의 증강 현실 소셜 네트워크를 중계하는 중계 서버(200) 및 상기 이동통신단말기(100)와 중계 서버(200) 간의 데이터 통신을 담당하는 이동통신 시스템을 포함한다. As shown in FIG. 6, the augmented reality social network system according to the present invention largely uses a plurality of user mobile communication terminals 100 and an augmented reality social network between the mobile communication terminals 100. The relay server 200 includes a relay and a mobile communication system in charge of data communication between the mobile communication terminal 100 and the relay server 200.

이때, 이동통신단말기(100)는 각 기지국 커버 범위내(C1,...CN)의 소정 범위를 갖는 각 위치마다 하나 또는 복수개 존재하는데, 도 6에서 제1위치(L1)에는 글을 남기는 제1이동통신단말기(100)와 댓글을 남기는 제2이동통신단말기(100)가 있고, 제2위치(L2)에는 글을 남기는 제1이동통신단말기(100)만 있는 것을 예로 들었으며, 본 발명이 대학교라는 커뮤니티에 적용되는 경우 제1위치(L1)는 생활관이 될 수 있고 제2위치(L2)는 공학관이 될 수 있다.At this time, one or more mobile communication terminals 100 exist in each location having a predetermined range within each base station cover range (C 1 ,... C N ). The first mobile communication terminal 100 to leave and the second mobile communication terminal 100 to leave a comment, and the second location (L2) is an example that there is only the first mobile communication terminal 100 to leave a post. When the invention is applied to a community called a university, the first location L1 may be a living hall and the second location L2 may be an engineering building.

또한, 중계 서버(200)는 인터넷 망을 통해 위 이동통신단말기(100)들과 데이터 통신을 하면서 소셜 네트워크를 중계하는 것으로, 상기 각 위치들 중 대표적인 장소에 설치된다. 예컨대, 이상과 같이 본 발명이 대학교라는 커뮤니티에 적용되는 경우 중계 서버(200)는 관리자의 접근 및 관리가 용이한 본관에 설치될 것이다.In addition, the relay server 200 relays a social network while performing data communication with the mobile communication terminals 100 through the Internet network, and is installed at a representative place among the respective locations. For example, when the present invention is applied to a community called a university as described above, the relay server 200 will be installed in the main building where the administrator can easily access and manage.

또한, 상기 이동통신 시스템은 일 예로 기지국(BTS: Base station Transceiver Subsystem)(10)과, 기지국 제어기(BSC: Base station Controller)(20)와, 라우터(router)(30) 및 인터넷 망(40) 등을 포함하고 있어서 이동통신단말기(100)와 중계 서버(200) 간에 이동통신 서비스를 제공한다. In addition, the mobile communication system is, for example, a base station transceiver subsystem (BTS) 10, a base station controller (BSC) 20, a router 30, and an Internet network 40. It provides a mobile communication service between the mobile communication terminal 100 and the relay server 200, and the like.

물론, 이상과 같은 이동통신 시스템 이외에 Wi-Fi와 같이 무선 접속 공유기(AP: Access Point)가 설치된 곳의 일정 거리 안에서 초고속 인터넷 서비스를 제공할 수 있는 무선 데이터 전송 시스템을 비롯하여 그 외 다양한 이동통신 시스템도 적용될 수 있다.Of course, in addition to the mobile communication system described above, various other mobile communication systems, including a wireless data transmission system capable of providing high-speed Internet service within a certain distance of a place where an access point (AP) such as Wi-Fi is installed May also be applied.

따라서, 제1이동통신단말기(100)는 현재 위치(예: 제1위치)에서 소정 방향에 위치한 현실 세계(예: 생활관)를 카메라 모듈(도 7의 130 참조)로 촬상하고, 상기 현실 세계를 촬상한 실사 영상에 소셜 네트워크용 정보 데이터(예: 생활관에서의 스터디 모집 글)가 링크된 가상 이미지 아이콘(Icon)을 정합시킬 수 있게 한다.Accordingly, the first mobile communication terminal 100 captures a real world (for example, a living hall) located in a predetermined direction from a current location (for example, the first location) with a camera module (see 130 of FIG. 7), and captures the real world. It is possible to match the virtual image icon (Icon) linked with information data for social networks (e.g., a study recruitment article in the dormitory) to the captured live image.

또한, 중계 서버(200)는 제1이동통신단말기(100)로부터 실사 영상(예: 생활관 사진)과, 위치 정보와, 방향 정보 및 가상 이미지 아이콘에 링크된 정보 데이터(예: 생활관에서의 스터디 모집 글)를 입력받아 저장하고, 가상 이미지 아이콘을 선택하여 정보를 요청한 제2이동통신단말기(100)에 가상 이미지 아이콘에 링크된 정보 데이터를 제공할 수 있게 한다.In addition, the relay server 200 may collect live-action images (eg, dormitory photographs), location information, and information data linked to direction information and virtual image icons (eg, study recruitment from the dormitory) from the first mobile communication terminal 100. Text) is inputted and stored, and the virtual image icon is selected to provide the information data linked to the virtual image icon to the second mobile communication terminal 100 requesting the information.

또한, 제2이동통신단말기(100)는 제1이동통신단말기(100)에서 촬상한 현실 세계와 동일한 장소(예: 생활관)를 촬상하여 중계 서버(200)로 소셜 네트워크 활동을 요청하고, 중계 서버(200)로부터 가상 이미지 아이콘에 링크된 정보 데이터(예: 생활관에서의 스터디 모집 글)를 입력받아 확인하여 소셜 네트워크 활동(예: 스터디 가입 댓글)을 하는 등의 과정을 통해 증강 현실에서 소셜 네트워크를 형성할 수 있게 한다.
In addition, the second mobile communication terminal 100 requests social network activity to the relay server 200 by capturing the same place (eg, a dormitory) of the real world captured by the first mobile communication terminal 100, and relaying the server. The social network is augmented reality through a process such as receiving information data linked to a virtual image icon (e.g., a study recruitment article in a dormitory) from the 200, and performing social network activities (e.g., a study subscription comment). To form.

이를 위해, 이동통신단말기(100)는, 도 7에 도시된 바와 같이, 측위 모듈(110)과, 자세 측정 모듈(120)과, 카메라 모듈(130)과, SNS(Social Networking Service) 모듈(140)과, 터치 패드(150)와, AR(Augmented Reality) 모듈(161)과, AR 메모리(162)와, 모바일 데이터처리 모듈(170)과, 모바일 통신 모듈(180) 및 모바일 중앙처리유닛(CPU)(190)이 탑재되어 있다.To this end, the mobile communication terminal 100, as shown in Figure 7, the positioning module 110, the attitude measurement module 120, the camera module 130, Social Networking Service (SNS) module 140 ), Touch pad 150, AR (Augmented Reality) module 161, AR memory 162, mobile data processing module 170, mobile communication module 180 and mobile central processing unit (CPU) 190 is mounted.

여기서, 측위 모듈(110)은 당해 이동통신단말기(100)의 절대 위치를 측정하여 중계 서버(200)에 제공하는 것으로, GPS(Global Positioning System), DGPS(Differential GPS), 갈릴레오 등과 같은 위성 측위 서비스, 또는 당해 이동통신단말기(100)를 담당하는 기지국들의 삼각측량 등을 이용하여 절대 위치를 측정한다.Here, the positioning module 110 measures the absolute position of the mobile communication terminal 100 and provides it to the relay server 200. The positioning module 110 includes a satellite positioning service such as a global positioning system (GPS), a differential GPS (DGPS), and a Galileo. Alternatively, the absolute position is measured using triangulation of the base stations in charge of the mobile communication terminal 100.

자세 측정 모듈(120)은 상기 측위 모듈(110)에 의해 측정된 위치에 있는 이동통신단말기(100)의 자세를 측정하여 중계 서버(200)에 제공하는 것으로, 가속도 센서, 지자기 센서 또는 자이로 센서 중 어느 하나가 사용될 수 있다. The posture measuring module 120 measures the posture of the mobile communication terminal 100 at the position measured by the positioning module 110 and provides the posture measuring module 200 to the relay server 200, among the acceleration sensor, the geomagnetic sensor, or the gyro sensor. Either can be used.

이러한 자세 측정 모듈(120)은 현재 위치에서 이동통신단말기(100)가 향하는 방향을 판단하는데, 현재 위치에서 어느 방향을 바라보는가에 따라 보이는 현실 세계 혹은 실물이 달라질 수 있기 때문에 정확한 자세 측정을 하는 것이다. 또한, 아래에서 설명하는 바와 같이 이동통신단말기(100)를 움직여 사용자의 명령을 입력하는 방식(즉, 에그(E) 던지기 등)을 사용하는 경우 속도나 가속도를 측정하는데 사용되기도 한다.The posture measurement module 120 determines the direction in which the mobile communication terminal 100 is facing at the current location. The posture measurement module 120 performs accurate posture measurement because the actual world or the real world may vary depending on which direction the user is looking at. . In addition, as described below, when using a method of inputting a user's command by moving the mobile communication terminal 100 (that is, throwing an egg E, etc.), it may be used to measure speed or acceleration.

카메라 모듈(130)은 특정 위치에서 특정 방향을 향함에 따라 보이는 현실 세계를 소정 시야각(카메라의 성능에 따라 다를 수 있음)으로 촬상하고, 그를 통해 획득한 실사 영상을 AR 메모리(162)에 저장함과 동시에 중계 서버(200)로 제공한다.The camera module 130 captures the real world seen from a specific location toward a specific direction at a predetermined viewing angle (which may vary depending on the performance of the camera), and stores the real image obtained through the AR memory 162. At the same time provide to the relay server 200.

SNS 모듈(140)은 글 쓰기, 댓글 달기 및 블로그 작성 등 공지된 바와 같은 다양한 소셜 네트워크 서비스를 제공하며, 도 4의 (e)나 도 5의 (c) 및 (d)와 같은 프레임을 제공하는 것이 하나의 예이다. 물론, 소셜 네트워크 서비스를 증강 현실과 연동하여 제공한다는 점에서는 공지된 기술과 차이는 있다.The SNS module 140 provides various social network services as known, such as writing, commenting, and writing a blog, and provide a frame such as (e) of FIG. 4 or (c) and (d) of FIG. Is an example. Of course, there are differences from known technologies in that social network services are provided in conjunction with augmented reality.

터치 패드(150)는 사용자의 명령을 터치 방식으로 입력받는데, 이러한 터치 패드(150)는 일반적인 스마트 폰(미도시)에서 그래픽 유저 인터페이스(GUI)를 제공하는 터치 패드(미도시)와 동일하게 다양한 타입의 명령을 입력받는다.The touch pad 150 receives a user's command by a touch method, and the touch pad 150 is a variety of touch pads (not shown) that provide a graphical user interface (GUI) in a general smart phone (not shown). Receive a command of type.

AR 모듈(161)은 가상 이미지 아이콘으로 사용되는 에그(E)를 생성하고, SNS 모듈(140)에 의해 제공되는 소셜 네트워크 환경에서 터치 패드(150)를 통해 입력된 글(즉, 정보 데이터)을 에그(E)에 링크시키며, 정보 데이터가 링크된 에그(E)를 카메라 모듈(130)에서 촬상한 실사 영상에 정합시켜 증강 현실을 제공한다. 물론, 그 이외의 다양한 응용도 가능하며, AR 모듈(161)의 이러한 기능은 도 2a 및 도2b 등을 통해 이미 위에서 설명하였다.The AR module 161 generates an egg E used as a virtual image icon, and writes an input (ie, information data) input through the touch pad 150 in a social network environment provided by the SNS module 140. The egg E is linked to the egg E, and the egg E to which the information data is linked is matched to the live image captured by the camera module 130 to provide augmented reality. Of course, various other applications are possible, and this function of the AR module 161 has already been described above with reference to FIGS. 2A and 2B.

AR 메모리(162)는 증강 현실의 제공에 필요한 이동통신단말기(100)의 사용자 정보, 위치 정보, 자세 정보, 정보 데이터, 생성한 에그(E) 정보 및 실사 영상 등을 저장하고, 또 중계 서버(200)로의 업로드에 제공한다.The AR memory 162 stores user information, location information, posture information, information data, generated egg (E) information, live-action video, and the like of the mobile communication terminal 100 required for providing augmented reality, and a relay server ( For upload to 200).

모바일 데이터처리 모듈(170)은 이상과 같은 사용자 정보, 위치 정보, 자세 정보, 정보 데이터, 생성한 에그(E) 정보 및 실사 영상 등을 데이터 전송에 적합하게 신호처리한다.The mobile data processing module 170 signal-processes the user information, the location information, the attitude information, the information data, the generated egg (E) information, the live-action image, and the like, as appropriate for data transmission.

그리고, 모바일 통신 모듈(180)은 중계 서버(200)와의 데이터 송수신을 담당하며, 모바일 중앙처리유닛(190)은 이상과 같은 구성들을 제어하여 증강 현실 소셜 네트워크 서비스를 위한 프로세스를 처리한다. 물론, 그 외 호(call) 설정, SMS, MMS 및 인터넷 접속 등 일반적인 이동통신단말기(100)의 프로세스도 처리한다.In addition, the mobile communication module 180 is responsible for data transmission and reception with the relay server 200, the mobile central processing unit 190 controls the above configuration to process a process for augmented reality social network services. Of course, other processes such as call setup, SMS, MMS and Internet connection also processes the process of the general mobile terminal 100.

따라서, 도 2a와 같이 AR 모듈(161)을 통해 에그(E)를 생성하고 나면, 도 2b와 같이 상기 생성된 에그(E)를 남길 현실 세계의 특정 장소를 선택하여 카메라 모듈(130)로 사진 촬영을 하고, 촬영된 전체 실사 영상 중 특정 부분에 에그(E)를 놓아둠으로써 역시 AR 모듈(161)을 통해 실사 영상에 가상 이미지인 에그(E)를 정합시켜 증강 현실을 구현한다. Accordingly, after the egg E is generated through the AR module 161 as shown in FIG. 2A, a specific place in the real world in which the generated egg E is left as shown in FIG. 2B is selected and photographed by the camera module 130. By taking a picture and placing the egg E in a specific part of the entire photographed real picture, the AR module 161 also matches the egg E, which is a virtual image, with the real picture to implement augmented reality.

에그(E)를 실사 영상 즉 현실 세계 중 특정 부분에 놓아두기 위해서 도 2c와 같이 이동통신단말기(100)를 특정 부분을 향해 특정 속도로 움직이면, 자세 측정 모듈(120)에 의해 방향 및 속도를 측정하여 에그(E)를 실사 영상 내에 위치시킬 수 있음은 위에서 이미 설명하였다. In order to place the egg (E) in a live image, that is, a specific part of the real world, as shown in FIG. It is already described above that the egg E can be positioned within the live-action image.

뿐만 아니라, 도 3a와 같이 터치 패드(150)에 제공되는 활과 화살 그래픽 인터페이스를 이용하여 특정 지역에 놓인 에그(E)를 선택하여 글을 확인하고, 도 3b와 같이 댓글을 작성하여 상기 선택한 에그(E)에 남김으로써 여러 이동통신단말기(100) 사용자 간에 소셜 네트워크를 형성할 수 있도록 한다.
In addition, by using the bow and arrow graphical interface provided on the touch pad 150 as shown in Figure 3a to check the post by selecting the egg (E) placed in a specific area, write a comment as shown in Figure 3b By leaving (E) it is possible to form a social network between the users of the various mobile communication terminal 100.

한편, 중계 서버(200)는, 도 8에 도시된 바와 같이, 서버 통신 모듈(210)과, 서버 데이터처리 모듈(220)과, 위치·자세 분석모듈(230)과, 영상 비교 모듈(240)과, 서버 중앙처리유닛(250) 및 데이터베이스(260)를 포함하며, 상기 데이터베이스(260)는 사용자 정보 메모리(261)와, 위치·자세정보 메모리(262)와, SNS 메모리(263) 및 영상데이터 메모리(264)를 포함한다.Meanwhile, as illustrated in FIG. 8, the relay server 200 includes a server communication module 210, a server data processing module 220, a position and posture analysis module 230, and an image comparison module 240. And a server central processing unit 250 and a database 260, wherein the database 260 includes a user information memory 261, a position / posture memory 262, an SNS memory 263, and image data. Memory 264.

서버 통신 모듈(210)은 상술한 모바일 통신 모듈(180)에 대응하여 이동통신단말기(100)들과의 데이터 송수신을 담당하고, 서버 데이터처리 모듈(220)은 이동통신단말기(100)로부터 업로드된 사용자 정보, 위치 정보, 자세 정보, 정보 데이터, 생성한 에그(E) 정보 및 실사 영상 등을 데이터 판독에 적합하게 처리한다.The server communication module 210 is responsible for data transmission and reception with the mobile communication terminals 100 in response to the above-described mobile communication module 180, the server data processing module 220 is uploaded from the mobile communication terminal 100 User information, location information, posture information, information data, generated egg (E) information, live-action video, and the like are processed for data reading.

위치·자세 분석모듈(230)은 이동통신단말기(100)로부터 업로드된 다양한 데이터들 중 카메라 모듈(130)을 통해 실사 영상 촬상시의 이동통신단말기(100)의 위치 정보와 자세 정보를 추출 및 판독하여 위치·자세정보 메모리(262)에 저장한다.The position and posture analysis module 230 extracts and reads the position information and the posture information of the mobile communication terminal 100 at the time of capturing the real image through the camera module 130 among various data uploaded from the mobile communication terminal 100. And store it in the position / detail information memory 262.

영상 비교 모듈(240)은 이동통신단말기(100)로부터 현재 입력된 실사 영상과 기존에 저장되어 있는 실사 영상을 비교하는 것으로, 현재 입력된 실사 영상은 위에서 일 예로 설명한 바와 같이 제2이동통신단말기(100)가 댓글을 달기 위해 현실 세계를 촬상하여 업로드한 것이고, 기존에 저장되어 있는 실사 영상은 제1이동통신단말기(100)에서 글을 남기기 위해 현실 세계를 촬상하여 업로드한 것일 수 있다. The image comparison module 240 compares the actual image currently input from the mobile communication terminal 100 with the actual image stored in the existing image, and the current input image includes a second mobile communication terminal ( 100 is a photographed image of the real world for uploading, and the live image stored in the existing image may be uploaded by photographing the real world to leave a text in the first mobile communication terminal 100.

이러한 영상 비교 모듈(240)이 필요한 이유는 영상 분석 및 비교를 통해 사용자가 위치한 장소를 분석하여 그 장소에 있는 에그의 글만을 선별하여 제공하기 위한 것으로, 상술한 위치 및 자세 정보의 비교만으로도 판단 가능하지만, 가급적 영상 비교까지 함께 실시하여 더욱 정확한 판단이 가능하도록 하는 것이 바람직하기 때문이다.The reason why the image comparison module 240 is required is to analyze and provide a place of an egg in the place by analyzing the place where the user is located through image analysis and comparison, and can be determined only by comparing the above-described position and posture information. However, this is because it is desirable to perform image comparison as much as possible to make more accurate judgment.

또한, 이동통신단말기(100)가 현실 세계를 촬상하지 않고 현재의 위치 및 자세 정보만을 중계 서버(200)로 제공하는 경우에는, 해당 위치 및 자세에 매칭되는 실사 영상을 정보 데이터와 함께 이동통신단말기(100)로 제공함으로써, 이동통신단말기(100)가 그 촬상 없이도 증강 현실 소셜 네트워크를 구축할 수 있도록 하여 프로세스 처리 부담을 줄일 수 있도록 하는 것이 바람직하기 때문이다.In addition, when the mobile communication terminal 100 provides only the current position and posture information to the relay server 200 without capturing the real world, the mobile communication terminal together with the photo data includes a live image corresponding to the corresponding position and posture. This is because the mobile communication terminal 100 can build an augmented reality social network without the imaging, thereby reducing the processing burden.

서버 중앙처리유닛(250)은 이동통신단말기(100)와 중계 서버(200) 간의 데이터 중계를 통해 다양한 이동통신단말기(100) 사용자 간 증간 현실을 이용한 소셜 네트워크 서비스를 제공할 수 있도록, 이상과 같은 구성들을 전반적으로 제어한다.The server central processing unit 250 may provide a social network service using an augmented reality between users of various mobile communication terminals 100 through data relay between the mobile communication terminal 100 and the relay server 200. Overall control of configurations.

데이터베이스(260)의 사용자 정보 메모리(261)는 이동통신단말기(100)의 사용자 정보를 저장하는 것으로, 사용자 정보는 일 예로 재학생 정보(졸업생 정보도 포함 가능)일 수 있고, 가상 이미지(즉, 에그)에 링크된 정보 데이터(즉, 글)와 함께 사용자에게 제공되어, 글을 남긴 사람의 정보를 제공하며, 글을 남긴 사용자의 설정에 의해 공개되는 신상 정보의 범위가 달라질 수 있다.The user information memory 261 of the database 260 stores user information of the mobile communication terminal 100. The user information may be, for example, student information (including graduate information), and may be a virtual image (ie, an egg). The information provided to the user along with the information data (ie, the article) linked to the user) may be provided to the user, and the scope of the personal information disclosed by the user setting the article may vary.

위치·자세정보 메모리(262)는 실사 영상이 촬상된 위치와 자세 정보를 저장하는 것이고, SNS 메모리(263)는 가상 이미지 아이콘에 링크된 소셜 네트워크용 정보 데이터를 저장하는 것으로 일 예로 글이나 댓글 등이 있으며, 영상데이터 메모리(264)는 현실 세계를 촬상한 실사 영상을 저장하는 것이다.The position and position information memory 262 stores position and posture information on which the live image is captured, and the SNS memory 263 stores information data for social networks linked to a virtual image icon. The image data memory 264 stores live-action images of the real world.

따라서, 제1이동통신단말기(100)를 소지한 제1사용자가 특정 위치에서 특정 방향(즉, 자세)을 카메라 모듈(130)로 촬상하면, 실사 영상에 링크된 정보 데이터와 함께 상기 사진을 촬상한 위치 정보 및 자세 정보가 중계 서버(200)로 업로드 되고, 그 후 제2이동통신단말기(100)를 소지한 제2사용자가 상기 제1사용자와 동일한 위치 및 방향을 카메라 모듈(130)로 촬상하여 역시 중계 서버(200)로 제공함으로써 해당 위치에서의 소셜 네트워크 참여를 신청할 수 있게 한다.Therefore, when the first user having the first mobile communication terminal 100 captures a specific direction (ie, posture) with the camera module 130 at a specific location, the first user captures the picture along with the information data linked to the live image. One location information and posture information are uploaded to the relay server 200, and then a second user having the second mobile communication terminal 100 captures the same location and orientation as the first user with the camera module 130. By also providing to the relay server 200 allows to apply for social network participation in the location.

또한, 중계 서버(200)는 제2이동통신단말기(100)에서 업로드된 위치 정보, 자세 정보 및 실사 영상을 판독한 후, 위치·자세 분석모듈(230)과 영상 비교 모듈(240)에서의 비교를 통해 제1이동통신단말기(100)에서 제공된 것과 동일한지 판단하며, 만약 동일한 경우에는 제2사용자가 제1사용자가 있었던 장소에 남겨진 글을 탐색하는 것으로 판단하여, 상기 제1사용자가 남긴 글을 SNS 메모리(263)로부터 제2이동통신단말기(100)에 제공함으로써, 제2사용자가 댓글을 남겨 증강 현실에서 소셜 네트워크를 형성할 수 있게 한다.In addition, the relay server 200 reads the location information, posture information and live-up image uploaded from the second mobile communication terminal 100, and then compares the position and posture analysis module 230 with the image comparison module 240. Determine whether the same as the one provided by the first mobile communication terminal 100 through, and if the same, the second user is determined to search for the posts left in the place where the first user was, the article left by the first user By providing from the SNS memory 263 to the second mobile communication terminal 100, the second user can leave a comment to form a social network in augmented reality.

또한, 이러한 과정은 상기 제1이동통신단말기(100)의 소유자 및 제2이동통신단말기(100)의 소유자 이외에 다수의 이동통신단말기(100) 소유자들에 의해 계속하여 반복됨으로써, 도 4의 (d)나 도 5의 (a)와 같이 한 장소에 여러 개의 가상 이미지 아이콘 즉 에그(E)가 놓여질 수 있으며, 타 사용자는 이 여러 개의 에그(E)를 확인 후 필요한 에그(E)에 댓글을 남겨 증강 현실 소셜 네트워크를 계속하여 확장할 수 있게 한다.
In addition, this process is repeated by the owners of the plurality of mobile communication terminal 100 in addition to the owner of the first mobile communication terminal 100 and the owner of the second mobile communication terminal 100, so as to (d) ) Or multiple virtual image icons, that is, eggs (E), may be placed in one place as shown in FIG. 5 (a), and other users may leave comments on the eggs (E) required after checking the eggs. Allows to continue to expand augmented reality social networks.

이상, 본 발명의 특정 실시예에 대하여 상술하였다. 그러나, 본 발명의 사상 및 범위는 이러한 특정 실시예에 한정되는 것이 아니라, 본 발명의 요지를 변경하지 않는 범위 내에서 다양하게 수정 및 변형이 가능하다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 것이다. The specific embodiments of the present invention have been described above. It is to be understood, however, that the scope and spirit of the present invention is not limited to these specific embodiments, and that various modifications and changes may be made without departing from the spirit of the present invention. If you have, you will understand.

따라서, 이상에서 기술한 실시예들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
Therefore, it should be understood that the above-described embodiments are provided so that those skilled in the art can fully understand the scope of the present invention. Therefore, it should be understood that the embodiments are to be considered in all respects as illustrative and not restrictive, The invention is only defined by the scope of the claims.

100: 이동통신단말기 110: 측위 모듈
120: 자세 측정 모듈 130: 카메라 모듈
140: SNS 모듈 150: 터치 패드
161: AR 모듈 162: AR 메모리
170: 모바일 데이터처리 모듈 180: 모바일 통신 모듈
190: 모바일 중앙처리유닛 200: 중계 서버
210: 서버 통신 모듈 220: 서버 데이터처리 모듈
230: 위치·자세 분석모듈 240: 영상 비교 모듈
250: 서버 중앙처리유닛 260: 데이터베이스
E: 에그(가상 이미지 아이콘)100: mobile communication terminal 110: positioning module
120: posture measurement module 130: camera module
140: SNS module 150: touch pad
161: AR module 162: AR memory
170: mobile data processing module 180: mobile communication module
190: mobile central processing unit 200: relay server
210: server communication module 220: server data processing module
230: position and position analysis module 240: image comparison module
250: server central processing unit 260: database
E: Egg (virtual image icon)

Claims (5)

증강 현실(Augmented reality)을 이용하여 소셜 네트워크 서비스(Social Network Service, SNS)를 제공하는 증강 현실 소셜 네트워크 시스템에 있어서,
현재 위치에서 소정 방향에 위치한 현실 세계를 카메라 모듈로 촬상하고, 상기 현실 세계를 촬상한 실사 영상에 소셜 네트워크용 정보 데이터가 링크된 가상 이미지 아이콘(Icon)을 정합시키는 제1이동통신단말기와;
상기 제1이동통신단말기로부터 상기 실사 영상과, 위치 정보와, 방향 정보 및 가상 이미지 아이콘에 링크된 정보 데이터를 입력받아 저장하고, 상기 가상 이미지 아이콘을 선택하여 정보를 요청한 제2이동통신단말기에 상기 가상 이미지 아이콘에 링크된 정보 데이터를 제공하는 중계 서버; 및
상기 제1이동통신단말기에서 촬상한 현실 세계와 동일한 장소를 촬상하여 상기 중계 서버로 소셜 네트워크 활동을 요청하고, 상기 중계 서버로부터 상기 가상 이미지 아이콘에 링크된 정보 데이터를 입력받아 확인하여 소셜 네트워크 활동을 하는 제2이동통신단말기;를 포함하되,
상기 제1이동통신단말기는 자세 측정 모듈을 포함하고 있어서 상기 현실 세계 중 특정 방향을 향해 특정 속도로 상기 제1이동통신단말기를 움직이면 상기 자세 측정 모듈이 움직임을 감지하고, 상기 감지된 움직임에 따라 상기 실사 영상 중 특정 방향과 속도에 따른 특정 거리를 갖는 부분에 상기 가상 이미지 아이콘이 정합되는 것을 특징으로 하는 증강 현실 소셜 네트워크 시스템.In an augmented reality social network system that provides a social network service (SNS) using augmented reality,
A first mobile communication terminal for capturing a real world located in a predetermined direction from a current position with a camera module and matching a virtual image icon Icon linked with information data for social network to a live image of the real world;
The second mobile communication terminal receives and stores the live image, location information, direction information, and information data linked to a virtual image icon from the first mobile communication terminal, and selects the virtual image icon to request information. A relay server providing information data linked to the virtual image icon; And
Social network activity is requested by capturing the same place as the real world captured by the first mobile communication terminal, requesting social network activity to the relay server, and receiving information data linked to the virtual image icon from the relay server. To include; a second mobile communication terminal;
The first mobile communication terminal includes a posture measuring module. When the first mobile communication terminal moves at a specific speed in a specific direction of the real world, the first mobile communication terminal detects a movement and according to the detected movement, Augmented reality social network system, characterized in that the virtual image icon is matched to a portion having a specific distance according to a specific direction and speed of the live image. 삭제delete 제1항에 있어서,
상기 제2이동통신단말기는 사용자 명령을 터치 방식으로 입력받는 터치 패드 및 상기 터치 패드의 화면을 통해 디스플레이되는 활과 화살 그래픽 인터페이스를 포함하고 있어서,
상기 활과 화살 그래픽 인터페이스의 화살로 상기 가상 이미지 아이콘을 조준한 상태에서 활 시위를 당기듯 상기 터치 패드를 터치하면 상기 조준된 가상 이미지 아이콘이 선택되는 것을 특징으로 하는 증강 현실 소셜 네트워크 시스템.The method of claim 1,
The second mobile communication terminal includes a touch pad for receiving a user command by a touch method and a bow and arrow graphic interface displayed through a screen of the touch pad.
Augmented reality social network system characterized in that the aimed virtual image icon is selected by touching the touch pad as if pulling the bow demonstration while aiming the virtual image icon with the arrow of the bow and arrow graphical interface. 제1항 또는 제3항에 있어서,
상기 제1이동통신단말기는,
상기 제1이동통신단말기의 위치 정보를 제공하는 측위 모듈과;
상기 제1이동통신단말기의 자세 정보를 제공하는 자세 측정 모듈과; 현실 세계를 촬상하는 카메라 모듈과;
상기 제1이동통신단말기에 소셜 네트워크 서비스 환경을 제공하는 SNS 모듈과;
사용자의 명령을 터치 방식으로 입력받는 터치 패드와;
상기 카메라 모듈을 통해 촬상된 실사 영상에 상기 가상 이미지 아이콘을 정합하여 증강 현실을 제공하는 AR 모듈; 및
상기 증강 현실 제공을 위해 필요한 데이터를 저장하는 AR 메모리;를 포함하는 것을 특징으로 하는 증강 현실 소셜 네트워크 시스템.The method according to claim 1 or 3,
The first mobile communication terminal,
A positioning module for providing location information of the first mobile communication terminal;
A posture measuring module for providing posture information of the first mobile communication terminal; A camera module for imaging the real world;
An SNS module for providing a social network service environment to the first mobile communication terminal;
A touch pad configured to receive a user command in a touch manner;
An AR module that matches the virtual image icon with the live image captured by the camera module to provide augmented reality; And
AR memory for storing the data necessary for providing the augmented reality; augmented reality social network system comprising a. 제1항 또는 제3항에 있어서,
상기 중계 서버는,
상기 제1이동통신단말기 및 제2이동통신단말기로부터 전송된 데이터 중 위치와 자세에 대한 정보를 판독하여 분석하는 위치·자세 분석모듈과;
상기 제2이동통신단말기로부터 현재 입력된 실사 영상과 기존에 저장되어 있는 실사 영상을 비교하는 영상 비교 모듈; 및
상기 제1이동통신단말기 및 제2이동통신단말기의 사용자 정보를 저장하는 사용자 정보 메모리와, 상기 실사 영상이 촬상된 위치와 자세 정보를 저장하는 위치·자세정보 메모리와, 상기 가상 이미지 아이콘에 링크된 소셜 네트워크용 정보 데이터를 저장하는 SNS 메모리 및 상기 제1이동통신단말기 및 제2이동통신단말기로부터 제공된 실사 영상을 저장하는 영상데이터 메모리를 구비한 데이터베이스;를 포함하는 것을 특징으로 하는 증강 현실 소셜 네트워크 시스템.
The method according to claim 1 or 3,
The relay server includes:
A position / posture analysis module for reading and analyzing information on a position and a posture of data transmitted from the first mobile communication terminal and the second mobile communication terminal;
An image comparison module for comparing the actual image currently input from the second mobile communication terminal with the actual image stored in the existing mobile communication terminal; And
A user information memory for storing user information of the first mobile communication terminal and a second mobile communication terminal, a position / posture information memory for storing position and posture information of the photographed image of the live image, and linked to the virtual image icon An augmented reality social network system, comprising: a database having an SNS memory for storing information data for social networks and an image data memory for storing live images provided by the first and second mobile communication terminals. .
KR1020100130602A 2010-12-20 2010-12-20 Social network system using augmented reality KR101225476B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100130602A KR101225476B1 (en) 2010-12-20 2010-12-20 Social network system using augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100130602A KR101225476B1 (en) 2010-12-20 2010-12-20 Social network system using augmented reality

Publications (2)

Publication Number Publication Date
KR20120087259A KR20120087259A (en) 2012-08-07
KR101225476B1 true KR101225476B1 (en) 2013-01-23

Family

ID=46872822

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100130602A KR101225476B1 (en) 2010-12-20 2010-12-20 Social network system using augmented reality

Country Status (1)

Country Link
KR (1) KR101225476B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101659066B1 (en) * 2014-10-01 2016-09-22 (주) 애니펜 Method, system and computer-readable recording medium for creating message containing virtual space and virtual object
KR101865111B1 (en) * 2017-03-24 2018-06-07 이성희 Promotion Method Of Treasure Hunt Game Under Positional Information Base
KR102207566B1 (en) * 2019-08-13 2021-01-25 백윤기 System for providing location based social network service using augmented reality
KR102637416B1 (en) * 2019-10-30 2024-02-16 엘지전자 주식회사 Xr device and method for controlling the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100677502B1 (en) * 2006-01-13 2007-02-02 엘지전자 주식회사 Message composing method in mobile communication terminal based on augmented reality and its mobile communication terminal
US20090102859A1 (en) * 2007-10-18 2009-04-23 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
US20100315433A1 (en) * 2009-06-11 2010-12-16 Takeshita Kazutaka Mobile terminal, server device, community generation system, display control method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100677502B1 (en) * 2006-01-13 2007-02-02 엘지전자 주식회사 Message composing method in mobile communication terminal based on augmented reality and its mobile communication terminal
US20090102859A1 (en) * 2007-10-18 2009-04-23 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
US20100315433A1 (en) * 2009-06-11 2010-12-16 Takeshita Kazutaka Mobile terminal, server device, community generation system, display control method, and program

Also Published As

Publication number Publication date
KR20120087259A (en) 2012-08-07

Similar Documents

Publication Publication Date Title
US11509825B2 (en) Image management system, image management method, and computer program product
US9665986B2 (en) Systems and methods for an augmented reality platform
US9584694B2 (en) Predetermined-area management system, communication method, and computer program product
CN103797493B (en) For sharing the smart camera of picture automatically
US9397841B2 (en) Motion-based human verification system and method
CN103248810A (en) Image processing device, image processing method, and program
KR102121327B1 (en) Image acquisition method, controlled device and server
US20150356081A1 (en) Advanced camera management function
US20220035592A1 (en) Image management system, image management method, and program
KR101225476B1 (en) Social network system using augmented reality
WO2017014126A1 (en) Image management system, image management method and program
JP6617547B2 (en) Image management system, image management method, and program
JP6115113B2 (en) Predetermined area management system, predetermined area management method, and program
JP2023121636A (en) Information processing system, communication system, image sharing method, and program
KR102097199B1 (en) Method and apparatus for providing image based on position
WO2023095770A1 (en) Augmented reality display device, server device, augmented reality display system, augmented reality display method, and program
JP6360899B2 (en) Information processing method applied to terminal and terminal
JP2023170705A (en) System and method of controlling system
JP6268844B2 (en) Server apparatus, program, communication system, and communication method
JP5935645B2 (en) Comment creation display device, comment creation display method, and comment creation display program

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee