KR102022912B1 - System for sharing information using mixed reality - Google Patents

System for sharing information using mixed reality Download PDF

Info

Publication number
KR102022912B1
KR102022912B1 KR1020170142314A KR20170142314A KR102022912B1 KR 102022912 B1 KR102022912 B1 KR 102022912B1 KR 1020170142314 A KR1020170142314 A KR 1020170142314A KR 20170142314 A KR20170142314 A KR 20170142314A KR 102022912 B1 KR102022912 B1 KR 102022912B1
Authority
KR
South Korea
Prior art keywords
virtual object
gps coordinates
information
mixed reality
coordinates
Prior art date
Application number
KR1020170142314A
Other languages
Korean (ko)
Other versions
KR20190047922A (en
Inventor
김영평
이성욱
Original Assignee
주식회사 아이티원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이티원 filed Critical 주식회사 아이티원
Priority to KR1020170142314A priority Critical patent/KR102022912B1/en
Publication of KR20190047922A publication Critical patent/KR20190047922A/en
Application granted granted Critical
Publication of KR102022912B1 publication Critical patent/KR102022912B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25841—Management of client data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/35—Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
    • H04M2203/359—Augmented reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Information Transfer Between Computers (AREA)
  • Studio Devices (AREA)

Abstract

본 발명에 따른 혼합현실을 이용한 정보 공유 시스템은, 휴대 가능한 제1 디바이스로서, 촬영되는 영상을 바탕으로 혼합현실 공간을 제공하고, 상기 혼합현실 공간 내의 사용자 지정 위치에 사용자 입력에 따른 가상객체를 생성하고, 상기 제1 디바이스의 GPS 좌표와 상기 사용자 지정 위치의 공간 좌표로부터 산출되는 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 공유 서버로 전송하는 제1 디바이스; 휴대 가능한 제2 디바이스; 및 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 저장하고, 상기 제2 디바이스에 의해 촬영되는 영상에 상기 가상객체의 GPS 좌표가 포함되면, 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 상기 제2 디바이스로 전송하는 공유 서버를 포함하고, 상기 제2 디바이스는 촬영되는 영상의 상기 가상객체의 GPS 좌표에 대응하는 위치에 상기 가상객체를 표시하는 것을 특징으로 한다.The information sharing system using the mixed reality according to the present invention is a portable first device that provides a mixed reality space based on a captured image, and generates a virtual object according to a user input at a user-specified location in the mixed reality space. And a first device configured to transmit the GPS coordinates of the virtual object and the information of the virtual object, which are calculated from the GPS coordinates of the first device and the spatial coordinates of the user-specified location, to a shared server. A portable second device; And stores the GPS coordinates of the virtual object and the information of the virtual object, and if the image captured by the second device includes the GPS coordinates of the virtual object, the GPS coordinates of the virtual object and the information of the virtual object. And a sharing server for transmitting to the second device, wherein the second device displays the virtual object at a position corresponding to the GPS coordinates of the virtual object of the captured image.

Description

혼합현실을 이용한 정보 공유 시스템{System for sharing information using mixed reality}System for sharing information using mixed reality}

본 발명은 정보 공유 시스템에 관한 것으로, 보다 상세하게는 혼합현실을 이용한 정보 공유 시스템에 관한 것이다.The present invention relates to an information sharing system, and more particularly, to an information sharing system using mixed reality.

기존의 가상현실은 가상의 공간과 사물만을 대상으로 하지만, 혼합현실(Mixed Reality)은 현실 세계의 기반 위에 가상의 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공한다. 즉, 완전한 가상세계를 전제로 하는 가상현실과는 달리 현실세계 위에 가상의 대상을 결합시켜 현실의 효과를 더욱 증가시키는 것이다.Existing virtual reality targets only virtual space and objects, but mixed reality synthesizes virtual objects on the basis of the real world and provides additional information that is hard to be obtained by the real world alone. In other words, unlike virtual reality, which presupposes a perfect virtual world, the effect of reality is further increased by combining virtual objects on the real world.

이러한 특징 때문에 혼합현실은 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상현실과 달리 다양한 현실 환경에 응용이 가능하다.Due to this feature, mixed reality can be applied to various real environments, unlike existing virtual reality, which can be applied only to fields such as games.

본 발명이 이루고자 하는 기술적 과제는 혼합현실을 이용하여 지리적 위치를 기반으로 하는 정보를 불특정 다수 간에 공유할 수 있는 시스템을 제공하는 데 있다.SUMMARY OF THE INVENTION The present invention has been made in an effort to provide a system that can share information based on geographical location among an unspecified number using mixed reality.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 혼합현실을 이용한 정보 공유 시스템은, 휴대 가능한 제1 디바이스로서, 촬영되는 영상을 바탕으로 혼합현실 공간을 제공하고, 상기 혼합현실 공간 내의 사용자 지정 위치에 사용자 입력에 따른 가상객체를 생성하고, 상기 제1 디바이스의 GPS 좌표와 상기 사용자 지정 위치의 공간 좌표로부터 산출되는 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 공유 서버로 전송하는 제1 디바이스; 휴대 가능한 제2 디바이스; 및 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 저장하고, 상기 제2 디바이스에 의해 촬영되는 영상에 상기 가상객체의 GPS 좌표가 포함되면, 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 상기 제2 디바이스로 전송하는 공유 서버를 포함하고, 상기 제2 디바이스는 촬영되는 영상의 상기 가상객체의 GPS 좌표에 대응하는 위치에 상기 가상객체를 표시하는 것을 특징으로 한다.The information sharing system using the mixed reality according to the present invention for solving the above technical problem, as a portable first device, provides a mixed reality space based on the captured image, the user at a user-specified location in the mixed reality space A first device generating a virtual object according to an input and transmitting GPS coordinates of the virtual object and information of the virtual object calculated from the GPS coordinates of the first device and the spatial coordinates of the user-specified location to a shared server; A portable second device; And stores the GPS coordinates of the virtual object and the information of the virtual object, and if the image captured by the second device includes the GPS coordinates of the virtual object, the GPS coordinates of the virtual object and the information of the virtual object. And a sharing server for transmitting to the second device, wherein the second device displays the virtual object at a position corresponding to the GPS coordinates of the virtual object of the captured image.

상기 제2 디바이스는 상기 제2 디바이스의 GPS 좌표 및 촬영 방향 정보를 상기 공유 서버로 전송하고, 상기 공유 서버는 상기 제2 디바이스의 GPS 좌표 및 상기 촬영 방향 정보를 이용하여 상기 제2 디바이스에 의해 촬영되는 영상에 상기 가상객체의 GPS 좌표가 포함되는지 판단할 수 있다.The second device transmits the GPS coordinates and the photographing direction information of the second device to the sharing server, and the sharing server photographs the images by the second device using the GPS coordinates and the photographing direction information of the second device. It may be determined whether the image of the virtual object includes the GPS coordinates of the virtual object.

상기 공유 서버는 상기 제2 디바이스의 GPS 좌표와 상기 가상객체의 GPS 좌표 간의 거리가 소정 거리 이내이고 상기 촬영 방향을 중심으로 하는 일정 화각 내에 상기 가상객체의 GPS 좌표가 포함되면 상기 제2 디바이스에 의해 촬영되는 영상에 상기 가상객체의 GPS 좌표가 포함되는 것으로 판단할 수 있다.The sharing server may be configured to be configured by the second device when the distance between the GPS coordinates of the second device and the GPS coordinates of the virtual object is within a predetermined distance and the GPS coordinates of the virtual object are included within a predetermined angle of view centered on the photographing direction. It may be determined that the GPS image of the virtual object is included in the captured image.

상기 제2 디바이스는 상기 제2 디바이스의 GPS 좌표로부터 상기 가상객체의 GPS 좌표의 거리에 따라 상기 가상객체의 크기를 다르게 표시할 수 있다.The second device may display the size of the virtual object differently according to the distance of the GPS coordinates of the virtual object from the GPS coordinates of the second device.

상기 제1 디바이스의 GPS 좌표가 (x1, y1, z1)이고 상기 공간 좌표가 (a, b, c)일 때, 상기 가상객체의 GPS 좌표는 (x1+a, y1+b, z1+c)로 산출될 수 있다.When the GPS coordinate of the first device is (x 1 , y 1 , z 1 ) and the spatial coordinate is (a, b, c), the GPS coordinate of the virtual object is (x 1 + a, y 1 + b , z 1 + c).

상기 가상객체는 텍스트, 이미지 또는 이들의 조합을 포함할 수 있다.The virtual object may include text, an image, or a combination thereof.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 혼합현실을 이용한 정보 공유 시스템은, 휴대 가능한 제1 디바이스에 설치되는 제1 애플리케이션으로서, 촬영되는 영상을 바탕으로 제공되는 혼합현실 공간 내의 사용자 지정 위치에 사용자 입력에 따른 가상객체를 생성하고, 상기 제1 디바이스의 GPS 좌표와 상기 사용자 지정 위치의 공간 좌표로부터 산출되는 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 공유 서버로 전송하는 제1 애플리케이션; 휴대 가능한 제2 디바이스에 설치되는 제2 애플리케이션; 및 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 저장하고, 상기 제2 디바이스에 의해 촬영되는 영상에 상기 가상객체의 GPS 좌표가 포함되면, 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 상기 제2 디바이스로 전송하는 공유 서버를 포함하고, 상기 제2 애플리케이션은 상기 제2 디바이스에 의해 촬영되는 영상의 상기 가상객체의 GPS 좌표에 대응하는 위치에 상기 가상객체를 표시하는 것을 특징으로 한다.The information sharing system using the mixed reality according to the present invention for solving the technical problem is a first application installed in the portable first device, the user at a user-specified location in the mixed reality space provided based on the captured image A first application generating a virtual object according to an input and transmitting GPS coordinates of the virtual object and information of the virtual object calculated from the GPS coordinates of the first device and the spatial coordinates of the user-specified location to a shared server; A second application installed on the portable second device; And stores the GPS coordinates of the virtual object and the information of the virtual object, and if the image captured by the second device includes the GPS coordinates of the virtual object, the GPS coordinates of the virtual object and the information of the virtual object. And a sharing server for transmitting to the second device, wherein the second application displays the virtual object at a position corresponding to the GPS coordinates of the virtual object of the image photographed by the second device.

상기된 본 발명에 의하면 혼합현실을 이용하여 지리적 위치를 기반으로 하는 정보를 불특정 다수 간에 공유할 수 있는 효과가 있다.According to the present invention described above, the mixed reality can be used to share information based on geographical location among unspecified numbers.

도 1은 본 발명의 일 실시예에 따른 혼합현실을 이용한 정보 공유 시스템의 일부 구성을 보여준다.
도 2는 제1 사용자(110)가 제1 디바이스(100)에 의해 촬영되는 건물에 있는 매장을 방문하고 난 후기를 가상객체(VO)로 입력한 예를 보여준다.
도 3은 혼합현실 공간 내의 사용자 지정 위치(P), 즉 가상객체(VO)의 공간 좌표계를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 혼합현실을 이용한 정보 공유 시스템의 나머지 일부 구성을 보여준다.
도 5는 제2 디바이스(300)에 의해 촬영되는 영상에 가상객체(VO)가 표시되는 화면의 예를 보여준다.
도 6은 제2 디바이스(300)에 의해 촬영되는 영상에 가상객체(VO)가 더 크게 표시되는 화면의 예를 보여준다.Figure 1 shows a part of the configuration of the information sharing system using a mixed reality according to an embodiment of the present invention.
FIG. 2 shows an example in which a first user 110 inputs a late object after visiting a store in a building photographed by the first device 100 as a virtual object VO.
3 shows a user coordinate position P in the mixed reality space, that is, the spatial coordinate system of the virtual object VO.
Figure 4 shows the other components of the information sharing system using a mixed reality according to an embodiment of the present invention.
FIG. 5 illustrates an example of a screen on which a virtual object VO is displayed on an image captured by the second device 300.
FIG. 6 illustrates an example of a screen in which a virtual object VO is displayed larger in an image captured by the second device 300.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description and the accompanying drawings, the substantially identical components are represented by the same reference numerals, and thus redundant description will be omitted. In addition, in the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

도 1은 본 발명의 일 실시예에 따른 혼합현실을 이용한 정보 공유 시스템의 일부 구성을 보여준다. 본 실시예에 따른 정보 공유 시스템은 제1 사용자(110)의 제1 디바이스(100) 및 공유 서버(200)를 포함한다.Figure 1 shows a part of the configuration of the information sharing system using a mixed reality according to an embodiment of the present invention. The information sharing system according to the present embodiment includes the first device 100 and the sharing server 200 of the first user 110.

제1 디바이스(100)는 휴대 가능한 디바이스로서, 촬영되는 영상을 바탕으로 혼합현실 공간을 제공한다. 일 예로, 제1 디바이스(100)는 헤드 마운트형 디스플레이(head mounted display; HMD) 디바이스일 수 있다. 다른 예로, 제1 디바이스(100)는 핸드헬드 모바일 디바이스(예를 들면, 스마트폰, 태블릿 컴퓨터, 등등)일 수도 있다. 제1 디바이스(100)는 혼합현실 공간을 제공하기 위해 현실 환경의 3차원 맵을 생성할 수 있으며, 이를 위하여 예컨대 깊이 카메라를 구비할 수 있다. 또한 제1 디바이스(100)는 위치 파악을 위하여 GPS 모듈을 구비할 수 있고, 촬영 방향 인식을 위해 자이로센서를 구비할 수 있다.The first device 100 is a portable device and provides a mixed reality space based on the captured image. For example, the first device 100 may be a head mounted display (HMD) device. As another example, the first device 100 may be a handheld mobile device (eg, a smartphone, a tablet computer, etc.). The first device 100 may generate a 3D map of the real environment in order to provide a mixed reality space, and for example, may include a depth camera. In addition, the first device 100 may be provided with a GPS module for determining a location, and may be provided with a gyro sensor for recognizing a photographing direction.

제1 디바이스(100)(또는 제1 디바이스(100)에 설치된 제1 애플리케이션, 이하 제1 디바이스(100)의 기능 또는 동작은 제1 애플리케이션의 기능 또는 동작으로도 해석될 수 있음)는 혼합현실 공간 내의 사용자 지정 위치에 사용자 입력에 따른 가상객체를 생성한다. 즉, 제1 디바이스(100)는 촬영되는 영상을 바탕으로 생성된 혼합현실 공간 내에 제1 사용자(110)가 지정한 어떤 위치에 제1 사용자(110)가 입력한 가상객체를 생성한다.The mixed reality space of the first device 100 (or the first application installed in the first device 100, hereinafter, may be interpreted as a function or operation of the first application). Creates a virtual object based on user input at a user-specified location. That is, the first device 100 generates a virtual object input by the first user 110 at a position designated by the first user 110 in the mixed reality space generated based on the captured image.

사용자 지정 위치는, 예를 들면 도 1에 도시된 바와 같이 건물의 특정 지점(P)이 될 수 있다. 다른 예로, 벽이나 나무 등의 특정 지점이 될 수도 있고, 심지어는 (혼합현실 공간에서 사용자가 지정할 수 있는 한) 허공의 특정 지점이 될 수도 있다. The user-specified location may be a specific point P of the building, for example as shown in FIG. 1. As another example, it could be a specific point, such as a wall or tree, or even a specific point in the air (as long as the user can specify it in the mixed reality space).

가상객체는 텍스트, 이미지(2차원 또는 3차원), 또는 이들의 조합을 포함할 수 있다. 텍스트나 이미지는 제1 사용자(110)가 직접 입력하거나 그린 것일 수도 있고, 어떤 저장소(웹사이트, 파일, 폴더, 메모리 등)에서 불러온 것일 수도 있다.The virtual object may include text, an image (two or three dimensions), or a combination thereof. The text or image may be input or drawn by the first user 110 directly, or may be imported from a certain repository (website, file, folder, memory, etc.).

도 2는 제1 사용자(110)가 제1 디바이스(100)에 의해 촬영되는 건물에 있는 매장을 방문하고 난 후기(혹은 메모, 평가, 소감 등)를 가상객체(VO)로 입력한 예를 보여준다. 제1 사용자(110)는 매장의 이름이나 지도상의 위치 등을 입력할 필요 없이, 촬영되는 영상에서 위치(P)만을 지정함으로써 자신이 방문한(또는 후기 등을 기록할) 매장을 특정할 수 있으며, 그 위치(P)에 예컨대 텍스트 형식으로 후기를 기록할 수 있다. 가령 제1 사용자(110)는 도시된 바와 같이 후기로서 "전망좋고 커피맛 좋음"이라고 기록할 수 있다. FIG. 2 shows an example in which the first user 110 inputs a review (or a memo, evaluation, testimonial, etc.) as a virtual object VO after visiting a store in a building photographed by the first device 100. . The first user 110 may specify a store visited by the user (or to record a review, etc.) by specifying only the location P in the captured image without having to input the name of the store or the location on the map. At the position P, the latter can be recorded, for example, in text form. For example, the first user 110 may record, as shown, "good views and good coffee tastes" as a later stage.

도 3은 혼합현실 공간 내의 사용자 지정 위치(P), 즉 가상객체(VO)의 공간 좌표계를 나타낸다. 혼합현실 공간에서 가상객체는 사용자 시점, 즉 제1 디바이스(100)를 원점으로 하는 공간 좌표계에 놓여진다. 도 3에서, 사용자 지정 위치(P), 즉 가상객체(VO)의 공간 좌표는 (a, b, c)로 표현된다.3 shows a user coordinate position P in the mixed reality space, that is, the spatial coordinate system of the virtual object VO. In the mixed reality space, the virtual object is placed in a spatial coordinate system that uses the user's viewpoint, that is, the first device 100 as the origin. In FIG. 3, the spatial coordinates of the user-specified position P, that is, the virtual object VO, are represented by (a, b, c).

한편 제1 디바이스(100)는 절대 위치로서 GPS 모듈을 이용하여 GPS 좌표가 정의된다. 도 3에서 제1 디바이스(100)의 GPS 좌표는 (x1, y1, z1)이다.Meanwhile, the GPS coordinates of the first device 100 are defined using the GPS module as an absolute position. In FIG. 3, the GPS coordinates of the first device 100 are (x 1 , y 1 , z 1 ).

그러면 제1 디바이스(100)는 제1 디바이스(100)의 GPS 좌표 (x1, y1, z1)과 가상객체(VO)의 공간 좌표 (a, b, c)로부터 가상객체(VO)의 GPS 좌표를 (x1+a, y1+b, z1+c)로 산출할 수 있다. 이것이 가상객체(VO)의 절대 위치가 된다.Then, the first device 100 may determine the virtual object VO from the GPS coordinates (x 1 , y 1 , z 1 ) of the first device 100 and the spatial coordinates (a, b, c) of the virtual object VO. The GPS coordinates can be calculated as (x 1 + a, y 1 + b, z 1 + c). This is the absolute position of the virtual object VO.

제1 디바이스(100)는 가상객체(VO)의 GPS 좌표 및 가상객체(VO)의 정보를 무선 통신망을 통하여 공유 서버(200)로 전송한다. 그러면 공유 서버(200)는 가상객체(VO)의 정보를 그것의 GPS 좌표와 매칭하여 저장한다. The first device 100 transmits the GPS coordinates of the virtual object VO and the information of the virtual object VO to the sharing server 200 through a wireless communication network. The shared server 200 then stores the information of the virtual object VO by matching its GPS coordinates.

다수의(그리고 곳곳의) 제1 사용자(110)들에 의해, 다수의 제1 디바이스(100)들로부터 다수의 가상객체(VO)들이 수집됨으로써, 공유 서버(200)에는 수많은 지리적 위치마다(혹은 해당 지리적 위치의 매장, 건물, 지표 등마다) 각종 컨텐츠가 축적될 수 있다. 이렇게 축적된 컨텐츠는 본 발명의 실시예에 의하여 해당 위치 근처를 방문한 다른 사용자들에게 공유될 수 있다.By collecting multiple virtual objects (VOs) from multiple first devices (100) by multiple (and everywhere) first users (110), the shared server (200) has numerous geographic locations (or Various contents may be accumulated for each store, building, and surface of the corresponding geographical location. The accumulated content may be shared with other users who visit the location near the location according to an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따른 혼합현실을 이용한 정보 공유 시스템의 나머지 일부 구성을 보여준다. 본 실시예에 따른 정보 공유 시스템은 제2 사용자(310)의 제2 디바이스(300)를 더 포함한다.Figure 4 shows the other components of the information sharing system using a mixed reality according to an embodiment of the present invention. The information sharing system according to the present embodiment further includes a second device 300 of the second user 310.

제2 디바이스(300)는 휴대 가능한 디바이스로서, 촬영되는 영상을 바탕으로 혼합현실 공간을 제공하는 HMD 디바이스 또는 핸드헬드 모바일 디바이스(예를 들면, 스마트폰, 태블릿 컴퓨터, 등등)일 수도 있고, 혼합현실 기능이 없는 핸드헬드 모바일 디바이스일 수도 있다. 제2 디바이스(300)는 위치 파악을 위해 GPS 모듈을 구비할 수 있고, 촬영 방향 인식을 위해 자이로센서를 구비할 수 있다.The second device 300 is a portable device, which may be an HMD device or a handheld mobile device (eg, a smartphone, a tablet computer, etc.) that provides a mixed reality space based on the captured image, and a mixed reality. It may be a handheld mobile device without functionality. The second device 300 may include a GPS module for determining a location, and may include a gyro sensor for recognizing a photographing direction.

공유 서버(200)는, 제2 디바이스(300)(또는 제2 디바이스(300)에 설치된 제2 애플리케이션, 이하 제2 디바이스(300)의 기능 또는 동작은 제2 애플리케이션의 기능 또는 동작으로도 해석될 수 있음)에 의해 촬영되는 영상에 가상객체(VO)의 GPS 좌표가 포함되면, 해당 가상객체(VO)의 정보 및 그 GPS 좌표를 제2 디바이스(300)로 전송하고, 이를 수신한 제2 디바이스(300)는 촬영되는 영상의 가상객체(VO)의 GPS 좌표에 대응하는 위치에 가상객체(VO)를 표시한다.The shared server 200 may be interpreted as a function or operation of the second device 300 (or a second application installed in the second device 300, hereinafter, a function or operation of the second device 300). If the image taken by the image includes the GPS coordinates of the virtual object (VO), and transmits the information and the GPS coordinates of the virtual object (VO) to the second device 300, and receives the second device The display 300 displays the virtual object VO at a position corresponding to the GPS coordinates of the virtual object VO of the captured image.

예컨대 도 4에 도시된 바와 같이, 제2 사용자(310)가 가상객체(VO)의 GPS 좌표(P)의 근처에서 제2 디바이스(300)로 영상을 촬영하여 GPS 좌표(P)가 촬영되는 영상에 포함되면, 공유 서버(200)는 가상객체(VO)의 정보, 즉 "전망좋고 커피맛 좋음" 및 그 GPS 좌표를 제2 디바이스(300)로 전송하고, 도 5에 도시된 바와 같이 제2 디바이스(300)는 촬영되는 영상의 해당 GPS 좌표에 대응하는 위치에 "전망좋고 커피맛 좋음"이라는 텍스트를 표시한다.For example, as shown in FIG. 4, the second user 310 captures an image with the second device 300 near the GPS coordinate P of the virtual object VO, and thus the GPS coordinate P is captured. When included, the shared server 200 transmits the information of the virtual object VO, that is, "good view and good coffee taste" and its GPS coordinates to the second device 300, as shown in FIG. The device 300 displays the text “good view and good coffee taste” at a location corresponding to the corresponding GPS coordinates of the captured image.

공유 서버(200)가 제2 디바이스(300)에 의해 촬영되는 영상에 가상객체(VO)의 GPS 좌표가 포함되는지 판단할 수 있도록, 제2 디바이스(300)는 주기적으로(혹은 촬영 시에) GPS 좌표를 공유 서버(200)로 전송하고, 촬영 시에 촬영 방향 정보를 공유 서버(200)로 전송할 수 있다.The second device 300 periodically (or at the time of shooting) the GPS so that the shared server 200 can determine whether the image captured by the second device 300 includes the GPS coordinates of the virtual object VO. The coordinates may be transmitted to the sharing server 200, and the photographing direction information may be transmitted to the sharing server 200 at the time of photographing.

그러면 공유 서버(200)는 제2 디바이스(300)의 GPS 좌표와 촬영 방향 정보를 이용하여 제2 디바이스(300)에 의해 촬영되는 영상에 가상객체(VO)의 GPS 좌표가 포함되는지 판단할 수 있다.Then, the sharing server 200 may determine whether the GPS coordinates of the virtual object VO are included in the image photographed by the second device 300 using the GPS coordinates and the photographing direction information of the second device 300. .

예를 들면, 제2 디바이스(300)와 가상객체(VO)의 거리, 즉 제2 디바이스(300)의 GPS 좌표와 가상객체(VO)의 GPS 좌표(P) 간의 거리가 소정 거리(예컨대 수m 혹은 수십m) 이내이고 제2 디바이스(300)의 촬영 방향을 중심으로 하는 일정 화각(가령 120ㅀ) 내에 가상객체(VO)의 GPS 좌표(P)가 포함되면, 제2 디바이스(300)에 의해 촬영되는 영상에 가상객체(VO)의 GPS 좌표가 포함되는 것으로 판단할 수 있다.For example, the distance between the second device 300 and the virtual object VO, that is, the distance between the GPS coordinates of the second device 300 and the GPS coordinates P of the virtual object VO is a predetermined distance (eg, several m). Alternatively, if the GPS coordinates P of the virtual object VO are included within a certain angle of view (for example, 120 °) centering on the photographing direction of the second device 300, the second device 300 may be configured by the second device 300. It may be determined that the GPS image of the virtual object VO is included in the captured image.

만일 제2 디바이스(300)가 혼합현실 기능을 가지는 디바이스라면, 제2 디바이스(300)는 촬영되는 영상의 공간 좌표들(혹은 그 범위)을 GPS 좌표로 변환하여 공유 서버(200)로 전송하고, 공유 서버(200)는 이를 이용하여 촬영되는 영상 내에 가상객체(VO)의 GPS 좌표가 포함되는지 판단할 수도 있다.If the second device 300 is a device having a mixed reality function, the second device 300 converts the spatial coordinates (or the range) of the captured image into GPS coordinates and transmits the coordinates to the sharing server 200. The sharing server 200 may determine whether the GPS coordinates of the virtual object VO are included in the captured image.

제2 디바이스(300)는 공유 서버(200)로부터 가상객체(VO)의 정보와 GPS 좌표를 수신하면, 현재 제2 디바이스(300)의 GPS 좌표와 촬영 방향 정보를 이용하여 화면 내에 가상객체(VO)의 GPS 좌표(P)에 대응하는 위치를 산출하고, 그 위치에 가상객체(VO)를 표시할 수 있다.When the second device 300 receives the information of the virtual object VO and the GPS coordinates from the sharing server 200, the second device 300 currently uses the GPS coordinates of the second device 300 and the photographing direction information. The position corresponding to the GPS coordinate P of) may be calculated, and the virtual object VO may be displayed at the position.

제2 디바이스(300)는 제2 디바이스(300)로부터 가상객체(VO)까지의 거리, 즉 제2 디바이스(300)의 GPS 좌표와 가상객체(VO)의 GPS 좌표 간의 거리에 따라 가상개체(VO)의 크기를 다르게 표시할 수 있다. 예컨대 가상객체(VO)가 멀리 있을수록 작게, 가까이 있을수록 크게 표시하는 것이다. 이 경우 제2 사용자(310)가 가상객체(VO)에 다가갈수록 가상객체(VO)는 더 크게 표시될 것이다. 도 6은 도 5에 비하여 가상객체(VO)에(실제로는, 가상객체(VO)의 GPS 좌표에) 더 가까이 접근함으로써 가상객체(VO)가 더 크게 표시된 화면을 보여준다. The second device 300 according to the distance from the second device 300 to the virtual object VO, that is, the distance between the GPS coordinates of the second device 300 and the GPS coordinates of the virtual object VO. ) Can be displayed differently. For example, the virtual object VO is displayed smaller as it is farther away and larger as it is closer. In this case, as the second user 310 approaches the virtual object VO, the virtual object VO will be displayed larger. FIG. 6 shows a screen in which the virtual object VO is displayed larger by approaching the virtual object VO (actually, the GPS coordinates of the virtual object VO) than in FIG. 5.

본 발명에 설명된 디바이스, 애플리케이션, 서버의 기능 또는 동작들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다. The functions or operations of the device, application, or server described in the present invention may be performed by computer program instructions. Since these computer program instructions may be mounted on a processor of a general purpose computer, special purpose computer or other programmable data processing equipment, the instructions executed by the processor of the computer or other programmable data processing equipment may provide a means for performing the described functions. Will be created. These computer program instructions may be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular manner, and thus the computer usable or computer readable memory. It is also possible for the instructions stored in to produce an article of manufacture containing instruction means for performing the described function. Computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operating steps may be performed on the computer or other programmable data processing equipment to create a computer-implemented process to create a computer or other programmable data. Instructions that perform processing equipment may also provide steps for performing the described functions.

또한, 각 기능 또는 동작들은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each function or operations may represent a portion of a module, segment or code comprising one or more executable instructions for executing a specified logical function (s). It should also be noted that in some alternative embodiments, the functions mentioned may occur out of order. For example, the two blocks or steps shown in succession may in fact be executed substantially concurrently or the blocks or steps may sometimes be performed in the reverse order, depending on the functionality involved.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and changes without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas falling within the scope of the present invention should be construed as being included in the scope of the present invention.

Claims (7)

휴대 가능한 제1 디바이스로서, 촬영되는 영상을 바탕으로 혼합현실 공간을 제공하고, 상기 혼합현실 공간 내의 사용자 지정 위치에 사용자 입력에 따른 가상객체를 생성하고, 상기 제1 디바이스의 GPS 좌표와 상기 사용자 지정 위치의 공간 좌표로부터 산출되는 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 공유 서버로 전송하는 제1 디바이스;
휴대 가능한 제2 디바이스; 및
상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 저장하고, 상기 제2 디바이스에 의해 촬영되는 영상에 상기 가상객체의 GPS 좌표가 포함되면, 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 상기 제2 디바이스로 전송하는 공유 서버를 포함하고,
상기 제2 디바이스는 상기 제2 디바이스의 GPS 좌표 및 촬영 방향 정보를 상기 공유 서버로 전송하고, 촬영되는 영상의 상기 가상객체의 GPS 좌표에 대응하는 위치에 상기 가상객체를 표시하고,
상기 공유 서버는 상기 제2 디바이스의 GPS 좌표 및 상기 촬영 방향 정보를 이용하여 상기 제2 디바이스에 의해 촬영되는 영상에 상기 가상객체의 GPS 좌표가 포함되는지 판단하되, 상기 제2 디바이스의 GPS 좌표와 상기 가상객체의 GPS 좌표 간의 거리가 소정 거리 이내이고 상기 촬영 방향을 중심으로 하는 일정 화각 내에 상기 가상객체의 GPS 좌표가 포함되면 상기 제2 디바이스에 의해 촬영되는 영상에 상기 가상객체의 GPS 좌표가 포함되는 것으로 판단하는 것을 특징으로 하는, 혼합현실을 이용한 정보 공유 시스템.As a portable first device, a mixed reality space is provided based on a captured image, a virtual object is generated according to a user input at a user specified location in the mixed reality space, and the GPS coordinates and the user designation of the first device are provided. A first device for transmitting GPS coordinates of the virtual object and information of the virtual object calculated from spatial coordinates of a location to a shared server;
A portable second device; And
GPS coordinates of the virtual object and information of the virtual object are stored, and if the GPS coordinates of the virtual object are included in the image photographed by the second device, the GPS coordinates of the virtual object and the information of the virtual object are stored. A shared server for transmitting to the second device,
The second device transmits the GPS coordinates and the photographing direction information of the second device to the sharing server, and displays the virtual object at a position corresponding to the GPS coordinates of the virtual object of the captured image,
The sharing server determines whether an image captured by the second device includes GPS coordinates of the virtual object by using the GPS coordinates of the second device and the photographing direction information, wherein the GPS coordinates of the second device and the When the distance between the GPS coordinates of the virtual object is within a predetermined distance and the GPS coordinates of the virtual object are included in a predetermined angle of view centered on the shooting direction, the GPS coordinates of the virtual object are included in the image photographed by the second device. Information sharing system using mixed reality, characterized in that judged to be. 삭제delete 삭제delete 제1항에 있어서,
상기 제2 디바이스는 상기 제2 디바이스의 GPS 좌표로부터 상기 가상객체의 GPS 좌표의 거리에 따라 상기 가상객체의 크기를 다르게 표시하는 것을 특징으로 하는, 혼합현실을 이용한 정보 공유 시스템.The method of claim 1,
And the second device displays the size of the virtual object differently according to the distance of the GPS coordinates of the virtual object from the GPS coordinates of the second device. 제1항에 있어서,
상기 제1 디바이스의 GPS 좌표가 (x1, y1, z1)이고 상기 공간 좌표가 (a, b, c)일 때, 상기 가상객체의 GPS 좌표는 (x1+a, y1+b, z1+c)로 산출되는 것을 특징으로 하는, 혼합현실을 이용한 정보 공유 시스템.The method of claim 1,
When the GPS coordinate of the first device is (x 1 , y 1 , z 1 ) and the spatial coordinate is (a, b, c), the GPS coordinate of the virtual object is (x 1 + a, y 1 + b , z 1 + c), information sharing system using mixed reality. 제1항에 있어서,
상기 가상객체는 텍스트, 이미지 또는 이들의 조합을 포함하는 것을 특징으로 하는, 혼합현실을 이용한 정보 공유 시스템.The method of claim 1,
The virtual object comprises a text, an image or a combination thereof, information sharing system using mixed reality. 휴대 가능한 제1 디바이스에 설치되는 제1 애플리케이션으로서, 촬영되는 영상을 바탕으로 제공되는 혼합현실 공간 내의 사용자 지정 위치에 사용자 입력에 따른 가상객체를 생성하고, 상기 제1 디바이스의 GPS 좌표와 상기 사용자 지정 위치의 공간 좌표로부터 산출되는 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 공유 서버로 전송하는 제1 애플리케이션;
휴대 가능한 제2 디바이스에 설치되는 제2 애플리케이션; 및
상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 저장하고, 상기 제2 디바이스에 의해 촬영되는 영상에 상기 가상객체의 GPS 좌표가 포함되면, 상기 가상객체의 GPS 좌표 및 상기 가상객체의 정보를 상기 제2 디바이스로 전송하는 공유 서버를 포함하고,
상기 제2 애플리케이션은 상기 제2 디바이스의 GPS 좌표 및 촬영 방향 정보를 상기 공유 서버로 전송하고, 상기 제2 디바이스에 의해 촬영되는 영상의 상기 가상객체의 GPS 좌표에 대응하는 위치에 상기 가상객체를 표시하고,
상기 공유 서버는 상기 제2 디바이스의 GPS 좌표 및 상기 촬영 방향 정보를 이용하여 상기 제2 디바이스에 의해 촬영되는 영상에 상기 가상객체의 GPS 좌표가 포함되는지 판단하되, 상기 제2 디바이스의 GPS 좌표와 상기 가상객체의 GPS 좌표 간의 거리가 소정 거리 이내이고 상기 촬영 방향을 중심으로 하는 일정 화각 내에 상기 가상객체의 GPS 좌표가 포함되면 상기 제2 디바이스에 의해 촬영되는 영상에 상기 가상객체의 GPS 좌표가 포함되는 것으로 판단하는 것을 특징으로 하는, 혼합현실을 이용한 정보 공유 시스템.

A first application installed in a portable first device, the virtual object is generated according to a user input at a user specified location in a mixed reality space provided based on a captured image, and the GPS coordinates of the first device and the user specified. A first application for transmitting GPS coordinates of the virtual object and information of the virtual object calculated from spatial coordinates of a location to a shared server;
A second application installed on the portable second device; And
GPS coordinates of the virtual object and information of the virtual object are stored, and if the GPS coordinates of the virtual object are included in the image photographed by the second device, the GPS coordinates of the virtual object and the information of the virtual object are stored. A shared server for transmitting to the second device,
The second application transmits the GPS coordinates and the photographing direction information of the second device to the sharing server, and displays the virtual object at a position corresponding to the GPS coordinates of the virtual object of the image photographed by the second device. and,
The sharing server determines whether an image captured by the second device includes GPS coordinates of the virtual object by using the GPS coordinates of the second device and the photographing direction information, wherein the GPS coordinates of the second device and the When the distance between the GPS coordinates of the virtual object is within a predetermined distance and the GPS coordinates of the virtual object are included in a predetermined angle of view centered on the shooting direction, the GPS coordinates of the virtual object are included in the image photographed by the second device. Information sharing system using mixed reality, characterized in that judged to be.

KR1020170142314A 2017-10-30 2017-10-30 System for sharing information using mixed reality KR102022912B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170142314A KR102022912B1 (en) 2017-10-30 2017-10-30 System for sharing information using mixed reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170142314A KR102022912B1 (en) 2017-10-30 2017-10-30 System for sharing information using mixed reality

Publications (2)

Publication Number Publication Date
KR20190047922A KR20190047922A (en) 2019-05-09
KR102022912B1 true KR102022912B1 (en) 2019-09-19

Family

ID=66546409

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170142314A KR102022912B1 (en) 2017-10-30 2017-10-30 System for sharing information using mixed reality

Country Status (1)

Country Link
KR (1) KR102022912B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102620856B1 (en) 2022-08-26 2024-01-03 한국과학기술원 Method and apparatus for object proximity analysis on the mixed reality network

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111459432B (en) * 2020-03-30 2023-01-24 Oppo广东移动通信有限公司 Virtual content display method and device, electronic equipment and storage medium
KR102283301B1 (en) * 2020-12-31 2021-07-29 더에이치알더 주식회사 Apparatus and Method for Providing real time comunication platform based on XR

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110038425A (en) * 2009-10-08 2011-04-14 삼성에스디에스 주식회사 Content sharing system and method using real-world location for augmented reality
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102620856B1 (en) 2022-08-26 2024-01-03 한국과학기술원 Method and apparatus for object proximity analysis on the mixed reality network

Also Published As

Publication number Publication date
KR20190047922A (en) 2019-05-09

Similar Documents

Publication Publication Date Title
KR102414587B1 (en) Augmented reality data presentation method, apparatus, device and storage medium
Williams et al. BIM2MAR: an efficient BIM translation to mobile augmented reality applications
CN106133795B (en) Method and apparatus for visualizing geo-located media content in 3D rendering applications
Arth et al. The history of mobile augmented reality
CN111081199B (en) Selecting a temporally distributed panoramic image for display
US9558559B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US10863310B2 (en) Method, server and terminal for information interaction
JP6496671B2 (en) Information processing apparatus, terminal apparatus, information processing method, and program
US9268410B2 (en) Image processing device, image processing method, and program
KR101330805B1 (en) Apparatus and Method for Providing Augmented Reality
CN112074797A (en) System and method for anchoring virtual objects to physical locations
US10521962B1 (en) Method and system for visualizing overlays in virtual environments
KR102534637B1 (en) augmented reality system
EP2981945A1 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
KR20130029800A (en) Mobile device based content mapping for augmented reality environment
US20140192055A1 (en) Method and apparatus for displaying video on 3d map
KR102022912B1 (en) System for sharing information using mixed reality
US9529803B2 (en) Image modification
KR20190059120A (en) Facility Inspection System using Augmented Reality based on IoT
CN107656961A (en) A kind of method for information display and device
KR20210148074A (en) AR scenario content creation method, display method, device and storage medium
JP5981371B2 (en) Information terminal, system, program, and method for controlling display of augmented reality by posture
WO2019164830A1 (en) Apparatus, systems, and methods for tagging building features in a 3d space
KR102260193B1 (en) Remote augmented reality communication method and system that provides security for 3d-space
US9188444B2 (en) 3D object positioning in street view

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right