KR20160062770A - Mashup service method for augmented reality and mobile device applying the same - Google Patents

Mashup service method for augmented reality and mobile device applying the same Download PDF

Info

Publication number
KR20160062770A
KR20160062770A KR1020140165067A KR20140165067A KR20160062770A KR 20160062770 A KR20160062770 A KR 20160062770A KR 1020140165067 A KR1020140165067 A KR 1020140165067A KR 20140165067 A KR20140165067 A KR 20140165067A KR 20160062770 A KR20160062770 A KR 20160062770A
Authority
KR
South Korea
Prior art keywords
mashup
content
augmented reality
user
mobile device
Prior art date
Application number
KR1020140165067A
Other languages
Korean (ko)
Inventor
신춘성
홍성희
정광모
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020140165067A priority Critical patent/KR20160062770A/en
Priority to PCT/KR2014/011533 priority patent/WO2016085007A1/en
Publication of KR20160062770A publication Critical patent/KR20160062770A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Abstract

An augmented reality content mashup service method and a mobile device to which the same is applied are provided. According to the augmented reality content mashup service method, a two-dimensional image photographed by a camera is processed, content information in correspondence with the photographed two-dimensional image is extracted, and the content information extracted as augmented reality can be displayed on a screen. Accordingly, a content mashup service can be effectively provided only with minimum input of a user.

Description

증강현실 컨텐츠 매시업 서비스 방법 및 이를 적용한 모바일 장치{Mashup service method for augmented reality and mobile device applying the same}[0001] The present invention relates to a mashup service method for augmented reality contents and a mobile device using the mashup service method,

본 발명은 증강현실 컨텐츠 매시업 서비스 방법 및 이를 적용한 모바일 장치에 관한 것으로, 더욱 상세하게는, 2차원 이미지를 이용하여 증강현실을 제공하기 위한 증강현실 컨텐츠 매시업 서비스 방법 및 이를 적용한 모바일 장치에 관한 것이다.
The present invention relates to a mashup service method for an augmented reality contents and a mobile device using the same, and more particularly, to a mashup service method for providing an augmented reality using a two-dimensional image and a mobile device using the method.

증강현실(Augmented Reality, AR)은 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술이다. 증강현실은 또한 혼합현실(Mixed Reality, MR)이라고도 하는데, 비행기 제조사인 '보잉' 사에서 1990년경 비행기 조립 과정에 가상의 이미지를 첨가하면서 '증강현실'이 처음으로 세상에 소개됐다.Augmented Reality (AR) is a technology that superimposes a 3D virtual image on a realistic image or background and displays it as a single image. Augmented reality is also called Mixed Reality (MR), and 'Augmented Reality' was introduced to the world for the first time in 1990 when Boeing, a manufacturer of airplanes, added a virtual image to the airplane assembly process.

증강현실과 가상현실은 서로 비슷한 듯 하지만 그 주체가 허상이냐 실상이냐에 따라 명확히 구분된다. 컴퓨터 게임으로 예를 들면, 가상현실 격투 게임은 '나를 대신하는 캐릭터'가 '가상의 공간'에서 '가상의 적'과 대결하지만, 증강현실 격투 게임은 '현실의 내'가 '현실의 공간'에서 가상의 적과 대결을 벌이는 형태가 된다. 때문에 증강현실이 가상현실에 비해 현실감이 뛰어나다는 특징이 있다.Augmented reality and virtual reality seem to be similar to each other, but they are clearly distinguished according to whether they are virtual or real. As a computer game, for example, a virtual reality fighting game is a game in which a 'character substituting for me' confronts a 'virtual enemy' in 'virtual space', whereas augmented reality fighting game is a ' In the form of a confrontation with a virtual enemy. Therefore, the augmented reality is more realistic than the virtual reality.

증강현실은 내부적으로 대단히 복잡하고 어려운 영상 기술이지만, 기본적으로는 다음과 같은 원리와 순서로 작동한다. 증강현실 기술을 적용하기 위해서는 몇 가지 필요한 게 있는데, 지리/위치 정보를 송수신하는 GPS 장치 및 중력(기울기+전자나침반) 센서(또는 자이로스코프 센서), 이 정보에 따른 상세 정보가 저장된 위치정보시스템(인터넷 연결 필요), 그 상세 정보를 수신하여 현실 배경에 표시하는 증강현실 애플리케이션, 마지막으로 이를 디스플레이로 출력할 IT 기기(스마트폰, 태블릿 PC) 등이다.Augmented reality is a very complicated and difficult imaging technology internally, but basically it works with the following principles and procedures. In order to apply augmented reality technology, several things are needed: a GPS device that sends and receives geographic / location information, a gravity (tilt + electronic compass) sensor (or gyroscope sensor), a location information system An augmented reality application that receives detailed information and displays it on a realistic background, and finally an IT device (smart phone, tablet PC) that outputs it to a display.

일반적인 증강현실 저작 기법은 마커나 특징 정보를 갖는 대상물을 인식하고, 관련 콘텐츠를 추가하는 형태로 진행된다. 이러한 증강현실 저작 방법은 대상물을 정보를 얻기 위해 마커 ID를 사용하거나 특징 정보 활용해 서버로부터 정보를 가져와야 한다. 또한, 사용자들이 대상물에 콘텐츠나 메타데이터를 추가하기 위해서는 사용자들이 위치, 크기 및 반응 등의 모든 입력을 번거롭게 해야 한다. 하지만 이러한 형태의 증강현실 매시업은 사용자들이 이동환경에서 관련 정보를 획득하고 이를 기반으로 효과적인 매시업을 하는데 어려움이 있다.A general augmented reality authoring method recognizes an object having a marker or characteristic information and proceeds to add related contents. This augmented reality authoring method should use the marker ID to obtain the information of the object, or fetch information from the server using the feature information. Also, in order for users to add content or metadata to an object, the user must make all inputs such as location, size, and response cumbersome. However, this type of augmented reality mashup has difficulties for users to acquire relevant information in a mobile environment and to make an effective mashup based on the acquired information.

이에 따라, 더욱 효과적으로 증강현실을 제공하기 위한 방안의 모색이 요청된다.
Accordingly, a search for a scheme for more effectively providing an augmented reality is required.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 카메라에 의해 촬영된 2차원 이미지를 처리하고, 촬영된 2차원 이미지에 대응되는 컨텐츠 정보를 추출하며, 증강 현실로 상기 추출된 컨텐츠 정보를 화면에 표시하기 위한 매시업 컨텐츠를 생성하는 증강현실 컨텐츠 매시업 서비스 방법 및 이를 적용한 모바일 장치를 제공함에 있다.
SUMMARY OF THE INVENTION It is an object of the present invention to provide a method and apparatus for processing a two-dimensional image captured by a camera, extracting content information corresponding to the captured two-dimensional image, And generating a mashup content for displaying the extracted content information on a screen, and a mobile device using the method.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 모바일 장치에 의한 증강현실 컨텐츠 매시업(mashup) 서비스 방법은, 카메라에 의해 촬영된 2차원 이미지를 처리하는 단계; 상기 촬영된 2차원 이미지에 대응되는 컨텐츠 정보를 추출하는 단계; 및 증강 현실로 상기 추출된 컨텐츠 정보를 화면에 표시하기 위한 매시업 컨텐츠를 생성하는 단계;를 포함한다. According to an aspect of the present invention, there is provided a method of mashup an augmented reality content by a mobile device, the method comprising: processing a two-dimensional image captured by a camera; Extracting content information corresponding to the photographed two-dimensional image; And generating mashup contents for displaying the extracted content information on a screen as an augmented reality.

그리고, 상기 추출하는 단계는, 상기 촬영된 2차원 이미지에 대응되는 컨텐츠 정보를 상기 모바일 장치 내에 저장된 정보를 이용하여 추출할 수도 있다. The extracting may extract content information corresponding to the photographed two-dimensional image using information stored in the mobile device.

또한, 상기 추출하는 단계는, 추가 컨텐츠가 요청된 경우, 네트워크를 통해 외부 서버로부터 추가 컨텐츠 정보를 수신할 수도 있다. The extracting may further include receiving additional content information from an external server via the network when the additional content is requested.

그리고, 상기 추출하는 단계는, 사용자의 권한 정보를 추출하며, 추출된 사용자의 권한 정보에 대응되는 컨텐츠 정보를 추출할 수도 있다. The extracting step may extract the rights information of the user and extract the content information corresponding to the extracted right information of the user.

또한, 상기 추출된 컨텐츠 정보와 현재 상황 정보를 이용하여 자동 매시업을 생성하는 단계; 사용자의 입력에 따라 결정된 사용자 매시업을 생성하는 단계;를 더 포함하고, 상기 생성하는 단계는, 상기 자동 매시업과 사용자 매시업을 결합하여 매시업 컨텐츠를 생성할 수도 있다. Generating an automatic mashup using the extracted content information and current situation information; And generating a user mashup determined according to a user's input, wherein the generating may combine the automatic mashup and the user mashup to generate mashup content.

한편, 본 발명의 일 실시예에 따른, 모바일 장치는, 카메라에 의해 촬영된 2차원 이미지를 처리하는 이미지 처리부; 상기 촬영된 2차원 이미지에 대응되는 컨텐츠 정보를 추출하는 컨텐츠 획득부; 및 증강 현실로 상기 추출된 컨텐츠 정보를 화면에 표시하기 위한 매시업 컨텐츠를 생성하는 계층 관리부;를 포함할 수도 있다.
Meanwhile, according to an embodiment of the present invention, a mobile device includes: an image processing unit that processes a two-dimensional image captured by a camera; A content acquisition unit for extracting content information corresponding to the photographed two-dimensional image; And a layer manager for generating mashup contents for displaying the extracted content information on a screen as an augmented reality.

본 발명의 다양한 실시예에 따르면, 카메라에 의해 촬영된 2차원 이미지를 처리하고, 촬영된 2차원 이미지에 대응되는 컨텐츠 정보를 추출하며, 증강 현실로 상기 추출된 컨텐츠 정보를 화면에 표시하기 위한 매시업 컨텐츠를 생성하는 증강현실 컨텐츠 매시업 서비스 방법 및 이를 적용한 모바일 장치를 제공할 수 있게 되어, 사용자의 최소 입력만으로도 컨텐츠 매시업 서비스를 효과적으로 제공할 수 있게 된다.
According to various embodiments of the present invention, there is provided a method for processing a two-dimensional image captured by a camera, extracting content information corresponding to the captured two-dimensional image, and displaying the extracted content information on a screen It is possible to provide an augmented reality contents mashup service method for generating contents and a mobile apparatus using the same, thereby effectively providing a contents mashup service even with minimum input of a user.

도 1은 본 발명의 일 실시예에 따른, 증강현실 컨텐츠 매시업 서비스를 제공하기 위한 모바일 장치의 구성을 도시한 블럭도,
도 2는 본 발명의 일 실시예에 따른, 증강현실 컨텐츠 매시업 서비스 방법을 설명하기 위해 제공되는 흐름도,
도 3은 본 발명의 일 실시예에 따른, 증강현실 컨텐츠 매시업 서비스를 제공하는 과정의 일 예를 도시한 도면이다. 1 is a block diagram illustrating a configuration of a mobile device for providing an augmented reality contents mashup service according to an embodiment of the present invention;
FIG. 2 is a flowchart illustrating a method of mashup service for augmented reality contents according to an exemplary embodiment of the present invention;
3 is a diagram illustrating an example of a process of providing an augmented reality contents mashup service according to an embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. Hereinafter, the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른, 증강현실 컨텐츠 매시업(mashup) 서비스를 제공하기 위한 모바일 장치(100)의 구성을 도시한 블럭도이다. 도 1에 도시된 바와 같이, 모바일 장치(100)은 영상처리부(Image Processing)(110), 컨텐츠 획득부(Content retrieval)(120), 상황정보 처리부(Context Processing)(130), 자동 매시업부(Automatic Mashup)(140), 사용자입력 매시업부(Mediated Mashup)(150), 계층 관리부(Layer Management)(160)를 포함한다. 1 is a block diagram illustrating a configuration of a mobile device 100 for providing augmented reality content mashup service according to an embodiment of the present invention. 1, the mobile device 100 includes an image processing unit 110, a content retrieval unit 120, a context processing unit 130, an automatic mashup unit Automatic mashup 140, a user input mashup 150, and a layer management 160.

영상처리부(110)는 카메라에 의해 촬영된 2차원 이미지를 처리한다. 구체적으로, 영상 처리부(110)는 카메라에 의해 촬영된 2차원 이미지에서 증강현실의 대상물에 관련된 메타데이터를 추출하게 된다. The image processing unit 110 processes the two-dimensional image captured by the camera. Specifically, the image processing unit 110 extracts metadata related to the object of the augmented reality from the two-dimensional image captured by the camera.

상황정보 처리부(130)는 단말에서 발생하는 다양한 센서데이터를 처리하여 사용자의 상황 정보를 수집 및 관리 한다. 구체적으로, 상황 처리부(130)는 현재 위치에 대한 GPS(Global Positioning System) 정보, 사용자 선호도 정보(Preference), 및 사용자 권한 정보 등을 수집하여 처리하고 관리하게 된다. The situation information processing unit 130 processes various sensor data generated in the terminal and collects and manages the user's situation information. Specifically, the status processing unit 130 collects, processes, and manages GPS (Global Positioning System) information, user preference information (Preference), and user right information for the current position.

컨텐츠 획득부(120)는 촬영된 2차원 이미지에 대응되는 컨텐츠 정보를 추출하한다. 그리고, 컨텐츠 획득부(120)는 2차원 이미지 및 상황정보를 이용하여 추출된 관련 컨텐츠들을 수집하고 관리하게 된다. The content obtaining unit 120 extracts content information corresponding to the photographed two-dimensional image. The content acquisition unit 120 acquires and manages related contents extracted using the two-dimensional image and the context information.

또한, 컨텐츠 획득부(120)는 촬영된 2차원 이미지에 대응되는 컨텐츠 정보를 모바일 장치 내에 저장된 정보 또는 웹을 통해 추출하게 된다. 이와 같이, 모바일 장치 내에 저장된 정보를 이용하여 추출하는 것도 가능하므로, 종래의 증강현실 시스템이 콘텐츠가 저장된 서버와 네트워크가 연결되거나 단말에 미리 콘텐츠가 배포되어 있어야 하지만, 본 실시예에 따른 모바일 장치(100)는 네트워크 연결이 없더라도 2차원 이미지 패턴만을 이용하여 컨텐츠를 추출할 수 있게 된다.In addition, the content obtaining unit 120 extracts the content information corresponding to the photographed two-dimensional image through the information stored in the mobile device or the web. Since it is possible to extract information using the information stored in the mobile device, the conventional augmented reality system requires that the server storing the contents is connected to a network or contents are distributed in advance in the terminal. However, 100 can extract contents using only a two-dimensional image pattern even if there is no network connection.

그리고, 컨텐츠 획득부(120)는 추가 컨텐츠가 요청된 경우, 네트워크를 통해 외부 서버로부터 추가 컨텐츠 정보를 수신하게 된다. 이를 통해, 컨텐츠 획득부(120)는 네트워크를 통해 더욱 많은 컨텐츠를 추출할 수 있게 된다.When the additional content is requested, the content acquisition unit 120 receives the additional content information from the external server through the network. Accordingly, the content acquisition unit 120 can extract more contents through the network.

또한, 컨텐츠 획득부(120)는 사용자의 권한 정보를 추출하며, 추출된 사용자의 권한 정보에 대응되는 컨텐츠 정보를 추출하게 된다. 이를 통해, 컨텐츠 획득부(120)는 사용자별로 이용 가능한 컨텐츠의 권한을 다르게 설정할 수 있게 된다. 이로 인해, 종래의 증강현실 시스템은 컨텐츠가 배포되면 사용자가 모든 권한을 갖는 반면, 본 실시예에 따른 모바일 장치(100)는 사용자의 권한에 따라 컨텐츠의 질과 범위의 통제가 가능하다.Also, the content obtaining unit 120 extracts the right information of the user and extracts the content information corresponding to the extracted right information of the user. Accordingly, the content obtaining unit 120 can set the rights of the content that can be used by the user differently. Accordingly, in the conventional augmented reality system, when the content is distributed, the user has all rights, while the mobile device 100 according to the present embodiment can control the quality and range of contents according to the authority of the user.

자동 매시업부(140)는 추출된 컨텐츠 정보와 현재 상황 정보를 이용하여 자동 매시업을 생성하게 된다. 또한, 자동 매시업부(140)는 컨텐츠와 상황에 따라 관련 규칙, 연산 및 템플릿을 적용하여 자동으로 매시업한다. The automatic mashup unit 140 generates an automatic mashup using the extracted content information and current situation information. In addition, the automatic mashup unit 140 automatically mashes up by applying related rules, operations, and templates according to contents and conditions.

사용자입력 매시업부(150)는 사용자의 입력에 따라 결정된 사용자 매시업을 생성하게 된다. 또한, 사용자입력 매시업부(150)는 사용자가 입력 및 조정하여 매시업을 가능하게 한다. The user input mashup unit 150 generates a user mashup determined according to a user's input. In addition, the user input mashup unit 150 enables the user to input and adjust the mashup.

계층 관리부(160)는 증강 현실로 상기 추출된 컨텐츠 정보를 화면에 표시하기 위한 매시업 컨텐츠를 생성한다. 구체적으로, 계층 관리부(160)는 자동 매시업과 사용자 매시업을 결합하여 매시업 콘텐츠를 생성함으로써, 화면에 표시하기 위한 매시업 컨텐츠를 생성하게 된다. 그리고, 계층 관리부(160)는 생성된 매시업 컨텐츠를 컨텐츠 서버(Content Server)(170)에 전달한다.The layer management unit 160 generates mashup contents for displaying the extracted content information on the screen as augmented reality. Specifically, the hierarchy management unit 160 generates mashup contents by combining the automatic mashup and the user mashup to generate mashup contents for display on the screen. Then, the layer manager 160 transmits the generated mashup contents to the content server 170.

또한, 계층 관리부(160)는 맵뷰(Map view), 2차원 뷰(2D View), 및 3차원 뷰(3D View)의 3가지 모드로 매시업 컨텐츠를 제공하게 된다. In addition, the layer management unit 160 provides mashup contents in three modes: a map view, a two-dimensional view, and a three-dimensional view.

이와 같은 구조의 모바일 장치(100)는 증강현실 컨텐츠 매시업(mashup) 서비스를 제공할 수 있게 된다. The mobile device 100 having such a structure can provide augmented reality contents mashup service.

도 2는 본 발명의 일 실시예에 따른, 모바일 장치(100)에 의한 증강현실 컨텐츠 매시업 서비스 방법을 설명하기 위해 제공되는 흐름도이다. FIG. 2 is a flowchart provided to illustrate a method of mashup an augmented reality content by the mobile device 100, according to an embodiment of the present invention.

모바일 장치(100)는 카메라에 의해 촬영된 2차원 이미지를 처리한다(S210). 구체적으로, 모바일 장치(100)는 카메라에 의해 촬영된 2차원 이미지에서 증강현실의 대상물에 관련된 메타데이터를 추출하게 된다. The mobile device 100 processes the two-dimensional image photographed by the camera (S210). Specifically, the mobile device 100 extracts the metadata related to the object of the augmented reality from the two-dimensional image captured by the camera.

모바일 장치(100)는 촬영된 2차원 이미지에 대응되는 컨텐츠 정보를 추출하한다(S220). 또한, 모바일 장치(100)는 촬영된 2차원 이미지에 대응되는 컨텐츠 정보를 모바일 장치 내에 저장된 정보를 이용하여 추출하게 된다. 이와 같이, 모바일 장치 내에 저장된 정보를 이용하여 추출함으로써, 종래의 증강현실 시스템이 콘텐츠가 저장된 서버와 네트워크가 연결되거나 단말에 미리 콘텐츠가 배포되어 있어야 하지만, 본 실시예에 따른 모바일 장치(100)는 네트워크 연결이 없더라도 2차원 이미지 패턴만을 이용하여 컨텐츠를 추출할 수 있게 된다. The mobile device 100 extracts content information corresponding to the photographed two-dimensional image (S220). In addition, the mobile device 100 extracts content information corresponding to the photographed two-dimensional image using information stored in the mobile device. The mobile device 100 according to the present embodiment may be configured such that the conventional augmented reality system is connected to a server in which a content is stored and a content is previously distributed to the terminal by extracting information stored in the mobile device, The content can be extracted using only the two-dimensional image pattern even if there is no network connection.

그리고, 모바일 장치(100)는 추가 컨텐츠가 요청된 경우, 네트워크를 통해 외부 서버로부터 추가 컨텐츠 정보를 수신하게 된다. 이를 통해, 모바일 장치(100)는 네트워크를 통해 더욱 많은 컨텐츠를 추출할 수 있게 된다. When the additional content is requested, the mobile device 100 receives the additional content information from the external server through the network. This allows the mobile device 100 to extract more content via the network.

또한, 모바일 장치(100)는 사용자의 권한 정보를 추출하며, 추출된 사용자의 권한 정보에 대응되는 컨텐츠 정보를 추출하게 된다. 이를 통해, 모바일 장치(100)는 사용자별로 이용 가능한 컨텐츠의 권한을 다르게 설정할 수 있게 된다. 이로 인해, 종래의 증강현실 시스템은 컨텐츠가 배포되면 사용자가 모든 권한을 갖는 반면, 본 실시예에 따른 모바일 장치(100)는 사용자의 권한에 따라 컨텐츠의 질과 범위의 통제가 가능하다.Also, the mobile device 100 extracts the rights information of the user and extracts the content information corresponding to the extracted right information of the user. Accordingly, the mobile device 100 can differently set the authority of the content available for each user. Accordingly, in the conventional augmented reality system, when the content is distributed, the user has all rights, while the mobile device 100 according to the present embodiment can control the quality and range of contents according to the authority of the user.

모바일 장치(100)는 증강 현실로 추출된 컨텐츠 정보를 화면에 표시하기 위한 매시업 컨텐츠를 생성한다(S230). 구체적으로, 모바일 장치(100)는 추출된 컨텐츠 정보와 현재 상황 정보를 이용하여 자동 매시업을 생성하게 된다. 그리고, 모바일 장치(100)는 사용자의 입력에 따라 결정된 사용자 매시업을 생성하게 된다. 그 다음, 모바일 장치(100)는 자동 매시업과 사용자 매시업을 결합하여 매시업 콘텐츠를 생성함으로써, 화면에 표시하기 위한 매시업 컨텐츠를 생성하게 된다. The mobile device 100 generates mashup content for displaying the content information extracted by the augmented reality on the screen (S230). Specifically, the mobile device 100 generates an automatic mashup using the extracted content information and current situation information. The mobile device 100 then generates a user mashup determined according to the user's input. The mobile device 100 then generates the mashup content for display on the screen by combining the automatic mashup and the user mashup to generate the mashup content.

이와 같은 방법을 통해 모바일 장치(100)는 증강현실 컨텐츠 매시업(mashup) 서비스를 제공할 수 있게 된다. 그리고, 본 실시예에 따른 증강현실 컨텐츠 매시업 서비스 방법은 네트워크를 통한 콘텐츠 정보 획득 없이도 영상을 인식을 바탕으로 콘텐츠와 메타데이터를 획득하고, 사용자의 이동환경의 특성을 고려해 필요에 따라 다양한 콘텐츠를 자동으로 검색 및 조합하고 사용자의 최소의 입력만으로 콘텐츠 매쉬업을 구현할 수 있게 된다. Through such a method, the mobile device 100 can provide augmented reality contents mashup service. According to the present embodiment, the augmented reality contents mashup service method acquires contents and metadata based on recognition of images without acquiring contents information through a network, and automatically acquires various contents automatically according to the characteristics of the user's mobility environment And the content mashup can be implemented only by a minimum input of the user.

도 3은 본 발명의 일 실시예에 따른, 증강현실 컨텐츠 매시업 서비스를 제공하는 과정의 일 예를 도시한 도면이다. 3 is a diagram illustrating an example of a process of providing an augmented reality contents mashup service according to an embodiment of the present invention.

콘텐츠 제공자(310)는 컨텐츠를 3D 컨텐츠 클라우드(330)에 저장하고, 사용자들을 위해 보이스코드를 활용한 영상 패턴이 포함된 매거진이나 광고(320)를 만들게 된다. The content provider 310 stores the content in the 3D content cloud 330 and creates a magazine or an advertisement 320 including an image pattern using a voice code for users.

그리고, 사용자가 모바일 장치(340)의 카메라로 책, 포스터나 잡지광고(320)에 있는 영상을 인식하면 관련 컨텐츠 및 메타정보를 추출하고 화면 내 대상물에 증강된다. 또한 사용자가 추가로 정보를 원하는 경우 모바일 장치(340)는 네트워크를 통해 관련 콘텐츠를 자동으로 검색하고, 사용자의 피드백을 통해 최종 콘텐츠를 생성한다. 생성된 콘텐츠는 서버나 로컬 네트워크를 통해 공유되고, 3D 프린터(350)를 통해 출력될 수도 있다. When the user recognizes the image of the book, poster, or magazine advertisement 320 with the camera of the mobile device 340, the related content and meta information are extracted and enhanced on the in-screen object. In addition, if the user desires further information, the mobile device 340 automatically retrieves relevant content over the network and generates final content through user feedback. The generated content may be shared through a server or a local network, and output via the 3D printer 350. [

영상기반 반자동형 증강현실 매쉬업 서비스 방법은 도서, 포스터, 전시 등 다양한 곳의 대상물에 내재된 영상패턴을 인식하여 콘텐츠를 매쉬업하는 데 활용 가능하다. Image-based semi-automatic augmented reality mashup service method can be used to mash up contents by recognizing the image pattern embedded in objects in various places such as a book, a poster, and an exhibition.

한편, 본 실시예에 따른 장치의 기능 및 방법을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 프로그래밍 언어 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 플래시 메모리, 솔리드 스테이트 디스크(SSD) 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다. It goes without saying that the technical idea of the present invention can also be applied to a computer-readable recording medium having a computer program for performing the functions and methods of the apparatus according to the present embodiment. In addition, the technical idea according to various embodiments of the present invention may be realized in the form of a computer-readable programming language code recorded on a computer-readable recording medium. The computer-readable recording medium is any data storage device that can be read by a computer and can store data. For example, the computer-readable recording medium may be a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical disk, a hard disk drive, a flash memory, a solid state disk (SSD), or the like. In addition, the computer readable code or program stored in the computer readable recording medium may be transmitted through a network connected between the computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the spirit and scope of the present invention.

100 : 모바일 장치 110 : 이미지 처리부
120 : 컨텐츠 획득부 130 : 상황정보 처리부
140 : 자동 매시업부 150 : 사용자입력 매시업부
160 : 계층 관리부 100: mobile device 110: image processor
120: Content acquisition unit 130: Situation information processing unit
140: Automatic mashup unit 150: User input mashup unit
160:

Claims (6)

모바일 장치에 의한 증강현실 컨텐츠 매시업(mashup) 서비스 방법에 있어서,
카메라에 의해 촬영된 2차원 이미지를 처리하는 단계;
상기 촬영된 2차원 이미지에 대응되는 컨텐츠 정보를 추출하는 단계; 및
증강 현실로 상기 추출된 컨텐츠 정보를 화면에 표시하기 위한 매시업 컨텐츠를 생성하는 단계;를 포함하는 증강현실 컨텐츠 매시업 서비스 방법.1. A method for mashup of an augmented reality content by a mobile device,
Processing a two-dimensional image photographed by a camera;
Extracting content information corresponding to the photographed two-dimensional image; And
And generating mashup content for displaying the extracted content information on a screen as an augmented reality. 제1항에 있어서,
상기 추출하는 단계는,
상기 촬영된 2차원 이미지에 대응되는 컨텐츠 정보를 상기 모바일 장치 내에 저장된 정보를 이용하여 추출하는 것을 특징으로 하는 증강현실 컨텐츠 매시업 서비스 방법. The method according to claim 1,
Wherein the extracting comprises:
And extracting content information corresponding to the photographed two-dimensional image using information stored in the mobile device. 제2항에 있어서,
상기 추출하는 단계는,
추가 컨텐츠가 요청된 경우, 네트워크를 통해 외부 서버로부터 추가 컨텐츠 정보를 수신하는 것을 특징으로 하는 증강현실 컨텐츠 매시업 서비스 방법. 3. The method of claim 2,
Wherein the extracting comprises:
If additional content is requested, receiving additional content information from an external server over the network. 제1항에 있어서,
상기 추출하는 단계는,
사용자의 권한 정보를 추출하며, 추출된 사용자의 권한 정보에 대응되는 컨텐츠 정보를 추출하는 것을 특징으로 하는 증강현실 컨텐츠 매시업 서비스 방법. The method according to claim 1,
Wherein the extracting comprises:
Extracting the rights information of the user, and extracting the content information corresponding to the extracted right information of the user. 제1항에 있어서,
상기 추출된 컨텐츠 정보와 현재 상황 정보를 이용하여 자동 매시업을 생성하는 단계; 및
사용자의 입력에 따라 결정된 사용자 매시업을 생성하는 단계;를 더 포함하고,
상기 생성하는 단계는,
상기 자동 매시업과 사용자 매시업을 결합하여 매시업 컨텐츠를 생성하는 것을 특징으로 하는 증강현실 컨텐츠 매시업 서비스 방법.The method according to claim 1,
Generating an automatic mashup using the extracted content information and current situation information; And
Generating a user mashup determined according to a user's input,
Wherein the generating comprises:
Wherein the mashup content is generated by combining the automatic mashup and the user mashup. 카메라에 의해 촬영된 2차원 이미지를 처리하는 이미지 처리부;
상기 촬영된 2차원 이미지에 대응되는 컨텐츠 정보를 추출하는 컨텐츠 획득부; 및
증강 현실로 상기 추출된 컨텐츠 정보를 화면에 표시하기 위한 매시업 컨텐츠를 생성하는 계층 관리부;를 포함하는 모바일 장치. An image processing unit for processing a two-dimensional image photographed by a camera;
A content acquisition unit for extracting content information corresponding to the photographed two-dimensional image; And
And a layer manager for generating mashup contents for displaying the extracted content information on a screen as an augmented reality.
KR1020140165067A 2014-11-25 2014-11-25 Mashup service method for augmented reality and mobile device applying the same KR20160062770A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140165067A KR20160062770A (en) 2014-11-25 2014-11-25 Mashup service method for augmented reality and mobile device applying the same
PCT/KR2014/011533 WO2016085007A1 (en) 2014-11-25 2014-11-28 Augmented reality content mashup service method, and mobile device to which same is applied

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140165067A KR20160062770A (en) 2014-11-25 2014-11-25 Mashup service method for augmented reality and mobile device applying the same

Publications (1)

Publication Number Publication Date
KR20160062770A true KR20160062770A (en) 2016-06-03

Family

ID=56074548

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140165067A KR20160062770A (en) 2014-11-25 2014-11-25 Mashup service method for augmented reality and mobile device applying the same

Country Status (2)

Country Link
KR (1) KR20160062770A (en)
WO (1) WO2016085007A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101338700B1 (en) * 2011-01-27 2013-12-06 주식회사 팬택 Augmented reality system and method that divides marker and shares
JP2012215989A (en) * 2011-03-31 2012-11-08 Toppan Printing Co Ltd Augmented reality display method
KR101586071B1 (en) * 2012-08-29 2016-02-03 한국과학기술연구원 Apparatus for providing marker-less augmented reality service and photographing postion estimating method therefor
KR102056175B1 (en) * 2013-01-28 2020-01-23 삼성전자 주식회사 Method of making augmented reality contents and terminal implementing the same
KR101506610B1 (en) * 2013-04-29 2015-03-27 주식회사 제이엠랩 Apparatus for providing augmented reality and method thereof

Also Published As

Publication number Publication date
WO2016085007A1 (en) 2016-06-02

Similar Documents

Publication Publication Date Title
US20240112430A1 (en) Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
US10937249B2 (en) Systems and methods for anchoring virtual objects to physical locations
US9558559B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US11605204B2 (en) Image processing for augmented reality
USRE43545E1 (en) Virtual skywriting
KR20160112898A (en) Method and apparatus for providing dynamic service based augmented reality
KR102402580B1 (en) Image processing system and method in metaverse environment
KR102197615B1 (en) Method of providing augmented reality service and server for the providing augmented reality service
US20230073750A1 (en) Augmented reality (ar) imprinting methods and systems
CN113806306B (en) Media file processing method, device, equipment, readable storage medium and product
JP7150894B2 (en) AR scene image processing method and device, electronic device and storage medium
KR20130137076A (en) Device and method for providing 3d map representing positon of interest in real time
CN109034214B (en) Method and apparatus for generating a mark
KR102161437B1 (en) Apparatus for sharing contents using spatial map of augmented reality and method thereof
See et al. Virtual reality 360 interactive panorama reproduction obstacles and issues
US20230169625A1 (en) Computing device displaying image conversion possibility information
JP2017108356A (en) Image management system, image management method and program
CN114117092A (en) Remote cooperation method, device, electronic equipment and computer readable medium
KR20160062770A (en) Mashup service method for augmented reality and mobile device applying the same
KR20130118761A (en) Method and system for generating augmented reality scene
KR101934799B1 (en) Method and system for generating content using panoramic image
JP2013214158A (en) Display image retrieval device, display control system, display control method, and program
KR102443049B1 (en) Electric apparatus and operation method thereof
KR102204721B1 (en) Method and user terminal for providing AR(Augmented Reality) documentary service

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid