KR101334980B1 - Device and method for authoring contents for augmented reality - Google Patents

Device and method for authoring contents for augmented reality Download PDF

Info

Publication number
KR101334980B1
KR101334980B1 KR1020120143430A KR20120143430A KR101334980B1 KR 101334980 B1 KR101334980 B1 KR 101334980B1 KR 1020120143430 A KR1020120143430 A KR 1020120143430A KR 20120143430 A KR20120143430 A KR 20120143430A KR 101334980 B1 KR101334980 B1 KR 101334980B1
Authority
KR
South Korea
Prior art keywords
panorama
panoramas
augmented reality
reality content
group
Prior art date
Application number
KR1020120143430A
Other languages
Korean (ko)
Inventor
이종원
김희재
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020120143430A priority Critical patent/KR101334980B1/en
Application granted granted Critical
Publication of KR101334980B1 publication Critical patent/KR101334980B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications

Abstract

Disclosed is a device for authoring augmented reality (AR) content. The device for authoring the AR content comprises: an image matching unit for applying an image matching technique to panoramas collected from a panorama database; a panorama grouping unit for grouping, into a first group, panoramas in which there is an area overlapped with an object on a reference panorama selected by a user and grouping remaining panoramas into a second group; a location estimating unit for estimating a location value of the object on the reference panorama and selecting panoramas including an object corresponding to the object on the reference panorama among panoramas in the second group on the basis of the estimated location value; an authoring position determining unit for determining a panorama in which AR content is to be authored among panoramas in the first group and the panoramas selected by the location estimating unit; and a content authoring unit for authoring the AR content on the panorama determined by the authoring position determining unit. [Reference numerals] (1000) Panorama DB;(110) Panorama extracting unit;(120) Image matching unit;(130) Panorama grouping unit;(140) Location estimating unit;(150) Authoring position determining unit;(160) Content authoring unit

Description

증강현실 콘텐츠 저작 장치 및 증강현실 콘텐츠 저작 방법{DEVICE AND METHOD FOR AUTHORING CONTENTS FOR AUGMENTED REALITY}Augmented reality content authoring device and augmented reality content authoring method {DEVICE AND METHOD FOR AUTHORING CONTENTS FOR AUGMENTED REALITY}

본 발명은 증강현실 콘텐츠 저작 장치 및 이를 이용한 증강현실 콘텐츠 저작 방법에 관한 것이다.The present invention relates to an augmented reality content authoring apparatus and augmented reality content authoring method using the same.

근래에 들어, 컴퓨터와 스마트폰 테블릿PC 등의 모바일 기기를 통해 인터넷 사용이 자유로워짐에 따라 기존 인쇄물의 형태로 제공되어 왔던 지리 정보가 디지털 형태로 변환되고 있고, 기술적 제약이나 한계가 상당 부분 해소되어 보다 다양하고 자세한 정보가 사용자에게 제공되고 있다. 이러한 지리 정보 제공의 발전으로 인해 사용자는 찾고자 하는 지리 정보를 검색을 통해 손쉽게 얻을 수 있다.In recent years, as the use of the Internet through computers and smart phones, tablet PCs, etc., the geographic information that has been provided in the form of printed materials is being converted into digital form, and technical limitations and limitations are largely eliminated. Thus, more diverse and detailed information is provided to users. Due to the development of geographic information, users can easily obtain the geographic information they want to find by searching.

하지만, 사용자가 필요로 하는 정보의 양이 많아지고 다양화됨에 따라 단순한 지리 검색에 대한 정보 제공뿐만 아니라, 검색된 지리 정보에 해당되는 다양한 정보를 포함하는 콘텐츠를 추가로 제공하는 기술에 대한 수요가 증가하게 되었다. 이러한 필요성에 의해 지리 정보에 다양한 콘텐츠를 덧붙여 제공하는 증강현실 기술이 개발되었다.However, as the amount of information required by users increases and diversifies, the demand for technology that provides not only information about simple geographic search but also additional contents including various information corresponding to the searched geographic information increases. Was done. Due to this necessity, augmented reality technology has been developed to add various contents to geographic information.

증강현실(Augmented Reality: AR) 기술은 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이다. 지리 정보 제공에 접목된 증강현실 기술은, 사용자가 검색한 지리 정보와 연관된 사진 또는 영상 형태의 추가 콘텐츠 정보를 지리 정보와 함께 실시간으로 사용자에게 제공할 수 있고, 추가 콘텐츠 정보는 사용자가 눈으로 보는 현실세계와 겹쳐진 가상 물체 형태로 이루어질 수 있다.Augmented Reality (AR) technology is a technology that overlays virtual objects in the real world that the user sees. Augmented reality technology, combined with the provision of geographic information, can provide users with real-time additional content information in the form of pictures or images associated with the geographic information searched by the user in real time. It may be in the form of a virtual object superimposed with the real world.

전술한 증강현실 기술에 관한 것으로, 한국등록특허 제0985737호(발명의 명칭: 단말 장치의 시야에 포함되는 개체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체)는 단말의 위치, 자세 및 시야각 중 적어도 하나에 관한 정보를 참조하여 이미지 매칭 기법을 이용하여 단말 장치의 시야에 포함되는 객체를 인식한 후 인식된 객체에 대응되게 증강현실을 구현하는 기술을 개시하고 있다.Regarding the augmented reality technology described above, Korean Patent No. 0985737 (name of the invention: a method for providing information on an object included in a field of view of a terminal device, a terminal device, and a computer-readable recording medium) is a location of a terminal. A method of implementing augmented reality by recognizing an object included in a field of view of a terminal device using an image matching technique with reference to at least one of a posture, a viewing angle, and a corresponding object is described.

본 발명의 일부 실시예는 파노라마 데이터베이스에서 파노라마에 이미지 매칭 기법을 적용하여 그룹화하고, 그룹화된 파노라마에 포함된 객체에 대한 위치 값을 추정하여 증강현실 콘텐츠를 저작할 파노라마를 결정하고, 결정된 파노라마에 증강현실 콘텐츠를 저작하는 증강현실 콘텐츠 저작 장치 및 이를 이용하여 사용자가 원하는 객체와 관련된 증강현실 콘텐츠를 정확한 위치에 현실적으로 저작할 수 있는 증강현실 콘텐츠 저작 방법을 제공하는 데에 그 목적이 있다.Some embodiments of the present invention determine a panorama for authoring augmented reality content by estimating a group by applying an image matching technique to a panorama in a panorama database, estimating a position value of an object included in the grouped panorama, and augmenting the determined panorama. It is an object of the present invention to provide an augmented reality content authoring apparatus for authoring a reality content and augmented reality content authoring method capable of realistically authoring augmented reality content associated with an object desired by a user using the same.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.It is to be understood, however, that the technical scope of the present invention is not limited to the above-described technical problems, and other technical problems may exist.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 증강현실 콘텐츠 저작 장치는 파노라마 데이터베이스로부터 수집된 파노라마에 대해 이미지 매칭 기법을 적용하는 이미지 매칭부; 사용자에 의해 선택되는 기준 파노라마 상에 존재하는 객체와 겹치는 영역이 존재하는 파노라마를 제 1 그룹으로 그룹화하고, 나머지 파노라마를 제 2 그룹으로 그룹화하는 파노라마 그룹화부; 상기 기준 파노라마 상에 존재하는 객체의 위치 값을 추정하고, 상기 추정한 위치 값을 기초로 상기 제 2 그룹에 속하는 파노라마 중 상기 기준 파노라마 상에 존재하는 객체와 대응되는 객체를 포함하는 파노라마를 선택하는 위치 추정부; 상기 제 1 그룹에 속하는 파노라마 및 상기 위치 추정부에서 선택된 파노라마 중에 증강현실 콘텐츠를 저작할 파노라마를 결정하는 저작 위치 결정부; 및 상기 저작 위치 결정부에서 결정한 파노라마에 상기 증강현실 콘텐츠를 저작하는 콘텐츠 저작부를 포함한다.As a technical means for achieving the above technical problem, an augmented reality content authoring apparatus according to the first aspect of the present invention includes an image matching unit for applying an image matching technique to the panorama collected from the panorama database; A panorama grouping unit for grouping a panorama in which an area overlapping an object existing on a reference panorama selected by a user exists into a first group, and grouping the remaining panoramas into a second group; Estimating a position value of an object existing on the reference panorama and selecting a panorama including an object corresponding to an object existing on the reference panorama among panoramas belonging to the second group based on the estimated position value A position estimating unit; An authoring position determining unit to determine a panorama to author augmented reality content among the panoramas belonging to the first group and the panorama selected by the position estimating unit; And a content authoring unit authoring the augmented reality content in the panorama determined by the authoring position determining unit.

본 발명의 제 2 측면에 따른 증강현실 콘텐츠 저작 방법은 (a) 파노라마 데이터베이스로부터 수집된 파노라마에 대해 이미지 매칭 기법을 적용하는 단계; (b) 사용자에 의해 선택되는 기준 파노라마 상에 존재하는 객체와 겹치는 영역이 존재하는 파노라마를 제 1 그룹으로 그룹화하고, 나머지 파노라마를 제 2 그룹으로 그룹화하는 단계; (c) 상기 기준 파노라마 상에 존재하는 객체의 위치 값을 추정하고, 상기 추정한 위치 값을 기초로 상기 제 2 그룹에 속하는 파노라마 중 상기 기준 파노라마 상에 존재하는 객체와 대응되는 객체를 포함하는 파노라마를 선택하는 단계; (d) 상기 제 1 그룹에 속하는 파노라마 및 상기 (c) 단계에서 선택된 파노라마 중에 증강현실 콘텐츠를 저작할 파노라마를 결정하는 단계; 및 (e) 상기 (d) 단계를 통해 결정된 파노라마에 증강현실 콘텐츠를 저작하는 단계를 포함한다.A method for authoring augmented reality content according to a second aspect of the present invention includes the steps of: (a) applying an image matching technique to a panorama collected from a panorama database; (b) grouping panoramas in which an area overlapping with objects existing on the reference panorama selected by the user exist into a first group, and grouping the remaining panoramas into a second group; (c) a panorama including an object corresponding to an object existing on the reference panorama among panoramas belonging to the second group based on the estimated position value; Selecting a; (d) determining a panorama to author augmented reality content among panoramas belonging to the first group and panoramas selected in step (c); And (e) authoring the augmented reality content in the panorama determined through step (d).

전술한 본 발명의 과제 해결 수단 중 어느 하나인 증강현실 콘텐츠 저작 장치는 이미지 매칭부를 포함함으로써, 방대한 양의 파노라마 데이터베이스로부터 기준 파노라마 상에 존재하는 객체와 겹치는 영역이 존재하는 파노라마를 자동으로 선택할 수 있어 작업 효율이 증가되고 처리 시간이 단축되는 장점이 있다.The augmented reality content authoring apparatus, which is one of the above-described means for solving the problems of the present invention, includes an image matching unit, and automatically selects a panorama in which an area overlapping with an object existing on a reference panorama exists from a vast amount of panorama database. The work efficiency is increased and the processing time is shortened.

또한, 전술한 본 발명의 과제 해결 수단 중 어느 하나인 증강현실 콘텐츠 저작 장치는 위치 추정부를 포함함으로써, 제 2 그룹에 속하는 파노라마에서도 기준 파노라마와 같은 객체를 포함하고 있는 파노라마를 선택할 수 있어 사용자에게 정확한 지리 정보와 증강현실 콘텐츠를 제공할 수 있다.In addition, the augmented reality content authoring apparatus, which is one of the above-mentioned means for solving the problems of the present invention, includes a position estimating unit, so that a panorama including an object, such as a reference panorama, can be selected even in a panorama belonging to the second group, so that the user can accurately select the panorama. Geographic information and augmented reality content can be provided.

더불어, 전술한 본 발명의 과제 해결 수단 중 어느 하나인 증강현실 콘텐츠 저작 장치는 콘텐츠 저작부를 포함함으로써, 기준 파노라마 또는 기준 파노라마와 대응되는 객체 또는 이미지를 포함하는 파노라마 중 어느 하나에만 증강현실 콘텐츠를 저작하더라도 관련된 파노라마 모두에 증강현실 콘텐츠가 저작되어 전체 저작 과정을 단순화할 수 있다.In addition, the augmented reality content authoring apparatus, which is one of the above-described means for solving the problems of the present invention, includes a content authoring unit to author augmented reality content in only one of the panorama including the reference panorama or the object or image corresponding to the reference panorama. Even augmented reality content can be authored on all associated panoramas to simplify the entire authoring process.

도 1 은 본 발명의 일 실시예에 따른 증강현실 콘텐츠 저작 장치를 설명하기 위한 도면이다.
도 2a 내지 도 2c 는 도 1 에 따른 이미지 매칭 기법을 적용한 것을 설명하기 위한 도면이다.
도 3a 내지 도 3d 는 도 1 에 따른 위치 추정부에서 객체의 위치 값을 추정하는 것을 설명하기 위한 도면이다.
도 4 는 본 발명의 일 실시예에 따른 증강현실 콘텐츠 저작 방법을 설명하기 위한 도면이다.1 is a view for explaining an augmented reality content authoring apparatus according to an embodiment of the present invention.
2A to 2C are diagrams for describing the application of the image matching technique according to FIG. 1.
3A to 3D are diagrams for explaining estimating a position value of an object in the position estimator according to FIG. 1.
4 is a view for explaining a method for authoring augmented reality content according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. It should be understood, however, that the present invention may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In the drawings, the same reference numbers are used throughout the specification to refer to the same or like parts.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본원의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.Throughout this specification, when an element is referred to as "including " an element, it is understood that the element may include other elements as well, without departing from the other elements unless specifically stated otherwise. The terms "about "," substantially ", etc. used to the extent that they are used throughout the specification are intended to be taken to mean the approximation of the manufacturing and material tolerances inherent in the stated sense, Accurate or absolute numbers are used to help prevent unauthorized exploitation by unauthorized intruders of the referenced disclosure. The word " step (or step) "or" step "used to the extent that it is used throughout the specification does not mean" step for.

도 1 은 본 발명의 일 실시예에 따른 증강현실 콘텐츠 저작 장치를 설명하기 위한 도면이다.1 is a view for explaining an augmented reality content authoring apparatus according to an embodiment of the present invention.

도 1 을 참조하면, 증강현실 콘텐츠 저작 장치(100)는 파노라마 추출부(110), 이미지 매칭부(120), 파노라마 그룹화부(130), 위치 추정부(140), 저작 위치 결정부(150), 및 콘텐츠 저작부(160)를 포함한다.Referring to FIG. 1, the augmented reality content authoring apparatus 100 includes a panorama extractor 110, an image matcher 120, a panorama grouper 130, a position estimator 140, and an authoring position determiner 150. , And the content authoring unit 160.

파노라마 추출부(110)는 사용자에 의해 선택되는 기준 파노라마의 촬영 위치를 기초로 기준 파노라마와 파노라마 데이터베이스(1000)로부터 수집된 파노라마를 비교하여 미리 결정된 거리 기준 내의 파노라마를 추출하고, 추출한 파노라마를 후술될 이미지 매칭부(120)로 전송할 수 있다.The panorama extractor 110 compares the panorama collected from the panorama database 1000 with the reference panorama based on the photographing position of the reference panorama selected by the user, extracts a panorama within a predetermined distance reference, and will be described later. The image matching unit 120 may transmit the image matching unit 120.

여기서, 기준 파노라마는 증강현실 콘텐츠 저작 장치(100)를 사용하여 증강현실 콘텐츠를 저작하는 사용자가 파노라마 데이터베이스(1000)의 방대한 양의 파노라마 중 증강현실 콘텐츠를 저작하기 위한 파노라마를 추출하기 위해 기준이 되도록 선택한 파노라마를 의미할 수 있다. 또한, 전술한 미리 결정된 거리 기준은 사용자에 의해 설정되고 조절이 가능한 값이다. 예시적으로, 사용자에 의해 선택된 기준 파노라마가 남대문(객체)이 찍힌 사진이나 영상의 파노라마일 수 있고, 기준 파노라마의 촬영 위치는 증강현실 콘텐츠 저작 장치(100)에 포함된 GPS 혹은 다른 방식으로부터 수신될 수 있다. 파노라마 데이터베이스(1000) 내에 각각의 파노라마는 촬영 당시 위치 값과 함께 저장되어 있을 수 있으므로, 파노라마 추출부(110)는 기준 파노라마의 촬영 위치를 기초로 수행되는 비교 과정을 통해 파노라마 데이터베이스(1000) 내에서 미리 결정된 거리 기준 내의 파노라마를 추출해낼 수 있다.Here, the reference panorama may be a reference for a user who authors augmented reality content using the augmented reality content authoring apparatus 100 to extract a panorama for authoring an augmented reality content among a vast amount of panoramas of the panorama database 1000. It can mean the selected panorama. In addition, the above-mentioned predetermined distance criterion is a value set and adjustable by the user. For example, the reference panorama selected by the user may be a panorama of a photograph or image on which Namdaemun (object) is taken, and the photographing position of the reference panorama may be received from a GPS or other method included in the augmented reality content authoring apparatus 100. Can be. Since each panorama in the panorama database 1000 may be stored together with a position value at the time of shooting, the panorama extractor 110 performs a comparison process in the panorama database 1000 based on the shooting position of the reference panorama. It is possible to extract a panorama within a predetermined distance criterion.

전술한 파노라마 추출부(110)는 본 발명의 일 실시예에 따른 증강현실 콘텐츠 저작 장치(100)에서 저작 과정이 일어나기 전에 전처리 과정을 수행하는 것으로써, 수많은 파노라마가 저장되어 있는 파노라마 데이터베이스(1000)에서 기준 파노라마의 촬영 위치와 유사성이 있는 파노라마를 미리 추출할 수 있다. 이와 같이 후술할 이미지 매칭부(120)에서 전체 파노라마에 대해 이미지 매칭 기법을 적용하기에 앞서서 파노라마 추출부(110)가 전처리 과정을 수행함으로써, 이미지 매칭부(120)에서 처리해야 할 파노라마의 양을 줄일 수 있어 빠른 처리가 가능하고, 많은 파노라마 처리에 따른 증강현실 콘텐츠 저작 장치(100)의 과부화를 방지할 수 있다.The above-described panorama extraction unit 110 performs a preprocessing process before the authoring process occurs in the augmented reality content authoring apparatus 100 according to an embodiment of the present invention, and includes a panorama database 1000 in which numerous panoramas are stored. In FIG. 2, panoramas having similarities to the photographing positions of the reference panoramas may be extracted in advance. As described above, before the image matching unit 120 applies the image matching technique to the entire panorama, the panorama extractor 110 performs a preprocessing process, thereby determining the amount of panorama to be processed in the image matching unit 120. It is possible to reduce the fast processing, and to prevent the overload of the augmented reality content authoring apparatus 100 according to many panorama processing.

이미지 매칭부(120)는 파노라마 데이터베이스(1000)로부터 수집된 파노라마에 대해 이미지 매칭 기법을 적용한다. 또한, 이미지 매칭부(120)는 전술한 파노라마 추출부(110)에서 추출된 파노라마에 대해 이미지 매칭 기법을 적용할 수 있다. 이미지 매칭 기법은 각각의 파노라마에 나타나 있는 이미지 중 겹치는 영역, 객체 혹은 이미지가 존재하는 파노라마를 자동으로 분류할 수 있는 기술을 말한다. 본 발명에서는 파노라마 데이터베이스(1000)에서 수집된 파노라마 또는 파노라마 추출부(110)에서 추출된 파노라마 중에서 사용자에 의해 선택된 기준 파노라마 상에 존재하는 객체와 겹치는 영역 또는 이미지가 존재하는 파노라마를 찾을 수 있다. 이미지 매칭부(120)는 방대한 양의 파노라마 데이터베이스로(1000)부터 기준 파노라마 상에 존재하는 객체와 겹치는 영역이 존재하는 파노라마를 자동으로 선택함으로써, 증강현실 콘텐츠 저작 장치(100)에서 이루어지는 작업을 간소화시키고, 작업 효율을 증대시키며 작업 시간도 단축시킬 수 있다. 이미지 매칭 기법을 적용하여 기준 파노라마와 겹치는 영역 또는 이미지가 존재하는 파노라마를 찾는 것은 후술될 도 2a 내지 도 2c 를 통해 상세히 설명하도록 한다.The image matching unit 120 applies an image matching technique to the panorama collected from the panorama database 1000. In addition, the image matching unit 120 may apply an image matching technique to the panorama extracted by the above-described panorama extraction unit 110. The image matching technique is a technology that can automatically classify panoramas in which overlapping areas, objects, or images exist among images shown in each panorama. In the present invention, a panorama in which an area or an image overlaps with an object existing on a reference panorama selected by a user may be found among panoramas collected by the panorama database 1000 or panoramas extracted by the panorama extractor 110. The image matching unit 120 automatically selects a panorama having an area overlapping with an object existing on the reference panorama from the massive panorama database 1000, thereby simplifying the work performed in the augmented reality content authoring apparatus 100. Can increase the working efficiency and shorten the working time. Finding a panorama in which a region or an image overlaps with the reference panorama by applying an image matching technique will be described in detail with reference to FIGS. 2A through 2C.

도 2a내지 도 2c 는 도 1 에 따른 이미지 매칭 기법을 적용한 것을 설명하기 위한 도면이다.2A to 2C are diagrams for describing the application of the image matching technique of FIG. 1.

도 2a 내지 도 2c 를 참조하여 이미지 매칭 기법을 적용하여 기준 파노라마와 겹치는 영역 또는 이미지가 존재하는 파노라마를 찾는 것에 대해 살펴본다. 예시적으로, 도 2c 에 나타난 이미지가 사용자에 의해 선택된 기준 파노라마라고 하면, 도 2a 는 도 2c 에 나타난 객체(이미지 상에 문 정면)를 우측에서 촬영한 파노라마이고, 도 2b 는 도 2c 에 나타난 객체를 좌측에서 촬영한 파노라마일 수 있다. 도 2a 및 도 2b 에 나타난 객체와 객체 주변의 배경 이미지가 기준 파노라마인 도 2c 에 나타난 객체와 객체 주변의 배경 이미지와 일정 부분 겹치는 영역이 존재하는 것을 시각적으로도 확인할 수 있다. 이렇게 기준 파노라마에 나타나는 이미지와 겹치는 영역이 존재하는 파노라마를 증강현실 콘텐츠 저작 장치(100)의 이미지 매칭부(120)에서 이미지 매칭 기법을 적용하여 자동으로 선택할 수 있다.2A to 2C, an image matching technique is applied to find a panorama in which an area or an image overlapping with a reference panorama exists. For example, if the image shown in FIG. 2C is a reference panorama selected by the user, FIG. 2A is a panorama of the object shown in FIG. 2C (the front of the door on the image) taken from the right side, and FIG. 2B is the object shown in FIG. 2C. The panorama may be taken from the left side. It can also be visually confirmed that there is a region where the background image of the object and the object surroundings shown in FIGS. 2A and 2B overlap the background image of the object and the object surrounding the object shown in FIG. 2C. In this manner, the image matching unit 120 of the augmented reality content authoring apparatus 100 may automatically select a panorama having an area overlapping with the image appearing in the reference panorama.

다시 도 1 을 참조하면, 증강현실 콘텐츠 저작 장치(100)는 파노라마 그룹화부(130)를 포함한다. 파노라마 그룹화부(130)는 이미지 매칭부(120)에서 이미지 매칭 기법을 적용하여 사용자에 의해 선택되는 기준 파노라마와 겹치는 영역이 존재하는 파노라마를 제 1 그룹으로 그룹화하고, 나머지 파노라마를 제 2 그룹으로 그룹화한다. 파노라마 그룹화부(130)에서 그룹화되는 제 1 그룹과 제 2 그룹은 예시적인 것일 뿐, 그룹의 수와 그룹의 구성은 사용자의 선택에 의해 자유롭게 변경 가능하다.Referring back to FIG. 1, the augmented reality content authoring apparatus 100 includes a panorama grouping unit 130. The panorama grouping unit 130 applies an image matching technique in the image matching unit 120 to group panoramas having an area overlapping with the reference panorama selected by the user into a first group, and group the remaining panoramas into a second group. do. The first group and the second group grouped by the panorama grouping unit 130 are merely exemplary, and the number of groups and the configuration of the groups may be freely changed by the user's selection.

위치 추정부(140)는 기준 파노라마 상에 존재하는 객체의 위치 값을 추정하고, 추정한 위치 값을 기초로 제 2 그룹에 속하는 파노라마 중 기준 파노라마 상에 존재하는 객체와 대응되는 객체를 포함하는 파노라마를 선택한다.The position estimator 140 estimates a position value of an object existing on the reference panorama and includes a panorama corresponding to an object existing on the reference panorama among panoramas belonging to the second group based on the estimated position value. Select.

또한, 위치 추정부(140)는 제 2 그룹에 속하는 파노라마 중 기준 파노라마 상에 존재하는 객체와 대응되는 객체를 포함하는 2 개의 파노라마에서, 대응되는 객체 상에 사용자에 의해 선택된 2 이상의 지점(141) 및 2 개의 파노라마의 촬영 위치를 기초로 기준 파노라마 상에 존재하는 객체의 위치 값을 추정할 수 있다. 더불어, 제 2 그룹에 속하는 파노라마의 경우 대응되는 객체 상에 사용자에 의해 선택된 2 이상의 지점(141) 및 2 개의 파노라마의 촬영 위치에 대한 3 차원 정보를 기초로 기준 파노라마 상에 존재하는 객체의 위치 값을 추정할 수 있다. 객체의 위치 값을 추정하는 것에 대한 설명은 후술할 도 3a 내지 도 3d 를 통해 상세히 설명하도록 한다.In addition, the position estimator 140 includes two or more points 141 selected by the user on the corresponding object in two panoramas including an object corresponding to an object existing on a reference panorama among panoramas belonging to the second group. And a position value of an object existing on the reference panorama based on the photographing positions of the two panoramas. In addition, in the case of the panorama belonging to the second group, the position value of the object present on the reference panorama based on two or more points 141 selected by the user on the corresponding object and three-dimensional information about the photographing position of the two panoramas Can be estimated. A description of estimating the position value of the object will be described in detail with reference to FIGS. 3A to 3D.

또한, 위치 추정부(140)는 제 1 그룹에 속하는 파노라마에 대해서도 전술한 기준 파노라마 상에 존재하는 객체와 대응되는 객체를 포함하는 파노라마를 선택할 수 있다. 위치 추정부(140)는 제 1 그룹에 속하는 파노라마 중 증강현실 콘텐츠 저작 장치(100)를 사용하는 사용자에 의해 선택되는 파노라마 상에 존재하는 객체의 위치 값을 추정하고, 추정된 객체의 위치 값을 기초로 기준 파노라마 상에 존재하는 객체와 대응되는 객체를 포함하는 파노라마를 선택할 수 있다. 더불어, 위치 추정부는 제 1 그룹에 속하는 파노라마의 경우 기준 파노라마 상에 존재하는 객체와 겹치는 영역에 대한 2 차원 정보를 기초로 기준 파노라마 상에 존재하는 객체의 위치 값을 추정할 수 있다.In addition, the position estimator 140 may select a panorama including an object corresponding to the object existing on the above-described reference panorama even for the panorama belonging to the first group. The position estimator 140 estimates a position value of an object existing on the panorama selected by the user using the augmented reality content authoring apparatus 100 among panoramas belonging to the first group, and estimates the position value of the estimated object. As a basis, a panorama including an object corresponding to an object existing on the reference panorama may be selected. In addition, in the case of the panorama belonging to the first group, the position estimator may estimate the position value of the object existing on the reference panorama based on the two-dimensional information about the region overlapping the object existing on the reference panorama.

여기서, 제 1 그룹에 속하는 파노라마는 이미지 매칭부(130)에서 이미지 매칭 기법을 통해 기준 파노라마 상에 존재하는 객체와 겹치는 영역이 존재하는 파노라마이지만, 제 2 그룹에 속하는 파노라마와 같이 추가 처리를 수행하여 보다 정확성을 향상시킬 수 있다. 구체적으로, 파노라마에 나타난 객체 또는 이미지가 불명확하거나 시각적으로 겹치는 영역이 불분명하게 나타난 경우, 기준 파노라마 상에 존재하는 객체에 대한 위치 값을 구하고, 객체의 위치 값을 기초로 제 1 그룹에 속하는 파노라마 중 기준 파노라마 상에 존재하는 객체와 대응되는 객체를 포함하는 파노라마를 선택할 수 있다.In this case, the panorama belonging to the first group is a panorama in which the image matching unit 130 has a region overlapping with the object existing on the reference panorama through the image matching technique, but additional processing is performed like the panorama belonging to the second group. Can improve accuracy. Specifically, when the object or image shown in the panorama is unclear or the area where the visual overlap overlaps, the position value for the object existing on the reference panorama is obtained, and among the panoramas belonging to the first group based on the position value of the object A panorama including an object corresponding to an object existing on the reference panorama may be selected.

예를 들어, 사용자가 성곽의 입구를 객체로 하고 입구를 둘러싼 성곽이 나타난 이미지의 사진 또는 영상을 포함하는 파노라마를 기준 파노라마로 선택했다면, 제 1 그룹에 속하는 파노라마의 경우에도 성곽의 입구가 명확하게 드러나지 않은 파노라마가 포함되어 있을 수 있다. 이때, 제 1 그룹에 속하는 파노라마에도 위치 추정부(140)를 통해 성곽의 입구의 위치 값을 추정할 수 있다. 또한, 추정된 위치 값을 기초로 제 1 그룹에 속하는 파노라마 상의 객체와 기준 파노라마와 상의 객체가 같은 객체임을 확인할 수 있고, 제 1 그룹에 속하는 파노라마 중 기준 파노라마와 같은 객체를 포함하고 있는 파노라마를 추출할 수 있다.For example, if the user selects a panorama containing an image or picture of an image in which the entrance of the castle as an object and the castle surrounding the entrance is the reference panorama, the entrance of the castle is clearly defined even in the panorama belonging to the first group. It may contain hidden panoramas. In this case, the position value of the entrance of the castle may be estimated through the position estimator 140 in the panorama belonging to the first group. Also, based on the estimated position value, it may be confirmed that the object on the panorama belonging to the first group and the object on the reference panorama and the same object are the same object, and the panorama including the object such as the reference panorama is extracted from the panorama belonging to the first group. can do.

도 3a 내지 도 3d 는 도 1 에 따른 위치 추정부에서 객체의 위치 값을 추정하는 것을 설명하기 위한 도면이다.3A to 3D are diagrams for explaining estimating a position value of an object in the position estimator according to FIG. 1.

도 3a 는 하나의 객체에 대해 객체를 촬영한 사용자의 위치를 나타낸다. 사용자 위치 1 은 사용자가 객체를 좌측에서 촬영한 위치이고, 사용자 위치 2 는 사용자가 객체를 우측에서 촬영한 위치이다. 이때, 사용자 위치 1 과 2 는 위치 값을 알고 있다는 전제가 있다. 도 3b 는 사용자 위치 1 에서 촬영된 파노라마이다. 즉, 객체의 좌측에서 촬영된 파노라마이다. 도 3b 에 표시된 동그라미 부분으로 표시된 것과 같이 사용자가 파노라마의 객체 상에 2 이상의 지점(141)을 선택하면 사용자 위치 1 의 위치 값을 기초로 거리와 각도를 계산하여 객체의 위치 값을 추정할 수 있다. 도 3c 는 사용자 위치 2 에서 객체의 우측에서 촬영된 파노라마이다. 도 3c 에 나타난 객체 상에 사용자가 2 이상의 지점(141)을 선택하면 사용자 위치 2 의 위치 값을 기초로 거리와 각도를 계산하여 객체의 위치 값을 추정할 수 있다. 도 3b 와 도 3c 모두 같은 객체를 포함하고 있는 파노라마이므로, 도 3b 를 통해 추정된 객체의 위치 값과 도 3c 를 통해 추정된 객체의 위치 값을 비교하여 파노라마에 포함되어 있는 객체의 정확한 위치 값을 추정할 수 있다. 이러한 과정으로 추정된 객체에 대한 위치 값을 통해 도 3d 와 같이 정확한 객체의 위치와 정면에서 바라보는 이미지를 얻을 수 있다. 또한, 도 3d 와 같이 객체의 이미지가 포함된 파노라마 상에 후술할 저작 위치 결정부(150)와 콘텐츠 저작부(160)를 통해 증강현실 콘텐츠를 저작하여 최종적으로 증강현실 콘텐츠를 포함하는 파노라마를 생성할 수 있다.3A illustrates a location of a user who photographed an object with respect to one object. The user position 1 is a position where the user photographed the object from the left side, and the user position 2 is a position where the user photographed the object from the right side. At this time, the user positions 1 and 2 have a premise that the position values are known. 3B is a panorama photographed at the user position 1. That is, the panorama photographed from the left side of the object. As indicated by the circled portion shown in FIG. 3B, when the user selects two or more points 141 on the panorama object, the position value of the object may be estimated by calculating the distance and angle based on the position value of the user position 1. . 3C is a panorama photographed from the right side of the object at the user position 2. FIG. When the user selects two or more points 141 on the object illustrated in FIG. 3C, the position value of the object may be estimated by calculating a distance and an angle based on the position value of the user position 2. Since FIG. 3B and FIG. 3C both include the same object, the position value of the object estimated through FIG. 3B and the position value of the object estimated through FIG. 3C are compared to determine the exact position value of the object included in the panorama. It can be estimated. Through the estimated position values for the object, the exact position of the object and the image viewed from the front can be obtained as shown in FIG. 3D. In addition, on the panorama including the image of the object as shown in Figure 3d through the authoring position determiner 150 and the content authoring unit 160 to be described later to create a panorama containing the augmented reality content finally can do.

전술한 바와 같이 제 1 그룹에 속하는 파노라마의 경우, 기준 파노라마 상에 존재하는 객체와 겹치는 영역이 존재하는 파노라마이므로 겹치는 영역에 대한 2 차원 정보를 기초로 기준 파노라마 상에 존재하는 객체와 대응되는 객체를 포함하는 파노라마를 선택할 수 있다. 반면, 제 2 그룹에 속하는 파노라마의 경우, 기준 파노라마 상에 존재하는 객체와 겹치는 영역이 존재하지는 않지만 기준 파노라마 상에 존재하는 객체와 대응되는 객체를 포함하는 2 개의 파노라마에서, 대응되는 객체 상에 사용자에 의해 선택된 2 이상의 지점(141) 및 2 개의 파노라마의 촬영 위치에 대한 3 차원 정보를 기초로 객체의 위치 값을 추정하여 객체가 포함되어 있는 파노라마를 선택할 수 있다. 이를 전술한 도 3d 의 경우로 설명하면, 도 3d 의 파노라마가 기준 파노라마로 선택되고, 나머지 파노라마에 대해 위치 추정부(140)에서 파노라마를 선택하는 경우에, 입구 부분이 나오지 않고 입구의 뒤편에서 촬영된 파노라마가 있을 수 있다. 이 경우, 입구 부분은 2 차원 정보로는 확인할 수 없으므로, 객체의 위치 값을 3 차원 정보 추정하고 입구의 뒤편에서 촬영된 파노라마도 기준 파노라마 상에 존재하는 객체가 포함되는 파노라마로 선택할 수 있다.As described above, in the case of the panorama belonging to the first group, since the region overlapping with the object existing on the reference panorama exists, the object corresponding to the object existing on the reference panorama is selected based on the two-dimensional information about the overlapping region. You can select the panorama to include. On the other hand, in the case of the panorama belonging to the second group, in two panoramas including an object corresponding to an object existing on the reference panorama but not overlapping with the object existing on the reference panorama, the user on the corresponding object The panorama including the object may be selected by estimating the location value of the object based on the three-dimensional information on the two or more points 141 selected by the two and the photographing positions of the two panoramas. In the case of FIG. 3D described above, when the panorama of FIG. 3D is selected as the reference panorama and the panorama is selected by the position estimator 140 for the remaining panoramas, the entrance portion does not come out and is photographed from behind the entrance. There may be a panorama. In this case, since the entrance part cannot be confirmed by two-dimensional information, the location value of the object may be estimated by three-dimensional information, and the panorama photographed from the rear of the entrance may be selected as a panorama including an object existing on the reference panorama.

전술한 도 2a 내지 도 2c 와 도 3a 내지 도 3d 를 통해 이미지 매칭부(120)와 위치 추정부(140)에서 작업이 수행되면, 제 1 그룹에 속하는 파노라마와 제 2 그룹에 속하는 파노라마에서 기준 파노라마와 연관성이 있는 파노라마를 수집할 수 있다. 즉, 증강현실 콘텐츠를 저작할 파노라마 그룹을 생성할 수 있다. When the operation is performed by the image matching unit 120 and the position estimating unit 140 through FIGS. 2A to 2C and FIGS. 3A to 3D, the reference panorama is included in the panorama belonging to the first group and the panorama belonging to the second group. Collect panoramas that are related to That is, a panorama group for authoring augmented reality content may be generated.

다시 도 1 을 참조하면, 저작 위치 결정부(150)는 제 1 그룹에 속하는 파노라마 및 위치 추정부(140)에서 선택된 파노라마 중에 증강현실 콘텐츠를 저작할 파노라마를 결정한다. 예를 들어, 전술한 기준 파노라마와 연관성이 있는 파노마라 그룹 중 하나의 파노라마에 증강현실 콘텐츠를 저작하도록 선택할 수 있다.Referring again to FIG. 1, the authoring position determiner 150 determines a panorama to author augmented reality content among panoramas belonging to the first group and the panorama selected by the position estimator 140. For example, one may choose to author augmented reality content in a panorama of one of the panomara groups associated with the aforementioned reference panorama.

콘텐츠 저작부(160)는 저작 위치 결정부(150)에서 결정한 파노라마에 증강현실 콘텐츠를 저작한다. 콘텐츠 저작부(160)는 증강현실 콘텐츠를 2 차원 또는 3 차원 정보로 저작할 수 있다.The content authoring unit 160 authors the augmented reality content in the panorama determined by the authoring position determining unit 150. The content authoring unit 160 may author the augmented reality content in two-dimensional or three-dimensional information.

또한, 콘텐츠 저작부(160)는 증강현실 콘텐츠 저작 장치(100)를 사용하는 사용자의 선택에 따라 제 1 그룹에 속하는 파노라마에 증강현실 콘텐츠를 2 차원으로 저작하고, 위치 추정부(140)에서 선택된 파노라마에 증강현실 콘텐츠를 3 차원으로 저작할 수 있다. 예시적으로, 제 1 그룹에 속하는 파노라마는 이미지 매칭부(120)에서 기준 파노라마 상에 존재하는 객체와 겹치는 영역이 존재하는 파노라마가 선택된 그룹이다. 따라서, 제 1 그룹에 속하는 파노라마의 경우, 증강현실 콘텐츠 저작할 객체가 포함되어 있는 파노라마이므로 증강현실 콘텐츠를 2 차원 정보로 저작하여도 사용자가 해당 증강현실 콘텐츠를 제공받을 때 문제가 없다.In addition, the content authoring unit 160 authors the augmented reality content in two dimensions in the panorama belonging to the first group according to the user's selection using the augmented reality content authoring apparatus 100, and is selected by the position estimator 140. Augmented reality content can be authored in three dimensions on the panorama. For example, the panorama belonging to the first group is a group in which the panorama in which the region overlapping with the object existing on the reference panorama exists in the image matching unit 120 is selected. Therefore, in the case of the panorama belonging to the first group, since the panorama includes the object to author the augmented reality content, there is no problem when the user is provided with the augmented reality content even when the augmented reality content is authored with the 2D information.

하지만, 위치 추정부(140)에서 선택된 파노라마의 경우, 이미지 매칭부(120)에서 선택되지 않은 파노라마면서 객체의 위치 값을 추정하고, 추정된 객체의 위치 값에 따라 객체를 포함하는 파노라마로 선택된 것이므로 기준 파노라마 상에 존재하는 객체를 포함하고 있지 않은 파노라마일 수 있다. 예를 들어, A 건물의 입구가 증강현실 콘텐츠 저작 위치로 선택되어 있지만, A 건물의 뒤에서 촬영된 파노라마의 경우 입구가 보이지 않을 수 있다. 즉, 동일한 건물에 대한 파노라마이지만 어디서 촬영된 파노라마인가에 따라 객체의 표시 상태가 상이해지므로, 증강현실 콘텐츠를 3 차원 정보로 저작할 필요가 있다. 이를 통해 A 건물의 뒤에서 촬영된 파노라마의 경우에도 A 건물의 앞에서 촬영된 파노라마에 저작된 증강현실 콘텐츠와 동일한 증강현실 콘텐츠를 제공받을 수 있게 할 수 있다.However, in the case of the panorama selected by the position estimator 140, since the panorama is not selected by the image matching unit 120, the position value of the object is estimated and the panorama including the object is selected according to the estimated position of the object. It may be a panorama that does not include an object present on the reference panorama. For example, although the entrance of building A is selected as the augmented reality content authoring location, the entrance may not be visible in the case of a panorama photographed behind the building A. That is, since the display state of the object is different depending on the panorama of the same building but where the panorama was taken, it is necessary to author the augmented reality content as three-dimensional information. Through this, even in the case of a panorama photographed behind the building A, it is possible to receive augmented reality content identical to the augmented reality content authored in the panorama photographed in front of the building A.

콘텐츠 저작부(160)는 기준 파노라마에만 증강현실 콘텐츠를 저작하는 경우에도 기준 파노라마와 이미지 매칭부(120) 및 위치 추정부(140)를 통해 선택된 모든 파노라마에 증강현실 콘텐츠가 자동으로 저작되도록 할 수 있다. 반대로, 이미지 매칭부(120) 및 위치 추정부(140)를 통해 선택된 파노라마 중 어느 하나에만 증강현실 콘텐츠를 저작하는 경우에도 선택된 파노라마 중 나머지와 기준 파노라마 모두에 증강현실 콘텐츠를 자동으로 저작할 수 있다. 이를 통해, 저작 과정을 단순화 할 수 있고 시간을 단축할 수 있다.The content authoring unit 160 may automatically author the augmented reality content in all panoramas selected through the reference panorama, the image matching unit 120, and the position estimator 140 even when authoring the augmented reality content only in the reference panorama. have. On the contrary, even when authoring the augmented reality content in only one of the selected panoramas through the image matching unit 120 and the position estimator 140, the augmented reality content may be automatically authored in both the remaining panoramas and the reference panorama. . This can simplify the authoring process and save time.

한편, 이하에서는 본 발명의 일 실시예에 따른 증강현실 콘텐츠 저작 방법에 대해 살핀다.On the other hand, the following describes the augmented reality content authoring method according to an embodiment of the present invention.

참고로, 본 발명의 일 실시예에 따른 증강현실 콘텐츠 저작 방법은 본 발명의 일 실시예에 따른 증강현실 콘텐츠 저작 장치(100)를 사용하여 증강현실 콘텐츠를 저작하는 방법에 관한 것으로, 앞서 살핀 본 발명의 일 실시예에 따른 증강현실 콘텐츠 저작 장치(100)에서 설명한 구성과 유사한 구성에 대해서는 동일한 도면부호를 적용하고 이에 대한 설명은 간략히 하거나 생략하기로 한다.For reference, the augmented reality content authoring method according to an embodiment of the present invention relates to a method for authoring augmented reality content using the augmented reality content authoring apparatus 100 according to an embodiment of the present invention, Components similar to those described in the augmented reality content authoring apparatus 100 according to an embodiment of the present invention will be referred to with the same reference numerals and description thereof will be briefly or omitted.

도 4 를 참조하면, 후술할 이미지 매칭 기법을 적용하는 단계에 앞서 전처리 과정으로 파노라마 추출부(110)에서 기준 파노라마의 촬영 위치를 기초로 기준 파노라마와 파노라마 데이터베이스(1000)로부터 수집된 파노라마를 비교하여 미리 결정된 거리 기준 내의 파노라마를 추출할 수 있다(S410).Referring to FIG. 4, prior to the step of applying an image matching technique to be described below, the panorama extractor 110 compares the reference panorama with the panoramas collected from the panorama database 1000 based on the photographing position of the reference panorama. A panorama within a predetermined distance reference may be extracted (S410).

여기서, 기준 파노라마는 증강현실 콘텐츠 저작 장치(100)를 사용하여 증강현실 콘텐츠를 저작하는 사용자가 파노라마 데이터베이스(1000)의 방대한 양의 파노라마 중 증강현실 콘텐츠를 저작하기 위한 파노라마를 추출하기 위해 기준이 되도록 선택한 파노라마를 의미할 수 있다. 또한, 전술한 미리 결정된 거리 기준은 사용자에 의해 설정되고 조절이 가능한 값이다. 예시적으로, 사용자에 의해 선택된 기준 파노라마가 남대문(객체)이 찍힌 사진이나 영상의 파노라마일 수 있고, 기준 파노라마의 촬영 위치는 증강현실 콘텐츠 저작 장치(100)에 포함된 GPS 혹은 다른 방식으로부터 수신될 수 있다. 파노라마 데이터베이스(1000) 내에 각각의 파노라마는 촬영 당시 위치 값과 함께 저장되어 있을 수 있으므로, 파노라마 추출부(110)는 기준 파노라마의 촬영 위치를 기초로 수행되는 비교 과정을 통해 파노라마 데이터베이스(1000) 내에서 미리 결정된 거리 기준 내의 파노라마를 추출해낼 수 있다.Here, the reference panorama may be a reference for a user who authors augmented reality content using the augmented reality content authoring apparatus 100 to extract a panorama for authoring an augmented reality content among a vast amount of panoramas of the panorama database 1000. It can mean the selected panorama. In addition, the above-mentioned predetermined distance criterion is a value set and adjustable by the user. For example, the reference panorama selected by the user may be a panorama of a photograph or image on which Namdaemun (object) is taken, and the photographing position of the reference panorama may be received from a GPS or other method included in the augmented reality content authoring apparatus 100. Can be. Since each panorama in the panorama database 1000 may be stored together with a position value at the time of shooting, the panorama extractor 110 performs a comparison process in the panorama database 1000 based on the shooting position of the reference panorama. It is possible to extract a panorama within a predetermined distance criterion.

단계(S410)를 통해 수많은 파노라마가 저장되어 있는 파노라마 데이터베이스(1000)에서 기준 파노라마의 촬영 위치와 유사성이 있는 파노라마를 미리 추출할 수 있다. 이와 같이 후술할 이미지 매칭 기법을 적용하는 단계에 앞서서 단계(S410)가 전처리 과정을 수행함으로써, 파노라마 데이터베이스(1000)에서 증강현실 콘텐츠 저작을 위한 파노라마를 보다 효과적으로 추출할 수 있다. 또한, 많은 양의 파노라마가 저장되어 있는 파노라마 데이터베이스(1000)에서 처리해야 할 파노라마를 미리 추출함으로써, 후술할 이미지 매칭 기법을 적용하는 파노라마의 양을 줄일 수 있어 빠른 처리가 가능하고, 많은 파노라마 처리에 따른 과부화를 방지할 수 있다.In operation S410, a panorama having similarities to a photographing position of the reference panorama may be extracted in advance from the panorama database 1000 in which a number of panoramas are stored. As described above, before the step of applying the image matching technique to be described later, step S410 performs a preprocessing process, so that the panorama for augmented reality content authoring can be more effectively extracted from the panorama database 1000. In addition, by extracting a panorama to be processed in the panorama database 1000 in which a large amount of panoramas are stored in advance, the amount of panoramas to which the image matching technique to be described below is applied can be reduced, thereby enabling fast processing and Overload can be prevented.

다음으로, 파노라마 데이터베이스(1000) 또는 단계(S410)를 통해 추출된 파노라마에 대해 이미지 매칭 기법을 적용한다(S420). 이미지 매칭 기법은 각각의 파노라마에 나타나 있는 이미지 중 겹치는 영역 또는 이미지가 존재하는 파노라마를 자동으로 분류할 수 있는 기술을 말한다. 본 발명에서는 파노라마 데이터베이스(1000)에서 수집된 파노라마 또는 단계(S410)에서 추출된 파노라마 중에서 사용자에 의해 선택된 기준 파노라마 상에 존재하는 객체와 겹치는 영역 또는 이미지가 존재하는 파노라마를 찾을 수 있다. 단계(S420)는 방대한 양의 파노라마 데이터베이스로(1000)부터 기준 파노라마 상에 존재하는 객체와 겹치는 영역이 존재하는 파노라마를 자동으로 선택함으로써, 증강현실 콘텐츠 저작 장치(100)에서 이루어지는 작업을 간소화시키고, 작업 효율을 증대시키며 작업 시간도 단축시킬 수 있다.Next, an image matching technique is applied to the panorama extracted through the panorama database 1000 or step S410 (S420). The image matching technique refers to a technique for automatically classifying panoramas in which overlapping regions or images exist among images displayed in each panorama. In the present invention, a panorama in which an area or an image overlaps with an object existing on a reference panorama selected by a user may be found among panoramas collected in the panorama database 1000 or panoramas extracted in step S410. Step S420 may automatically select a panorama having an area overlapping with an object existing on the reference panorama from the massive panorama database 1000, thereby simplifying the work performed in the augmented reality content authoring apparatus 100, It can increase work efficiency and shorten working time.

다음으로, 사용자에 의해 선택되는 기준 파노라마 상에 존재하는 객체와 겹치는 영역이 존재하는 파노라마를 제 1 그룹으로 그룹화하고, 나머지 파노라마를 제 2 그룹으로 그룹화한다(S430). 단계(S430)는 파노라마 그룹화부(130)를 통해 이루어지며, 이미지 매칭부(120)에서 이미지 매칭 기법을 적용하여 사용자에 의해 선택되는 기준 파노라마와 겹치는 영역이 존재하는 파노라마를 제 1 그룹으로 그룹화하고, 나머지 파노라마를 제 2 그룹으로 그룹화한다. 단계(S430)에서 그룹화되는 제 1 그룹과 제 2 그룹은 예시적인 것일 뿐, 그룹의 수와 그룹의 구성은 사용자의 선택에 의해 자유롭게 변경 가능하다.Next, a panorama in which an area overlapping an object existing on a reference panorama selected by the user exists is grouped into a first group, and the remaining panorama is grouped into a second group (S430). Step S430 is performed through the panorama grouping unit 130, and the image matching unit 120 applies an image matching technique to group panoramas in which an area overlapping with the reference panorama selected by the user exist into a first group. Group the remaining panoramas into a second group. The first group and the second group grouped in step S430 are exemplary only, and the number of groups and the composition of the groups can be freely changed by the user's selection.

다음으로, 기준 파노라마 상에 존재하는 객체의 위치 값을 추정하고, 추정한 위치 값을 기초로 제 2 그룹에 속하는 파노라마 중 기준 파노라마 상에 존재하는 객체와 대응되는 객체를 포함하는 파노라마를 선택한다(S440).Next, the position value of the object existing on the reference panorama is estimated, and a panorama including an object corresponding to the object existing on the reference panorama among the panoramas belonging to the second group is selected based on the estimated position value ( S440).

또한, 단계(S440)는 제 2 그룹에 속하는 파노라마 중 기준 파노라마 상에 존재하는 객체와 대응되는 객체를 포함하는 2 개의 파노라마에서, 대응되는 객체 상에 사용자에 의해 선택된 2 이상의 지점(141) 및 2 개의 파노라마의 촬영 위치를 기초로 기준 파노라마 상에 존재하는 객체의 위치 값을 추정할 수 있다. 더불어, 제 2 그룹에 속하는 파노라마의 경우 대응되는 객체 상에 사용자에 의해 선택된 2 이상의 지점(141) 및 2 개의 파노라마의 촬영 위치에 대한 3 차원 정보를 기초로 기준 파노라마 상에 존재하는 객체의 위치 값을 추정할 수 있다.In operation S440, two or more points 141 and 2 selected by a user on a corresponding object may be included in two panoramas including an object corresponding to an object existing on a reference panorama among panoramas belonging to the second group. The position value of the object present on the reference panorama may be estimated based on the photographing positions of the two panoramas. In addition, in the case of the panorama belonging to the second group, the position value of the object present on the reference panorama based on two or more points 141 selected by the user on the corresponding object and three-dimensional information about the photographing position of the two panoramas Can be estimated.

또한, 단계(S440)는 제 1 그룹에 속하는 파노라마에 대해서도 전술한 기준 파노라마 상에 존재하는 객체와 대응되는 객체를 포함하는 파노라마를 선택할 수 있다. 단계(S440)는 제 1 그룹에 속하는 파노라마 중 사용자에 의해 선택되는 파노라마 상에 존재하는 객체의 위치 값을 추정하고, 추정된 객체의 위치 값을 기초로 기준 파노라마 상에 존재하는 객체와 대응되는 객체를 포함하는 파노라마를 선택할 수 있다. 더불어, 단계(S440)는 제 1 그룹에 속하는 파노라마의 경우 기준 파노라마 상에 존재하는 객체와 겹치는 영역에 대한 2 차원 정보를 기초로 기준 파노라마 상에 존재하는 객체의 위치 값을 추정할 수 있다. 여기서, 제 1 그룹은 단계(S420)에서 이미지 매칭 기법을 통해 기준 파노라마 상에 존재하는 객체와 겹치는 영역이 존재하는 파노라마가 속한 그룹이지만, 제 2 그룹에 속하는 파노라마와 같이 추가 처리를 수행하여 보다 정확성을 향상시킬 수 있다. 구체적으로, 파노라마에 나타난 객체 또는 이미지가 불명확하거나 시각적으로 겹치는 영역이 불분명하게 나타난 경우, 기준 파노라마 상에 존재하는 객체에 대한 위치 값을 구하고, 객체의 위치 값을 기초로 제 1 그룹에 속하는 파노라마 중 기준 파노라마 상에 존재하는 객체와 대응되는 객체를 포함하는 파노라마를 선택할 수 있다.In operation S440, a panorama including an object corresponding to the object existing on the above-described reference panorama may also be selected for the panorama belonging to the first group. In operation S440, an object value corresponding to an object existing on the reference panorama is estimated based on the estimated position value of the object present on the panorama selected by the user among the panoramas belonging to the first group. You can select a panorama that includes. In operation S440, the position value of the object existing on the reference panorama may be estimated based on the two-dimensional information about the region overlapping the object existing on the reference panorama in the case of the panorama belonging to the first group. In this case, the first group is a group to which a panorama including an area overlapping with an object existing on the reference panorama exists through the image matching technique in step S420. Can improve. Specifically, when the object or image shown in the panorama is unclear or the area where the visual overlap overlaps, the position value for the object existing on the reference panorama is obtained, and among the panoramas belonging to the first group based on the position value of the object A panorama including an object corresponding to an object existing on the reference panorama may be selected.

다음으로, 제 1 그룹에 속하는 파노라마 및 단계(S440)에서 선택된 파노라마 중에 증강현실 콘텐츠를 저작할 파노라마를 결정한다(S450). 예를 들어, 전술한 기준 파노라마와 연관성이 있는 파노마라 그룹 중 하나의 파노라마에 증강현실 콘텐츠를 저작하도록 선택할 수 있다.Next, a panorama to author augmented reality content among the panoramas belonging to the first group and the panorama selected in step S440 is determined (S450). For example, one may choose to author augmented reality content in a panorama of one of the panomara groups associated with the aforementioned reference panorama.

다음으로, 단계(S450)을 통해 결정된 파노라마에 증강현실 콘텐츠를 저작한다(S460). 단계(S460)에서 저작되는 증강현실 콘텐츠는 2 차원 또는 3 차원일 수 있다.Next, the augmented reality content is authored in the panorama determined through the step (S450) (S460). The augmented reality content authored in step S460 may be two-dimensional or three-dimensional.

또한, 단계(S460)는 사용자의 선택에 따라 제 1 그룹에 속하는 파노라마에 증강현실 콘텐츠를 2 차원으로 저작하고, 단계(S440)를 통해 선택된 파노라마에 증강현실 콘텐츠를 3 차원으로 저작할 수 있다. 예시적으로, 제 1 그룹에 속하는 파노라마는 단계(S420)에서 기준 파노라마 상에 존재하는 객체와 겹치는 영역이 존재하는 파노라마가 선택된 그룹이다. 따라서, 제 1 그룹에 속하는 파노라마의 경우, 증강현실 콘텐츠 저작할 객체가 포함되어 있는 파노라마이므로 증강현실 콘텐츠를 2 차원 정보로 저작하여도 사용자가 해당 증강현실 콘텐츠를 제공받을 때 문제가 없다.In operation S460, the augmented reality content may be authored in two dimensions on the panorama belonging to the first group according to the user's selection, and the augmented reality content may be authored on the panorama selected in step S440 in three dimensions. For example, the panorama belonging to the first group is a group in which a panorama in which an area overlapping with an object existing on the reference panorama exists in step S420 is selected. Therefore, in the case of the panorama belonging to the first group, since the panorama includes the object to author the augmented reality content, there is no problem when the user is provided with the augmented reality content even when the augmented reality content is authored with the 2D information.

하지만, 단계(S440)에서 선택된 파노라마의 경우, 단계(S420)에서 선택되지 않은 파노라마면서 객체의 위치 값을 추정하고, 추정된 객체의 위치 값에 따라 객체를 포함하는 파노라마로 선택된 것이므로 기준 파노라마 상에 존재하는 객체를 포함하고 있지 않은 파노라마일 수 있다. 예를 들어, A 건물의 입구가 증강현실 콘텐츠 저작 위치로 선택되어 있지만, A 건물의 뒤에서 촬영된 파노라마의 경우 입구가 보이지 않을 수 있다. 즉, 동일한 건물에 대한 파노라마이지만 어디서 촬영된 파노라마인가에 따라 객체의 표시 상태가 상이해지므로, 증강현실 콘텐츠를 3 차원 정보로 저작할 필요가 있다. 이를 통해 A 건물의 뒤에서 촬영된 파노라마의 경우도 A 건물의 앞에서 촬영된 파노라마에 저작된 증강현실 콘텐츠와 동일한 증강현실 콘텐츠를 제공받을 수 있게 할 수 있다.However, in the case of the panorama selected in step S440, since the panorama is not selected in step S420, the position value of the object is estimated, and the panorama including the object is selected according to the estimated position of the object. It may be a panorama that does not contain an existing object. For example, although the entrance of building A is selected as the augmented reality content authoring location, the entrance may not be visible in the case of a panorama photographed behind the building A. That is, since the display state of the object is different depending on the panorama of the same building but where the panorama was taken, it is necessary to author the augmented reality content as three-dimensional information. Through this, even a panorama photographed from the back of the building A may be provided with augmented reality content identical to the augmented reality content authored in the panorama photographed from the front of the building A.

단계(S460)는 기준 파노라마에만 증강현실 콘텐츠를 저작하는 경우에도 기준 파노라마와 단계(S420) 및 단계(S440)를 통해 선택된 모든 파노라마에 증강현실 콘텐츠가 자동으로 저작되도록 할 수 있다. 반대로, 단계(S420) 및 단계(S440)를 통해 선택된 파노라마 중 어느 하나에만 증강현실 콘텐츠를 저작하는 경우에도 선택된 파노라마 중 나머지와 기준 파노라마 모두에 증강현실 콘텐츠를 자동으로 저작할 수 있다. 이를 통해, 저작 과정을 단순화 할 수 있고 시간을 단축할 수 있다.In operation S460, even when the augmented reality content is authored only in the reference panorama, the augmented reality content may be automatically authored in the reference panorama and all panoramas selected through the operations S420 and S440. On the contrary, even when authoring the augmented reality content in only one of the selected panoramas through steps S420 and S440, the augmented reality content may be automatically authored on both the rest of the selected panorama and the reference panorama. This can simplify the authoring process and save time.

전술한 본 발명의 일 실시예에 따른 증강현실 콘텐츠 저작 장치(100) 및 증강현실 콘텐츠 저작 방법을 간략히 정리하여 살펴본다.The augmented reality content authoring apparatus 100 and the augmented reality content authoring method according to an embodiment of the present invention described above will be briefly described.

파노라마 추출부(110)는 기준 파노라마의 촬영 위치를 기초로 기준 파노라마와 파노라마 데이터베이스(1000)로부터 수집된 파노라마를 비교하여 미리 결정된 거리 기준 내의 파노라마를 추출한다. 파노라마 추출부(110)를 통해 파노라마를 추출하는 것은 본 발명의 일 실시예에 따른 증강현실 콘텐츠 저작 장치(100) 및 증강현실 콘텐츠 저작 방법에서 작업을 효율적으로 수행하기 위해 필요한 과정으로 생략될 수 있는 구성 및 단계이다.The panorama extractor 110 extracts a panorama within a predetermined distance reference by comparing the reference panorama and the panorama collected from the panorama database 1000 based on the photographing position of the reference panorama. Extracting the panorama through the panorama extractor 110 may be omitted as a necessary process for efficiently performing operations in the augmented reality content authoring apparatus 100 and the augmented reality content authoring method according to an embodiment of the present invention. Configuration and steps.

이미지 매칭부(120)는 파노라마 데이터베이스(1000)로부터 수집된 파노라마 또는 파노라마 추출부(110)를 통해 추출된 파노라마에 대해 이미지 매칭 기법을 적용한다.The image matching unit 120 applies an image matching technique to the panoramas collected from the panorama database 1000 or the panoramas extracted through the panorama extraction unit 110.

파노라마 그룹화부(130)는 이미지 매칭부(120)에서 이미지 매칭 기법을 적용하여 사용자에 의해 선택되는 기준 파노라마 상에 존재하는 객체와 겹치는 영역이 존재하는 파노라마를 제 1 그룹으로 그룹화하고, 나머지 파노라마를 제 2 그룹으로 그룹화한다.The panorama grouping unit 130 applies an image matching technique in the image matching unit 120 to group panoramas in which an area overlapping with objects existing on the reference panorama selected by the user are grouped into a first group, and the remaining panoramas are grouped. Group into a second group.

위치 추정부(140)는 기준 파노라마 상에 존재하는 객체의 위치 값을 추정하고, 추정한 위치 값을 기초로 제 2 그룹에 속하는 파노라마 중 기준 파노라마 상에 존재하는 객체와 대응되는 객체를 포함하는 파노라마를 선택한다. 위치 추정부(140)는 제 1 그룹에 속하는 파노라마에 대해서도 전술한 과정을 수행할 수 있다.The position estimator 140 estimates a position value of an object existing on the reference panorama and includes a panorama corresponding to an object existing on the reference panorama among panoramas belonging to the second group based on the estimated position value. Select. The location estimator 140 may perform the above-described process on the panorama belonging to the first group.

저작 위치 결정부(150)는 제 1 그룹에 속하는 파노라마 및 위치 추정부(140)에서 선택된 파노라마 중에 증강현실 콘텐츠 저작할 파노라마를 결정한다.The authoring position determiner 150 determines a panorama to be augmented reality content among the panorama selected by the position estimation unit 140 and the panorama belonging to the first group.

콘텐츠 저작부(160)는 저작 위치 결정부(150)에서 결정한 파노라마에 증강현실 콘텐츠를 저작한다.The content authoring unit 160 authors the augmented reality content in the panorama determined by the authoring position determining unit 150.

본 발명의 일 실시예에 따른 증강현실 콘텐츠 저작 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.The augmented reality content authoring method according to an embodiment of the present invention may also be implemented in the form of a recording medium including computer executable instructions, such as a program module executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those of ordinary skill in the art that the foregoing description of the embodiments is for illustrative purposes and that those skilled in the art can easily modify the invention without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included within the scope of the present invention.

100: 증강현실 콘텐츠 저작 장치 110: 파노라마 추출부
120: 이미지 매칭부 130: 파노라마 그룹화부
140: 위치 추정부 141: 사용자 선택 지점
150: 저작 위치 결정부 160: 콘텐츠 저작부
1000: 파노라마 데이터베이스100: augmented reality content authoring device 110: panoramic extraction unit
120: image matching unit 130: panorama grouping unit
140: location estimation unit 141: user selection point
150: authoring position determination unit 160: content authoring unit
1000: panorama database

Claims (15)

증강현실 콘텐츠 저작 장치에 있어서,
파노라마 데이터베이스로부터 수집된 파노라마에 대해 이미지 매칭 기법을 적용하는 이미지 매칭부;
사용자에 의해 선택되는 기준 파노라마 상에 존재하는 객체와 겹치는 영역이 존재하는 파노라마를 제 1 그룹으로 그룹화하고, 나머지 파노라마를 제 2 그룹으로 그룹화하는 파노라마 그룹화부;
상기 기준 파노라마 상에 존재하는 객체의 위치 값을 추정하고, 상기 추정한 위치 값을 기초로 상기 제 2 그룹에 속하는 파노라마 중 상기 기준 파노라마 상에 존재하는 객체와 대응되는 객체를 포함하는 파노라마를 선택하는 위치 추정부;
상기 제 1 그룹에 속하는 파노라마 및 상기 위치 추정부에서 선택된 파노라마 중에 증강현실 콘텐츠를 저작할 파노라마를 결정하는 저작 위치 결정부; 및
상기 저작 위치 결정부에서 결정한 파노라마에 상기 증강현실 콘텐츠를 저작하는 콘텐츠 저작부를 포함하는 증강현실 콘텐츠 저작 장치.
In the augmented reality content authoring device,
An image matching unit applying an image matching technique to the panoramas collected from the panorama database;
A panorama grouping unit for grouping a panorama in which an area overlapping an object existing on a reference panorama selected by a user exists into a first group, and grouping the remaining panoramas into a second group;
Estimating a position value of an object existing on the reference panorama and selecting a panorama including an object corresponding to an object existing on the reference panorama among panoramas belonging to the second group based on the estimated position value A position estimating unit;
An authoring position determining unit to determine a panorama to author augmented reality content among the panoramas belonging to the first group and the panorama selected by the position estimating unit; And
Augmented reality content authoring apparatus including a content authoring unit for authoring the augmented reality content in the panorama determined by the authoring position determiner.
제 1 항에 있어서,
상기 기준 파노라마의 촬영 위치를 기초로 상기 기준 파노라마와 상기 파노라마 데이터베이스로부터 수집된 파노라마를 비교하여 미리 결정된 거리 기준 내의 파노라마를 추출하고, 상기 추출한 파노라마를 상기 이미지 매칭부로 전송하는 파노라마 추출부를 더 포함하는 증강현실 콘텐츠 저작 장치.
The method of claim 1,
A panorama extractor for extracting a panorama within a predetermined distance criterion by comparing the reference panorama and a panorama collected from the panorama database based on the photographing position of the reference panorama, and transmitting the extracted panorama to the image matching unit; Reality content authoring device.
제 1 항에 있어서,
상기 위치 추정부는 상기 제 1 그룹에 속하는 파노라마 중 상기 사용자에 의해 선택되는 파노라마 상에 존재하는 객체의 위치 값을 추정하고, 상기 추정된 객체의 위치 값을 기초로 기준 파노라마 상에 존재하는 객체와 대응되는 객체를 포함하는 파노라마를 선택하는 증강현실 콘텐츠 저작 장치.
The method of claim 1,
The location estimator estimates a location value of an object existing on the panorama selected by the user among panoramas belonging to the first group, and corresponds to an object existing on the reference panorama based on the estimated location value of the object. Augmented reality content authoring device for selecting a panorama including the object.
제 3 항에 있어서,
상기 위치 추정부는 상기 제 1 그룹에 속하는 파노라마의 경우 상기 기준 파노라마 상에 존재하는 객체와 겹치는 영역에 대한 2 차원 정보를 기초로 상기 기준 파노라마 상에 존재하는 객체의 위치 값을 추정하는 증강현실 콘텐츠 저작 장치.
The method of claim 3, wherein
The location estimator is augmented reality content authoring for estimating the position value of the object existing on the reference panorama based on the two-dimensional information on the region overlapping the object existing on the reference panorama for the panorama belonging to the first group Device.
제 1 항에 있어서,
상기 위치 추정부는 상기 제 2 그룹에 속하는 파노라마 중 상기 기준 파노라마 상에 존재하는 객체와 대응되는 객체를 포함하는 2 개의 파노라마에서, 상기 대응되는 객체 상에 사용자에 의해 선택된 2 이상의 지점 및 상기 2 개의 파노라마의 촬영 위치를 기초로 상기 기준 파노라마 상에 존재하는 객체의 위치 값을 추정하는 증강현실 콘텐츠 저작 장치.
The method of claim 1,
The location estimator may include at least two points selected by a user on the corresponding object and the two panoramas in two panoramas including an object corresponding to an object existing on the reference panorama among panoramas belonging to the second group. An augmented reality content authoring apparatus for estimating a position value of an object existing on the reference panorama based on a photographing position of the camera.
제 5 항에 있어서,
상기 위치 추정부는 상기 제 2 그룹에 속하는 파노라마의 경우 상기 대응되는 객체 상에 사용자에 의해 선택된 2 이상의 지점 및 상기 2 개의 파노라마의 촬영 위치에 대한 3 차원 정보를 기초로 상기 기준 파노라마 상에 존재하는 객체의 위치 값을 추정하는 증강현실 콘텐츠 저작 장치.
The method of claim 5, wherein
The position estimator is an object present on the reference panorama based on two or more points selected by a user on the corresponding object and three-dimensional information about a photographing position of the two panoramas in the case of the panorama belonging to the second group. Augmented reality content authoring device for estimating the position value of.
제 1 항에 있어서,
상기 증강현실 콘텐츠는 2 차원 또는 3 차원으로 저작되는 증강현실 콘텐츠 저작 장치.
The method of claim 1,
The augmented reality content is augmented reality content authoring device is authored in two or three dimensions.
증강현실 콘텐츠 저작 장치를 이용한 증강현실 콘텐츠 저작 방법에 있어서,
(a) 파노라마 데이터베이스로부터 수집된 파노라마에 대해 이미지 매칭 기법을 적용하는 단계;
(b) 사용자에 의해 선택되는 기준 파노라마 상에 존재하는 객체와 겹치는 영역이 존재하는 파노라마를 제 1 그룹으로 그룹화하고, 나머지 파노라마를 제 2 그룹으로 그룹화하는 단계;
(c) 상기 기준 파노라마 상에 존재하는 객체의 위치 값을 추정하고, 상기 추정한 위치 값을 기초로 상기 제 2 그룹에 속하는 파노라마 중 상기 기준 파노라마 상에 존재하는 객체와 대응되는 객체를 포함하는 파노라마를 선택하는 단계;
(d) 상기 제 1 그룹에 속하는 파노라마 및 상기 (c) 단계에서 선택된 파노라마 중에 증강현실 콘텐츠를 저작할 파노라마를 결정하는 단계; 및
(e) 상기 (d) 단계를 통해 결정된 파노라마에 증강현실 콘텐츠를 저작하는 단계를 포함하는 증강현실 콘텐츠 저작 방법.
In the augmented reality content authoring method using an augmented reality content authoring device,
(a) applying an image matching technique to the panoramas collected from the panorama database;
(b) grouping panoramas in which an area overlapping with objects existing on the reference panorama selected by the user exist into a first group, and grouping the remaining panoramas into a second group;
(c) a panorama including an object corresponding to an object existing on the reference panorama among panoramas belonging to the second group based on the estimated position value; Selecting a;
(d) determining a panorama to author augmented reality content among panoramas belonging to the first group and panoramas selected in step (c); And
(e) authoring an augmented reality content in the panorama determined through the step (d).
제 8 항에 있어서,
(f) 상기 (a) 단계를 수행하기 이전에, 상기 기준 파노라마의 촬영 위치를 기초로 상기 기준 파노라마와 상기 파노라마 데이터베이스로부터 수집된 파노라마를 비교하여 미리 결정된 거리 기준 내의 파노라마를 추출하는 단계를 더 포함하고,
상기 (a) 단계는 상기 (f) 단계에서 추출된 파노라마에 대해 상기 이미지 매칭 기법을 적용하는 증강현실 콘텐츠 저작 방법.
The method of claim 8,
(f) before performing step (a), further comprising extracting a panorama within a predetermined distance criterion by comparing the reference panorama with a panorama collected from the panorama database based on the photographing position of the reference panorama; and,
In step (a), the image matching technique is applied to the panorama extracted in step (f).
제 8 항에 있어서,
상기 (c) 단계는 상기 제 1 그룹에 속하는 파노라마 중 상기 사용자에 의해 선택되는 파노라마 상에 존재하는 객체의 위치 값을 추정하고, 상기 추정된 객체의 위치 값을 기초로 기준 파노라마 상에 존재하는 객체와 대응되는 객체를 포함하는 파노라마를 선택하는 증강현실 콘텐츠 저작 방법.
The method of claim 8,
In the step (c), the position value of the object existing on the panorama selected by the user among the panoramas belonging to the first group is estimated, and the object existing on the reference panorama based on the estimated position value of the object. Augmented reality content authoring method for selecting a panorama including an object corresponding to.
제 10 항에 있어서,
상기 (c) 단계는 상기 제 1 그룹에 속하는 파노라마의 경우 상기 기준 파노라마 상에 존재하는 객체와 겹치는 영역에 대한 2 차원 정보를 기초로 상기 기준 파노라마 상에 존재하는 객체의 위치 값을 추정하는 증강현실 콘텐츠 저작 방법.
11. The method of claim 10,
In the step (c), in the case of the panorama belonging to the first group, the augmented reality estimating the position value of the object existing on the reference panorama based on the two-dimensional information about the area overlapping the object existing on the reference panorama. How to author content.
제 8 항에 있어서,
상기 (c) 단계는 상기 제 2 그룹에 속하는 파노라마 중 상기 기준 파노라마 상에 존재하는 객체와 대응되는 객체를 포함하는 2 개의 파노라마에서, 상기 대응되는 객체 상에 사용자에 의해 선택된 2 이상의 지점 및 상기 2 개의 파노라마의 촬영 위치를 기초로 상기 기준 파노라마 상에 존재하는 객체의 위치 값을 추정하는 증강현실 콘텐츠 저작 방법.
The method of claim 8,
In step (c), two or more points selected by a user on the corresponding object and two of the two panoramas including an object corresponding to an object existing on the reference panorama among the panoramas belonging to the second group; Augmented reality content authoring method for estimating a position value of an object existing on the reference panorama based on photographed positions of two panoramas.
제 12 항에 있어서,
상기 (c) 단계는 상기 제 2 그룹에 속하는 파노라마의 경우 상기 대응되는 객체 상에 사용자에 의해 선택된 2 이상의 지점 및 상기 2 개의 파노라마의 촬영 위치에 대한 3 차원 정보를 기초로 상기 기준 파노라마 상에 존재하는 객체의 위치 값을 추정하는 증강현실 콘텐츠 저작 방법.
13. The method of claim 12,
In the case of the panorama belonging to the second group, the step (c) exists on the reference panorama based on two or more points selected by the user on the corresponding object and three-dimensional information about the photographing position of the two panoramas. Augmented reality content authoring method for estimating the position value of the object.
제 8 항에 있어서,
상기 (e) 단계에서 저작되는 증강현실 콘텐츠는 2 차원 또는 3 차원인 증강현실 콘텐츠 저작 방법.
The method of claim 8,
Augmented reality content authoring in step (e) is a two-dimensional or three-dimensional augmented reality content authoring method.
청구항 8 내지 청구항 14 중 어느 한 항에 기재된 방법을 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.The computer-readable recording medium which recorded the program for performing the method of any one of Claims 8-14 on a computer.
KR1020120143430A 2012-12-11 2012-12-11 Device and method for authoring contents for augmented reality KR101334980B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120143430A KR101334980B1 (en) 2012-12-11 2012-12-11 Device and method for authoring contents for augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120143430A KR101334980B1 (en) 2012-12-11 2012-12-11 Device and method for authoring contents for augmented reality

Publications (1)

Publication Number Publication Date
KR101334980B1 true KR101334980B1 (en) 2013-11-29

Family

ID=49858864

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120143430A KR101334980B1 (en) 2012-12-11 2012-12-11 Device and method for authoring contents for augmented reality

Country Status (1)

Country Link
KR (1) KR101334980B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160019980A (en) * 2014-08-11 2016-02-23 주식회사 에스.제이테크 Method for making augmented reality educational contents using panorama videos
KR101705812B1 (en) * 2016-11-10 2017-02-10 주식회사 팝스라인 Apparatus for producing mixed reality content and method thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100971778B1 (en) 2009-09-16 2010-07-22 (주)올라웍스 Method, system and computer-readable recording medium for matching of panoramic image using graph structure
KR20120061696A (en) * 2010-12-03 2012-06-13 한국기술교육대학교 산학협력단 Building navigation system based on augmented reality
KR101176743B1 (en) 2011-02-23 2012-08-23 숭실대학교산학협력단 Apparatus and method for recognizing object, information content providing apparatus and information content managing server

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100971778B1 (en) 2009-09-16 2010-07-22 (주)올라웍스 Method, system and computer-readable recording medium for matching of panoramic image using graph structure
KR20120061696A (en) * 2010-12-03 2012-06-13 한국기술교육대학교 산학협력단 Building navigation system based on augmented reality
KR101176743B1 (en) 2011-02-23 2012-08-23 숭실대학교산학협력단 Apparatus and method for recognizing object, information content providing apparatus and information content managing server

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160019980A (en) * 2014-08-11 2016-02-23 주식회사 에스.제이테크 Method for making augmented reality educational contents using panorama videos
KR101637553B1 (en) * 2014-08-11 2016-07-08 주식회사 에스.제이테크 Method for making augmented reality educational contents using panorama videos
KR101705812B1 (en) * 2016-11-10 2017-02-10 주식회사 팝스라인 Apparatus for producing mixed reality content and method thereof

Similar Documents

Publication Publication Date Title
US11393173B2 (en) Mobile augmented reality system
US11145083B2 (en) Image-based localization
US10593104B2 (en) Systems and methods for generating time discrete 3D scenes
Chen et al. City-scale landmark identification on mobile devices
US10043097B2 (en) Image abstraction system
EP3206163B1 (en) Image processing method, mobile device and method for generating a video image database
Choi et al. Depth analogy: Data-driven approach for single image depth estimation using gradient samples
EP3502621A1 (en) Visual localisation
CN103946890A (en) Tracking three-dimensional objects
TW201222288A (en) Image retrieving system and method and computer program product thereof
AU2013273829A1 (en) Time constrained augmented reality
US20100134486A1 (en) Automated Display and Manipulation of Photos and Video Within Geographic Software
Bae et al. Fast and scalable structure-from-motion based localization for high-precision mobile augmented reality systems
KR20150082195A (en) Annotation method and apparatus
KR20150106879A (en) Method and apparatus for adding annotations to a plenoptic light field
WO2014026021A1 (en) Systems and methods for image-based searching
Huitl et al. Virtual reference view generation for CBIR-based visual pose estimation
Merino‐Gracia et al. Real‐time text tracking in natural scenes
CN113362467B (en) Point cloud preprocessing and ShuffleNet-based mobile terminal three-dimensional pose estimation method
TW201823929A (en) Method and system for remote management of virtual message for a moving object
KR101334980B1 (en) Device and method for authoring contents for augmented reality
US10791319B1 (en) Multi-camera 3D content creation
Kim et al. Vision-based all-in-one solution for augmented reality and its storytelling applications
Ahn et al. Research of panoramic image generation using IoT device with camera for cloud computing environment
JP2016071496A (en) Information terminal device, method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161101

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171027

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee