WO2019022279A1 - 증강현실 구현 장치 및 방법 - Google Patents

증강현실 구현 장치 및 방법 Download PDF

Info

Publication number
WO2019022279A1
WO2019022279A1 PCT/KR2017/008235 KR2017008235W WO2019022279A1 WO 2019022279 A1 WO2019022279 A1 WO 2019022279A1 KR 2017008235 W KR2017008235 W KR 2017008235W WO 2019022279 A1 WO2019022279 A1 WO 2019022279A1
Authority
WO
WIPO (PCT)
Prior art keywords
augmented reality
attribute
real world
unit
identifier
Prior art date
Application number
PCT/KR2017/008235
Other languages
English (en)
French (fr)
Inventor
김정빈
안상철
Original Assignee
주식회사 렛시
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 렛시 filed Critical 주식회사 렛시
Publication of WO2019022279A1 publication Critical patent/WO2019022279A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/444—Spatial browsing, e.g. 2D maps, 3D or virtual spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Definitions

  • the present invention relates to an apparatus and method for implementing an augmented reality. More particularly, to an apparatus and method for managing information on objects based on identifiers declared in an object in the real world and declaring identifiers of objects in the real world that the augmented reality works want to recognize.
  • Augmented Reality (AR) technology refers to a technique of superimposing virtual objects created by computer graphics on objects existing in the real world and providing them to users. Recently, augmented reality (AR) technology has been applied to endpoints such as smart phones and smart glasses It is a technology that is concentrated on research and development as it extends to devices.
  • augmented reality technologies have disclosed an individual identifier for a large number of objects existing in the real world, where the identifier refers to a trained image or a specific coordinate rather than a real world object itself . Therefore, even if objects of the same real world are declared in different augmented reality applications, common management can not be performed, and individual modifications are required.
  • the identifier is a declaration for a specific object in the real world, there is a problem that it is impossible to manage the object group in the real world having a common property.
  • a local coffee shop (AB) and a coffee shop (C) of a mutual coffee shop can access each individual identifier to enhance it, In this case, one identifier is not accessible.
  • the present invention is related to this.
  • Another object of the present invention is to provide an apparatus and method for realizing an augmented reality capable of declaring an identifier of an object in a real world to be recognized by an augmented reality work.
  • an apparatus for realizing an augmented reality includes a loading unit for loading an augmented reality work with an identifier, an object recognizing unit for recognizing an object in the real world, An attribute extracting unit for extracting a property from an object in the real world, a determination unit for determining whether an attribute of the object of the real world extracted by the attribute extracting unit matches the previously stored attribute information that is dependent on the identifier declared in the augmented reality work And an augmenting unit for augmenting the virtual object to the object of the real world through a method defined in the augmented reality work in accordance with a determination result of the attribute determining unit.
  • the loading unit may load the augmented reality work from an external device.
  • the augmented reality work may include an update unit that updates the identifier in a state where a work is loaded by the loading unit.
  • the attribute determination unit may further include an ontology unit in which data on the attribute information of the object in the real world and an identifier on the object in the real world are interconnected to form a database.
  • the attribute determination unit may further include an identifier management unit for matching data on attribute information of the object in the real world database stored in the ontology unit with an identifier declared in the augmented reality work have.
  • the attribute determination unit analyzes the identifier declared in the augmented reality work, and analyzes the range of the attribute information of the object in the real world database stored in the ontology unit, which is dependent on the analyzed identifier And an identifier analysis unit.
  • the augmented reality realization method includes the steps of loading an augmented reality work in which an augmented reality implementation apparatus declares an identifier, recognizing an object in the real world by the augmented reality implementation apparatus, Extracting an attribute from an object of the recognized real world; and a step of extracting an attribute of the object of the real world extracted by the attribute extracting unit from the attribute of the object of the augmented reality that matches the previously stored attribute information subordinate to the identifier
  • the augmented reality implementing device enhances the virtual object in the augmented reality work through a method defined in the augmented reality work according to the determination result of the attribute determining unit.
  • an apparatus for implementing augmented reality including a processor, a memory, and an object recognition unit for recognizing an object in the real world, Extracting an attribute from the object of the real world recognized by the object recognizing unit, extracting an attribute of the extracted object of the real world from attribute information pre-stored in the memory, which is dependent on the identifier declared in the augmented reality work, And augmenting the virtual object to the object in the real world through the method defined in the augmented reality work according to the determination result.
  • a virtual object can be augmented with respect to a plurality of objects in the real world having an attribute dependent on the identifier, so that an identifier for each augmented reality object is declared There is no need for authors to easily manage augmented reality works.
  • FIG. 1 is a diagram showing the overall configuration of an augmented reality implementing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing a state in which an object recognition unit implemented by a camera recognizes a car as a real world object.
  • FIG. 3 is a diagram showing a state in which an attribute extraction unit extracts attributes of a car based on FIG. 2;
  • FIG. 5 is a diagram showing a schematic diagram of a database held by the ontology section.
  • FIG. 6 is a diagram showing an exemplary schematic diagram in which a schematic diagram of the database shown in FIG. 5 is substituted into an object in the real world.
  • FIG. 7 is a diagram illustrating a screen enhanced by an apparatus for realizing an augmented reality according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a hardware configuration of an apparatus for realizing an augmented reality according to another embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating exemplary steps of a method for implementing an augmented reality according to another embodiment of the present invention.
  • FIG. 1 is a diagram illustrating an overall configuration of an augmented reality implementing apparatus 100 according to an embodiment of the present invention.
  • the apparatus for realizing an augmented reality includes a loading unit 1, an object recognizing unit 10, an attribute extracting unit 20, an attribute determining unit 30 and an augmenting unit 40 do.
  • a loading unit 1 an object recognizing unit 10
  • an attribute extracting unit 20 an attribute determining unit 30
  • an augmenting unit 40 do an augmenting unit 40 do.
  • the object recognition unit 10 recognizes a real-world object.
  • the recognition is to recognize information that can be contributed in the extraction of the attribute by the attribute extracting unit 20 to be described later.
  • the recognition may indicate the attributes such as the size, color, material, (E.g., bar code, QR code, trademark, etc.) that can identify the physical object, appearance, and other real world objects. Therefore, the object recognition unit 10 may include a separate configuration for recognizing the respective attributes. For example, if the size of the real world object is to be recognized, If you need to recognize colors, you can include a camera with built-in color discrimination software, a camera with material discrimination software if you need to recognize the material of a real world object, and a weighing scale if you need to recognize the weight of a real world object .
  • the object recognition unit 10 may further include a configuration such as a converter (not shown) for converting the contents recognized by the camera or the balance into data, and the software built in the above- .
  • FIG. 2 shows a state where an object recognition unit 10 implemented by a camera recognizes a car as a real world object.
  • the object recognition unit 10 recognizes the size, color, will be.
  • the attribute extraction unit 20 extracts an attribute from an object in the real world recognized by the object recognition unit 10.
  • the object recognition unit 10 extracts attributes that can represent characteristics of an object in the real world from data obtained by recognizing an object in the real world. For example, as shown in FIG. 2, if the object recognition unit 10 recognizes an automobile, which is an object in the real world, the attribute extraction unit 20 determines how the specific size of the car is, What the specific size is, how the shape of the wheel is, how the car maker and the model name are, and so on.
  • an apparatus for realizing an augmented reality includes an object recognition unit 10 for recognizing an object in a real world, and a real-world object recognized by the object recognition unit 10
  • the object recognition unit 10 and the attribute extraction unit 20 may be implemented in a single configuration, as shown in FIG. It is possible. In this case, for example, the above-mentioned software may be implemented to perform not only conversion of data but also extraction of attributes.
  • the loading unit 1 calls up the augmented reality work in which one or more identifiers are declared and the attribute determining unit 30 determines the attribute of the object in the real world extracted by the attribute extracting unit 20 as an identifier It is judged whether or not it matches the previously stored attribute information.
  • the loading unit 1 may load the augmented reality work from an external device (not shown) or may call up the augmented reality work that the augmented reality implementing apparatus 100 itself has.
  • the augmented reality work can be implemented so that its contents can be updated, and the augmented reality implementing apparatus 100 can perform additional functions such as modification of an augmented reality work and reception of a new augmented reality work.
  • Augmented reality works can be regarded as a kind of manual that augments real world objects.
  • an augmented reality work may have an automobile declared as an identifier for an attribute that has four wheels, so that it can be used to augment the scene where the rain comes to the car, .
  • the identifier car may have various attributes associated with it.
  • the attributes for example, as mentioned above, not only the four-wheel attribute but also the attribute for the size such as the width, height and height, the attribute for the car maker and the model name can be associated, and the identifier is declared for each individual attribute .
  • an identifier declaration of a real world object will be described.
  • An identifier representing a real world object having the attribute " furniture " can be declared as follows.
  • An identifier representing a real world object having a property of " furniture " and having a weight of 100 Kg may be declared as follows.
  • the augmented reality work may declare a new identifier for a new attribute as well as an identifier declared for each attribute of the object.
  • an augmented reality work may not only be able to statically declare an identifier as previously described for an object in the real world, but also be able to change or update an identifier while the asset is loaded according to the business logic of the augmented reality asset Dynamic declaration is possible.
  • the attribute determining unit 30 determines whether the attribute of the object in the real world extracted by the attribute extracting unit 20 is identical to the attribute information dependent on the identifier declared in the augmented reality work.
  • the ontology unit 31 is a database in which data (attribute information, recognition information) for real-world object recognition and identifiers of objects in the real world are interconnected.
  • Ontology is a term related to computer science and is defined as a set of formal vocabularies describing the relationship between concepts and concepts belonging to a specific domain. Specifically, graphical vertices and vertices are used to represent objects in the real world. The vertices of graphs represent the objects in the real world, and the trunks between them represent the relationships between the objects in the real world ).
  • the constituent element of an ontology can be classified into a class, an instance, a relationship, and a property, and a class means a name given to an object or a concept. For example, “keyboard”, “monitor”, “car”, “love”, “sadness” and so on can all be seen as a class.
  • An instance refers to a substance or conceptual substance or an actual form of an event or the like.
  • "Samsung Sync Master Wide LCD Monitor”, "LG Electronics ST-500 Ultra Slim Keyboard” and "Mercedes-Benz CLS 350” can be seen as common instances. . That is, the same representation object can in some cases be a class, or in other cases an instance.
  • Attributes associate a particular value with a class or instance to indicate its specific nature and propensity. For example, you can define and associate an attribute such as hasSize to indicate that the "Samsung Sync Master Wide LCD monitor is 32". In general, attributes can identify most of the characteristics of objects in the real world.
  • Taxonomic Relation is a hierarchical representation of a broader concept and concrete concepts for classifying concepts of instances.
  • iSA Tuxonomic Relation
  • Non-Taxonomic Relation refers to a relationship that is not a taxonomic relation. For example, "cause a person to be healthy” is expressed as "cause”.
  • the ontology unit 31 stores data (recognition information and attribute information) for real-world object recognition and identifiers of objects in the real world in a database as shown in FIG.
  • the real objects A and C are connected to each other in relation to the identifier a, and the real object A is linked to the identifier b.
  • the real object A is recognized through the recognition data a and a '
  • the identifier b is linked with the real object B
  • the real object B is recognized through the recognition data b.
  • the identifiers a, b, and c are connected in relation to each other. An example of substituting this into a real world object is shown in Fig.
  • the identifier management unit 32 matches the attribute information (recognition information, recognition data) about the object in the real world, which is databaseed in the ontology unit 31, with an identifier declared in the augmented reality work.
  • the identifier management unit 32 stores the attribute information on the object in the real world, which is stored in the ontology unit 31, By matching the identifier declared in the work, the identifier analyzer 33, which will be described later, can determine whether or not the identifier coincides with the attribute within the attribute dependent on the identifier.
  • the identifier management unit 32 can add, delete and modify attribute information. Accordingly, it is possible to manage by adding, deleting and modifying the attribute information of the ontology section 31 without directly modifying the augmented reality work object to be recognized in the augmented reality work.
  • the identifier analyzing unit 33 analyzes the identifier declared in the augmented reality work and analyzes the attribute information of the object in the real world stored in the ontology unit 31, which is subordinate to the analyzed identifier.
  • the analysis of the identifiers extracts the scope of the declaration, such as whether the identifiers declared in the augmented reality work represent objects of the real world, what common attributes they have, and which objects in the real world satisfy certain conditions can see.
  • the identifier analysis unit 33 33 can be analyzed as a target of a 100 kg real world object having the attribute of furniture.
  • the attribute determination unit 30 included in the apparatus for realizing an augmented reality according to an exemplary embodiment of the present invention shown in FIG. 4 includes an identifier management unit 32 and an identifier analysis unit 33, And the present invention is also described on the basis thereof, the identifier management unit 32 and the identifier analysis unit 33 may be implemented in a single configuration. Furthermore, the ontology unit 31, the identifier management unit 32, and the identifier analysis unit 33 may all be implemented by software and executed by the attribute determination unit 30.
  • the enhancer 40 enhances the objects of the real world through the method defined in the augmented reality work according to the determination result of the attribute decider 30.
  • the attribute determination unit 30 determines that the attribute of the object in the real world extracted by the attribute extraction unit 20 matches the attribute information that is dependent on the identifier "automobile" If the real work has been predefined to enhance the screen that comes in contact with the object in the real world, it can be enhanced as shown in Fig.
  • the enhanced screen can be displayed by a separate display means (not shown) in the reinforcement unit 40 itself, and can be enhanced by the display means outside the augmented reality implementing apparatus 100 according to an embodiment of the present invention And transmit the displayed image.
  • augmented reality display device 100 can display an enhanced screen through a user terminal (not shown) such as a smart phone or the like.
  • the augmented reality realization apparatus 100 has been described above. According to the present invention, since an identifier is declared in an augmented reality work, a virtual object can be augmented with respect to a plurality of objects in a real world having an attribute dependent on the identifier, so that it is not necessary to declare an identifier for an augmented reality work for each real world object Authors can easily manage augmented reality works.
  • the present invention may be implemented by the augmented reality implementing apparatus 100 and a server (not shown).
  • the augmented reality implementing apparatus 100 includes a device processor and a device memory
  • the server may include a server processor and a server memory.
  • the device processor of the augmented reality realization device 100 calls up the augmented reality asset in which the at least one identifier is declared and stores it in the device memory.
  • the attributes of the object augmented reality object recognized by the object recognition part And to transmit the extracted attributes of the object of the real world to the server (not shown).
  • the server processor of the server performs a step of determining whether the attribute of the received real world object matches the property information stored in the server memory dependent on the identifier declared in the augmented reality work, To an augmented reality implementation device.
  • the device processor of the augmented reality implementing apparatus 100 may be configured to perform a step of augmenting a virtual object to an object in the real world through a method defined in the augmented reality work according to a result of the determination.
  • the server processor of the server may be configured to transmit attribute information dependent on the identifier to the augmented reality implementing apparatus when the attribute information pre-stored in the server memory subordinate to the identifier is smaller than a predetermined number
  • the augmented reality implementing apparatus 100 may store attribute information dependent on the transmitted identifier in the device memory, and in this case, the device processor stores the attribute of the extracted real world object in attribute information dependent on the identifier stored in the device memory And the step of determining whether or not it is coincident with the step of FIG.
  • the apparatus for realizing an augmented reality includes a processor 11, a memory 12, an object recognition unit 13 for recognizing an object in the real world, And may be implemented as an augmented reality implementing apparatus 200 including a system bus 14.
  • the processor 11 extracts an attribute from a real-world object recognized by the object recognizing unit 13, extracts an attribute of the extracted real-world object from the attribute of the extracted real- Determining whether the attribute information matches the attribute information stored in the memory 12, and augmenting the virtual object to the object in the real world through a method defined in the augmented reality work according to a result of the determination have.
  • the apparatus for realizing an augmented reality may be implemented by a method for implementing augmented reality according to the flowchart shown in Fig.
  • the object recognizing unit 10 recognizes the object in the real world (S910), and the attribute extracting unit 20 extracts the attribute from the object of the real world recognized by the object recognizing unit 10 S920), the attribute determining unit 30 determines whether the attribute of the real world object extracted by the attribute extracting unit 20 matches the attribute information that is dependent on the identifier declared in the augmented reality work (S930) And the enhancer 40 may enhance the virtual object in the augmented reality work through a method defined in the augmented reality work according to the determination result of the attribute determiner in operation S940.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시 예에 따른 증강현실 구현 장치는, 증강현실 구현 장치는, 식별자가 선언된 증강현실 저작물을 불러오는 로딩부, 현실 세계의 객체를 인식하는 객체 인식부, 상기 객체 인식부가 인식한 현실 세계의 객체로부터 속성(Property)을 추출하는 속성 추출부, 상기 속성 추출부가 추출한 상기 현실 세계의 객체에 대한 속성이 상기 증강현실 저작물에 선언된 상기 식별자에 종속되는 기 저장된 속성 정보와 일치하는지 판단하는 속성 판단부 및 상기 속성 판단부의 판단 결과에 따라, 상기 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 증강부를 포함한다.

Description

증강현실 구현 장치 및 방법
본 발명은 증강현실 구현 장치 및 방법에 관한 것이다. 보다 자세하게는 현실 세계의 객체에 선언된 식별자를 바탕으로 객체들에 대한 정보를 관리하며, 증강현실 저작물이 인식하고자 하는 현실 세계의 객체에 대한 식별자를 선언할 수 있는 장치 및 방법에 관한 것이다.
증강현실(AR, Augmented Reality) 기술은 현실 세계에 존재하는 객체에 컴퓨터 그래픽으로 만들어진 가상 객체를 중첩하여 사용자에게 제공하는 기술을 의미하며, 최근 증강현실의 구현이 스마트폰이나 스마트 글라스 등과 같은 엔드 포인트 디바이스로까지 연장됨에 따라, 연구 개발이 집중되고 있는 기술에 해당한다.
종래의 증강현실 기술에서는 현실 세계에 존재하는 수많은 객체들에 대하여 개별적인 식별자(Identifier)를 선언하였으며, 여기서 식별자는 현실 세계의 객체 자체를 의미한다기 보다는 트레이닝된 이미지 또는 특정 좌표를 의미하는 경우가 대부분이었다. 따라서 상이한 증강현실 어플리케이션(Application)에서 동일한 현실 세계의 객체를 선언 했다 하여도, 공통된 관리가 불가능하며, 개별적인 수정을 해야만 한다는 문제점이 있었다.
아울러, 식별자는 특정한 하나의 현실 세계의 객체에 대한 선언이기 때문에, 공통된 속성(Property)을 가지고 있는 현실 세계의 객체 그룹에 대한 관리가 불가능하다는 문제점도 있다. 예를 들어, A라는 상호를 가진 커피 전문점의 B 지역 매장(A-B)과 C 지역 매장(A-C)은 각각의 식별자를 통해 접근하여 개별적으로 증강할 수 있으나, A라는 상호에 대해서 그룹으로 증강하려고 하는 경우 하나의 식별자로 접근할 수 없다.
따라서 상기 언급한 바와 같은 종래의 증강현실 기술의 문제점을 극복하기 위한 새롭고 진보적인 증강현실 구현 장치 및 방법이 요구된다. 본 발명은 이와 관련된 것이다.
본 발명이 해결하고자 하는 기술적 과제는 현실 세계의 객체에 선언된 식별자를 바탕으로 객체들에 대한 정보를 손쉽게 관리할 수 있는 증강현실 구현 장치 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는 증강현실 저작물이 인식하고자 하는 현실 세계의 객체에 대한 식별자를 선언할 수 있는 증강현실 구현 장치 및 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시 예에 따른 증강현실 구현 장치는, 식별자가 선언된 증강현실 저작물을 불러오는 로딩부, 현실 세계의 객체를 인식하는 객체 인식부, 상기 객체 인식부가 인식한 현실 세계의 객체로부터 속성(Property)을 추출하는 속성 추출부, 상기 속성 추출부가 추출한 상기 현실 세계의 객체에 대한 속성이 상기 증강현실 저작물에 선언된 상기 식별자에 종속되는 기 저장된 속성 정보와 일치하는지 판단하는 속성 판단부 및 상기 속성 판단부의 판단 결과에 따라, 상기 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 증강부를 포함한다.
일 실시 예에 따르면, 상기 로딩부는, 상기 증강현실 저작물을 외부 장치로부터 로딩할 수 있다.
일 실시 예에 따르면, 상기 증강현실 저작물은, 상기 로딩부에 의해 저작물이 로딩된 상태에서 상기 식별자를 업데이트 하는 업데이트부를 구비할 수 있다.
일 실시 예에 따르면, 상기 속성 판단부는, 상기 현실 세계의 객체의 속성 정보에 관한 데이터와 상기 현실 세계의 객체에 대한 식별자가 상호 연결되어 데이터베이스화되어 있는 온톨로지부를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 속성 판단부는, 상기 온톨로지부에 데이터베이스화되어 있는 상기 현실 세계의 객체에 대한 속성 정보에 관한 데이터를 상기 증강현실 저작물에 선언되는 식별자와 매칭시키는 식별자 관리부를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 속성 판단부는, 상기 증강현실 저작물에 선언된 식별자를 분석하여 상기 분석한 식별자에 종속되는 상기 온톨로지부에 데이터베이스화되어 있는 상기 현실 세계의 객체의 속성 정보의 범위를 분석하는 식별자 분석부를 더 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시 예에 따른
증강현실 구현 방법은, 증강현실 구현 장치가 식별자가 선언된 증강현실 저작물을 불러오는 단계, 상기 증강현실 구현 장치가 객체 인식부가 현실 세계의 객체를 인식하는 단계, 상기 증강현실 구현 장치가 상기 객체 인식부가 인식한 현실 세계의 객체로부터 속성을 추출하는 단계, 상기 증강현실 구현 장치가 상기 속성 추출부가 추출한 상기 현실 세계의 객체에 대한 속성을 증강현실 저작물에 선언된 상기 식별자에 종속되는 기 저장된 속정 정보와 일치하는지 판단하는 단계 및 상기 증강현실 구현 장치가 상기 속성 판단부의 판단 결과에 따라, 상기 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 단계를 포함한다.
상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시 예에 따른 증강현실 구현 장치는, 프로세서, 메모리 및 현실 세계의 객체를 인식하는 객체 인식부를 포함하고, 상기 프로세서는, 식별자가 선언된 증강현실 저작물을 불러오는 단계, 상기 객체 인식부가 인식한 현실 세계의 객체로부터 속성을 추출하는 단계, 상기 추출한 상기 현실 세계의 객체에 대한 속성을 증강현실 저작물에 선언된 상기 식별자에 종속되는 상기 메모리에 기 저장된 속성 정보와 일치하는지 판단하는 단계 및 상기 판단 결과에 따라, 상기 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 단계를 수행한다.
상기와 같은 본 발명에 따르면, 증강 현실 저작물에 식별자를 선언하여 식별자에 종속되는 속성을 갖는 복수의 현실 세계의 객체에 대해 가상 객체를 증강할 수 있으므로 현실 세계 객체 마다 식별자를 증강현실 저작물에 선언할 필요가 없어 저작자가 손쉽게 증강현실 저작물을 관리할 수 있는 효과가 있다.
또한, 현실 세계의 객체에 대해 선언되는 식별자에 종속되는 속성 정보의 추가, 삭제 및 수정이 가능하므로, 증강현실 저작물을 직접 수정하지 않고, 증강하고자 하는 현실 세계의 객체들을 손쉽게 관리할 수 있다는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 증강현실 구현 장치의 전체적인 구성을 나타낸 도면이다.
도 2에는 카메라로 구현된 객체 인식부가 현실 세계 객체인 자동차를 인식하는 모습을 나타낸 도면이다.
도 3은 도 2를 기초로 속성 추출부가 자동차의 속성을 추출하는 모습을 나타낸 도면이다.
도 4는 속성 추출부의 세부적인 구성을 나타낸 도면이다.
도 5는 온톨로지부가 보유하고 있는 데이터베이스의 모식도를 나타낸 도면이다.
도 6은 도 5에 도시된 데이터베이스의 모식도를 현실 세계의 객체에 대입한 예시적인 모식도를 나타낸 도면이다.
도 7은 본 발명의 일 실시 예에 따른 증강현실 구현 장치에 의해 증강된 화면을 나타낸 도면이다.
도 8은 본 발명의 또 다른 실시 예에 따른 증강현실 구현 장치의 하드웨어 구성도를 나타낸 도면이다.
도 9는 본 발명의 또 다른 실시 예에 따른 증강현실 구현 방법의 대표적인 단계를 나타낸 순서도이다.
한편, 도면에 사용된 도면 부호는 다음과 같다.
100, 200: 증강현실 구현 장치
1: 로딩부
10, 13: 객체 인식부
11: 프로세서
12: 메모리
13: 시스템 버스
20: 속성 추출부
30: 속성 판단부
31: 온톨로지부
32: 식별자 관리부
33: 식별자 분석부
40: 증강부
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
본 명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시 예에 따른 증강현실 구현 장치(100)의 전체적인 구성을 나타낸 도면이다.
이는 본 발명의 목적을 달성하기 위한 바람직한 실시 예일 뿐이며, 필요에 따라 일부 구성이 추가 또는 삭제될 수 있음은 물론이고, 일 구성의 기능을 다른 구성이 흡수하여 수행할 수도 있다.
본 발명의 일 실시 예에 따른 증강현실 구현 장치(100)는 로딩부(1), 객체 인식부(10), 속성 추출부(20), 속성 판단부(30) 및 증강부(40)를 포함한다. 이하, 객체 인식부(10)를 시작으로 본 발명의 일 실시 예에 따른 증강현실 구현 장치(100)가 포함하는 모든 구성을 설명하도록 한다.
객체 인식부(10)는 현실 세계의 객체를 인식한다.
여기서 인식은 후술할 속성 추출부(20)가 속성을 추출함에 있어서 이바지할 수 있는 정보를 인식하는 것인바, 인식은 예를 들어, 현실 세계 객체의 크기, 색상, 재질, 무게 등과 같은 속성을 나타내는 외관 및 그 밖에 해당 현실 세계 객체를 식별할 수 있는 모든 속성(예를 들면, 바코드, QR코드, 상표 등)을 인식하는 것일 수 있다. 따라서 객체 인식부(10)는 각각의 속성을 인식할 수 있는 별도의 구성을 포함할 수 있으며, 예를 들어, 현실 세계 객체의 크기를 인식해야 한다면 크기 측정 소프트웨어가 내장된 카메라, 현실 세계 객체의 색상을 인식해야 한다면 색상 구별 소프트웨어가 내장된 카메라, 현실 세계 객체의 재질을 인식해야 한다면 재질 구별 소프트웨어가 내장된 카메라, 현실 세계 객체의 무게를 인식해야 한다면 무게 측정이 가능한 저울 등을 포함할 수 있다.
그러나, 이러한 카메라나 저울 등은 현실 세계 객체의 속성을 인식하기 위한 일종의 입력 장치에 불과하며, 이를 통해 후술할 속성 추출부(20)가 속성을 추출하려면 입력 장치가 인식한 내용을 데이터로 변환해야 한다. 따라서 객체 인식부(10)는 카메라나 저울 등이 인식한 내용을 데이터로 변환하는 변환기(미도시)와 같은 구성을 추가적으로 포함할 수 있으며, 상기 언급한 입력 장치에 내장된 소프트웨어가 데이터 변환 기능을 수행할 수도 있다.
도 2에는 카메라로 구현된 객체 인식부(10)가 현실 세계 객체인 자동차를 인식하는 모습이 도시되어 있으며, 객체 인식부(10)는 자동차의 크기, 색상 등을 인식하여 데이터로 변환할 수 있을 것이다.
속성 추출부(20)는 객체 인식부(10)가 인식한 현실 세계의 객체로부터 속성을 추출한다.
보다 구체적으로, 객체 인식부(10)가 현실 세계의 객체를 인식하여 변환한 데이터로부터 현실 세계의 객체의 특징을 나타낼 수 있는 속성을 추출한다. 예를 들어, 도 2에 도시된 바와 같이 객체 인식부(10)가 현실 세계의 객체인 자동차를 인식하였다면, 속성 추출부(20)는 도 3에 도시된 바와 같이 자동차의 구체적인 크기가 어떻게 되는지, 구체적인 사이즈가 어떻게 되는지, 휠의 형상은 어떻게 되는지, 자동차 제조사 및 모델명은 어떻게 되는지 등과 같은 속성을 추출할 수 있다.
한편, 도 1에 도시된 본 발명의 일 실시 예에 따른 증강현실 구현 장치(100)는 현실 세계의 객체를 인식하는 객체 인식부(10)와 객체 인식부(10)가 인식한 현실 세계의 객체로부터 속성을 추출하는 속성 추출부(20)가 별도의 구성으로 도시되어 있고, 본 명세서 역시 이를 기초로 설명하고 있으나, 객체 인식부(10)와 속성 추출부(20)는 하나의 구성으로 구현될 수도 있다. 이 경우 예를 들어, 상기 언급한 소프트웨어가 데이터의 변환뿐만 아니라 속성을 추출하는 기능까지 모두 수행하도록 구현할 수 있을 것이다.
로딩부(1)는 하나 이상의 식별자가 선언된 증강현실 저작물을 불러오고, 속성 판단부(30)는 속성 추출부(20)가 추출한 현실 세계의 객체에 대한 속성을 증강현실 저작물에 선언된 식별자에 종속되는 기 저장된 속성 정보와 일치하는지 판단한다.
로딩부(1)는 증강현실 저작물을 외부 장치(미도시)로부터 로딩할 수 있으며 또는 증강현실 구현 장치(100)가 자체적으로 보유하고 있는 증강현실 저작물을 불러올 수도 있다. 여기서 증강현실 저작물은 그 내용을 업데이트가 가능하도록 구현할 수 있으며, 증강현실 구현 장치(100)에서 증강현실 저작물의 수정, 새로운 증강현실 저작물의 수신 등과 같은 추가적인 기능을 수행할 수 있다.
속성 판단부(30)에 대한 구체적인 설명을 하기에 앞서, 우선 증강현실 저작물에 대하여 설명이 필요하다. 이하 설명하도록 한다.
증강현실 저작물은 현실 세계 객체를 증강하는 일종의 매뉴얼(Manual)의 하나로 볼 수 있다. 예를 들어, 증강현실 저작물에는 휠이 4개라는 속성에 대한 식별자로 자동차가 선언되어 있을 수 있으며, 그에 따라 자동차에 비(Rain)가 오는 화면을 증강하도록, 즉 증강의 대상 및 방법이 기 정의되어 있을 수 있다.
한편, 식별자 자동차에는 다양한 속성이 연관되어 있을 수 있다. 예를 들어, 앞서 언급한 바와 같이 휠이 4개라는 속성뿐만 아니라, 가로, 세로 및 높이 등과 같은 크기에 대한 속성, 자동차 제조사 및 모델명에 대한 속성 등도 연관될 수 있으며, 식별자는 이러한 개별적인 속성 별로 선언되어 있다. 이하, 현실 세계 객체의 식별자 선언의 예를 들어보도록 한다.
"가구"라는 속성을 갖는 현실 세계 객체를 나타내는 식별자는 다음과 같이 선언될 수 있다.
https://d.letsee.io/properties/{가구}
"가구"라는 속성을 갖고, 무게가 100Kg인 조건을 갖는 현실 세계 객체를 나타내는 식별자는 다음과 같이 선언될 수 있다.
https://d.letsee.io/properties/{가구}filter=weight eq 100 kg
더 나아가, 증강현실 저작물은 객체의 속성 별로 선언된 식별자뿐만 아니라, 새로운 속성에 대하여 새로운 식별자를 새롭게 선언할 수도 있다.
ARML 언어 형식의 경우 다음과 같이 선언할 수 있다.
<Trackable id="test">
<config>
<tracker xlink:href="#letseeTracker" />
<src>https://d.letsee.io/properties/{가구}?filter=weight eq 100 kg</src>
</config>
</Trackable>
HTML 언어 형식의 경우 다음과 같이 선언할 수 있다.
selector {
-ar-target: object("https://d.letsee.io/properties/{가구}"?filter=weight eq 100 kg);
}
더 나아가, 증강현실 저작물은 현실 세계의 객체에 대하여 앞서 기재한 것과 같이 식별자를 정적 선언할 수 있을 뿐만 아니라, 증강현실 저작물의 비즈니스 로직에 따라 저작물이 로딩된 상태에서 식별자를 변경 또는 업데이트 할 수 있는 동적 선언까지 가능하다.
예를 들어. 다음과 같은 Javascript 언어 형식의 동적 선언이 가능하다.
var entity = letsee.getEntity("https://d.letsee.io/properties/{가구}");
var renderable = new DOMRenderable(HTMLElement);
entity.addRenderable(renderable);
앞서 설명한 증강현실 저작물 및 식별자의 선언은 하나의 예시일 뿐이며, 증강현실 저작물에 대한 모든 것은 저작권자가 자유롭게 설정하고 식별자를 선언할 수 있음은 물론이다. 이하, 속성 판단부(30)에 대한 설명으로 돌아간다.
속성 판단부(30)는 속성 추출부(20)가 추출한 현실 세계의 객체에 대한 속성이 증강현실 저작물에 선언된 식별자에 종속되는 속성 정보와 일치하는지 판단한다고 했던바, 이를 수행하는 구성으로 도 4에 도시된 바와 같이 온톨로지부(31), 식별자 관리부(32) 및 식별자 분석부(33)를 더 포함할 수 있다. 이하 자세히 설명하도록 한다.
온톨로지부(31)는 현실 세계의 객체 인식을 위한 데이터(속성 정보, 인식 정보)와 현실 세계의 객체에 대한 식별자가 상호 연결되어 데이터베이스화되어 있다.
여기서 온톨로지(Ontology)는 전산학 관련 용어로서, 특정한 영역(Domain)에 속하는 개념과 개념 사이의 관계를 기술하는 정형(Formal) 어휘의 집합으로 정의된다. 구체적으로 그래프라는 정점(Vertex)와 간선(Edge)으로 구성된 자료 구조를 이용하여 현실 세계의 객체를 이용하는바, 그래프의 정점은 현실 세계의 객체를, 이들 사이의 간선은 현실 세계 객체 간의 관계(Relationship)를 나타낸다.
온톨로지의 구성 원소는 클래스(Class), 인스턴스(Instance), 관계(Relationship) 및 속성(Property)으로 구분할 수 있는바, 클래스는 사물이나 개념 등에 부여하는 일종의 명칭을 의미한다. 예를 들어, "키보드", "모니터", "자동차", "사랑", "슬픔"등과 같은 것들은 모두 클래스로 볼 수 있다.
인스턴스는 사물이나 개념의 구체물 또는 사건 등의 실질적인 형태를 나타낸 그 자체를 의미한다. 예를 들어, "삼성 싱크마스터 와이드 엘씨디 모니터", "엘지전자 ST-500 울트라 슬림 키보드", "메르세데스 벤츠 CLS 350" 등은 일반적인 인스턴스로 볼 수 있으며, 이러한 인스턴스는 응용분야와 사용 목적에 따라서 클래스와 구별된다. 즉, 같은 표현 객체가 어떠한 경우에는 클래스가 될 수 있고, 또 다른 경우에는 인스턴스가 될 수도 있다.
속성은 클래스나 인스턴스의 특정한 성질 및 성향 등을 나타내기 위하여 이를 특정한 값(Value)과 연관시킨 것이다. 예를 들어, "삼성 싱크마스터 와이드 엘씨디 모니터는 32인치이다"라는 것을 표현하기 위해 hasSize와 같은 속성을 정의하여 연관시킬 수 있다. 일반적으로 속성을 통해 해당 현실 세계의 객체의 대부분의 특징을 파악할 수 있다.
관계는 클래스, 인스턴스 간에 존재하는 특수한 관계들을 의미하며, Taxonomic Relation과 Non-Taxonomic Relation으로 구분할 수 있다. Taxonomic Relation은 클래스, 인스턴스의 개념 분류를 위하여 보다 폭넓은 개념과 구체적인 개념들을 구분하여 계층적으로 표현하는 관계이며, 예를 들어, "사람은 동물이다"와 같은 개념간에 포함관계를 나타내기 위한 iSA를 들 수 있다. Non-Taxonomic Relation은 Taxonomic Relation이 아닌 관계를 의미하며, 예를 들어, "운동을 하면 건강해진다"라는 것을 "cause"로 표현하는 것을 들 수 있다.
온톨로지부(31)는 현실 세계의 객체 인식을 위한 데이터(인식 정보, 속성 정보), 현실 세계의 객체에 대한 식별자를 도 5에 도시된 바와 같이 데이터베이스화하여 보유한다. 도 5를 참조하면, 식별자 a에는 현실 객체 A 및 C가 관계로 연결되어 있고, 현실 객체 A는 식별자 b에도 관계로 연결되어 있다. 현실 객체 A는 인식 데이터 a 및 a'을 통해 인식되며, 식별자 b에는 현실 객체 B가 관계로 연결되어 있고, 현실 객체 B는 인식 데이터 b를 통해 인식된다. 또한, 식별자 a, b 및 c는 서로 관계로 연결되어 있다. 이를 현실 세계 객체에 대입하여 나타낸 예시는 도 6에 도시되어 있다.
식별자 관리부(32)는 온톨로지부(31)에 데이터베이스화되어 있는 현실 세계의 객체에 대한 속성 정보(인식 정보, 인식 데이터)를 증강현실 저작물에 선언되는 식별자로 매칭시킨다.
앞서 증강현실 저작물에 대한 설명에서 증강현실 저작물에는 객체의 속성 별로 식별자가 선언되어 있다고 한바, 식별자 관리부(32)가 온톨로지부(31)에 데이터베이스화되어 있는 현실 세계의 객체에 대한 속성 정보를 증강현실 저작물에 선언되는 식별자에 매칭시킴에 따라 후술할 식별자 분석부(33)가 식별자에 종속되는 속성의 범위 내에서 일치 여부를 판단할 수 있게 된다.
더 나아가, 식별자 관리부(32)는 속성 정보의 추가, 삭제 및 수정까지 가능하다. 이를 통해 증강현실 저작물에서 인식하고자 하는 현실 세계의 객체를 증강현실 저작물을 직접 수정하지 않고 온톨로지부(31)의 속성 정보를 추가, 삭제 및 수정함으로써 관리가 가능하다.
식별자 분석부(33)는 증강현실 저작물에 선언된 식별자를 분석하여 분석한 식별자에 종속되는 온톨로지부(31)에 데이터베이스화되어 있는 현실 세계의 객체의 속성 정보를 분석한다.
여기서 식별자의 분석은 증강현실 저작물에 선언된 식별자가 어떠한 현실 세계의 객체를 나타내는지, 어떠한 공통된 속성을 가지고 있는지 및 어떠한 조건을 만족하는 현실 세계의 객체를 나타내는지 등과 같이 선언의 범위를 추출하는 것으로 볼 수 있다.
식별자 분석부(33)는 예를 들어, 증강현실 저작물에 식별자가 https://d.letsee.io/properties/{가구}?filter=weight eq 100 kg 와 같이 선언되어 있는 경우, 식별자 분석부(33)는 가구라는 속성을 갖는 100kg의 현실 세계 객체가 대상이 된다는 분석이 가능하다.
한편, 도 4에 도시된 본 발명의 일 실시 예에 따른 증강현실 구현 장치(100)가 포함하는 속성 판단부(30)는 식별자 관리부(32) 및 식별자 분석부(33)가 별도의 구성으로 도시되어 있고, 본 명세서 역시 이를 기초로 설명하고 있으나, 식별자 관리부(32)와 식별자 분석부(33)는 하나의 구성으로 구현될 수도 있다. 더 나아가, 온톨로지부(31), 식별자 관리부(32) 및 식별자 분석부(33) 모두 소프트웨어로 구현되어 속성 판단부(30)에서 실행될 수도 있다.
마지막으로 증강부(40)는 속성 판단부(30)의 판단 결과에 따라 현실 세계의 객체를 증강현실 저작물에 기 정의된 방식을 통해 증강한다.
예를 들어, 앞서 인용한 예시처럼, 속성 판단부(30)가 속성 추출부(20)가 추출한 현실 세계의 객체의 속성이 식별자인 "자동차"에 종속되는 속성 정보와 일치하는 것으로 판단하였고, 증강현실 저작물에는 현실 세계의 객체에 비가 오는 화면을 증강하도록 기 정의되어 있다면, 도 7에 도시된 화면과 같이 증강할 수 있다.
한편, 증강된 화면은 증강부(40) 자체가 별도의 디스플레이 수단(미도시)를 구비하여 디스플레이할 수 있으며, 본 발명의 일 실시 예에 따른 증강현실 구현 장치(100) 외부의 디스플레이 수단으로 증강된 화면을 전송하여 디스플레이할 수도 있다. 예를 들어, 증강현실 구현 장치(100)와 별개의 스마트폰 등과 같은 사용자 단말(미도시)을 통해서 증강된 화면을 디스플레이할 수 있다.
지금까지 본 발명의 일 실시 예에 따른 증강현실 구현 장치(100)에 대하여 설명하였다. 본 발명에 따르면, 증강 현실 저작물에 식별자를 선언하여 식별자에 종속되는 속성을 갖는 복수의 현실 세계의 객체에 대해 가상 객체를 증강할 수 있으므로 현실 세계 객체 마다 식별자를 증강현실 저작물에 선언할 필요가 없어 저작자가 손쉽게 증강현실 저작물을 관리할 수 있다.
또한, 현실 세계의 객체에 대해 선언되는 식별자에 종속되는 속성 정보의 추가, 삭제 및 수정이 가능하므로, 증강현실 저작물을 직접 수정하지 않고, 증강하고자 하는 현실 세계의 객체들에 대한 정보를 손쉽게 관리할 수 있다.
한편, 본 발명은 증강현실 구현 장치(100)와 서버(미도시)에 의해 구현될 수도 있다.
이 경우 증강현실 구현 장치(100)는 장치 프로세서와 장치 메모리를 구비하며, 서버(미도시)는 서버 프로세서와 서버 메모리를 구비할 수 있다. 증강현실 구현 장치(100)의 장치 프로세서는 하나 이상의 식별자가 선언된 증강현실 저작물을 불러와 장치 메모리에 저장하는 단계, 현실 세계의 객체를 인식하는 객체 인식부에 의해 인식된 현실 세계의 객체의 속성을 추출하는 단계를 수행하여 추출한 현실 세계의 객체의 속성을 서버(미도시) 측으로 전송하도록 구성될 수 있다.
서버(미도시)의 서버프로세서는 전송 받은 현실 세계의 객체에 대한 속성을 증강현실 저작물에 선언된 상기 식별자에 종속되는 서버 메모리에 미리 저장된 속성 정보와 일치하는지 판단하는 단계를 수행하여, 판단 결과를 증강현실 구현 장치에 전송하도록 구성될 수 있다.
증강현실 구현 장치(100)의 장치 프로세서는 전송 받은 판단 결과에 따라 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 단계를 수행하도록 구성될 수 있다.
또한, 상기 서버(미도시)의 서버 프로세서는 식별자에 종속되는 서버 메모리에 미리 저장된 속성 정보가 소정의 수보다 작은 경우에는 식별자에 종속되는 속성 정보를 증강현실 구현 장치에 전송하도록 구성될 수 있으며, 증강현실 구현 장치(100)는 전송 받은 식별자에 종속되는 속성 정보를 장치 메모리에 저장할 수 있으며, 이 경우 장치 프로세서는 추출된 현실 세계의 객체에 대한 속성을 장치 메모리에 기 저장된 식별자에 종속되는 속성 정보와 일치하는지 판단하는 단계를 수행하도록 구성할 수 있다. 이와 같이, 구성함으로써 증강현실 구현 시스템의 증강의 속도를 향상시킬 수 있다.
한편, 본 발명의 일 실시 예에 따른 증강현실 구현 장치(100)는 도 8에 도시된 바와 같이, 프로세서(11), 메모리(12) 및 현실 세계의 객체를 인식하는 객체 인식부(13) 및 시스템 버스(14)를 포함하는 증강현실 구현 장치(200)로 구현할 수도 있다. 이 경우 프로세서(11)는 상기 객체 인식부(13)가 인식한 현실 세계의 객체로부터 속성을 추출하는 단계, 상기 추출한 상기 현실 세계의 객체에 대한 속성을 증강현실 저작물에 선언된 상기 식별자에 종속되는 상기 메모리(12)에 미리 저장된 속성 정보와 일치하는지 판단하는 단계 및 상기 판단 결과에 따라, 상기 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 단계를 수행할 수 있다.
또한, 본 발명의 일 실시 예에 따른 증강현실 구현 장치(100)는 도 9에 도시된 순서도에 따른 증강현실 구현 방법으로 구현할 수도 있다. 이 경우, 객체 인식부(10)가 현실 세계의 객체를 인식하는 단계(S910), 속성 추출부(20)가 상기 객체 인식부(10)가 인식한 현실 세계의 객체로부터 속성을 추출하는 단계(S920), 속성 판단부(30)가 상기 속성 추출부(20)가 추출한 상기 현실 세계의 객체에 대한 속성을 증강현실 저작물에 선언된 상기 식별자에 종속되는 속성 정보와 일치하는지 판단하는 단계(S930) 및 증강부(40)가 상기 속성 판단부의 판단 결과에 따라, 상기 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 단계(S940)를 포함할 수 있다.
중복 서술을 방지하기 위해 자세히 설명하지는 않았지만, 본 발명의 일 실시 예에 따른 증강현실 구현 장치(100)의 모든 기술적 특징은 또 다른 실시 예에 따른 증강현실 구현 장치(200) 및 증강현실 구현 방법에 모두 적용될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (9)

  1. 식별자가 선언된 증강현실 저작물을 불러오는 로딩부;
    현실 세계의 객체를 인식하는 객체 인식부;
    상기 객체 인식부가 인식한 현실 세계의 객체로부터 속성(Property)을 추출하는 속성 추출부;
    상기 속성 추출부가 추출한 상기 현실 세계의 객체에 대한 속성이 상기 증강현실 저작물에 선언된 상기 식별자에 종속되는 기 저장된 속성 정보와 일치하는지 판단하는 속성 판단부; 및
    상기 속성 판단부의 판단 결과에 따라, 상기 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 증강부;
    를 포함하는 증강현실 장치.
  2. 제1항에 있어서,
    상기 로딩부는,
    상기 증강현실 저작물을 외부 장치로부터 로딩하는,
    증강현실 장치.
  3. 제1항에 있어서,
    상기 증강현실 저작물은, 상기 로딩부에 의해 상기 증강현실 저작물이 로딩된 상태에서 상기 식별자를 업데이트하도록 수행되는 업데이트부 구비하는 증강현실 장치.
  4. 제1항에 있어서,
    상기 속성 판단부는,
    상기 현실 세계의 객체의 속성 정보에 관한 데이터와 상기 현실 세계의 객체에 대한 식별자가 상호 연결되어 데이터베이스화되어 있는 온톨로지부;
    를 더 포함하는 증강현실 구현 장치.
  5. 제4항에 있어서,
    상기 속성 판단부는,
    상기 온톨로지부에 데이터베이스화되어 있는 상기 현실 세계의 객체에 대한 속성 정보에 관한 데이터를 상기 증강현실 저작물에 선언되는 식별자와 매칭시키는 식별자 관리부;
    를 더 포함하는 증강현실 구현 장치.
  6. 제4항에 있어서,
    상기 속성 판단부는,
    상기 증강현실 저작물에 선언된 식별자를 분석하여 상기 분석한 식별자에 종속되는 상기 온톨로지부에 데이터베이스화되어 있는 상기 현실 세계의 객체의 속성 정보의 범위를 분석하는 식별자 분석부;
    를 더 포함하는 증강현실 구현 장치.
  7. 식별자가 선언된 증강현실 저작물을 불러오는 단계
    객체 인식부에 의해 현실 세계의 객체를 인식하는 단계;
    상기 객체 인식부가 인식한 현실 세계의 객체로부터 속성을 추출하는 단계;
    추출한 상기 현실 세계의 객체에 대한 속성을 증강현실 저작물에 선언된 상기 식별자에 종속되는 기 저장된 속정 정보와 일치하는지 판단하는 단계; 및
    상기 속성 판단부의 판단 결과에 따라, 상기 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 단계;
    를 포함하는 증강현실 구현 방법.
  8. 증강현실 구현 장치에 있어서,
    상기 증강현실 구현 장치는,
    프로세서;
    메모리; 및
    현실 세계의 객체를 인식하는 객체 인식부;
    를 포함하고,
    상기 프로세서는,
    식별자가 선언된 증강현실 저작물을 불러오는 단계;
    상기 객체 인식부가 인식한 현실 세계의 객체로부터 속성을 추출하는 단계;
    상기 추출한 상기 현실 세계의 객체에 대한 속성이 증강현실 저작물에 선언된 상기 식별자에 종속되는 상기 메모리에 기 저장된 속성 정보와 일치하는지 판단하는 단계; 및
    상기 판단 결과에 따라, 상기 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 단계;
    를 수행하는 증강현실 구현 장치.
  9. 현실세계의 객체에 가상 객체를 증강하는 증강현실 구현 시스템에 있어서,
    상기 증강현실 구현 시스템은 증강현실 구현 장치와 서버로 구성되며,
    상기 증강현실 구현 장치는 장치 프로세서와 장치 메모리를 구비하며,
    상기 서버는 서버 프로세서와 서버 메모리를 구비하고,
    상기 장치 프로세서가,
    하나 이상의 식별자가 선언된 증강현실 저작물을 불러와 상기 장치 메모리에 저장하는 단계;
    현실 세계의 객체를 인식하는 객체 인식부에 의해 인식된 현실 세계의 객체의 속성을 추출하는 단계; 및
    추출한 현실 세계의 객체의 속성을 서버 측으로 전송하는 단계;
    를 수행하고,
    상기 서버프로세서가,
    전송받은 현실 세계의 객체에 대한 속성을 증강현실 저작물에 선언된 상기 식별자에 종속되는 서버 메모리에 미리 저장된 속성 정보와 일치하는지 판단하는 단계; 및
    상기 판단의 결과를 증강현실 구현 장치에 전송하는 단계;
    를 수행한 후,
    상기 장치 프로세서가 전송 받은 판단 결과에 따라 현실 세계의 객체에 가상 객체를 상기 증강현실 저작물에 기 정의된 방식을 통해 증강하는 단계;
    를 수행하도록 구성되는 것을 특징으로 하는 증강현실 구현 시스템.
PCT/KR2017/008235 2017-07-28 2017-07-31 증강현실 구현 장치 및 방법 WO2019022279A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0096275 2017-07-28
KR1020170096275A KR101981325B1 (ko) 2017-07-28 2017-07-28 증강현실 구현 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2019022279A1 true WO2019022279A1 (ko) 2019-01-31

Family

ID=65039608

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/008235 WO2019022279A1 (ko) 2017-07-28 2017-07-31 증강현실 구현 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101981325B1 (ko)
WO (1) WO2019022279A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200137523A (ko) * 2019-05-30 2020-12-09 이은령 증강현실 컨텐츠 공유 시스템 및 그 구동방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120026402A (ko) * 2010-09-09 2012-03-19 주식회사 팬택 객체 연관성을 이용한 증강 현실 제공 장치 및 방법
KR20130134273A (ko) * 2012-05-30 2013-12-10 주식회사 라임페이퍼 오브젝트와 연계된 가상 메뉴 제공시스템 및 방법
KR20140110584A (ko) * 2013-03-08 2014-09-17 삼성전자주식회사 증강 현실 제공 방법, 저장 매체 및 휴대 단말
KR20160000533A (ko) * 2014-06-24 2016-01-05 (주)서버사이드 증강 현실에서 물체의 정보 제공을 위한 지역 특징점을 이용한 오브젝트 다중 검출, 추적 방법 및 그 시스템
KR20160068837A (ko) * 2013-10-04 2016-06-15 퀄컴 인코포레이티드 알려지지 않은 오브젝트들에 대한 증강 현실 콘텐츠의 생성

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101357260B1 (ko) * 2010-10-22 2014-02-03 주식회사 팬택 증강 현실 사용자 인터페이스 제공 장치 및 방법
KR102210380B1 (ko) * 2015-11-10 2021-02-01 에스케이텔레콤 주식회사 복합 컨텐츠 패키지의 생성 및 활용을 위한 장치 및 방법
KR20170005373A (ko) 2016-12-29 2017-01-12 주식회사 비즈모델라인 맞춤형 증강현실 제공 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120026402A (ko) * 2010-09-09 2012-03-19 주식회사 팬택 객체 연관성을 이용한 증강 현실 제공 장치 및 방법
KR20130134273A (ko) * 2012-05-30 2013-12-10 주식회사 라임페이퍼 오브젝트와 연계된 가상 메뉴 제공시스템 및 방법
KR20140110584A (ko) * 2013-03-08 2014-09-17 삼성전자주식회사 증강 현실 제공 방법, 저장 매체 및 휴대 단말
KR20160068837A (ko) * 2013-10-04 2016-06-15 퀄컴 인코포레이티드 알려지지 않은 오브젝트들에 대한 증강 현실 콘텐츠의 생성
KR20160000533A (ko) * 2014-06-24 2016-01-05 (주)서버사이드 증강 현실에서 물체의 정보 제공을 위한 지역 특징점을 이용한 오브젝트 다중 검출, 추적 방법 및 그 시스템

Also Published As

Publication number Publication date
KR101981325B1 (ko) 2019-08-30
KR20190012772A (ko) 2019-02-11

Similar Documents

Publication Publication Date Title
WO2011052985A2 (en) Mobile device, content delivery apparatus, content providing apparatus and control method thereof
WO2020141763A1 (ko) 전자 장치 및 그 폴더 구성 방법
WO2012081887A2 (en) Method and apparatus for providing advertisement service in mobile communication system
WO2020167050A1 (en) Electronic device, method, and computer readable medium for dynamic layout message
WO2020098078A1 (zh) Ocr训练样本的生成方法、装置、设备及可读存储介质
WO2019054796A1 (en) INTERACTION ACTIVATION METHOD USING A DIGITAL FOOTPRINT ON A DISPLAY AND ASSOCIATED ELECTRONIC DEVICE
WO2014133251A1 (ko) 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법
CN111638983A (zh) 接口调用方法、接口调用装置及终端设备
WO2019125060A1 (ko) 전화번호 연관 정보를 제공하기 위한 전자 장치 및 그의 동작 방법
WO2020096262A1 (ko) 전자 장치, 그의 개인 정보 제공 방법 및 이를 기록한 컴퓨터 판독 가능 기록매체
WO2019022279A1 (ko) 증강현실 구현 장치 및 방법
WO2019147101A1 (ko) 악성 코드를 분류하는 전자 장치 및 그 동작 방법
WO2014157924A1 (ko) 컨텐츠 공유 방법
WO2011078430A1 (ko) 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법 및 이를 이용한 증강현실 구현 방법
WO2019164196A1 (ko) 문자를 인식하기 위한 전자 장치 및 방법
WO2015152542A1 (ko) 설명서 검색 키워드를 활용한 애프터서비스 요청 방법
WO2017150841A1 (ko) 전자장치, 어플리케이션 실행 시스템 및 그 제어방법
WO2021167382A1 (en) System and method for transmitting information using mobile terminal
WO2021162439A1 (en) Electronic device performing restoration on basis of comparison of constant value and control method thereof
WO2021096104A1 (ko) 전자 장치 및 이의 제어 방법
WO2014200274A1 (ko) 모바일 지아이에스 공간정보 제공방법 및 모바일 지아이에스 공간정보 제공 시스템
WO2019177437A1 (ko) 화면 제어 방법 및 이를 지원하는 전자 장치
WO2016175442A1 (ko) 푸시메시지 기반 가계부 관리 서비스 시스템
WO2023127979A1 (ko) Autosar 센서 인터페이스의 정적 설정 시스템 및 방법
WO2021025265A1 (ko) 미디어 스캔을 수행하는 전자 장치 및 그 미디어 스캔 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17919064

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17919064

Country of ref document: EP

Kind code of ref document: A1