WO2010079876A1 - 증강현실 컨텐츠 저작 시스템 및 방법 - Google Patents

증강현실 컨텐츠 저작 시스템 및 방법 Download PDF

Info

Publication number
WO2010079876A1
WO2010079876A1 PCT/KR2009/004949 KR2009004949W WO2010079876A1 WO 2010079876 A1 WO2010079876 A1 WO 2010079876A1 KR 2009004949 W KR2009004949 W KR 2009004949W WO 2010079876 A1 WO2010079876 A1 WO 2010079876A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
augmented reality
context information
content
reality content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2009/004949
Other languages
English (en)
French (fr)
Inventor
우운택
홍동표
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gwangju Institute of Science and Technology
Original Assignee
Gwangju Institute of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gwangju Institute of Science and Technology filed Critical Gwangju Institute of Science and Technology
Publication of WO2010079876A1 publication Critical patent/WO2010079876A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management

Definitions

  • the present invention relates to an augmented reality content authoring system and method. More specifically, when the user authors augmented reality content, the context information and the physical property can be authored together in the property of the content so that the augmented content can exhibit a physical reaction according to the environment or the user's context.
  • the present invention relates to an augmented reality content authoring system and method that enables more realistic augmented reality content authoring since animation authoring is not required and realistic content augmentation is possible.
  • Augmented Reality is a field of virtual reality that is a computer graphics technique that synthesizes virtual objects in the real environment and looks like objects in the original environment.
  • Augmented reality has a feature that, unlike the existing virtual reality that targets only virtual space and objects, it can reinforce and provide additional information that is difficult to obtain only by real world by synthesizing virtual objects on the basis of real world.
  • VR technology generally allows users to immerse themselves in the virtual environment, while the user cannot see the real environment, whereas in AR technology, the user can see the real environment, and the real environment and the virtual objects are mixed. Takes shape.
  • virtual reality is shown to the user by replacing the real world, but augmented reality has the distinction of supplementing the real world to show the user by superimposing virtual objects in the real world. It has the feature of providing. Due to this feature, unlike existing virtual reality, which can be applied only to fields such as games, it can be applied to various real environments, and it is particularly popular as a next generation display technology suitable for ubiquitous environment.
  • augmented reality content is authored.
  • authoring of augmented reality content is performed by loading the authored content using a 3D modeling tool into an authoring system, and then authoring a position, a direction, a size, and an animation to which the loaded content is to be augmented.
  • the animation is loaded in advance, such as keyframes, or the user must manually specify the animation motion.
  • the augmented reality content produced by the general method has a problem in that a predetermined key frame is applied or produced to respond only to a user's input so that it does not reflect a real environmental element.
  • the present invention has been made to solve the above problems, in particular, since it is possible to augment realistic content without requiring a separate animation authoring, more realistic augmented reality content authoring is possible, reproducibility can be secured and previous content Its purpose is to provide an augmented reality content authoring system and method that can be authored continuously in a work.
  • the augmented reality content authoring system comprises a model loading unit for loading a 3D model to the selected marker; Sensors for sensing the environment, including sound, light, and motion; And a context information production unit for processing the information input from the sensor to generate context information to be reflected in the content.
  • the augmented reality content authoring system may further include a model database for storing the 3D model to be provided to the model loading unit.
  • the augmented reality content authoring system may further include a model controller that controls the 3D model loaded through the model loading unit.
  • the augmented reality content authoring system may further include a physical attribute assigning unit for assigning a physical attribute to which the model reacts according to the context information produced by the context information producer.
  • the physical properties may include mass, velocity, and force.
  • the augmented reality content authoring system may further include a content storage unit for storing the selected marker, the 3D model, the context information, and the physical property.
  • the content storage unit may be stored in the form of an XML (eXtensible Markup Language) file.
  • XML eXtensible Markup Language
  • Augmented reality content authoring method comprises the steps of (a) selecting a marker; (b) taking a 3D model to be augmented from a model database and loading it into the marker; (c) generating the context information to be reflected in the content by processing the sensed environment information including sound, light and motion; (d) assigning a physical property to which the 3D model will respond according to the context information.
  • the augmented reality content authoring method may further include controlling the loaded 3D model including movement, rotation, and scale.
  • the augmented reality content authoring method may further include storing the marker selection information, the 3D model, the context information, and the physical property.
  • the context information and the physical property can be authored together in the property of the content so that the augmented content can show a physical response according to the environment or the user's context. Since there is no need for animation authoring and realistic content augmentation, more realistic augmented reality content authoring is possible.
  • FIG. 1 is a block diagram of an augmented reality content authoring system according to a preferred embodiment of the present invention
  • FIG. 2 is a diagram illustrating an example of how a character reacts according to context information
  • FIG. 3 is a diagram showing an example of giving a realistic property to a real object by applying a physical property to a virtual object
  • FIG. 4 is a flowchart of a method for authoring augmented reality content according to a preferred embodiment of the present invention.
  • FIG. 1 is a block diagram of an augmented reality content authoring system according to a preferred embodiment of the present invention.
  • the marker selecting unit 10 the model loading unit 20, the model control unit 30, the context information producing unit 40, and the physical The attribute providing unit 50, the display unit 60, and the content storage unit 70 are included.
  • the AR content authoring system also includes a model database 25 and a sensor 45.
  • the marker selector 10 selects a marker from an image of an object to enhance content.
  • the marker selector 10 may extract a feature point from an image of the object and use it as a marker or use a conventional marker having a specific pattern on the flat plate.
  • the model loading unit 20 loads the 3D model on the selected marker.
  • the model loading unit 20 searches for a model database 25 in which a 3D model to be augmented is stored in the object and extracts a desired 3D model.
  • the model controller 30 controls the 3D model loaded through the model loading unit 20. For example, by performing translation, orientation rotation, scale, etc. of the loaded 3D model, the 3D model is controlled to be properly loaded on the marker.
  • the context information manufacturing unit 40 processes the information input from the sensor 45 and generates context information to be reflected in the content.
  • the sensor 45 detects the environment around the user and converts it into an electrical signal, and provides it to the context information manufacturing unit 40.
  • the sensor 45 may detect a sound, light, and motion around the user and transmit the signal to the context information maker 40 after signal conversion.
  • the context information manufacturing unit 40 may generate context information of “sound is loud”.
  • the physical property assigning unit 50 assigns a physical property to which the 3D model will react according to the context information produced by the context information producing unit 40.
  • Physical properties include, for example, mass, velocity, and force. These physical attributes are given according to the context information. For example, the physical property that the 3D model "performs an ear blocking operation" may be given according to the context information "loud.” At this time, the 3D model will react according to the context information. Accordingly, realistic augmented reality content authoring that exhibits physical responses according to context information is possible. This example is shown in FIG.
  • FIG. 3 illustrates an example in which a physical property is given to a virtual object (ball or box) to react (collide) with a real object (cup).
  • the display unit 60 displays an image in which the content showing the physical response is augmented according to the context information.
  • the user may check whether the 3D model exhibits an appropriate physical response to the context information while looking at the display 60.
  • the content storage unit 70 stores the content checked through the display unit 60.
  • the content storage unit 70 stores the selected marker, the 3D model, the context information, the physical property, and the like.
  • the content storage unit 70 may store the authored content in the form of an XML file. In this case, when the file is loaded again later, it is implemented in the same state as the previously authored state, so that reproducibility can be ensured and the author can continuously author the previous content work.
  • the present invention can provide both the context information and the physics attribute to the authored 3D content, and does not require a separate animation task and a task for displaying a dynamic response according to the context of the user and the environment.
  • FIG. 4 is a flowchart of a method for authoring augmented reality content according to a preferred embodiment of the present invention.
  • Step S10 is a step of selecting a marker.
  • Step S20 is a step of taking a 3D model to be augmented from the model database 25 and loading it on the marker selected in step S10.
  • step S30 the loaded 3D model is controlled, and the 3D model is controlled to be loaded in a desired state through 3D model movement, rotation, and scale adjustment.
  • the sensing environment information including sound, light, and motion may be processed to generate context information to be reflected in the content.
  • information input from the sensor 45 is processed to generate meaningful information.
  • Step S50 is a step of giving a physical property to respond to the 3D model in accordance with the context information.
  • the 3D model may dance quietly according to the context information indicating that the user prefers music and enjoys the music.
  • Step S60 is a step of confirming through the display whether the physical attributes granted according to the context information are augmented as desired.
  • Step S70 is a step of judging whether the result of the preview conforms to the intended. As a result of determination, if it is augmented as intended, go to step S80 to save the content, otherwise go to step S20 and perform a series of operations from model loading again.
  • Step S80 is a step of storing marker selection information, 3D model, context information, and physical attribute information. If you save it as an XML file, you can rework it continuously.
  • the context information and the physical property can be authored together in the property of the content, so that the augmented content can exhibit a physical response according to the environment or the user's context.
  • a separate animation authoring is not required, and since realistic content augmentation is possible, more realistic augmented reality content authoring is possible.
  • the present invention can be embodied as computer readable codes on a computer readable recording medium.
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored.
  • Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like, which may be implemented in the form of a carrier wave (for example, transmission over the Internet). Include.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention belongs.
  • the present invention can be widely applied in the field of augmented reality content authoring, in particular, the field of mobile augmented reality content authoring capable of context recognition.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강현실 컨텐츠 저작 시스템 및 방법에 관한 것이다. 보다 상세하게는 사용자가 증강현실 컨텐츠를 저작할 때 컨텐츠의 속성에 컨텍스트 정보와 물리적 속성을 함께 저작할 수 있도록 하여 증강된 컨텐츠가 환경이나 사용자의 컨텍스트에 따라 물리적 반응을 보일 수 있도록 함으로써, 별도의 애니메이션 저작이 필요치 않고 사실적인 컨텐츠 증강이 가능하기 때문에 보다 실감있는 증강현실 컨텐츠 저작이 가능한 증강현실 컨텐츠 저작 시스템 및 방법에 관한 것이다. 이를 위해 본 발명은 선택된 마커에 3D 모델을 로딩하는 모델 로딩부; 소리, 빛, 동작을 포함한 환경을 감지하는 센서; 및 상기 센서로부터 입력된 정보를 가공하여 컨텐츠에 반영할 컨텍스트 정보를 생성하는 컨텍스트 정보 제작부를 포함하는 것을 특징으로 하는 증강현실 컨텐츠 저작 시스템을 제공한다.

Description

증강현실 컨텐츠 저작 시스템 및 방법
본 발명은 증강현실 컨텐츠 저작 시스템 및 방법에 관한 것이다. 보다 상세하게는 사용자가 증강현실 컨텐츠를 저작할 때 컨텐츠의 속성에 컨텍스트 정보와 물리적 속성을 함께 저작할 수 있도록 하여 증강된 컨텐츠가 환경이나 사용자의 컨텍스트에 따라 물리적 반응을 보일 수 있도록 함으로써, 별도의 애니메이션 저작이 필요치 않고 사실적인 컨텐츠 증강이 가능하기 때문에 보다 실감있는 증강현실 컨텐츠 저작이 가능한 증강현실 컨텐츠 저작 시스템 및 방법에 관한 것이다.
증강현실(Augmented Reality)은 가상현실(Virtual Reality)의 한 분야로, 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.
증강현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상현실과 달리, 현실세계의 기반위에 가상의 사물을 합성하여 현실세계 만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징을 가지고 있다. 즉, 가상현실기술은 일반적으로 사용자로 하여금 가상의 환경에 몰입하게 하므로 사용자는 실제 환경을 볼 수 없는 반면, 증강현실 기술에서는 사용자가 실제 환경을 볼 수 있으며, 실제 환경과 가상의 객체가 혼합된 형태를 띤다. 다시 말하면, 가상현실은 현실세계를 대체하여 사용자에게 보여주지만 증강현실은 현실세계에 가상의 물체를 중첩함으로서 현실세계를 보충하여 사용자에게 보여준다는 차별성을 가지며, 가상현실에 비해 사용자에게 보다 나은 현실감을 제공한다는 특징이 있다. 이러한 특징 때문에 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상현실과 달리 다양한 현실환경에 응용이 가능하며 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.
증강현실 기술을 통해 현실세계에 부가적인 정보를 보강하기 위해서는 증강현실 컨텐츠를 저작하게 된다. 일반적으로 증강 현실 컨텐츠의 저작은 3D 모델링 툴을 이용하여 저작된 컨텐츠를 저작 시스템으로 로딩한 후, 로딩된 컨텐츠가 증강될 위치와 방향, 크기 및 애니메이션 등을 저작하는 방식으로 이루어지고 있다. 특히, 증강될 컨텐츠의 애니메이션을 위해서는 미리 키프레임과 같이 애니메이션이 적용된 컨텐츠를 로딩하거나 사용자가 일일이 직접 애니메이션 동작을 지정하여야 하는 문제점이 있다.
이와 같이 일반적인 방법으로 저작된 증강현실 컨텐츠는 미리 정해진 키프레임이 적용되거나 사용자의 입력에만 반응하도록 제작되어 현실 환경적인 요소를 반영하지 못하는 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 특히 별도의 애니메이션 저작이 필요치 않고 사실적인 컨텐츠 증강이 가능하기 때문에 보다 실감있는 증강현실 컨텐츠 저작이 가능하며, 재현성을 확보할 수 있고 이전 컨텐츠 작업에 연속해서 저작할 수 있는 증강현실 컨텐츠 저작 시스템 및 방법을 제공하는 데 그 목적이 있다.
상기 목적을 달성하기 위해 안출된 본 발명에 따른 증강현실 컨텐츠 저작 시스템은 선택된 마커에 3D 모델을 로딩하는 모델 로딩부; 소리, 빛, 동작을 포함한 환경을 감지하는 센서; 및 상기 센서로부터 입력된 정보를 가공하여 컨텐츠에 반영할 컨텍스트 정보를 생성하는 컨텍스트 정보 제작부를 포함하는 것을 특징으로 한다.
또한, 상기 증강현실 컨텐츠 저작 시스템은 상기 모델 로딩부에 제공할 상기 3D 모델을 저장하는 모델 데이터베이스를 더 포함할 수 있다.
또한, 상기 증강현실 컨텐츠 저작 시스템은 상기 모델 로딩부를 통해 로딩된 3D 모델을 제어하는 모델 컨트롤부를 더 포함할 수 있다.
또한, 상기 증강현실 컨텐츠 저작 시스템은 상기 컨텍스트 정보 제작부에 의해 제작된 컨텍스트 정보에 따라 상기 모델이 반응할 물리적 속성을 부여하는 물리적 속성 부여부를 더 포함할 수 있다.
또한, 상기 물리적 속성은 질량, 속도, 힘을 포함할 수 있다.
또한, 상기 증강현실 컨텐츠 저작 시스템은 상기 선택된 마커, 상기 3D 모델, 상기 컨텍스트 정보 및 상기 물리적 속성을 저장하는 컨텐츠 저장부를 더 포함할 수 있다.
또한, 상기 컨텐츠 저장부는 XML(eXtensible Markup Language) 파일 형태로 저장할 수 있다.
본 발명에 따른 증강현실 컨텐츠 저작 방법은 (a) 마커를 선택하는 단계; (b) 모델 데이터베이스로부터 증강하고자 하는 3D 모델을 가져와서 상기 마커에 로딩하는 단계; (c) 소리, 빛, 동작을 포함한 센싱된 환경 정보를 가공하여 컨텐츠에 반영할 컨텍스트 정보를 생성하는 단계; (d) 상기 컨텍스트 정보에 따라 상기 3D 모델이 반응할 물리적 속성을 부여하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 증강현실 컨텐츠 저작 방법은 이동, 회전, 스케일을 포함하여 상기 로딩된 3D 모델을 제어하는 단계를 더 포함할 수 있다.
또한, 상기 증강현실 컨텐츠 저작 방법은 상기 마커 선택 정보, 상기 3D 모델, 상기 컨텍스트 정보 및 상기 물리적 속성을 저장하는 단계를 더 포함할 수 있다.
본 발명에 의하면 사용자가 증강현실 컨텐츠를 저작할 때 컨텐츠의 속성에 컨텍스트 정보와 물리적 속성을 함께 저작할 수 있도록 하여 증강된 컨텐츠가 환경이나 사용자의 컨텍스트에 따라 물리적 반응을 보일 수 있도록 함으로써, 별도의 애니메이션 저작이 필요치 않고 사실적인 컨텐츠 증강이 가능하기 때문에 보다 실감있는 증강현실 컨텐츠 저작이 가능한 효과가 있다.
또한, 본 발명에 의하면 저작된 컨텐츠를 XML 파일의 형태로 저장하여 재현성을 확보할 수 있고 이전 컨텐츠 작업에 연속해서 저작할 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 증강현실 컨텐츠 저작 시스템의 블록도,
도 2는 컨텍스트 정보에 따라서 캐릭터가 반응하는 모습의 일례를 도시한 도면,
도 3은 가상의 물체에 물리적 속성을 부여하여 실제 물체에 대해 사실적인 반응을 보이는 일례를 도시한 도면,
도 4는 본 발명의 바람직한 실시예에 따른 증강현실 컨텐츠 저작 방법의 흐름도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 증강현실 컨텐츠 저작 시스템의 블록도이다.
본 발명의 바람직한 실시예에 따른 증강현실 컨텐츠 저작 시스템은, 도 1을 참조하면, 마커 선택부(10), 모델 로딩부(20), 모델 컨트롤부(30), 컨텍스트 정보 제작부(40), 물리적 속성 부여부(50), 디스플레이부(60), 및 컨텐츠 저장부(70)를 포함하여 이루어진다. 또한, 상기 증강현실 컨텐츠 저작 시스템은 모델 데이터베이스(25)와 센서(45)를 포함한다.
마커 선택부(10)는 컨텐츠를 증강시킬 오브젝트의 영상으로부터 마커를 선택한다. 마커 선택부(10)는 오브젝트의 영상 중 특징점을 추출하여 이를 마커로 활용하거나, 평판에 특정 무늬가 도안된 통상의 마커를 사용할 수 있다.
모델 로딩부(20)는 선택된 마커에 3D 모델을 로딩시킨다. 이때, 모델 로딩부(20)는 오브젝트에 증강시킬 3D 모델이 저장된 모델 데이터베이스(25)를 검색하여 원하는 3D 모델을 추출한다.
모델 컨트롤부(30)는 모델 로딩부(20)를 통해 로딩된 3D 모델을 제어한다. 예컨대, 로딩된 3D 모델의 위치 이동(translation), 방향 회전(rotation), 크기 조정(scale) 등을 수행함으로써, 3D 모델이 마커 상에 적절하게 로딩되도록 제어한다.
컨텍스트 정보 제작부(40)는 센서(45)로부터 입력된 정보를 가공하여 컨텐츠에 반영할 컨텍스트(context) 정보를 생성한다. 이때, 센서(45)는 사용자 주변의 환경을 감지하여 전기적 신호로 변환한 후, 컨텍스트 정보 제작부(40)에 제공한다. 예컨대, 센서(45)는 사용자 주변의 소리(sound), 빛(light), 동작(motion)을 감지하여 신호변환 후 컨텍스트 정보 제작부(40)에 전송할 수 있다. 예컨대, 센서(45)가 사운드 레벨(sound level)이 5인 소리를 감지하여 제공하는 경우, 컨텍스트 정보 제작부(40)는 "소리가 크다" 라는 컨텍스트 정보를 생성할 수 있다.
물리적 속성 부여부(50)는 컨텍스트 정보 제작부(40)에 의해 제작된 컨텍스트 정보에 따라 3D 모델이 반응할 물리적 속성을 부여한다. 물리적 속성으로는 일례로 질량(mass), 속도(velocity), 힘(force) 등이 있다. 이러한 물리적 속성은 컨텍스트 정보에 따라 부여된다. 예컨대, "소리가 크다" 라는 컨텍스트 정보에 따라 3D 모델이 "귀를 막는 동작을 수행"하는 물리적 속성이 부여될 수 있다. 이때, 3D 모델은 컨텍스트 정보에 따라서 반응을 보이게 되는 것이다. 이에 따라 컨텍스트 정보에 따라서 물리적 반응을 보이는 사실적인 증강현실 컨텐츠 저작이 가능하다. 이러한 예가 도 2에 도시되어 있다.
또한, 도 3에는 가상의 물체(공, 박스)에 물리적 속성을 부여하여 실제 물체(컵)와 반응(충돌)할 수 있도록 구현한 예가 도시되어 있다.
디스플레이부(60)는 컨텍스트 정보에 따라 물리적 반응을 보이는 컨텐츠가 증강되는 영상을 디스플레이한다. 사용자는 디스플레이부(60)를 보면서 3D 모델이 컨텍스트 정보에 적절한 물리적 반응을 보이는지 여부를 확인할 수 있다.
컨텐츠 저장부(70)는 디스플레이부(60)를 통해 확인한 컨텐츠를 저장한다. 구체적으로, 컨텐츠 저장부(70)는 선택된 마커, 3D 모델, 컨텍스트 정보, 물리적 속성 등을 저장한다. 이때, 컨텐츠 저장부(70)는 저작된 컨텐츠를 XML 파일 형태로 저장할 수 있다. 이 경우, 추후에 다시 파일을 로딩하면 이전에 저작된 상태와 동일한 상태로 구현되므로, 재현성을 확보할 수 있고 이전 컨텐츠 작업에 연속해서 저작할 수도 있다.
이와 같이 함으로써, 본 발명은 저작된 3D 컨텐츠에 컨텍스트 정보와 물리 속성을 함께 부여할 수 있으므로, 사용자와 환경의 컨텍스트에 따라 동적인 반응을 보이도록 하기 위한 작업과 별도의 애니메이션 작업을 요구하지 않는다.
도 4는 본 발명의 바람직한 실시예에 따른 증강현실 컨텐츠 저작 방법의 흐름도이다.
단계 S10은 마커를 선택하는 단계이다.
단계 S20은 모델 데이터베이스(25)로부터 증강하고자 하는 3D 모델을 가져와서 단계 S10에서 선택된 마커에 로딩하는 단계이다.
단계 S30은 로딩된 3D 모델을 제어하는 단계로, 3D 모델 이동, 회전, 스케일 조정 등을 통하여 3D 모델이 원하는 상태로 로딩되도록 컨트롤한다.
단계 S40은 소리, 빛, 동작을 포함하는 센싱된 환경 정보를 가공하여 컨텐츠에 반영할 컨텍스트 정보를 생성하는 단계이다. 이를 통하여 센서(45)로부터 들어온 정보가 가공되어 의미있는 정보로 생성된다.
단계 S50은 컨텍스트 정보에 따라 3D 모델이 반응할 물리적 속성을 부여하는 단계이다. 예컨대, 사용자가 선호하는 음악 소리가 센싱되어 음악이 즐겁다라는 컨텍스트 정보에 따라 3D 모델이 흥겹게 춤추는 동작이 수행될 수 있다.
단계 S60은 컨텍스트 정보에 따라 부여된 물리적 속성이 원하는 바대로 증강되는지 디스플레이를 통해 확인하는 단계이다.
단계 S70은 미리보기를 한 결과가 의도한 바에 부합되는지를 판단하는 단계이다. 판단 결과, 의도하는 바대로 증강된 경우에는 단계 S80으로 가서 컨텐츠를 저장하고, 그렇지 않은 경우에는 단계 S20으로 가서 다시 모델 로딩부터 일련의 작업을 수행한다.
단계 S80은 마커 선택 정보, 3D 모델, 컨텍스트 정보 및 물리적 속성 정보를 저장하는 단계이다. 이를 XML 파일 형태로 저장하는 경우, 연속해서 재작업을 수행할 수 있다.
이와 같이 사용자가 증강현실 컨텐츠를 저작할 때 컨텐츠의 속성에 컨텍스트 정보와 물리적 속성을 함께 저작할 수 있도록 함으로써, 증강된 컨텐츠가 환경이나 사용자의 컨텍스트에 따라 물리적 반응을 보일 수 있도록 한다. 그 결과, 별도의 애니메이션 저작이 필요치 않으며, 사실적인 컨텐츠 증강이 가능하기 때문에 보다 실감있는 증강현실 컨텐츠 저작이 가능하게 된다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 증강현실 컨텐츠 저작 분야, 특히 컨텍스트를 인식할 수 있는 모바일 증강현실 컨텐츠 저작 분야에 광범위하게 적용될 수 있다.

Claims (11)

  1. 선택된 마커에 3D 모델을 로딩하는 모델 로딩부;
    소리, 빛, 동작을 포함한 환경을 감지하는 센서; 및
    상기 센서로부터 입력된 정보를 가공하여 컨텐츠에 반영할 컨텍스트 정보를 생성하는 컨텍스트 정보 제작부
    를 포함하는 것을 특징으로 하는 증강현실 컨텐츠 저작 시스템.
  2. 제1항에 있어서,
    상기 모델 로딩부에 제공할 상기 3D 모델을 저장하는 모델 데이터베이스를 더 포함하는 것을 특징으로 하는 증강현실 컨텐츠 저작 시스템.
  3. 제1항에 있어서,
    상기 모델 로딩부를 통해 로딩된 3D 모델을 제어하는 모델 컨트롤부를 더 포함하는 것을 특징으로 하는 증강현실 컨텐츠 저작 시스템.
  4. 제1항에 있어서,
    상기 컨텍스트 정보 제작부에 의해 제작된 컨텍스트 정보에 따라 상기 모델이 반응할 물리적 속성을 부여하는 물리적 속성 부여부를 더 포함하는 것을 특징으로 하는 증강현실 컨텐츠 저작 시스템.
  5. 제4항에 있어서,
    상기 물리적 속성은 질량, 속도, 힘을 포함하는 것을 특징으로 하는 증강현실 컨텐츠 저작 시스템.
  6. 제4항에 있어서,
    상기 선택된 마커, 상기 3D 모델, 상기 컨텍스트 정보 및 상기 물리적 속성을 저장하는 컨텐츠 저장부를 더 포함하는 것을 특징으로 하는 증강현실 컨텐츠 저작 시스템.
  7. 제6항에 있어서,
    상기 컨텐츠 저장부는 XML(eXtensible Markup Language) 파일 형태로 저장하는 것을 특징으로 하는 증강현실 컨텐츠 저작 시스템.
  8. (a) 마커를 선택하는 단계;
    (b) 모델 데이터베이스로부터 증강하고자 하는 3D 모델을 가져와서 상기 마커에 로딩하는 단계;
    (c) 소리, 빛, 동작을 포함한 센싱된 환경 정보를 가공하여 컨텐츠에 반영할 컨텍스트 정보를 생성하는 단계;
    (d) 상기 컨텍스트 정보에 따라 상기 3D 모델이 반응할 물리적 속성을 부여하는 단계
    를 포함하는 것을 특징으로 하는 증강현실 컨텐츠 저작 방법.
  9. 제8항에 있어서,
    이동, 회전, 스케일을 포함하여 상기 로딩된 3D 모델을 제어하는 단계를 더 포함하는 것을 특징으로 하는 증강현실 컨텐츠 저작 방법.
  10. 제9항에 있어서,
    상기 마커 선택 정보, 상기 3D 모델, 상기 컨텍스트 정보 및 상기 물리적 속성을 저장하는 단계를 더 포함하는 것을 특징으로 하는 증강현실 컨텐츠 저작 방법.
  11. 제8항 내지 제10항 중 어느 한 항에 따른 증강현실 컨텐츠 저작 방법이 프로그램으로 수록된 컴퓨터가 판독가능한 저장매체.
PCT/KR2009/004949 2009-01-07 2009-09-02 증강현실 컨텐츠 저작 시스템 및 방법 Ceased WO2010079876A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2009-0001092 2009-01-07
KR1020090001092A KR101062961B1 (ko) 2009-01-07 2009-01-07 증강현실 컨텐츠 저작 시스템과 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체

Publications (1)

Publication Number Publication Date
WO2010079876A1 true WO2010079876A1 (ko) 2010-07-15

Family

ID=42316627

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/004949 Ceased WO2010079876A1 (ko) 2009-01-07 2009-09-02 증강현실 컨텐츠 저작 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101062961B1 (ko)
WO (1) WO2010079876A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012138784A3 (en) * 2011-04-08 2013-01-03 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
WO2014182052A1 (en) * 2013-05-09 2014-11-13 Samsung Electronics Co., Ltd. Method and apparatus for providing contents including augmented reality information
US10140317B2 (en) 2013-10-17 2018-11-27 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US10187520B2 (en) 2013-04-24 2019-01-22 Samsung Electronics Co., Ltd. Terminal device and content displaying method thereof, server and controlling method thereof
CN113906370A (zh) * 2019-05-29 2022-01-07 苹果公司 为物理元素生成内容
US11574423B2 (en) 2021-01-29 2023-02-07 Boomanity Corp. A Delaware Corporation Augmented reality (AR) object communication and interaction system and method
US12118581B2 (en) 2011-11-21 2024-10-15 Nant Holdings Ip, Llc Location-based transaction fraud mitigation methods and systems

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101338818B1 (ko) * 2010-11-29 2013-12-06 주식회사 팬택 이동 단말기 및 이를 이용한 정보 표시 방법
KR101226727B1 (ko) * 2011-01-17 2013-01-25 에스케이플래닛 주식회사 증강 현실 서비스 제공 시스템 및 방법
US10972680B2 (en) * 2011-03-10 2021-04-06 Microsoft Technology Licensing, Llc Theme-based augmentation of photorepresentative view
KR101447992B1 (ko) * 2013-02-05 2014-10-15 한국기술교육대학교 산학협력단 증강현실을 위한 3차원 표준 모델 관리 시스템 및 방법
KR101627169B1 (ko) 2013-09-27 2016-06-07 한국과학기술연구원 증강현실 컨텐츠 저작 및 제공 시스템
KR101881774B1 (ko) * 2015-11-23 2018-07-25 주식회사 엠글리쉬 외국어 리듬 동작 감지 센서 기반의 운동 학습 장치, 그리고 이를 이용한 운동 학습 방법
KR102199292B1 (ko) * 2018-11-23 2021-01-06 에스케이텔레콤 주식회사 동영상 저작 장치 및 이를 이용한 동영상 저작 방법
KR102543695B1 (ko) * 2019-01-18 2023-06-16 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
KR102481613B1 (ko) * 2022-02-11 2022-12-27 주식회사 유룸 편집 기능을 갖는 3d 웹사이트 제작 플랫폼 제공 시스템, 방법 및 프로그램
KR102537403B1 (ko) * 2022-02-11 2023-05-26 주식회사 유룸 3d 컨텐츠 배치 기능을 갖는 3d 웹사이트 제작 플랫폼 제공 시스템, 방법 및 프로그램

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100834904B1 (ko) * 2006-12-08 2008-06-03 한국전자통신연구원 마커 기반의 사용자 인터랙션을 지원하는 증강현실 콘텐츠저작 시스템 및 방법
KR20080052338A (ko) * 2006-12-05 2008-06-11 한국전자통신연구원 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100661052B1 (ko) * 2006-09-01 2006-12-22 (주)큐텔소프트 유비쿼터스 센서 네트워크를 이용한 3차원 가상현실 콘텐츠구현 시스템 및 구현 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080052338A (ko) * 2006-12-05 2008-06-11 한국전자통신연구원 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법
KR100834904B1 (ko) * 2006-12-08 2008-06-03 한국전자통신연구원 마커 기반의 사용자 인터랙션을 지원하는 증강현실 콘텐츠저작 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIN GOOK KIM ET AL.: "augmented reality game based on augmented reality", THE JOURNAL OF KOREA COMPUTER GRAPHICS SOCIETY, vol. 13, no. 2, June 2007 (2007-06-01), pages 31 - 38 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11107289B2 (en) 2011-04-08 2021-08-31 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US11514652B2 (en) 2011-04-08 2022-11-29 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US9396589B2 (en) 2011-04-08 2016-07-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
WO2012138784A3 (en) * 2011-04-08 2013-01-03 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US9824501B2 (en) 2011-04-08 2017-11-21 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US10127733B2 (en) 2011-04-08 2018-11-13 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US11854153B2 (en) 2011-04-08 2023-12-26 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US12182953B2 (en) 2011-04-08 2024-12-31 Nant Holdings Ip, Llc Augmented reality object management system
US10403051B2 (en) 2011-04-08 2019-09-03 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US11967034B2 (en) 2011-04-08 2024-04-23 Nant Holdings Ip, Llc Augmented reality object management system
US10726632B2 (en) 2011-04-08 2020-07-28 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US12118581B2 (en) 2011-11-21 2024-10-15 Nant Holdings Ip, Llc Location-based transaction fraud mitigation methods and systems
US10187520B2 (en) 2013-04-24 2019-01-22 Samsung Electronics Co., Ltd. Terminal device and content displaying method thereof, server and controlling method thereof
US9710970B2 (en) 2013-05-09 2017-07-18 Samsung Electronics Co., Ltd. Method and apparatus for providing contents including augmented reality information
WO2014182052A1 (en) * 2013-05-09 2014-11-13 Samsung Electronics Co., Ltd. Method and apparatus for providing contents including augmented reality information
US10140317B2 (en) 2013-10-17 2018-11-27 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US10664518B2 (en) 2013-10-17 2020-05-26 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US12008719B2 (en) 2013-10-17 2024-06-11 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US11392636B2 (en) 2013-10-17 2022-07-19 Nant Holdings Ip, Llc Augmented reality position-based service, methods, and systems
US12406441B2 (en) 2013-10-17 2025-09-02 Nant Holdings Ip, Llc Wide area augmented reality location-based services
CN113906370A (zh) * 2019-05-29 2022-01-07 苹果公司 为物理元素生成内容
US12373996B2 (en) 2019-05-29 2025-07-29 Apple Inc. Generating content for physical elements
US11574423B2 (en) 2021-01-29 2023-02-07 Boomanity Corp. A Delaware Corporation Augmented reality (AR) object communication and interaction system and method
US12518436B2 (en) 2021-01-29 2026-01-06 Boomanity Corp. Augmented reality (AR) object communication and interaction system and method

Also Published As

Publication number Publication date
KR20100081725A (ko) 2010-07-15
KR101062961B1 (ko) 2011-09-06

Similar Documents

Publication Publication Date Title
WO2010079876A1 (ko) 증강현실 컨텐츠 저작 시스템 및 방법
EP3946658B1 (en) 3d avatar plugin for third-party games
US12231709B2 (en) Video generation system to render frames on demand using a fleet of GPUS
US12111863B2 (en) Video generation system to render frames on demand using a fleet of servers
US12335575B2 (en) Selecting avatars to be included in the video being generated on demand
US11356720B2 (en) Video generation system to render frames on demand
US12198376B2 (en) Marker-based shared augmented reality session creation
US20200201514A1 (en) Placement of objects in an augmented reality environment
US5945986A (en) Silent application state driven sound authoring system and method
US11893696B2 (en) Methods, systems, and computer readable media for extended reality user interface
EP4096798B1 (en) System for generating media content items on demand
Speicher et al. XD-AR: Challenges and opportunities in cross-device augmented reality application development
Falahati OpenNI cookbook
CN112817790B (zh) 模拟用户行为的方法
Park AR-Room: a rapid prototyping framework for augmented reality applications
Ledermann An authoring framework for augmented reality presentations
Hong et al. A sensor-based interaction for ubiquitous virtual reality systems
Matysczok et al. Efficient creation of augmented reality content by using an intuitive authoring system
CN110222235A (zh) 三维立体内容显示方法、装置、设备及存储介质
MATHIASON et al. Using AR for device maintenance
KR20180122083A (ko) 행동 패턴 기반의 3d맥스용 가상 컨트롤 터치 키보드
EP3635688B1 (en) Method for displaying and interacting with a dynamic real-world environment
KR20250030339A (ko) 3차원 이미지로 선박 교육 콘텐트를 출력하는 전자장치 및 방법
Yew et al. SmARt World-User-Friendly Mobile Ubiquitous Augmented Reality Framework
Nishimura et al. Augmented Real World (ARW) Framework and Augmented Reality Modeling Language (ARML)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09837637

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09837637

Country of ref document: EP

Kind code of ref document: A1