WO2020130692A1 - 애니메이션 시퀀스를 생성하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 - Google Patents

애니메이션 시퀀스를 생성하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 Download PDF

Info

Publication number
WO2020130692A1
WO2020130692A1 PCT/KR2019/018138 KR2019018138W WO2020130692A1 WO 2020130692 A1 WO2020130692 A1 WO 2020130692A1 KR 2019018138 W KR2019018138 W KR 2019018138W WO 2020130692 A1 WO2020130692 A1 WO 2020130692A1
Authority
WO
WIPO (PCT)
Prior art keywords
target object
camera
animation sequence
attribute information
motion
Prior art date
Application number
PCT/KR2019/018138
Other languages
English (en)
French (fr)
Inventor
전재웅
Original Assignee
(주) 애니펜
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 애니펜 filed Critical (주) 애니펜
Priority to CN201980091913.XA priority Critical patent/CN113424230B/zh
Priority to JP2021536365A priority patent/JP7478740B2/ja
Priority to US17/416,146 priority patent/US11645802B2/en
Publication of WO2020130692A1 publication Critical patent/WO2020130692A1/ko
Priority to JP2024034340A priority patent/JP2024061774A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Definitions

  • the present invention relates to a method, system and non-transitory computer readable recording medium for generating animation sequences.
  • the present inventor(s) proposes a technique that allows non-experts to easily author 3D animation based on change information regarding at least one of the position and posture of the camera.
  • another object of the present invention is to obtain a target object from content or source content photographed by the camera, and to easily generate an animation related to the target object in association with change information regarding at least one of the position and posture of the camera.
  • Another object of the present invention is to support non-experts to easily author 3D content.
  • a method of generating an animation sequence comprising: determining attribute information on at least one of motion and effects of a target object based on change information on at least one of a camera's position and posture, and A method is provided comprising generating an animation sequence for the target object with reference to the determined attribute information.
  • a system for generating an animation sequence property information determination for determining property information for at least one of a motion and an effect of a target object based on change information regarding at least one of a camera's position and posture
  • the present invention it is possible to easily obtain an animation related to a target object by acquiring a target object from content or source content photographed by the camera and interworking with change information regarding at least one of the position and posture of the camera.
  • the present invention enables non-experts to easily author 3D content.
  • FIG. 1 is a view exemplarily showing the internal configuration of the authoring system according to an embodiment of the present invention.
  • FIGS. 2 to 5 are views showing a process of generating an animation sequence according to an embodiment of the present invention.
  • FIG. 6 and 7 are views showing a process of generating an animation sequence according to another embodiment of the present invention.
  • FIG 8 and 9 are views illustrating a process of generating an animation sequence according to another embodiment of the present invention.
  • the content is a concept that collectively refers to digital information or individual information elements composed of text, codes, voice, sound, images, and videos.
  • Such content may include, for example, data such as text, images, videos, audio, links (eg, web links), or a combination of at least two of these data.
  • FIG. 1 is a view exemplarily showing an internal configuration of the authoring system 100 according to an embodiment of the present invention.
  • the authoring system 100 includes a target object acquisition unit 110, an attribute information determination unit 120, an animation sequence generation unit 130, a communication unit 140, and a control unit 150 Can be configured.
  • the target object acquisition unit 110, the attribute information determination unit 120, the animation sequence generation unit 130, the communication unit 140 and the control unit 150, at least some of them are external systems It may be a program module to communicate with.
  • These program modules may be included in the authoring system 100 in the form of an operating system, an application program module, or other program modules, and may be physically stored in various known storage devices.
  • these program modules may be stored in a remote storage device that can communicate with the authoring system 100, respectively.
  • the program module includes, but is not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform specific tasks to be described later or execute specific abstract data types according to the present invention.
  • the device 400 is a digital device equipped with a memory means and equipped with a microprocessor, which has computing power, and includes smart glasses, smart watches, smart bands, smart rings, and smart necklaces. ), smart earsets, smart earphones, smart earrings, or wearable devices, or smart phones, smart pads, desktop computers, laptop computers, workstations, PDAs, web pads, mobile phones, remote controllers, etc. It may include rather traditional devices.
  • the device 400 is not limited to the examples listed above, and may be modified as many as possible to achieve the object of the present invention.
  • the device 400 is a camera for acquiring content related to text, images or images, a sensor for measuring change information regarding the position and posture of a camera (for example, a speed sensor, an acceleration) Sensors, GPS sensors, etc.) or display means (eg, displays) for displaying animation.
  • a camera for acquiring content related to text, images or images
  • a sensor for measuring change information regarding the position and posture of a camera for example, a speed sensor, an acceleration
  • Sensors for example, GPS sensors, etc.
  • display means eg, displays
  • the device 400 may include an application supporting animation sequence generation according to the present invention.
  • Such an application may be downloaded from an external application distribution server (not shown).
  • the nature of these applications is the target object acquisition unit 110, the attribute information determination unit 120, the animation sequence generation unit 130, the communication unit 140 and the control unit 150 of the authoring system 100 as will be described later.
  • the application may be replaced with a hardware device or a firmware device capable of performing at least a part of the same or equivalent function as that of the application, if necessary.
  • the target object acquiring unit 110 may perform a function of acquiring a target object by referring to at least one of content or source content photographed by a camera.
  • the target object according to an embodiment of the present invention as well as an object that can clearly specify the shape or shape, such as objects, life, and the like, an object that cannot clearly specify the shape or shape (eg, area, space, etc.) For example, it should be interpreted as the most broad inclusive.
  • the target object acquiring unit 110 may acquire at least one object among a plurality of real world objects acquired in an image or an image or a source image or an image captured by the camera as a target object. .
  • the target object acquiring unit 110 displays the upper doll in the photographed image as a virtual object (the virtual objects are two-dimensional or three-dimensional). It may be a dimensional object), and the virtual object can be obtained as a target object according to the present invention. According to an embodiment of the present invention, such a virtual object may have the same or similar shape or color to a doll that is a real-world object.
  • the target object acquisition unit 110 may display the sky above the image (eg, , Including clouds) as a virtual object (the virtual object may be a 2D or 3D object), and the virtual object may be obtained as a target object according to the present invention.
  • the target object acquisition unit 110 in the process of acquiring the above target object known 3D (3D) scanning technology, 3D modeling technology, or 3D rendering (rendering) technology can utilize
  • the target object acquiring unit 110 refers to the image stored in the authoring system 100 (or the device 400) or an image provided from an external system (not shown) as source content to reference the target object. Can be obtained.
  • the attribute information determiner 120 may determine attribute information on at least one of a motion and an effect of a target object based on change information on at least one of a camera's position and posture.
  • the change information regarding the position of the camera may include absolute coordinates of the camera (eg, geographic coordinates such as GPS coordinates) or relative coordinates (eg, a predetermined point specified by the camera). It may be specified based on the coordinates (where the camera is located as a reference), for example, may include at least one of a moving distance, moving direction, moving speed and acceleration of the camera.
  • the change information regarding the posture of the camera may include information about at least one of the tilt, angular velocity and angular acceleration of the camera.
  • the attribute information on the motion of the target object includes at least one part (for example, hand, head, foot, etc.) that is a target of movement in the target object, a direction in which the part moves, and a degree to which the part moves (eg For example, information on a moving distance, speed, acceleration, angular velocity, angular acceleration, tilt generation time, etc. may be included, and the attribute information on the effect of the target object includes the region (or region) of the effect, and the type of the effect. (E.g., rain, snow, lightning, etc.), the type of sensation of the effect (e.g. visual, tactile, auditory, etc.), the degree of occurrence of the effect (e.g. duration of occurrence, etc.), etc. Information may be included.
  • the target object is a doll composed of a head and a body, and it is panned while the camera repeatedly moves at a predetermined angle and a predetermined speed from side to side around the doll to change information regarding the position and posture of the camera
  • the attribute information determination unit 120 determines the head of the doll above to generate the movement in response to the above change information, and according to the above change information (specifically, the panning angle and panning speed of the camera) Alignment) Property information on the motion of the target object may be determined so that the doll's head moves left and right.
  • the attribute information determination unit 120 Corresponds to the above change information, and the above robot accelerates and runs in a specific direction (which may include moving the robot's arms and legs back and forth) to determine the property information about the motion of the target object.
  • a specific direction which may include moving the robot's arms and legs back and forth
  • the target object is a robot composed of a head, body, arms, and legs, and the camera is from left to right (or, if the camera's position coordinates are (x1, y1, z1) based on a predetermined point) ( x2, y2, z2))
  • the attribute information determination unit 120 moves upward from the coordinate corresponding to the left side of the robot above. It is possible to determine attribute information related to the motion of the target object by walking at a coordinate corresponding to the right of (or walking from (x1, y1, z1) to (x2, y2, z2)).
  • the coordinates of the above according to an embodiment of the present invention a reference defined by the authoring system 100, the device 400, or a predetermined point (or area) photographed by the above camera according to the present invention It may be a coordinate specified in the coordinate system (or reference plane).
  • the target object is the sky
  • the camera is tilted repeatedly at a predetermined angle up and down
  • the predetermined area including the target object is determined as the area where the effect is generated, and the effect of the target object is caused by rain or snow falling in the predetermined area above in response to the above change information (specifically, the tilting speed of the camera) It is possible to determine the attribute information on.
  • the attribute information determination unit 120 refers to the database or lookup table on the attribute information on the motion and effect of the target object associated with the change information, and relates to at least one of the motion and effect on the target object It is also possible to determine attribute information.
  • a database or lookup table can be preset or dynamically updated.
  • the attribute information determination unit 120 refers to context information (for example, a topic related to a local weather or a location) associated with the position of the camera above, and attribute information related to at least one of motion and effects of the target object Can decide.
  • context information for example, a topic related to a local weather or a location
  • the attribute information determining unit 120 may determine that the snow or rain is the attribute information about the motion and effect of the target object. More specifically, it may be determined that the target object wears an umbrella and snow or rain around it as attribute information regarding the motion and effect of the target object.
  • the attribute information determination unit 120 may determine that the skate is related as the attribute information about the motion and effect of the target object. More specifically, it may be determined that the target object moves or runs while wearing a skate and snow falls around the target object as attribute information regarding motion and effects of the target object.
  • the attribute information determination unit 120 may determine attribute information regarding at least one of motion and effects of the target object based on input motion information generated by a user associated with the change information.
  • a user associated with the above change information inputs a button (or touch) to a device (for example, a smart phone) including the above camera
  • the target above the corresponding button inputs a button (or touch) to a device (for example, a smart phone) including the above camera
  • the target above the corresponding button inputs a button (or touch) to a device (for example, a smart phone) including the above camera
  • the animation sequence generation unit 130 may generate an animation sequence for a target object by referring to the property information determined by the property information determination unit 120 above.
  • the animation sequence generation unit 130 generates animation sequences for the target object by matching property information on motion and effects determined by the property information determination unit 120 on a time sequence associated with the camera.
  • a time sequence associated with the camera.
  • the animation sequence generator 130 may generate an animation related to the target object by rendering the animation sequence related to the target object.
  • the animation sequence generator 130 generates an augmented reality (AR) image by combining and rendering an animation sequence related to a target object with a real-world image or a mixed-reality image captured by a camera. Can.
  • AR augmented reality
  • the animation sequence generation unit 130 may track coordinates of a real-world image photographed by a camera using SLAM (Simultaneous Localization And Mapping) technology, and extract 3D mapping coordinates.
  • An animation sequence for a target object may be determined by displaying coordinates of the tracked real-world image above and information on the extracted 3D mapping coordinates, and coordinates to be displayed in the real-world image above can be determined.
  • An augmented reality image can be generated by combining an animation sequence and a real-world image of a target object as a reference.
  • the animation sequence generator 130 may generate an animation related to the target object by combining and rendering the animation sequence related to the target object in the virtual reality image.
  • the communication unit 140 enables data transmission/reception to/from the target object acquisition unit 110, the attribute information determination unit 120, and the animation sequence generation unit 130. Can perform a function.
  • control unit 150 controls the flow of data between the target object acquisition unit 110, the attribute information determination unit 120, the animation sequence generation unit 130 and the communication unit 140. It can perform the control function. That is, the controller 150 according to the present invention controls the data flow from/to the outside of the authoring system 100 or the data flow between each component of the authoring system 100, thereby obtaining the target object acquisition unit 110, attributes
  • the information determination unit 120, the animation sequence generation unit 130, and the communication unit 140 may control each to perform a unique function.
  • FIGS. 2 to 4 are views exemplarily showing a process of generating an animation sequence according to an embodiment of the present invention.
  • the authoring system 100 according to an embodiment of the present invention is included in the smartphone 400 (ie, the device 400 according to the present invention).
  • the target object 300 may be obtained based on content (eg, an image) photographed by the camera of the smartphone 400.
  • an image including the real-world object 200 is photographed (210, 220) by the camera of the smartphone 400, and the target object 300 is based on the captured image. Can be obtained.
  • the target object 300 is based on the captured image.
  • the target object 300 acquired above may be virtually generated in the image being photographed by the camera of the smartphone 400.
  • the acquired target object 300 may be virtually disposed on the background 310 being photographed by the camera of the smart phone 400 above.
  • attribute information regarding at least one of motion and effects of the target object 300 may be determined based on change information regarding at least one of the position and posture of the camera of the smart phone 400.
  • a predetermined period in a time sequence associated with the camera For example, referring to FIG. 4, when the camera of the smart phone 400 is moved along a predetermined path 410 around the target object 300, a predetermined period in a time sequence associated with the camera
  • the target object corresponding to the above change information for at least one pod 401, 402, 403 specified every time (or every occurrence of a certain event (for example, a change in camera motion above a certain level)) 300) attribute information on motion and effects may be matched.
  • the target object 300 when the camera is moved from right to left and the camera is shaken several times, the target object 300 is waving from the right to the left while waving.
  • Property information regarding the motion of the target object 300 may be determined.
  • the second pot 402 when the camera moves closer to the target object 300 as the above change information, it is targeted that a flame effect is generated visually or audibly around the target object 300.
  • Property information regarding the effect of the object 300 may be determined.
  • the speed of the distance away from the target object 300 while the camera is 2 m/s
  • the target object 300 is moved toward the rear while the lightening effect is generated visually or audibly around the target object 300. Relevant attribute information can be determined.
  • an animation sequence for the target object may be generated based on the property information related to the motion and effect determined above.
  • GUI graphic user interface
  • the addition, modification, and deletion of the at least one motion above or the above at least one effect may be determined by predetermined pods 420 and 421 (specifically, the pods 401 and 402 described above) 403) may be supported to be performed based on a previously determined pod) or a pod 401, 402, 403 previously viewed.
  • FIG. 5 is a diagram illustrating a screen in which an animation sequence generated according to an embodiment of the present invention is operated in a real-world background.
  • the target object 300 may be augmented and disposed in a place (ie, a kitchen) photographed by the camera of the smart phone 400 above, and the target object After 300 waving from the right to left of the kitchen and waving, a flame effect is generated visually or audibly around the target object 300, and a lightning effect is visually or audibly focused around the target object 300.
  • a place ie, a kitchen
  • a lightning effect is visually or audibly focused around the target object 300.
  • an augmented reality image in which the target object 300 runs toward the rear side ie, a sink
  • FIG. 6 is a diagram exemplarily showing a process of generating an animation sequence according to another embodiment of the present invention.
  • the head-mounted display 600 may include a camera, such as Google's Google glass, Versions Labs' Epiphany eyewear, Viewix's M100 glass, etc. It may include some properties.
  • a target object eg, a tiger (701 in FIG. 7 )
  • source content eg, an image
  • attribute information regarding at least one of motion and effects of the target object 701 may be determined based on change information regarding at least one of the position and posture of the camera of the head mounted display 600 above.
  • a predetermined path for example, an arrow
  • a time sequence associated with the camera every predetermined period (or occurrence of a predetermined event (for example)
  • at least one pod (601, 602, 603) that is specified every time a change in camera motion of a predetermined level or higher) is matched with property information related to motion and effects of the target object corresponding to the above change information.
  • the first pot 601 when the camera is accelerated and moved from the outside window of the hallway (ie, the left window on the image) to the inside window of the hallway (ie, the right window on the image), when the above change information is , As the target object 701 accelerates from the coordinates corresponding to the window outside the corridor to the coordinates corresponding to the window inside the corridor, property information regarding the motion of the target object 701 may be determined.
  • the second pot 602 when the camera is rotated left and right, it is the above change information, and the above target object 701 is viewed by rotating the head to the left and right while looking around. Property information on the motion of the may be determined.
  • the target object 701 when the camera moves from the window inside the hallway to the end of the hallway, but the moving speed is constant, the target object 701 is at the coordinates corresponding to the window inside the hallway.
  • the property information on the motion of the target object 701 may be determined by walking at a constant speed while shaking the arm at coordinates corresponding to the end of the corridor.
  • an animation sequence for the target object 701 may be generated based on the property information regarding the motion and effect determined above.
  • an augmented reality (AR) image may be generated by combining the animation sequence for the target object 701 above with a real-world image captured by the above camera.
  • a virtual reality image or a mixed reality image may be generated by combining the animation sequence of the target object 701 with the image implemented in the head mount display 600 above.
  • FIG. 7 is a diagram illustrating a screen in which the above animation sequence generated according to another embodiment of the present invention is operated in a real-world background.
  • the target object 701 may be augmented and disposed around a place (ie, a corridor) photographed by the camera of the head mounted display 600 above, Augmented reality in which the target object 701 accelerates and runs from the outside window of the hallway to the inside window of the hallway, looking around while turning the head in the inside window of the hallway, and walking at a constant speed while shaking the arm from the inside window of the hallway to the end of the hallway An image can be generated.
  • a place ie, a corridor
  • Augmented reality in which the target object 701 accelerates and runs from the outside window of the hallway to the inside window of the hallway, looking around while turning the head in the inside window of the hallway, and walking at a constant speed while shaking the arm from the inside window of the hallway to the end of the hallway
  • FIG. 8 is a diagram illustrating an example of a process in which an animation sequence is generated according to another embodiment of the present invention.
  • the authoring system 100 according to an embodiment of the present invention is included in the smartphone 400 (ie, the device 400 according to the present invention).
  • a target object for example, an iron man character (901 in FIG. 9 )
  • source content eg, an image, an image, etc.
  • attribute information regarding at least one of motion and effects of the target object 901 may be determined based on change information regarding at least one of the position and posture of the camera of the smart phone 400.
  • attribute information on motion and effect of a target object corresponding to the above change information may be matched with respect to at least one pod 801 and 802 that is specified each time a change in camera motion of a predetermined level or higher).
  • the target object 901 when the camera is decelerated from the left to the right of the desk and is moved in parallel while the above change information, the target object 901 is the desk of the desk at the coordinates corresponding to the left side of the desk. Attribute information regarding the motion of the target object 901 may be determined by running while reducing the speed with coordinates corresponding to the right.
  • the second pot 802 when it is the above change information that the camera moves by accelerating toward a predetermined angle upward with respect to a direction in which the camera is parallel, a predetermined angle with respect to a direction in which the target object 901 is moved in parallel As it flies upward, a lightning effect is generated around the target object 901, and property information regarding motion and effects of the target object 901 may be determined.
  • an animation sequence for the target object 901 may be generated based on the property information related to the motion and effect determined above.
  • an augmented reality (AR) image may be generated by combining the animation sequence for the target object 901 above with a real-world image captured by the above camera.
  • AR augmented reality
  • FIG. 9 is a diagram illustrating a screen in which the above animation sequence generated in accordance with another embodiment of the present invention is operated in a real-world background.
  • the target object 901 may be augmented and disposed around a place (ie, on a desk) photographed by the camera of the smart phone 400 above, , As the target object 901 runs from the left to the right of the desk, an augmented reality image in which a lightning effect is generated may be generated while flying at a predetermined angle with respect to a direction in which the speed is reduced and parallelized.
  • the animation sequence may be generated in the same process as described above for the case of the intangible object.
  • the above-described embodiment according to the present invention is implemented in the form of program instructions that can be executed through various computer components and can be recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, or the like alone or in combination.
  • the program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention or may be known and available to those skilled in the computer software field.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. medium), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware device can be changed to one or more software modules to perform the processing according to the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 태양에 따르면, 애니메이션 시퀀스를 생성하는 방법으로서, 카메라의 위치 및 자세 중 적어도 하나에 관한 변화 정보에 기초하여 타겟 객체의 모션 및 이펙트 중 적어도 하나에 관한 속성 정보를 결정하는 단계, 및 상기 결정되는 속성 정보를 참조하여 상기 타겟 객체에 관한 애니메이션 시퀀스를 생성하는 단계를 포함하는 방법이 제공된다.

Description

애니메이션 시퀀스를 생성하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
본 발명은 애니메이션 시퀀스를 생성하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체에 관한 것이다.
근래에 들어, 퍼스널 컴퓨터나 이동 단말 장치 등과 같은 디지털 기기의 2차원 화면에서도 3차원적으로 표현될 수 있는 콘텐츠에 대한 수요가 늘고 있다. 또한, 1인 방송 플랫폼, 콘텐츠 크리에이터 플랫폼 등이 활성화되면서 3차원 콘텐츠를 직접 저작하여 사용하려는 일반인 사용자들이 늘어나고 있다.
하지만, 종래에는 이와 같은 3차원 콘텐츠의 저작을 위하여 콘텐츠 저작용 툴(tool)이 이용되어 왔는데, 통상적인 애니메이션 저작용 툴은 그 사용 방법이 복잡하고 어려워 숙련된 전문가에 의해서만 그 사용이 가능한 것이 일반적이었다.
이에, 본 발명자(들)은, 카메라의 위치 및 자세 중 적어도 하나에 관한 변화 정보를 기반으로 비전문가도 손쉽게 3차원 애니메이션을 저작할 수 있는 기술을 제안하는 바이다.
<선행기술문헌>
힌국등록특허공보 제1575092호 (2015.12.01)
본 발명은, 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 카메라에 의해 촬영되는 콘텐츠 또는 소스 콘텐츠로부터 타겟 객체를 획득하고, 카메라의 위치 및 자세 중 적어도 하나에 관한 변화 정보와 연동하여 타겟 객체에 관한 애니메이션을 간편하게 생성하는 것을 또 다른 목적으로 한다.
또한, 본 발명은, 비전문가도 3차원 콘텐츠를 쉽게 저작할 수 있도록 지원하는 것을 또 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 애니메이션 시퀀스를 생성하는 방법으로서, 카메라의 위치 및 자세 중 적어도 하나에 관한 변화 정보에 기초하여 타겟 객체의 모션 및 이펙트 중 적어도 하나에 관한 속성 정보를 결정하는 단계, 및 상기 결정되는 속성 정보를 참조하여 상기 타겟 객체에 관한 애니메이션 시퀀스를 생성하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 애니메이션 시퀀스를 생성하는 시스템으로서, 카메라의 위치 및 자세 중 적어도 하나에 관한 변화 정보에 기초하여 타겟 객체의 모션 및 이펙트 중 적어도 하나에 관한 속성 정보를 결정하는 속성 정보 결정부, 및 상기 결정되는 속성 정보를 참조하여 상기 타겟 객체에 관한 애니메이션 시퀀스를 생성하는 애니메이션 시퀀스 생성부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 카메라에 의해 촬영되는 콘텐츠 또는 소스 콘텐츠로부터 타겟 객체를 획득하고, 카메라의 위치 및 자세 중 적어도 하나에 관한 변화 정보와 연동하여 타겟 객체에 관한 애니메이션을 간편하게 생성할 수 있게 된다.
또한, 본 발명은, 비전문가도 3차원 콘텐츠를 쉽게 저작할 수 있도록 지원할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 저작 시스템의 내부 구성을 예시적으로 나타내는 도면이다.
도 2 내지 도 5는 본 발명의 일 실시예에 따라 애니메이션 시퀀스가 생성되는 과정을 나타내는 도면이다.
도 6 및 도 7은 본 발명의 다른 실시예에 따라 애니메이션 시퀀스가 생성되는 과정을 나타내는 도면이다.
도 8 및 도 9는 본 발명의 또 다른 실시예에 따라 애니메이션 시퀀스가 생성되는 과정을 나타내는 도면이다.
<부호의 설명>
100: 저작 시스템
110: 타겟 객체 획득부
120: 속성 정보 결정부
130: 애니메이션 시퀀스 생성부
140: 통신부
150: 제어부
200: 실세계 객체
300: 가상 객체
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조 부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
본 명세서에서, 콘텐츠란, 문자, 부호, 음성, 음향, 이미지, 동영상 등으로 이루어지는 디지털 정보 또는 개별 정보 요소를 총칭하는 개념이다. 이러한 콘텐츠는, 예를 들면, 텍스트, 이미지, 동영상, 오디오, 링크(예를 들면, 웹 링크) 등의 데이터 또는 이러한 데이터 중 적어도 두 가지의 조합을 포함하여 구성될 수 있다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
저작 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 저작 시스템(100)의 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 1은 본 발명의 일 실시예에 따른 저작 시스템(100)의 내부 구성을 예시적으로 나타내는 도면이다.
본 발명의 일 실시예에 따른 저작 시스템(100)은, 타겟 객체 획득부(110), 속성 정보 결정부(120), 애니메이션 시퀀스 생성부(130), 통신부(140) 및 제어부(150)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 타겟 객체 획득부(110), 속성 정보 결정부(120), 애니메이션 시퀀스 생성부(130), 통신부(140) 및 제어부(150)는 그 중 적어도 일부가 외부 시스템과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 저작 시스템(100)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 저작 시스템(100)과 통신 가능한 원격 기억 장치에 각각 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
한편, 저작 시스템(100)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 저작 시스템(100)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 서버 시스템(미도시됨) 또는 사용자가 소지, 휴대 또는 착용하는 디바이스(400) 내에서 실현되거나 이러한 서버 시스템 또는 디바이스(400) 내에 포함될 수도 있음은 당업자에게 자명하다. 또한, 경우에 따라서는, 저작 시스템(100)의 모든 기능과 모든 구성요소가 서버 시스템 또는 디바이스(400) 내에서 전부 실행되거나 서버 시스템 또는 디바이스(400) 내에 전부 포함될 수도 있다.
본 발명의 일 실시예에 따른 디바이스(400)는, 메모리 수단을 구비하고, 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기로서, 스마트 글래스, 스마트 워치, 스마트 밴드, 스마트 링, 스마트 넥클리스(smart necklace), 스마트 이어셋, 스마트 이어폰, 스마트 이어링(smart earring) 등과 같은 웨어러블 디바이스이거나, 스마트폰, 스마트 패드, 데스크탑 컴퓨터, 노트북 컴퓨터, 워크스테이션, 피디에이(PDA), 웹 패드, 이동 전화기, 리모트 컨트롤러 등과 같은 다소 전통적인 디바이스를 포함할 수 있다. 디바이스(400)는 위의 열거된 예시에만 한정되지 않고, 본 발명의 목적을 달성할 수 있는 범위 내에서 얼마든지 변경될 수 있다. 또한, 본 발명의 일 실시예에 따른 디바이스(400)는 텍스트, 이미지 또는 영상 등에 관한 콘텐츠를 획득하는 카메라, 카메라의 위치 및 자세에 관한 변화 정보를 측정하는 센서(예를 들어, 속도 센서, 가속도 센서, GPS 센서 등) 또는 애니메이션을 표시하는 표시 수단(예를 들어, 디스플레이)을 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 디바이스(400)에는, 본 발명에 따른 애니메이션 시퀀스 생성을 지원하는 애플리케이션이 포함되어 있을 수 있다. 이와 같은 애플리케이션은 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다. 한편, 이러한 애플리케이션의 성격은 후술할 바와 같은 저작 시스템(100)의 타겟 객체 획득부(110), 속성 정보 결정부(120), 애니메이션 시퀀스 생성부(130), 통신부(140) 및 제어부(150)와 전반적으로 유사할 수 있다. 여기서, 애플리케이션은 그 적어도 일부가 필요에 따라 그것과 실질적으로 동일하거나 균등한 기능을 수행할 수 있는 하드웨어 장치나 펌웨어 장치로 치환될 수도 있다.
먼저, 본 발명의 일 실시예에 따른 타겟 객체 획득부(110)는 카메라에 의해 촬영되는 콘텐츠 또는 소스 콘텐츠 중 적어도 하나를 참조하여 타겟 객체를 획득하는 기능을 수행할 수 있다. 본 발명의 일 실시예에 따른 타겟 객체는, 사물, 생명체 등과 같이 형상 또는 형태를 명확하게 특정할 수 있는 대상뿐만 아니라, 영역, 공간 등과 같이 형상 또는 형태를 명확하게 특정할 수 없는 대상(예를 들어, 배경)까지도 모두 포함하는 최광의로 해석되어야 한다.
예를 들어, 타겟 객체 획득부(110)는 카메라에 의해 촬영되는 영상 또는 이미지나 소스 영상 또는 이미지 내에서 획득되는 복수의 실세계(real world) 객체 중 적어도 하나의 객체를 타겟 객체로 획득할 수 있다.
보다 구체적으로, 인형을 포함하는 복수의 실세계 객체에 관한 이미지가 카메라에 의해 촬영되면, 타겟 객체 획득부(110)는 그 촬영된 이미지 내의 위의 인형을 가상 객체(이러한 가상 객체는 2차원 또는 3차원 객체일 수 있음)로 생성하고, 그 가상 객체를 본 발명에 따른 타겟 객체로 획득할 수 있다. 본 발명의 일 실시예에 따르면, 이러한 가상 객체는 실세계 객체인 인형과 그 형상 또는 색상이 동일하거나 유사할 수 있다. 또한, 하늘(예를 들어, 구름을 포함함)을 포함하는 복수의 실세계 객체에 관한 이미지가 카메라에 의해 촬영되면, 타겟 객체 획득부(110)는 그 촬영된 이미지 내의 위의 하늘(예를 들어, 구름을 포함함)을 가상 객체(이러한 가상 객체는 2차원 또는 3차원 객체일 수 있음)로 생성하고, 그 가상 객체를 본 발명에 따른 타겟 객체로 획득할 수 있다. 한편, 본 발명의 일 실시예에 따른 타겟 객체 획득부(110)는 위의 타겟 객체를 획득하는 과정에서 공지의 3차원(3D) 스캐닝 기술, 3차원 모델링 기술, 또는 3차원 렌더링(rendering) 기술을 활용할 수 있다.
다른 예를 들어, 타겟 객체 획득부(110)는 저작 시스템(100)(또는 디바이스(400)) 내부에 저장된 이미지 또는 외부 시스템(미도시됨)으로부터 제공되는 이미지를 소스 콘텐츠로서 참조하여 타겟 객체를 획득할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 속성 정보 결정부(120)는 카메라의 위치 및 자세 중 적어도 하나에 관한 변화 정보 기초하여 타겟 객체의 모션 및 이펙트 중 적어도 하나에 관한 속성 정보를 결정할 수 있다. 본 발명의 일 실시예에 따르면, 이러한 카메라의 위치에 관한 변화 정보는 카메라의 절대 좌표(예를 들어, GPS 좌표 등의 지리적 좌표) 또는 상대 좌표(예를 들어, 카메라에 의해 특정되는 소정 지점을 기준으로 카메라가 위치하는 좌표)에 기초하여 특정될 수 있고, 예를 들어, 카메라의 이동 거리, 이동 방향, 이동 속도 및 가속도 중 적어도 하나를 포함할 수 있다. 또한, 카메라의 자세에 관한 변화 정보는 카메라의 기울기, 각속도 및 각가속도 중 적어도 하나에 관한 정보를 포함할 수 있다. 또한, 타겟 객체의 모션에 관한 속성 정보에는 타겟 객체에서 움직임의 대상이 되는 적어도 하나의 부위(예를 들어, 손, 머리, 발 등), 그 부위가 움직이는 방향, 그 부위가 움직이는 정도(예를 들어, 움직이는 거리, 속도, 가속도, 각속도, 각가속도, 기울기 발생 시간 등) 등에 관한 정보가 포함될 수 있고, 타겟 객체의 이펙트에 관한 속성 정보에는 이펙트의 대상이 되는 영역(또는 부위), 그 이펙트의 종류(예를 들어, 비, 눈, 번개 등), 그 이펙트의 감각 유형(예를 들어, 시각적, 촉각적, 청각적 등), 그 이펙트의 발생 정도(예를 들어, 발생 지속 시간 등) 등에 관한 정보가 포함될 수 있다.
예를 들어, 타겟 객체가 머리 및 몸으로 구성되는 인형이고, 그 카메라가 인형을 중심으로 좌우로 소정 각도 및 소정 속도로 반복하여 이동하면서 패닝(panning)되는 것이 카메라의 위치 및 자세에 관한 변화 정보인 경우에, 속성 정보 결정부(120)는 위의 변화 정보에 대응하여 위의 인형의 머리를 움직임을 발생시킬 부위로 결정하고 위의 변화 정보에 따라(구체적으로, 카메라의 패닝 각도 및 패닝 속도 맞추어) 위의 인형의 머리가 좌우로 움직이도록 타겟 객체의 모션에 관한 속성 정보를 결정할 수 있다.
다른 예를 들어, 타겟 객체가 머리, 몸, 팔 및 다리로 구성되는 로봇이고, 카메라가 특정 방향으로 가속하여 이동되는 것이 카메라의 위치 및 자세에 관한 변화 정보인 경우에, 속성 정보 결정부(120)는 위의 변화 정보에 대응하여 위의 로봇이 위의 특정 방향으로 가속하여 달려가는 것(위의 로봇의 팔 및 다리를 앞뒤로 움직이는 것도 포함될 수 있음)으로 타겟 객체의 모션에 관한 속성 정보를 결정할 수 있다.
또 다른 예를 들어, 타겟 객체가 머리, 몸, 팔 및 다리로 구성되는 로봇이고, 카메라가 소정 지점을 기준으로 왼쪽에서 오른쪽으로(또는, 카메라의 위치 좌표가 (x1, y1, z1)에서 (x2, y2, z2)로) 소정 속도의 등속으로 이동되는 것이 카메라의 위치 및 자세에 관한 변화 정보인 경우에, 속성 정보 결정부(120)는 위의 로봇이 위의 왼쪽에 대응되는 좌표에서 위의 오른쪽에 대응되는 좌표로 걸어가는 것(또는, (x1, y1, z1)에서 (x2, y2, z2)으로 걸어가는 것)으로 타겟 객체의 모션에 관한 속성 정보를 결정할 수 있다. 한편, 본 발명의 일 실시예에 따른 위의 좌표는, 본 발명에 따른 저작 시스템(100), 디바이스(400), 또는 위의 카메라에 의해 촬영되는 소정 지점(또는 영역)을 중심으로 정의되는 기준 좌표계(또는 기준 평면)에서 특정되는 좌표일 수 있다.
또 다른 예를 들어, 타겟 객체가 하늘이고, 카메라가 상하로 소정 각도로 반복하여 틸팅(tilting)되는 것이 카메라의 위치 및 자세에 관한 변화 정보인 경우에, 속성 정보 결정부(120)는 위의 타겟 객체를 포함하는 소정 영역을 이펙트가 발생되는 영역으로서 결정하고, 위의 변화 정보(구체적으로는, 카메라의 틸팅되는 속도)에 대응하여 위의 소정 영역에서 비 또는 눈이 내리는 것으로 타겟 객체의 이펙트에 관한 속성 정보를 결정할 수 있다.
한편, 속성 정보 결정부(120)는 위의 변화 정보와 연관되는 타겟 객체의 모션 및 이펙트에 관한 속성 정보에 관한 데이터베이스 또는 룩업 테이블을 참조하여, 위의 타겟 객체의 모션 및 이펙트 중 적어도 하나에 관한 속성 정보를 결정할 수도 있다. 이러한 데이터베이스 또는 룩업 테이블은 기설정되거나 동적으로 업데이트될 수 있다.
또한, 속성 정보 결정부(120)는 위의 카메라의 위치와 연관되는 상황 정보(예를 들어, 지역의 날씨 또는 장소와 연관된 주제)를 참조하여 타겟 객체의 모션 및 이펙트 중 적어도 하나에 관한 속성 정보를 결정할 수 있다.
예를 들어, 속성 정보 결정부(120)는 카메라가 위치하는 지역의 날씨가 눈 또는 비가 내리는 경우에, 눈 또는 비에 관한 것을 타겟 객체의 모션 및 이펙트에 관한 속성 정보로서 결정할 수 있다. 보다 구체적으로, 타겟 객체가 우산을 쓰고 그 주변에서 눈 또는 비가 내리는 것이 타겟 객체의 모션 및 이펙트에 관한 속성 정보로서 결정될 수 있다.
다른 예를 들어, 속성 정보 결정부(120)는 카메라가 위치하는 장소가 스케이트장인 경우에, 스케이트에 관한 것을 타겟 객체의 모션 및 이펙트에 관한 속성 정보로서 결정할 수 있다. 보다 구체적으로, 타겟 객체가 스케이트를 착용한 상태에서 움직이거나 달리며 그 주변으로 눈이 내리는 것이 타겟 객체의 모션 및 이펙트에 관한 속성 정보로서 결정될 수 있다.
한편, 속성 정보 결정부(120)는 위의 변화 정보와 연관되는 사용자가 발생시키는 입력 동작 정보에 더 기초하여 위의 타겟 객체의 모션 및 이펙트 중 적어도 하나에 관한 속성 정보를 결정할 수 있다.
예를 들어, 위의 변화 정보와 연관되는 사용자가 위의 카메라를 포함하는 디바이스(예를 들어, 스마트폰)에 대하여 버튼(또는 터치)을 입력하는 경우에, 해당 버튼 입력에 대응하여 위의 타겟 객체의 모션 및 이펙트 중 적어도 하나에 관한 속성 정보를 결정할 수도 있다.
다음으로, 본 발명의 일 실시예에 따른 애니메이션 시퀀스 생성부(130)는 위의 속성 정보 결정부(120)에 의해 결정되는 속성 정보를 참조하여 타겟 객체에 관한 애니메이션 시퀀스를 생성할 수 있다.
예를 들어, 애니메이션 시퀀스 생성부(130)는 속성 정보 결정부(120)에 의해 결정되는 모션 및 이펙트에 관한 속성 정보를 카메라와 연관된 타임 시퀀스 상에 매칭시킴으로써, 타겟 객체에 관한 애니메이션 시퀀스를 생성할 수 있다. 본 발명의 일 실시예에 따른 타임 시퀀스에는, 속성 정보 결정부(120)에 의해 결정되는 모션 및 이펙트에 관한 속성 정보가 매칭되는 지점(또는 시점)인 적어도 하나의 팟(pod)이 존재할 수 있다.
또한, 애니메이션 시퀀스 생성부(130)는 타겟 객체에 관한 애니메이션 시퀀스를 렌더링함으로써, 타겟 객체에 관한 애니메이션을 생성할 수 있다.
예를 들어, 애니메이션 시퀀스 생성부(130)는, 타겟 객체에 관한 애니메이션 시퀀스를, 카메라에 의해 촬영되는 실세계 영상 또는 혼합 현실 영상에 결합하여 렌더링함으로써, 증강 현실(AR; Augmented Reality) 영상을 생성할 수 있다.
보다 구체적으로, 애니메이션 시퀀스 생성부(130)는, SLAM(Simultaneous Localization And Mapping) 기술을 이용하여, 카메라에 의해 촬영되는 실세계 영상의 좌표를 추적하고 3차원 매핑(3D Mapping) 좌표를 추출할 수 있으며, 위의 추적된 실세계 영상의 좌표 및 위의 추출된 3차원 매핑 좌표에 관한 정보를 참조하여 타겟 객체에 관한 애니메이션 시퀀스가 위의 실세계 영상 내에서 표시될 좌표를 결정할 수 있고, 그 표시될 좌표를 기준으로 타겟 객체에 관한 애니메이션 시퀀스와 실세계 영상을 결합함으로써 증강 현실 영상을 생성할 수 있다.
다른 예를 들어, 애니메이션 시퀀스 생성부(130)는, 타겟 객체에 관한 애니메이션 시퀀스를 가상 현실 영상에 결합하여 렌더링함으로써, 타겟 객체에 관한 애니메이션을 생성할 수도 있다.
다음으로, 본 발명의 일 실시예에 따르면, 통신부(140)는 타겟 객체 획득부(110), 속성 정보 결정부(120) 및 애니메이션 시퀀스 생성부(130)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.
마지막으로, 본 발명의 일 실시예에 따르면, 제어부(150)는 타겟 객체 획득부(110), 속성 정보 결정부(120), 애니메이션 시퀀스 생성부(130) 및 통신부(140) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(150)는 저작 시스템(100)의 외부로부터의/로의 데이터 흐름 또는 저작 시스템(100)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 타겟 객체 획득부(110), 속성 정보 결정부(120), 애니메이션 시퀀스 생성부(130) 및 통신부(140)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
이상에서 설명된 저작 시스템(100)을 통해 애니메니션 시퀀스를 생성하는 과정을 예시적으로 살펴보면 다음과 같다.
제1 실시예
도 2 내지 도 4는 본 발명의 일 실시예에 따라 애니메이션 시퀀스가 생성되는 과정을 예시적으로 나타내는 도면이다.
도 2 내지 4를 참조하면, 본 발명의 일 실시예에 따른 저작 시스템(100)이 스마트폰(400)(즉, 본 발명에 따른 디바이스(400))에 포함되는 상황을 가정해 볼 수 있다.
먼저, 스마트폰(400)의 카메라에 의해 촬영되는 콘텐츠(예를 들어, 이미지)에 기초하여 타겟 객체(300)가 획득될 수 있다.
예를 들어, 도 2를 참조하면, 실세계 객체(200)를 포함하는 이미지가 스마트폰(400)의 카메라에 의해 촬영(210, 220)되고, 그 촬영되는 이미지에 기초하여 타겟 객체(300)가 획득될 수 있다. 이 경우에, 실세계 객체(200)에 대한 3차원 스캐닝을 수행하기 위하여, 실세계 객체(200)를 중심으로 좌우(210) 또는 상하(220) 각도로 회전하여 촬영이 수행되도록 할 수 있다.
그 다음에, 스마트폰(400)의 카메라에 의해 촬영되고 있는 영상 내에 위의 획득되는 타겟 객체(300)가 가상으로 생성될 수 있다.
예를 들어, 도 3을 참조하면, 위의 스마트폰(400)의 카메라에 의해 촬영되고 있는 배경(310)에 위의 획득되는 타겟 객체(300)가 가상으로 배치될 수 있다.
그 다음에, 위의 스마트폰(400)의 카메라의 위치 및 자세 중 적어도 하나에 관한 변화 정보에 기초하여 타겟 객체(300)의 모션 및 이펙트 중 적어도 하나에 관한 속성 정보가 결정될 수 있다.
예를 들어, 도 4를 참조하면, 위의 스마트폰(400)의 카메라가 타겟 객체(300)를 중심으로 하여 소정 경로(410)를 따라 이동되는 경우에, 카메라와 연관되는 타임 시퀀스에서 소정 주기마다(또는 소정 이벤트의 발생(예를 들어, 소정 수준 이상의 카메라 모션의 변화) 시마다) 특정되는 적어도 하나의 팟(pod)(401, 402, 403)에 대해 위의 변화 정보에 대응하는 타겟 객체(300)의 모션 및 이펙트에 관한 속성 정보가 매칭될 수 있다.
보다 구체적으로, 제1 팟(401)에서는, 카메라가 오른쪽에서 왼쪽으로 이동하면서 카메라가 수 회 흔들리는 것이 위의 변화 정보인 경우에, 타겟 객체(300)가 오른쪽에서 왼쪽으로 걸어가면서 손을 흔드는 것으로 타겟 객체(300)의 모션에 관한 속성 정보가 결정될 수 있다. 또한, 제2 팟(402)에서는, 카메라가 타겟 객체(300)로 가까이 이동하는 것이 위의 변화 정보인 경우에, 타겟 객체(300)를 중심으로 불꽃 이펙트가 시각적 또는 청각적으로 발생되는 것으로 타겟 객체(300)의 이펙트에 관한 속성 정보가 결정될 수 있다. 또한, 제3 팟(403)에서는, 카메라가 타겟 객체(300)로부터 멀어지면서 그 멀어지는 속도가 2m/s 이상인 것이 위의 변화 정보인 경우에, 타겟 객체(300)를 중심으로 번개 이펙트가 시각적 또는 청각적으로 발생되면서 타겟 객체(300)가 뒤쪽을 향해 뛰어가는 것으로 타겟 객체(300)의 모션 및 이펙트에 관한 속성 정보가 결정될 수 있다.
그 다음에, 위의 결정되는 모션 및 이펙트에 관한 속성 정보에 기초하여 타겟 객체에 관한 애니메이션 시퀀스가 생성될 수 있다.
한편, 저작 시스템(100)에서는, 타겟 객체에 관한 애니메이션 시퀀스에 대한 적어도 하나의 모션 또는 적어도 하나의 이펙트의 추가, 수정 및 삭제 중 적어도 하나를 지원하는 그래픽 사용자 인터페이스(GUI)가 제공될 수 있다.
예를 들어, 위의 적어도 하나의 모션 또는 위의 적어도 하나의 이펙트의 추가, 수정 및 삭제는 기결정된 팟(pod)(420, 421)(구체적으로, 앞서 살펴본 팟(pod)(401, 402, 403) 보다 이전 시점에 기결정된 팟) 또는 앞서 살펴본 팟(pod)(401, 402, 403)을 기준으로 수행되도록 지원될 수 있다.
도 5는 본 발명의 일 실시예에 따라 생성된 애니메이션 시퀀스가 실세계 배경에서 동작되는 화면을 예시적으로 나타내는 도면이다.
도 5를 참조하면, 본 발명의 일 실시예에 따라 위의 스마트폰(400)의 카메라에 의해 촬영되는 장소(즉, 부엌)에 타겟 객체(300)가 증강되어 배치될 수 있고, 그 타겟 객체(300)가 부엌의 오른쪽에서 왼쪽으로 걸어가면서 손을 흔든 후에, 타겟 객체(300)를 중심으로 불꽃 이펙트가 시각적 또는 청각적으로 발생되고, 타겟 객체(300)를 중심으로 번개 이펙트가 시각적 또는 청각적으로 발생되면서 타겟 객체(300)가 뒤쪽(즉, 싱크대)을 향해 뛰어가는 증강 현실 영상이 생성될 수 있다.
제2 실시예
도 6은 본 발명의 다른 실시예에 따라 애니메이션 시퀀스가 생성되는 과정을 예시적으로 나타내는 도면이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 저작 시스템(100)이 헤드 마운티트 디스플레이(HMD; Head Mounted Display)(600)(즉, 본 발명에 따른 디바이스(400))에 포함되는 경우를 가정해 볼 수 있다. 이러한 헤드 마운티트 디스플레이(600)에는 카메라가 포함될 수 있으며, 예를 들어, 구글社의 구글 글래스(Google glass), 버전스 랩스社의 이피퍼니(Epiphany) 아이웨어, 뷰직스社의 M100 글래스 등의 일부 특성을 포함할 수 있다.
먼저, 헤드 마운티드 디스플레이(600)에 저장된 소스 콘텐츠(예를 들어, 이미지)에 기초하여 타겟 객체(예를 들어, 호랑이(도 7의 701))가 획득될 수 있다.
그 다음에, 위의 헤드 마운티드 디스플레이(600)의 카메라의 위치 및 자세 중 적어도 하나에 관한 변화 정보에 기초하여 타겟 객체(701)의 모션 및 이펙트 중 적어도 하나에 관한 속성 정보가 결정될 수 있다.
예를 들어, 위의 헤드 마운티드 디스플레이(600)의 카메라가 소정 경로(예를 들어, 화살표)를 따라 이동되는 경우에, 카메라와 연관되는 타임 시퀀스에서 소정 주기마다(또는 소정 이벤트의 발생(예를 들어, 소정 수준 이상의 카메라 모션의 변화) 시마다) 특정되는 적어도 하나의 팟(pod)(601, 602, 603)에 대해 위의 변화 정보에 대응하는 타겟 객체의 모션 및 이펙트에 관한 속성 정보가 매칭될 수 있다.
보다 구체적으로, 제1 팟(601)에서는, 카메라가 복도 외부 창문(즉, 이미지 상에서 왼쪽 창문)에서 복도 내부 창문(즉, 이미지 상에서 오른쪽 창문)으로 가속하여 이동되는 것이 위의 변화 정보인 경우에, 타겟 객체(701)가 복도 외부 창문에 대응되는 좌표에서 복도 내부 창문에 대응되는 좌표로 가속하여 뛰어가는 것으로 위의 타겟 객체(701)의 모션에 관한 속성 정보가 결정될 수 있다. 또한, 제2 팟(602)에서는, 카메라가 좌우로 회전되는 것이 위의 변화 정보인 경우에, 위의 타겟 객체(701)가 머리를 좌우로 회전하면서 주위를 살피는 것으로 위의 타겟 객체(701)의 모션에 관한 속성 정보가 결정될 수 있다. 또한, 제3 팟(603)에서는, 카메라가 복도 내부 창문에서 복도 끝으로 이동하되 그 이동 속도가 등속인 것이 위의 변화 정보인 경우에, 타겟 객체(701)가 복도 내부 창문에 대응되는 좌표에서 복도 끝에 대응되는 좌표로 팔을 흔들면서 일정한 속도로 걸어가는 것으로 타겟 객체(701)의 모션에 관한 속성 정보가 결정될 수 있다.
그 다음에, 위의 결정되는 모션 및 이펙트에 관한 속성 정보에 기초하여 타겟 객체(701)에 관한 애니메이션 시퀀스가 생성될 수 있다.
그 다음에, 위의 타겟 객체(701)에 관한 애니메이션 시퀀스를 위의 카메라에 의해 촬영되는 실세계 영상에 결합하여 증강 현실(AR) 영상이 생성될 수 있다. 한편, 위의 타겟 객체(701)에 관한 애니메이션 시퀀스를 위의 헤드 마운티트 디스플레이(600)에서 구현되는 영상에 결합시킴으로써, 가상 현실 영상 또는 혼합 현실 영상이 생성될 수도 있다.
도 7은 본 발명의 다른 실시예에 따라 생성된 위의 애니메이션 시퀀스가 실세계 배경에서 동작되는 화면을 예시적으로 나타내는 도면이다.
도 7을 참조하면, 본 발명의 일 실시예에 따라 위의 헤드 마운티드 디스플레이(600)의 카메라에 의해 촬영되는 장소(즉, 복도)를 중심으로 타겟 객체(701)가 증강되어 배치될 수 있고, 그 타겟 객체(701)가 복도 외부 창문에서 복도 내부 창문으로 가속하여 뛰어가고, 복도 내부 창문에서 머리를 돌리면서 주위를 살피고, 복도 내부 창문에서 복도 끝으로 팔을 흔들면서 일정한 속도로 걸어가는 증강 현실 영상이 생성될 수 있다.
제3 실시예
도 8은 본 발명의 또 다른 실시예에 따라 애니메이션 시퀀스가 생성되는 과정을 예시적으로 나타내는 도면이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 저작 시스템(100)이 스마트폰(400)(즉, 본 발명에 따른 디바이스(400))에 포함되는 경우를 가정해 볼 수 있다.
먼저, 스마트폰(400)에 저장된 소스 콘텐츠(예를 들어, 영상, 이미지 등)에 기초하여 타겟 객체(예를 들어, 아이언맨 캐릭터(도 9의 901))가 획득될 수 있다.
그 다음에, 위의 스마트폰(400)의 카메라의 위치 및 자세 중 적어도 하나에 관한 변화 정보에 기초하여 타겟 객체(901)의 모션 및 이펙트 중 적어도 하나에 관한 속성 정보가 결정될 수 있다.
예를 들어, 위의 스마트폰(400)의 카메라가 소정 경로(예를 들어, 화살표 방향)를 따라 이동되는 경우에, 카메라와 연관되는 타임 시퀀스에서 소정 주기마다(또는 소정 이벤트의 발생(예를 들어, 소정 수준 이상의 카메라 모션의 변화) 시마다) 특정되는 적어도 하나의 팟(pod)(801, 802)에 대해 위의 변화 정보에 대응하는 타겟 객체의 모션 및 이펙트에 관한 속성 정보가 매칭될 수 있다.
보다 구체적으로, 제1 팟(801)에서는, 카메라가 책상의 왼쪽에서 오른쪽으로 감속하면서 평행 이동되는 것이 위의 변화 정보인 경우에, 타겟 객체(901)가 책상의 왼쪽에 대응되는 좌표에서 책상의 오른쪽에 대응되는 좌표로 속도를 줄이면서 달려가는 것으로 타겟 객체(901)의 모션에 관한 속성 정보가 결정될 수 있다. 또한, 제2 팟(802)에서는, 카메라가 평행 이동되는 방향에 대하여 소정 각도 위쪽을 향하여 가속하여 이동되는 것이 위의 변화 정보인 경우에, 타겟 객체(901)가 평행 이동되는 방향에 대하여 소정 각도 위쪽으로 날아가면서 타겟 객체(901)를 중심으로 번개 이펙트가 발생되는 것으로 타겟 객체(901)의 모션 및 이펙트에 관한 속성 정보가 결정될 수 있다.
그 다음에, 위의 결정되는 모션 및 이펙트에 관한 속성 정보에 기초하여 타겟 객체(901)에 관한 애니메이션 시퀀스가 생성될 수 있다.
그 다음에, 위의 타겟 객체(901)에 관한 애니메이션 시퀀스를 위의 카메라에 의해 촬영되는 실세계 영상에 결합하여 증강 현실(AR) 영상이 생성될 수 있다.
도 9는 본 발명의 또 다른 실시예에 따라 생성된 위의 애니메이션 시퀀스가 실세계 배경에서 동작되는 화면을 예시적으로 나타내는 도면이다.
도 9를 참조하면, 본 발명의 또 다른 실시예에 따라 위의 스마트폰(400)의 카메라에 의해 촬영되는 장소(즉, 책상 위)를 중심으로 타겟 객체(901)가 증강되어 배치될 수 있고, 그 타겟 객체(901)가 책상 왼쪽에서 오른쪽으로 달려가면서 속도를 줄이고 평행 이동되는 방향에 대하여 소정 각도 위쪽으로 날아가면서 번개 이펙트가 발생되는 증강 현실 영상이 생성될 수 있다.
이상에서는 타겟 객체가 유형(有形)의 대상인 경우에 관하여 주로 설명하였으나, 무형(無形)의 대상인 경우에 대해서도 앞서 설명된 과정과 동일한 과정으로 애니메이션 시퀀스가 생성될 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (11)

  1. 애니메이션 시퀀스를 생성하는 방법으로서,
    카메라의 위치 및 자세 중 적어도 하나에 관한 변화 정보에 기초하여 타겟 객체의 모션 및 이펙트 중 적어도 하나에 관한 속성 정보를 결정하는 단계, 및
    상기 결정되는 속성 정보를 참조하여 상기 타겟 객체에 관한 애니메이션 시퀀스를 생성하는 단계를 포함하는
    방법.
  2. 제1항에 있어서,
    상기 타겟 객체는, 상기 카메라에 의해 촬영되는 콘텐츠 또는 소스 콘텐츠 중 적어도 하나를 참조하여 획득되는
    방법.
  3. 제2항에 있어서,
    상기 타겟 객체는, 상기 카메라에 의해 촬영되는 콘텐츠 또는 상기 소스 콘텐츠 내에서 특정되는 복수의 객체 중 적어도 하나인
    방법.
  4. 제1항에 있어서,
    상기 타겟 객체에 관한 애니메이션 시퀀스를 상기 카메라에 의해 촬영되는 실세계 영상에 결합하여 증강 현실(AR) 영상을 생성하는 단계를 더 포함하는
    방법.
  5. 제1항에 있어서,
    상기 타겟 객체에 관한 애니메이션 시퀀스에 대한 적어도 하나의 모션 또는 적어도 하나의 이펙트의 추가, 수정 및 삭제 중 적어도 하나를 지원하는 그래픽 사용자 인터페이스(GUI)가 제공되는
    방법.
  6. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.
  7. 애니메이션 시퀀스를 생성하는 시스템으로서,
    카메라의 위치 및 자세 중 적어도 하나에 관한 변화 정보에 기초하여 타겟 객체의 모션 및 이펙트 중 적어도 하나에 관한 속성 정보를 결정하는 속성 정보 결정부, 및
    상기 결정되는 속성 정보를 참조하여 상기 타겟 객체에 관한 애니메이션 시퀀스를 생성하는 애니메이션 시퀀스 생성부를 포함하는
    시스템.
  8. 제7항에 있어서,
    상기 카메라에 의해 촬영되는 콘텐츠 또는 소스 콘텐츠 중 적어도 하나를 참조하여 상기 타겟 객체를 획득하는 타겟 객체 획득부를 더 포함하는
    시스템.
  9. 제8항에 있어서,
    상기 타겟 객체는, 상기 카메라에 의해 촬영되는 콘텐츠 또는 상기 소스 콘텐츠 내에서 특정되는 복수의 객체 중 적어도 하나인
    시스템.
  10. 제7항에 있어서,
    상기 애니메이션 시퀀스 생성부가, 상기 타겟 객체에 관한 애니메이션 시퀀스를 상기 카메라에 의해 촬영되는 실세계 영상에 결합하여 증강 현실(AR) 영상을 생성하는
    시스템.
  11. 제7항에 있어서,
    상기 타겟 객체에 관한 애니메이션 시퀀스에 대한 적어도 하나의 모션 또는 적어도 하나의 이펙트의 추가, 수정 및 삭제 중 적어도 하나를 지원하는 그래픽 사용자 인터페이스(GUI)가 제공되는
    시스템.
PCT/KR2019/018138 2018-12-19 2019-12-19 애니메이션 시퀀스를 생성하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 WO2020130692A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980091913.XA CN113424230B (zh) 2018-12-19 2019-12-19 生成动画序列的方法、系统以及非瞬时计算机可读存储介质
JP2021536365A JP7478740B2 (ja) 2018-12-19 2019-12-19 アニメーションシーケンスを生成する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
US17/416,146 US11645802B2 (en) 2018-12-19 2019-12-19 Method, system, and non-transitory computer-readable recording medium for generating animation sequence
JP2024034340A JP2024061774A (ja) 2018-12-19 2024-03-06 アニメーションシーケンスを生成する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0165686 2018-12-19
KR20180165686 2018-12-19

Publications (1)

Publication Number Publication Date
WO2020130692A1 true WO2020130692A1 (ko) 2020-06-25

Family

ID=71100730

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/018138 WO2020130692A1 (ko) 2018-12-19 2019-12-19 애니메이션 시퀀스를 생성하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Country Status (5)

Country Link
US (1) US11645802B2 (ko)
JP (2) JP7478740B2 (ko)
KR (2) KR102361728B1 (ko)
CN (1) CN113424230B (ko)
WO (1) WO2020130692A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220012203A (ko) * 2020-07-22 2022-02-03 (주) 애니펜 애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
EP4190793A4 (en) 2020-07-31 2024-01-17 Lg Chemical Ltd METHOD FOR PRODUCING AN ALKOXYSILANE COMPOUND
WO2023022373A1 (en) * 2021-08-19 2023-02-23 Samsung Electronics Co., Ltd. Method and system for generating an animation from a static image
WO2023224250A1 (ko) * 2022-05-16 2023-11-23 삼성전자주식회사 전자 장치 및 이의 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150013709A (ko) * 2012-05-09 2015-02-05 엔씨에이엠 테크놀로지스 리미티드 컴퓨터 생성된 ３ｄ 객체들 및 필름 카메라로부터의 비디오 공급을 실시간으로 믹싱 또는 합성하기 위한 시스템
KR101575092B1 (ko) * 2013-01-24 2015-12-08 (주) 애니펜 애니메이션의 모션 시퀀스를 생성하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20160103897A (ko) * 2015-02-25 2016-09-02 이은미 증강현실 영상표시 시스템 및 증강현실 영상표시 방법
US20160343163A1 (en) * 2015-05-19 2016-11-24 Hand Held Products, Inc. Augmented reality device, system, and method for safety
KR20170067673A (ko) * 2015-12-08 2017-06-16 스타십벤딩머신 주식회사 애니메이션 생성 방법 및 애니메이션 생성 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169471A (ja) * 2008-01-10 2009-07-30 Namco Bandai Games Inc プログラム、情報記憶媒体、及び画像生成システム
JP5821526B2 (ja) * 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
WO2014016992A1 (ja) * 2012-07-27 2014-01-30 Ｎｅｃソフト株式会社 ３次元ユーザインタフェース装置及び３次元操作方法
JP6596883B2 (ja) * 2015-03-31 2019-10-30 ソニー株式会社 ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム
US10068385B2 (en) * 2015-12-15 2018-09-04 Intel Corporation Generation of synthetic 3-dimensional object images for recognition systems
US20190004639A1 (en) * 2017-06-29 2019-01-03 Microsoft Technology Licensing, Llc Providing living avatars within virtual meetings
KR101909994B1 (ko) 2017-08-09 2018-10-22 서영철 나노블럭을 이용한 3d 증강현실 서비스 제공 방법
KR101910931B1 (ko) * 2017-08-09 2018-10-23 서영철 고유코드를 이용한 푸드 3d 증강현실 서비스 제공 방법
KR102009031B1 (ko) 2018-09-07 2019-08-08 네이버랩스 주식회사 증강현실을 이용한 실내 내비게이션을 위한 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150013709A (ko) * 2012-05-09 2015-02-05 엔씨에이엠 테크놀로지스 리미티드 컴퓨터 생성된 ３ｄ 객체들 및 필름 카메라로부터의 비디오 공급을 실시간으로 믹싱 또는 합성하기 위한 시스템
KR101575092B1 (ko) * 2013-01-24 2015-12-08 (주) 애니펜 애니메이션의 모션 시퀀스를 생성하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20160103897A (ko) * 2015-02-25 2016-09-02 이은미 증강현실 영상표시 시스템 및 증강현실 영상표시 방법
US20160343163A1 (en) * 2015-05-19 2016-11-24 Hand Held Products, Inc. Augmented reality device, system, and method for safety
KR20170067673A (ko) * 2015-12-08 2017-06-16 스타십벤딩머신 주식회사 애니메이션 생성 방법 및 애니메이션 생성 장치

Also Published As

Publication number Publication date
JP2022516029A (ja) 2022-02-24
KR102361728B1 (ko) 2022-02-11
KR102523601B1 (ko) 2023-04-20
CN113424230A (zh) 2021-09-21
JP2024061774A (ja) 2024-05-08
US20220076473A1 (en) 2022-03-10
KR20200076647A (ko) 2020-06-29
US11645802B2 (en) 2023-05-09
JP7478740B2 (ja) 2024-05-07
CN113424230B (zh) 2024-03-05
KR20210100048A (ko) 2021-08-13

Similar Documents

Publication Publication Date Title
WO2020130692A1 (ko) 애니메이션 시퀀스를 생성하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
Arth et al. The history of mobile augmented reality
US20220283632A1 (en) Iinformation processing apparatus, image generation method, and computer program
EP3383036A2 (en) Information processing device, information processing method, and program
US20130044129A1 (en) Location based skins for mixed reality displays
CN111701238A (zh) 虚拟画卷的显示方法、装置、设备及存储介质
CN111880720B (zh) 虚拟显示方法、装置、设备和计算机可读存储介质
US20180101990A1 (en) System and method for providing simulated environment
JP2021535526A (ja) 模擬現実（ｓｒ）におけるデバイス共有及び対話性の表示
JP2023541125A (ja) 情報表示方法、装置及び記憶媒体
CN112272817A (zh) 用于在沉浸式现实中提供音频内容的方法和装置
WO2018186642A1 (ko) 전자 장치 및 전자 장치의 화면 표시 방법
JP7356575B2 (ja) 画像の処理方法、装置、電子機器及び記憶媒体
CN116324675A (zh) 使用可穿戴设备识别可控设备的位置
Peddie et al. Historical overview
WO2024117648A1 (ko) 웨어러블 장치의 방향에 기반하여 날씨에 대응하는 가상 객체를 표시하기 위한 웨어러블 장치, 방법, 및 비-일시적 컴퓨터 판독 가능 저장 매체
WO2024101591A1 (ko) 객체로 액세스하는 사용자들에게 적어도 하나의 멀티미디어 콘텐트를 제공하기 위한 전자 장치 및 그 방법
WO2023231666A1 (zh) 信息交互方法、装置、电子设备和存储介质
EP3951724A1 (en) Information processing apparatus, information processing method, and recording medium
WO2024122979A1 (ko) 전경 객체의 사이즈 또는 개수에 기반하여 배경 객체를 변경하기 위한 웨어러블 장치 및 그 방법
WO2023128266A1 (en) System and method for mimicking user handwriting or other user input using an avatar
WO2023196203A1 (en) Traveling in time and space continuum
JP2023542598A (ja) 文字の表示方法、装置、電子機器及び記憶媒体
CN117115396A (zh) 显示控制方法、装置、终端和存储介质
CN117687542A (zh) 信息交互方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19897669

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021536365

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19897669

Country of ref document: EP

Kind code of ref document: A1