WO2023090959A1 - 3차원 캐릭터 치환 시스템 및 방법 - Google Patents

3차원 캐릭터 치환 시스템 및 방법 Download PDF

Info

Publication number
WO2023090959A1
WO2023090959A1 PCT/KR2022/018374 KR2022018374W WO2023090959A1 WO 2023090959 A1 WO2023090959 A1 WO 2023090959A1 KR 2022018374 W KR2022018374 W KR 2022018374W WO 2023090959 A1 WO2023090959 A1 WO 2023090959A1
Authority
WO
WIPO (PCT)
Prior art keywords
character
image
information
motion
content
Prior art date
Application number
PCT/KR2022/018374
Other languages
English (en)
French (fr)
Inventor
진세형
Original Assignee
주식회사 컬러버스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220154987A external-priority patent/KR20230075363A/ko
Application filed by 주식회사 컬러버스 filed Critical 주식회사 컬러버스
Publication of WO2023090959A1 publication Critical patent/WO2023090959A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation

Definitions

  • the present invention relates to a system and method for replacing a 3D character, and more particularly, to a system and method for enabling a user to enjoy content using his or her own 3D character in content such as a game.
  • An object of the present invention is to enable a user's individual 3D character to appear in content such as a game.
  • An object of the present invention is to enable a single character created by a user in a metaverse to appear in various contents.
  • An object of the present invention is to allow a user to modify his/her character, so that the modified content can be reflected in real time within various contents.
  • a 3D character replacement system includes a modeling data storage unit for storing modeling data of a 3D character, position, angle and motion information of a character on 3D content.
  • a character information receiver for receiving character information from a content engine, controlling and rendering modeling data of the 3D character based on the character information to generate a 2D image and depth information corresponding to each pixel of the 2D image It may include a character image generating unit and an image streaming unit for streaming the generated 2D image and depth information to the content engine.
  • the content engine receives the streamed 2D image and depth information, generates an image excluding characters from the screen of the content, overlaps the 2D image using the depth information, and outputs a content screen. can do.
  • a character motion information storage unit for storing motion definition information representing a plurality of motions of a character in correspondence with motion identification information, wherein the motion information included in the character information includes the motion identification information, and the character motion information includes the motion identification information.
  • the image generator may control the motion of the 3D character by referring to the character motion information storage unit and using motion definition information corresponding to the received motion identification information.
  • the character image generation unit may generate depth information for each pixel group in which a predetermined number of pixels are grouped among the generated 2D images.
  • the video streaming unit may transmit the 2D video and depth information in real time using a Web-RTC protocol.
  • the present invention enables a user's individual 3D character to appear in content such as a game.
  • the present invention allows a single character created by a user in a metaverse to appear in various contents.
  • the modified content when a user modifies his/her character, the modified content can be reflected in real time within various contents.
  • FIG. 1 is a configuration diagram showing the internal configuration of a three-dimensional character replacement system according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of replacing a character using a 3D character replacement system according to an embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of replacing a character using depth information in a 3D character replacement system according to an embodiment of the present invention.
  • FIG. 4 is a diagram showing a result of character substitution using depth information in a 3D character substitution system according to an embodiment of the present invention.
  • Figure 5 is a flow chart showing the flow of a three-dimensional character substitution method according to an embodiment of the present invention.
  • a 3D character replacement system includes a modeling data storage unit for storing modeling data of a 3D character, position, angle and motion information of a character on 3D content.
  • a character information receiver for receiving character information from a content engine, controlling and rendering modeling data of the 3D character based on the character information to generate a 2D image and depth information corresponding to each pixel of the 2D image It may include a character image generating unit and an image streaming unit for streaming the generated 2D image and depth information to the content engine.
  • the content engine receives the streamed 2D image and depth information, generates an image excluding characters from the screen of the content, overlaps the 2D image using the depth information, and outputs a content screen. can do.
  • a character motion information storage unit for storing motion definition information representing a plurality of motions of a character in correspondence with motion identification information, wherein the motion information included in the character information includes the motion identification information, and the character motion information includes the motion identification information.
  • the image generator may control the motion of the 3D character by referring to the character motion information storage unit and using motion definition information corresponding to the received motion identification information.
  • the character image generation unit may generate depth information for each pixel group in which a predetermined number of pixels are grouped among the generated 2D images.
  • the video streaming unit may transmit the 2D video and depth information in real time using a Web-RTC protocol.
  • the 3D character replacement system according to the present invention may be configured in the form of a server having a central processing unit (CPU) and a memory (Memory) and connectable to other terminals through a communication network such as the Internet.
  • CPU central processing unit
  • Memory memory
  • the present invention is not limited by the configuration of the central processing unit and memory.
  • the 3D character replacement system according to the present invention may be physically configured as one device or implemented in a distributed form in a plurality of devices.
  • FIG. 1 is a configuration diagram showing the internal configuration of a three-dimensional character replacement system according to an embodiment of the present invention.
  • the 3D character replacement system 101 includes a modeling data storage unit 110, a character information reception unit 120, a character motion information storage unit 130, a character image generation unit 140, an image streaming unit 150 ).
  • Each component may be a software module that operates in the same computer system physically, or may be configured so that two or more physically separated computer systems can operate in conjunction with each other. Embodiments belong to the scope of the present invention.
  • the modeling data storage unit 110 stores modeling data of a 3D character.
  • a 3D object exists in the form of modeling data, and when displayed on a screen, it is converted into a 2D image through a rendering process and then output to the screen.
  • the modeling data may indicate various information such as shape, size, posture, and expression of the 3D character necessary for the 3D character to be displayed in the 3D virtual space.
  • the modeling data stored in the modeling data storage unit 110 may be controlled according to a user's control command, etc., and through this, it is possible to control the posture, angle, movement, facial expression, etc. of a 3D character in various ways. When the modeling data is controlled in this way, the result appears on the screen where it is rendered.
  • the character information receiving unit 120 receives character information including position, angle, and motion information of the character on the 3D content from the content engine 102 .
  • 3D content refers to content provided using a 3D virtual space, and may generally be in the form of a 3D game.
  • the character information receiving unit 120 receives character information including position, angle, and motion information for basic characters used in games, metaverses, etc. To receive this, an API-type module is provided to the content engine 102 or It is also possible to request and receive character information through APIs received from the content engine 102 .
  • the content engine 102 that receives character information from the character information receiving unit 120 refers to a module that outputs content to a screen and controls the content according to a user's control.
  • the content engine 102 may be a game engine.
  • Motion information included in the character information received by the character information receiving unit 120 may include the motion identification information.
  • Motion identification information is defined in advance in advance for motions that the 3D character can perform, and identification information is assigned to each motion in advance. By using such motion identification information, when a motion of a 3D character is executed in the content engine 102, it is possible to quickly and accurately determine what type of motion this motion is.
  • the character motion storage unit 130 stores motion definition information indicating a plurality of motions of a character in correspondence with motion identification information.
  • the motion definition information may be content defining in detail how each body part, joint, etc. of the 3D character moves when a specific motion is executed. Since such dynamic definition information is stored in correspondence with motion identification information, it is possible to quickly check the motion to be performed by the 3D character simply by receiving the motion identification information from the content engine 102 .
  • the character image generation unit 140 controls and renders modeling data of the 3D character based on the character information to generate a 2D image and depth information corresponding to each pixel of the 2D image.
  • controlling the modeling data of a 3D character makes it possible to control the angle, posture, expression, motion, etc. of the 3D character.
  • the controlled modeling data is rendered in this way, it is currently output on the 3D content.
  • a 2D image of the 3D character to be created is created.
  • the depth information generated by the character image generation unit 140 may include depth information for each part where the character exists and part where the character does not exist in the 2D image including the character.
  • the character image generation unit 140 receives depth information where a character should be located on the 3D content from the content engine 102 in order to easily create the depth information, and the received character should be located where the character is output.
  • depth information where a character should be located on the 3D content from the content engine 102 in order to easily create the depth information
  • the received character should be located where the character is output.
  • the character image generating unit 140 may control the motion of the 3D character by referring to the character motion information storage unit 130 and using motion definition information corresponding to the received motion identification information. As described above, since the motion definition information specifically defines how each body part or each joint of a 3D character should move, controlling the modeling data using this information implements the motion the 3D character should do. can pay
  • the character image generation unit 140 may generate depth information for each pixel group by grouping a predetermined number of pixels among the generated 2D images.
  • the resolution of output 3D content is increased, it may be necessary to use a lot of computing resources in the process of processing in consideration of depth information for each pixel.
  • depth information for each pixel group in which .
  • a pixel group may be composed of 2, 4, 9, 16, etc. pixels, and it is preferable to form a group by tying pixels in a square form.
  • the image streaming unit 150 streams the generated 2D image and depth information to the content engine 102 .
  • the streamed 2D video and depth information can be transmitted in real time using the Web-RTC protocol, and the information transmitted in this way is received by the content engine 102 to create a 3D image inside the 3D content.
  • By synthesizing and outputting the image of the character it is possible to obtain an effect that looks as if the corresponding 3D character existed in the original 3D content.
  • the content engine 102 receives the streamed 2D image and depth information, generates an image excluding characters from the screen of the 3D content, and overlaps the 2D image using the depth information.
  • a 3D content screen can be output.
  • the content engine 102 transmits information about the position, angle, motion, etc. of the character of the original 3D content to the character replacement system 101 of the present invention through an API
  • the corresponding position, angle, and motion A corresponding character image is generated and streamed as an image
  • the image received from the content engine 102 replaces the image of the part where the character is located in the 3D content, so that the user's 3D character appears directly in the 3D content. effect can be obtained.
  • the content engine 102 transmits information on this in real time to the character replacement system 101 of the present invention, and receives the image of the character for the corresponding motion in real time, so that within the 3D content can provide the user's 3D character to move and move realistically.
  • the content engine 102 can process this using the depth information provided by the character replacement system 101 of the present invention, so that the actual character is the 3D content. It is naturally arranged along with the objects inside so that you can enjoy realistic content.
  • the content engine 102 may be an application installed and operated on the PC, and a 3D character substitution system in a remote place through a communication network ( 101), it is possible to quickly and conveniently transform a character by synthesizing a 2D image generated by rendering a 3D character and outputting the result on the screen.
  • the user can use the 3D character created by himself and stored in the 3D character replacement system 101 existing in the remote server in various 3D contents.
  • the 3D content including the 3D character desired by the user is produced from scratch, a separate synthesis process may not be required, but since the 3D character must be included in the process of producing the 3D content, Production may become difficult, and there is a concern that the types of 3D content that can use 3D characters may be reduced.
  • the 3D character replacement system 101 when the character image and depth information are transmitted to the content engine 102, and the content engine 102 synthesizes and outputs them, various 3D characters are implemented. You can use your own 3D character on the content.
  • FIG. 2 is a diagram showing an example of replacing a character using a 3D character replacement system according to an embodiment of the present invention.
  • the 3D character replacement system 101 is a 2D image generated by rendering a 3D character on a 2D image 201 generated by rendering 3D content.
  • 202 is synthesized to generate a final 3D content image 203 .
  • the 3D character replacement system 101 of the present invention receives information on various attributes such as the position, angle, and motion of the character from the content engine 102 that controls the content, and based on this, the modeling data of the character is converted. After control, a 2D image is generated by rendering, and transmitted to the content engine 102 again, so that the content engine 102 synthesizes and uses the image.
  • This process may be performed through an API (Application Programming Interface).
  • the API is provided to the manufacturer who manufactures the content engine 102, and the content engine 102 provides the corresponding API. It is possible to provide information about a character through and receive a rendered 2D image.
  • the content engine 102 needs to synthesize the rendered 2D image of the received 3D character with the content produced by the content engine 102. becomes a problem Therefore, in the 3D character replacement system according to the present invention, the depth information of each pixel of the 2D image is transmitted together with the 2D image, so that the content engine 102 can perform natural synthesis without additional calculation. .
  • the 3D character replacement system 101 of the present invention may generate depth information by receiving depth information where a character should be located from the content engine 102 in advance.
  • FIG. 3 is a diagram showing an example of replacing a character using depth information in a 3D character replacement system according to an embodiment of the present invention.
  • the depth information may indicate numerically how close an object rendered in a corresponding image is located from a camera in each pixel.
  • reference numeral 301 indicates depth information for each pixel in the image of the 3D content generated by the content engine 102.
  • the part marked with 0 corresponds to the background and means the farthest from the camera. As the size increases, it may mean a place closer to the camera. In some cases, it is also possible to express the nearest point from the camera as 0 and the far point as a large number.
  • the depth information is indicated as 0, it can be seen that the pixel corresponds to the background, and the portion indicated as 5 and the portion indicated as 15 are parts of an object existing at different positions (depths).
  • reference numeral 302 may be depth information of an image generated by the character image generator 130 and transmitted from the image streaming unit 150 to the content engine 102. Again, 0 is the background part and 10 is the character. It can be expressed as a pixel of an existing part.
  • the two images can be synthesized very quickly by comparing the depth information of each pixel at the same location and displaying a color having a higher value on the corresponding pixel.
  • the character corresponding to depth information 10 is located closer than the object corresponding to 5, and the character is located farther than the object corresponding to 15, so the pixel where 5 and 10 overlap is 10
  • the color corresponding to is displayed, and the color corresponding to 15 is displayed in the part where 10 and 15 overlap.
  • FIG. 4 is a diagram showing a result of character substitution using depth information in a 3D character substitution system according to an embodiment of the present invention.
  • a synthesized result appears as shown in reference numeral 303, and if this process is performed on the entire image, an image of 3D content as shown in reference numeral 203 can be generated and displayed on the user's display screen.
  • Figure 5 is a flow chart showing the flow of a three-dimensional character substitution method according to an embodiment of the present invention.
  • the 3D character substitution method is a method operating in a 3D character substitution system 101 having a central processing unit (CPU) and a memory, and the above-described 3D character substitution system ( 101) can be applied as it is. Therefore, even if there is no separate description below, it is obvious that all the contents described to describe the 3D character replacement system can be applied as they are to implement the 3D character replacement method.
  • modeling data of a 3D character is stored.
  • a 3D object exists in the form of modeling data, and when displayed on a screen, it is converted into a 2D image through a rendering process and then output to the screen.
  • the modeling data may indicate various information such as shape, size, posture, and expression of the 3D character necessary for the 3D character to be displayed in the 3D virtual space.
  • the stored modeling data stored in the modeling data storage step (S501) can be controlled according to a user's control command, etc., and through this, the posture, angle, movement, facial expression, etc. of the 3D character can be controlled in various ways. When the modeling data is controlled in this way, the result appears on the screen where it is rendered.
  • character information including position, angle, and motion information of the character on the 3D content is received from the content engine 102.
  • 3D content refers to content provided using a 3D virtual space, and may generally be in the form of a 3D game.
  • character information including position, angle, and motion information for basic characters used in games, metaverses, etc. is received.
  • an API-type module is provided to the content engine 102.
  • the content engine 102 receiving the character information in the character information receiving step (S502) refers to a module that outputs the content to the screen and controls the content according to a user's control.
  • the content engine 102 may be a game engine.
  • Motion information included in the character information received in the character information receiving step (S502) may include the motion identification information.
  • Motion identification information is defined in advance in advance for motions that the 3D character can perform, and identification information is assigned to each motion in advance. By using such motion identification information, when a motion of a 3D character is executed in the content engine 102, it is possible to quickly and accurately determine what type of motion this motion is.
  • motion definition information representing a plurality of motions of a character is stored in correspondence with motion identification information.
  • the motion definition information may be content defining in detail how each body part, joint, etc. of the 3D character moves when a specific motion is executed. Since such dynamic definition information is stored in correspondence with motion identification information, it is possible to quickly check the motion to be performed by the 3D character simply by receiving the motion identification information from the content engine 102 .
  • modeling data of the 3D character is controlled and rendered based on the character information to generate a 2D image and depth information corresponding to each pixel of the 2D image.
  • controlling the modeling data of a 3D character makes it possible to control the angle, posture, expression, motion, etc. of the 3D character.
  • the controlled modeling data is rendered in this way, it is currently output on the 3D content.
  • a 2D image of the 3D character to be created is created.
  • the depth information generated in the character image generation step (S504) may include depth information for each part where the character exists and part where the character does not exist in the 2D image including the character.
  • the depth information where the character should be located on the 3D content is received from the content engine 102, and the received character must be located in the part where the character is output.
  • the motion of the 3D character may be controlled by referring to the character motion information storage unit 130 and using motion definition information corresponding to the received motion identification information.
  • the motion definition information specifically defines how each body part or each joint of a 3D character should move, controlling the modeling data using this information implements the motion the 3D character should do. can pay
  • depth information for each pixel group may be generated by grouping a predetermined number of pixels among the generated 2D images.
  • resolution of output 3D content it may be necessary to use a lot of computing resources in the process of processing in consideration of depth information for each pixel.
  • depth information for each pixel group in which .
  • a pixel group may be composed of 2, 4, 9, 16, etc. pixels, and it is preferable to form a group by tying pixels in a square form.
  • the generated 2D image and depth information are streamed to the content engine 102.
  • the streamed 2D video and depth information can be transmitted in real time using the Web-RTC protocol, and the information transmitted in this way is received by the content engine 102 to create a 3D image inside the 3D content.
  • the content engine 102 By synthesizing and outputting the image of the character, it is possible to obtain an effect that looks as if the corresponding 3D character existed in the original 3D content.
  • the content engine 102 receives the streamed 2D image and depth information, generates an image excluding characters from the screen of the 3D content, and overlaps the 2D image using the depth information.
  • a 3D content screen can be output.
  • the 3D character substitution method according to the present invention can be produced as a program for a computer to execute and recorded on a computer-readable recording medium.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CDROMs and DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes such as those produced by a compiler.
  • the hardware device may be configured to act as one or more software modules to perform processing according to the present invention and vice versa.
  • the present invention relates to a 3D character replacement system and method, and relates to a modeling data storage unit for storing modeling data of a 3D character, and character information including position, angle, and motion information of a character on 3D content from a content engine.
  • a character image generation unit that controls and renders modeling data of the 3D character based on the character information, and generates a 2D image and depth information corresponding to each pixel of the 2D image; and
  • a 3D character replacement system and method of operation including an image streaming unit for streaming the generated 2D image and depth information to the content engine are provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 3차원 캐릭터 치환 시스템 및 방법에 관한 것으로, 3차원 캐릭터의 모델링 데이터를 저장하는 모델링 데이터 저장부, 3차원 컨텐츠 상에서의 캐릭터의 위치, 각도 및 동작 정보를 포함하는 캐릭터 정보를 컨텐츠 엔진으로부터 수신하는 캐릭터 정보 수신부, 상기 캐릭터 정보를 기초로 상기 3차원 캐릭터의 모델링 데이터를 제어하고, 렌더링하여 2차원 영상 및 상기 2차원 영상의 각 픽셀에 대응되는 깊이정보를 생성하는 캐릭터 영상 생성부 및 상기 생성된 2차원 영상 및 깊이정보를 상기 컨텐츠 엔진으로 스트리밍하는 영상 스트리밍부를 포함하는 3차원 캐릭터 치환 시스템 및 그 동작 방법을 제공한다.

Description

3차원 캐릭터 치환 시스템 및 방법
본 발명은 3차원 캐릭터 치환 시스템 및 방법에 관한 것으로, 보다 상세하게는 사용자가 게임 등의 컨텐츠에서 자신만의 3D 캐릭터를 이용하여 컨텐츠를 즐길 수 있도록 하는 시스템 및 방법에 관한 것이다.
메타버스 기술이 발달하면서, 사용자가 가상공간 내에서 3차원 캐릭터를 이용하여 자신을 표현하고 커뮤니케이션하는 경우가 늘어나고 있다. 이에 따라 가상공간 내의 3차원 캐릭터를 지속적으로 관리하고 이에 정체성을 부여하는 사용자가 늘어나고 있다.
이와 같이 가상공간 내에서의 캐릭터에 대한 관심이 많아지면서, 게임 등의 컨텐츠를 즐기면서 자신의 캐릭터를 컨텐츠 내에 등장시키고자 하는 요구가 늘어나고 있다.
종래기술인 한국공개특허 제10-2000-0037574호, "가상 캐릭터를 이용한 게임 제작 방법"에서와 같이, 별도로 제작한 가상의 캐릭터를 게임상에 등장시킬 수 있도록 하는 기술은 종래에도 개발되었다. 하지만, 이와 같은 기술은 위 선행특허의 경우와 같이 게임 프로그램의 제작 단계에서 해당 캐릭터의 이미지를 등록하여 게임을 제작하는 방식이기 때문에, 일반 사용자들이 자신의 캐릭터를 컨텐츠에 등장시키기에는 어려움이 있고, 컨텐츠 제작이 완료된 후에는 캐릭터를 변경할 수 없고, 캐릭터를 새롭게 꾸미거나 하더라도 이 내용이 반영될 수 없다는 문제점이 있다.
따라서, 가상공간에서 관리하는 3차원 캐릭터를 컨텐츠에 등장시키고, 캐릭터가 변화되면 그 내용이 각 컨텐츠에 반영될 수 있도록 하는 기술이 요구된다.
본 발명은 게임 등의 컨텐츠에 사용자 개인의 3차원 캐릭터를 등장시킬 수 있도록 하는 것을 목적으로 한다.
본 발명은 사용자가 메타버스 등에서 생성한 하나의 캐릭터가 다양한 컨텐츠에 등장할 수 있도록 하는 것을 목적으로 한다.
본 발명은 사용자가 자신의 캐릭터를 수정하는 경우, 다양한 컨텐츠 내에서 수정 내용이 실시간으로 반영될 수 있도록 하는 것을 목적으로 한다.
이러한 목적을 달성하기 위하여 본 발명의 일실시예에 따른 3차원 캐릭터 치환 시스템은 3차원 캐릭터의 모델링 데이터를 저장하는 모델링 데이터 저장부, 3차원 컨텐츠 상에서의 캐릭터의 위치, 각도 및 동작 정보를 포함하는 캐릭터 정보를 컨텐츠 엔진으로부터 수신하는 캐릭터 정보 수신부, 상기 캐릭터 정보를 기초로 상기 3차원 캐릭터의 모델링 데이터를 제어하고, 렌더링하여 2차원 영상 및 상기 2차원 영상의 각 픽셀에 대응되는 깊이정보를 생성하는 캐릭터 영상 생성부 및 상기 생성된 2차원 영상 및 깊이정보를 상기 컨텐츠 엔진으로 스트리밍하는 영상 스트리밍부를 포함하여 구성될 수 있다.
이 때, 상기 컨텐츠 엔진은 상기 스트리밍 되는 2차원 영상 및 깊이정보를 수신하고, 상기 컨텐츠의 화면에서 캐릭터를 제외한 영상을 생성하고, 상기 깊이정보를 이용하여 상기 2차원 영상을 오버랩하여 컨텐츠 화면을 출력할 수 있다.
또한, 캐릭터의 복수의 동작을 나타내는 동작 정의 정보를 각각 동작 식별정보에 대응시켜 저장하는 캐릭터 동작 정보 저장부를 더 포함하고, 상기 캐릭터 정보에 포함된 동작 정보는 상기 동작 식별정보를 포함하고, 상기 캐릭터 영상 생성부는 상기 캐릭터 동작 정보 저장부를 참조하여, 상기 수신된 동작 식별정보에 대응되는 동작 정의 정보를 이용하여, 상기 3차원 캐릭터의 동작을 제어할 수 있다.
또한, 상기 캐릭터 영상 생성부는 상기 생성된 2차원 영상 중 정해진 개수의 픽셀을 묶은 픽셀 그룹별 깊이정보를 생성할 수 있다.
또한, 상기 영상 스트리밍부는 상기 2차원 영상 및 깊이정보를 웹 알티씨(Web-RTC) 프로토콜을 이용하여 실시간 전송할 수 있다.
본 발명은 게임 등의 컨텐츠에 사용자 개인의 3차원 캐릭터를 등장시킬 수 있도록 한다.
본 발명은 사용자가 메타버스 등에서 생성한 하나의 캐릭터가 다양한 컨텐츠에 등장할 수 있도록 한다.
본 발명은 사용자가 자신의 캐릭터를 수정하는 경우, 다양한 컨텐츠 내에서 수정 내용이 실시간으로 반영될 수 있도록 한다.
도 1은 본 발명의 일실시예에 따른 3차원 캐릭터 치환 시스템의 내부 구성을 도시한 구성도이다.
도 2는 본 발명의 일실시예에 따른 3차원 캐릭터 치환 시스템을 이용하여 캐릭터를 치환하는 일례를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 3차원 캐릭터 치환 시스템에서 깊이정보를 이용하여 캐릭터를 치환하는 일례를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 3차원 캐릭터 치환 시스템에서 깊이정보를 이용하여 캐릭터를 치환한 결과를 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 3차원 캐릭터 치환 방법의 흐름을 나타낸 흐름도이다.
이러한 목적을 달성하기 위하여 본 발명의 일실시예에 따른 3차원 캐릭터 치환 시스템은 3차원 캐릭터의 모델링 데이터를 저장하는 모델링 데이터 저장부, 3차원 컨텐츠 상에서의 캐릭터의 위치, 각도 및 동작 정보를 포함하는 캐릭터 정보를 컨텐츠 엔진으로부터 수신하는 캐릭터 정보 수신부, 상기 캐릭터 정보를 기초로 상기 3차원 캐릭터의 모델링 데이터를 제어하고, 렌더링하여 2차원 영상 및 상기 2차원 영상의 각 픽셀에 대응되는 깊이정보를 생성하는 캐릭터 영상 생성부 및 상기 생성된 2차원 영상 및 깊이정보를 상기 컨텐츠 엔진으로 스트리밍하는 영상 스트리밍부를 포함하여 구성될 수 있다.
이 때, 상기 컨텐츠 엔진은 상기 스트리밍 되는 2차원 영상 및 깊이정보를 수신하고, 상기 컨텐츠의 화면에서 캐릭터를 제외한 영상을 생성하고, 상기 깊이정보를 이용하여 상기 2차원 영상을 오버랩하여 컨텐츠 화면을 출력할 수 있다.
또한, 캐릭터의 복수의 동작을 나타내는 동작 정의 정보를 각각 동작 식별정보에 대응시켜 저장하는 캐릭터 동작 정보 저장부를 더 포함하고, 상기 캐릭터 정보에 포함된 동작 정보는 상기 동작 식별정보를 포함하고, 상기 캐릭터 영상 생성부는 상기 캐릭터 동작 정보 저장부를 참조하여, 상기 수신된 동작 식별정보에 대응되는 동작 정의 정보를 이용하여, 상기 3차원 캐릭터의 동작을 제어할 수 있다.
또한, 상기 캐릭터 영상 생성부는 상기 생성된 2차원 영상 중 정해진 개수의 픽셀을 묶은 픽셀 그룹별 깊이정보를 생성할 수 있다.
또한, 상기 영상 스트리밍부는 상기 2차원 영상 및 깊이정보를 웹 알티씨(Web-RTC) 프로토콜을 이용하여 실시간 전송할 수 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하기로 한다. 또한 본 발명의 실시예들을 설명함에 있어 구체적인 수치는 실시예에 불과하며 이에 의하여 발명의 범위가 제한되지 아니한다.
본 발명에 따른 3차원 캐릭터 치환 시스템은 중앙처리장치(CPU) 및 메모리(Memory, 기억장치)를 구비하고 인터넷 등의 통신망을 통하여 다른 단말기와 연결 가능한 서버의 형태로 구성될 수 있다. 그러나 본 발명이 중앙처리장치 및 메모리 등의 구성에 의해 한정되지는 아니한다. 또한, 본 발명에 따른 3차원 캐릭터 치환 시스템은 물리적으로 하나의 장치로 구성될 수도 있으며, 복수의 장치에 분산된 형태로 구현될 수도 있다.
도 1은 본 발명의 일실시예에 따른 3차원 캐릭터 치환 시스템의 내부 구성을 도시한 구성도이다.
본 발명에 따른 3차원 캐릭터 치환 시스템(101)은 모델링 데이터 저장부(110), 캐릭터 정보 수신부(120), 캐릭터 동작 정보 저장부(130), 캐릭터 영상 생성부(140), 영상 스트리밍부(150)를 포함하여 구성될 수 있다. 각각의 구성요소들은 물리적으로 동일한 컴퓨터 시스템 내에서 동작하는 소프트웨어 모듈일 수 있으며, 물리적으로 2개 이상으로 분리된 컴퓨터 시스템이 서로 연동하여 동작할 수 있도록 구성된 형태일 수 있는데, 동일한 기능을 포함하는 다양한 실시형태가 본 발명의 권리범위에 속한다.
모델링 데이터 저장부(110)는 3차원 캐릭터의 모델링 데이터를 저장한다. 일반적으로 3차원 오브젝트는 모델링 데이터의 형태로 존재하다가 화면에 표시할 때에 렌더링 과정을 거쳐 2차원 영상으로 변환되어 화면에 출력되게 된다. 따라서, 모델링 데이터는 3차원 캐릭터가 3차원 가상공간에 표시되기 위하여 필요한 3차원 캐릭터의 형태, 크기, 자세, 표정 등의 다양한 정보를 나타낼 수 있다.
모델링 데이터 저장부(110)에 저장되어 있는 모델링 데이터는 사용자의 제어 명령 등에 따라 제어될 수 있으며, 이를 통해 3차원 캐릭터의 자세, 각도, 움직임, 표정 등이 다양하게 제어되는 것이 가능하다. 이처럼 모델링 데이터가 제어되면 이를 렌더링한 화면에서도 그 결과가 나타나게 된다.
캐릭터 정보 수신부(120)는 3차원 컨텐츠 상에서의 캐릭터의 위치, 각도 및 동작 정보를 포함하는 캐릭터 정보를 컨텐츠 엔진(102)으로부터 수신한다. 3차원 컨텐츠는 3차원 가상공간을 이용하여 제공되는 컨텐츠를 의미하며, 일반적으로 3차원 게임과 같은 형태가 될 수 있다.
캐릭터 정보 수신부(120)에서는 게임, 메타버스 등에서 사용되는 기본 캐릭터에 대해 위치, 각도 및 동작 정보를 포함하는 캐릭터 정보를 수신하는데, 이를 수신하기 위하여 컨텐츠 엔진(102)에 API 형태의 모듈을 제공하거나 컨텐츠 엔진(102)으로부터 API를 받아 이를 통해 캐릭터 정보를 요청하여 수신하는 것도 가능하다.
캐릭터 정보 수신부(120)에서 캐릭터 정보를 수신하는 컨텐츠 엔진(102)은 컨텐츠를 화면에 출력하고 사용자의 제어 등에 따라서 컨텐츠를 제어하는 기능을 수행하는 모듈을 의미한다. 제공되는 3차원 컨텐츠가 게임 컨텐츠인 경우, 컨텐츠 엔진(102)은 게임 엔진이 될 수 있다.
캐릭터 정보 수신부(120)에서 수신하는 상기 캐릭터 정보에 포함된 동작 정보는 상기 동작 식별정보를 포함할 수 있다. 동작 식별정보는 상기 3차원 캐릭터가 수행할 수 있는 동작을 미리 사전에 정의해 두고, 각각의 동작에 대해 사전에 식별정보를 부여하도록 한 것이다. 이와 같은 동작 식별정보를 이용하면 컨텐츠 엔진(102)에서 3차원 캐릭터의 동작이 실행될 때, 이 동작이 어떤 동작인지 빠르고 정확하게 확인할 수 있다.
캐릭터 동작 저장부(130)는 캐릭터의 복수의 동작을 나타내는 동작 정의 정보를 각각 동작 식별정보에 대응시켜 저장한다. 이 때, 동작 정의 정보는 특정 동작이 실행될 때, 3차원 캐릭터의 신체의 각 부위, 관절 등이 어떻게 움직이는지를 상세하게 정의한 내용일 수 있다. 이와 같은 동적 정의 정보가 동작 식별정보와 대응되어 저장되기 때문에, 컨텐츠 엔진(102)에서 동작 식별정보를 수신하는 것만으로 빠르게 3차원 캐릭터가 해야 할 동작을 확인하는 것이 가능하게 된다.
캐릭터 영상 생성부(140)는 상기 캐릭터 정보를 기초로 상기 3차원 캐릭터의 모델링 데이터를 제어하고, 렌더링하여 2차원 영상 및 상기 2차원 영상의 각 픽셀에 대응되는 깊이정보를 생성한다. 상술한 바와 같이 3차원 캐릭터의 모델링 데이터를 제어하면 3차원 캐릭터의 각도, 자세, 표정, 동작 등을 제어할 수 있게 되는데, 이와 같이 제어된 모델링 데이터를 렌더링하게 되면, 현재 3차원 컨텐츠 상에 출력되어야 할 3차원 캐릭터에 대한 2차원 영상이 생성되게 된다.
캐릭터 영상 생성부(140)에서 생성하는 깊이정보는 캐릭터가 포함되는 2차원 영상 내에서 캐릭터가 존재하는 부분 및 존재하지 않는 부분 각각에 대한 깊이정보를 포함할 수 있는데, 이를 통해 추후에 3차원 캐릭터를 렌더링한 2차원 영상이 컨텐츠 영상과 합성될 때, 빠르게 자연스러운 합성을 가능하도록 할 수 있다.
캐릭터 영상 생성부(140)는 상기 깊이정보를 용이하게 만들기 위하여 컨텐츠 엔진(102)으로부터 3차원 컨텐츠 상에서 캐릭터가 위치해야 하는 깊이정보를 수신하고, 캐릭터가 출력되는 부분에 대해서는 수신한 캐릭터가 위치해야 하는 깊이정보에 대응되는 깊이 값을 설정하고, 캐릭터가 출력되지 않는 부분에는 가장 깊은 깊이정보를 설정함으로써, 추후 컨텐츠 엔진(102)에서 컨텐츠 영상을 합성하여 생성할 때, 빠르게 합성이 가능하도록 할 수 있다.
캐릭터 영상 생성부(140)는 캐릭터 동작 정보 저장부(130)를 참조하여, 상기 수신된 동작 식별정보에 대응되는 동작 정의 정보를 이용하여, 상기 3차원 캐릭터의 동작을 제어할 수 있다. 상술한 바와 같이, 동작 정의 정보는 3차원 캐릭터의 신체 각 부위나 각 관절이 어떻게 움직여야하는지를 구체적으로 정의하는 것이기 때문에, 이 정보를 이용하여 모델링 데이터를 제어하면 3차원 캐릭터가 해야 하는 동작을 그대로 구현해 낼 수 있다.
또한, 캐릭터 영상 생성부(140)는 상기 생성된 2차원 영상 중 정해진 개수의 픽셀을 묶은 픽셀 그룹별 깊이정보를 생성할 수 있다. 출력되는 3차원 컨텐츠의 해상도가 높아지게 되면 각 픽셀별 깊이정보를 고려하여 처리하는 과정에서 매우 많은 컴퓨팅 리소스를 사용해야 할 수 있다. 하지만 깊이정보의 처리가 모두 픽셀 단위로 세밀하게 이루어지지 않더라도 컨텐츠 화면 내에서 캐릭터의 움직임을 보는 데에 크게 문제되지 않는 경우가 대부분이기 때문에, 각각의 픽셀 단위로 처리하는 것보다, 정해진 개수의 픽셀을 묶은 픽셀 그룹별 깊이정보를 이용하는 것도 가능하다. 픽셀 그룹은 2개, 4개, 9개, 16개 등의 픽셀이 묶인 형태로 구성될 수 있는데, 가급적 정사각형 형태로 픽셀들을 묶어 구성하는 것이 바람직하다.
영상 스트리밍부(150)는 상기 생성된 2차원 영상 및 깊이정보를 상기 컨텐츠 엔진(102)으로 스트리밍한다. 스트리밍되는 2차원 영상 및 깊이정보는 웹 알티씨(Web-RTC) 프로토콜을 이용하여 실시간으로 전송되도록 할 수 있으며, 이와 같이 전송되는 정보를 컨텐츠 엔진(102)에서 수신하여 3차원 컨텐츠 내부에 3차원 캐릭터의 영상을 합성하여 출력함으로써, 원래 3차원 컨텐츠 내에 해당 3차원 캐릭터가 존재했던 것과 같이 보이는 효과를 얻을 수 있다.
이 때 상기 컨텐츠 엔진(102)은 상기 스트리밍 되는 2차원 영상 및 깊이정보를 수신하고, 상기 3차원 컨텐츠의 화면에서 캐릭터를 제외한 영상을 생성하고, 상기 깊이정보를 이용하여 상기 2차원 영상을 오버랩하여 3차원 컨텐츠 화면을 출력할 수 있다.
이와 같은 구현을 통해 컨텐츠 엔진(102)에서 원래 3차원 컨텐츠의 캐릭터의 위치, 각도, 동작 등에 대한 정보를 API를 통해 본 발명의 캐릭터 치환 시스템(101)에 전송하면, 해당 위치, 각도 및 동작에 대응하는 캐릭터 영상을 생성하여 영상으로 스트리밍하고, 컨텐츠 엔진(102)에서 수신되는 영상으로 3차원 컨텐츠내 캐릭터가 위치하는 부분의 영상을 대체함으로써, 3차원 컨텐츠 내에 사용자의 3차원 캐릭터가 직접 등장하는 효과를 얻을 수 있다.
사용자가 캐릭터를 조작하여 움직이게 되면 이에 대한 정보를 컨텐츠 엔진(102)이 본 발명의 캐릭터 치환 시스템(101)에 실시간 전송하고, 실시간으로 해당 동작에 대한 캐릭터의 영상을 수신하게 됨으로써, 3차원 컨텐츠 내에서 사용자의 3차원 캐릭터가 현실감있게 이동하고 움직이는 모습을 제공할 수 있다.
특히, 3차원 컨텐츠 내의 다른 오브젝트들과 중첩되는 경우, 컨텐츠 엔진(102)은 본 발명의 캐릭터 치환 시스템(101)에서 제공하는 깊이정보를 이용하여 이를 처리할 수 있기 때문에, 실제 캐릭터가 3차원 컨텐츠 내의 오브젝트들과 함께 자연스럽게 배치되어 현실감있는 컨텐츠를 즐길 수 있게 된다.
사용자가 PC를 이용하여 본 발명의 3차원 캐릭터 치환 시스템(101)을 이용하는 경우, 컨텐츠 엔진(102)은 PC에 설치되어 동작되는 어플리케이션일 수 있으며, 통신망을 통해 원격지에 있는 3차원 캐릭터 치환 시스템(101)과 통신하면서 3차원 캐릭터를 렌더링하여 생성한 2차원 영상을 합성하여 화면에 출력함으로써 빠르고 편리하게 캐릭터를 변환하는 것이 가능하게 된다.
사용자는 자신이 만들어서 원격지 서버에 존재하는 3차원 캐릭터 치환 시스템(101)에 저장해 둔 3차원 캐릭터를 다양한 3차원 컨텐츠에서 이용할 수 있게 된다.
만일 사용자가 원하는 3차원 캐릭터를 포함하여 3차원 컨텐츠를 처음부터 제작하게 되는 경우, 별도의 합성 과정 등이 필요없을 수는 있지만, 3차원 컨텐츠를 제작하는 과정에서 3차원 캐릭터를 포함시켜야 하기 때문에, 제작이 어려워질 수 있고, 3차원 캐릭터를 이용할 수 있는 3차원 컨텐츠의 종류가 줄어들게 될 우려가 있다.
따라서, 본 발명에 따른 3차원 캐릭터 치환 시스템(101)과 같이 캐릭터 영상 및 깊이정보를 컨텐츠 엔진(102)에 전송하고, 컨텐츠 엔진(102)은 이를 합성하여 출력하는 형태로 구현하게 되면 다양한 3차원 컨텐츠 상에서 자신의 3차원 캐릭터를 이용할 수 있게 된다.
도 2는 본 발명의 일실시예에 따른 3차원 캐릭터 치환 시스템을 이용하여 캐릭터를 치환하는 일례를 도시한 도면이다.
도면에 도시한 바와 같이, 본 발명의 일실시예에 따른 3차원 캐릭터 치환 시스템(101)은 3차원 컨텐츠를 렌더링하여 생성한 2차원 영상(201)에 3차원 캐릭터를 렌더링하여 생성한 2차원 영상(202)을 합성하여 최종 3차원 컨텐츠 영상(203)을 생성하게 된다.
이 때, 사용자의 3차원 캐릭터가 상기 3차원 컨텐츠 내에서 실제 활동하는 것과 같이 느끼려면, 3차원 컨텐츠에 캐릭터가 존재해야 하는 위치에서 캐릭터가 수행해야 하는 동작을 자연스럽게 수행할 필요가 있다.
따라서, 본 발명의 3차원 캐릭터 치환 시스템(101)은 컨텐츠를 제어하는 컨텐츠 엔진(102)으로부터 캐릭터의 위치, 각도, 동작 등의 다양한 속성에 관한 정보를 수신하여, 이를 기반으로 캐릭터의 모델링 데이터를 제어한 뒤, 렌더링하여 2차원의 영상을 생성하고, 이를 다시 컨텐츠 엔진(102)에 전송함으로써, 컨텐츠 엔진(102)에서 이를 합성하여 사용하도록 할 수 있다.
이 과정은 API(Application Programming Interface)를 통해 이루어질 수 있는데, 본 발명의 3차원 캐릭터 치환 시스템(101)에서 컨텐츠 엔진(102)을 제작하는 제작사에 API를 제공하고, 컨텐츠 엔진(102)에서 해당 API를 통해 캐릭터에 관한 정보를 제공하고, 렌더링된 2차원 영상을 수신하도록 할 수 있다.
이처럼 3차원 컨텐츠를 제공하는 중간에 API를 통해 캐릭터의 위치, 동작 등의 정보를 전송하는 것만으로 다양한 3차원 캐릭터를 컨텐츠에 활용할 수 있게 된다.
또한, 컨텐츠 엔진(102)은 수신된 3차원 캐릭터의 렌더링된 2차원 영상을 자신이 제작한 컨텐츠에 합성해야 하는데, 2차원 화면 상의 동일한 픽셀 위치에 컨텐츠 및 캐릭터가 겹치게 되면, 어느 쪽을 보여줘야 할지가 문제가 된다. 따라서, 본 발명에 따른 3차원 캐릭터 치환 시스템에서는 2차원 영상과 함께, 2차원 영상의 각 픽셀의 깊이정보를 함께 전송함으로서, 컨텐츠 엔진(102)에서 별도의 연산 없이 자연스러운 합성이 가능하도록 할 수 있다.
도면부호 203에 표시된 것과 같이, 나무는 3차원 캐릭터의 뒤에 존재하는 오브젝트이므로 3차원 캐릭터를 가리지 않도록 합성하고, 풀과 꽃은 3차원 캐릭터의 앞에 존재하는 오브젝트이므로 3차원 캐릭터가 이를 가리지 않도록 합성하게 된다. 이 때, 정확한 깊이정보를 수신하기 위하여 본 발명의 3차원 캐릭터 치환 시스템(101)은 컨텐츠 엔진(102)으로부터 캐릭터가 위치해야 할 깊이정보를 미리 수신하여 깊이정보를 생성할 수 있다.
도 3은 본 발명의 일실시예에 따른 3차원 캐릭터 치환 시스템에서 깊이정보를 이용하여 캐릭터를 치환하는 일례를 나타낸 도면이다.
도면에 도시한 바와 같이, 깊이정보는 각각의 픽셀에서 해당 이미지에 렌더링된 오브젝트가 카메라로부터 얼마나 가까이 위치하는지 수치로 나타낸 것일 수 있다.
예를 들어 도면부호 301은 컨텐츠 엔진(102)에서 생성한 3차원 컨텐츠의 영상에서 각 픽셀별 깊이정보를 나타낸 것인데, 0으로 표시된 부분은 배경에 해당하는 곳으로 가장 카메라로부터 먼 곳을 의미하고 숫자가 커질수록 카메라에 가까운 곳을 의미할 수 있다. 경우에 따라서는 카메라로부터 가장 근접한 곳을 0으로, 먼 곳을 큰 숫자로 표현하는 것도 가능하다.
도면부호 301을 보면, 깊이정보가 0으로 표시되니 픽셀은 배경에 해당하는 곳이고, 5로 표시된 부분과 15로 표시된 부분이 각각 서로 다른 위치(깊이)에 존재하는 오브젝트의 일부임을 알 수 있다.
또한, 도면부호 302의 경우 캐릭터 영상 생성부(130)에서 생성하여 영상 스트리밍부(150)에서 컨텐츠 엔진(102)으로 전송한 영상의 깊이정보일 수 있는데, 역시 0은 배경 부분, 10은 캐릭터가 존재하는 부분의 픽셀로 나타낼 수 있다.
이와 같이 두 개의 영상을 합성할 때, 도면부호 303과 같이, 동일한 위치의 각 픽셀별 깊이정보를 비교하여 더 높은 갚을 가지는 색상을 해당 픽셀에 표시하는 것으로 매우 빠르게 두 영상을 합성할 수 있다. 본 예시에서는 도면부호 303에서와 같이, 깊이정보 5에 해당하는 오브젝트보다는 10에 해당하는 캐릭터가 가까이에 위치하고, 15에 해당하는 오브젝트보다는 캐릭터가 더 멀리 위치하기 때문에, 5와 10이 겹치는 픽셀은 10에 해당하는 색상을 표시해 주고, 10과 15가 겹치는 부분에는 15에 해당하는 색상을 표시해 주도록 하였다.
도 4는 본 발명의 일실시예에 따른 3차원 캐릭터 치환 시스템에서 깊이정보를 이용하여 캐릭터를 치환한 결과를 나타내는 도면이다.
도면에 표시된 것처럼, 도면부호 303과 같이 합성 결과가 나타나게 되며, 이와 같은 과정이 전체 영상에서 이루어지게 된다면 도면부호 203과 같은 3차원 컨텐츠의 영상이 생성되어 사용자의 디스플레이 화면에 출력될 수 있게 된다.
이처럼 단순히 깊이정보를 나타내는 숫자를 비교하여 높은 숫자에 해당하는 이미지의 색상 정보를 해당 픽셀에 입력하는 것만으로 빠르게 2개의 영상의 합성이 가능하며, 이와 같은 연산은 일반적인 컴퓨팅 리소스를 활용하더라도 사용자가 느끼기에 실시간으로 느껴질 수 있도록 구현될 수 있기 때문에, 실제 사용자의 3차원 캐릭터가 컨텐츠 엔진 상에서 구동되어 동작하는 것과 같이 보이는 효과를 얻을 수 있게 된다.
도 5는 본 발명의 일실시예에 따른 3차원 캐릭터 치환 방법의 흐름을 나타낸 흐름도이다.
본 발명의 일실시예에 따른 3차원 캐릭터 치환 방법은 중앙처리장치(CPU) 및 메모리(Memory)를 구비하는 3차원 캐릭터 치환 시스템(101)에서 동작하는 방법으로, 상술한 3차원 캐릭터 치환 시스템(101)에 대한 설명이 그대로 적용될 수 있다. 따라서 아래에 별도의 설명이 없더라도, 3차원 캐릭터 치환 시스템을 설명하기 위해 기재한 모든 내용은 3차원 캐릭터 치환 방법을 구현하는데 그대로 적용할 수 있음은 자명하다.
모델링 데이터 저장 단계(S501)는 3차원 캐릭터의 모델링 데이터를 저장한다. 일반적으로 3차원 오브젝트는 모델링 데이터의 형태로 존재하다가 화면에 표시할 때에 렌더링 과정을 거쳐 2차원 영상으로 변환되어 화면에 출력되게 된다. 따라서, 모델링 데이터는 3차원 캐릭터가 3차원 가상공간에 표시되기 위하여 필요한 3차원 캐릭터의 형태, 크기, 자세, 표정 등의 다양한 정보를 나타낼 수 있다.
모델링 데이터 저장 단계(S501)에서 저장하여 저장되어 있는 모델링 데이터는 사용자의 제어 명령 등에 따라 제어될 수 있으며, 이를 통해 3차원 캐릭터의 자세, 각도, 움직임, 표정 등이 다양하게 제어되는 것이 가능하다. 이처럼 모델링 데이터가 제어되면 이를 렌더링한 화면에서도 그 결과가 나타나게 된다.
캐릭터 정보 수신 단계(S502)는 3차원 컨텐츠 상에서의 캐릭터의 위치, 각도 및 동작 정보를 포함하는 캐릭터 정보를 컨텐츠 엔진(102)으로부터 수신한다. 3차원 컨텐츠는 3차원 가상공간을 이용하여 제공되는 컨텐츠를 의미하며, 일반적으로 3차원 게임과 같은 형태가 될 수 있다.
캐릭터 정보 수신 단계(S502)에서는 게임, 메타버스 등에서 사용되는 기본 캐릭터에 대해 위치, 각도 및 동작 정보를 포함하는 캐릭터 정보를 수신하는데, 이를 수신하기 위하여 컨텐츠 엔진(102)에 API 형태의 모듈을 제공하거나 컨텐츠 엔진(102)으로부터 API를 받아 이를 통해 캐릭터 정보를 요청하여 수신하는 것도 가능하다.
캐릭터 정보 수신 단계(S502)에서 캐릭터 정보를 수신하는 컨텐츠 엔진(102)은 컨텐츠를 화면에 출력하고 사용자의 제어 등에 따라서 컨텐츠를 제어하는 기능을 수행하는 모듈을 의미한다. 제공되는 3차원 컨텐츠가 게임 컨텐츠인 경우, 컨텐츠 엔진(102)은 게임 엔진이 될 수 있다.
캐릭터 정보 수신 단계(S502)에서 수신하는 상기 캐릭터 정보에 포함된 동작 정보는 상기 동작 식별정보를 포함할 수 있다. 동작 식별정보는 상기 3차원 캐릭터가 수행할 수 있는 동작을 미리 사전에 정의해 두고, 각각의 동작에 대해 사전에 식별정보를 부여하도록 한 것이다. 이와 같은 동작 식별정보를 이용하면 컨텐츠 엔진(102)에서 3차원 캐릭터의 동작이 실행될 때, 이 동작이 어떤 동작인지 빠르고 정확하게 확인할 수 있다.
캐릭터 동작 저장 단계(S503)는 캐릭터의 복수의 동작을 나타내는 동작 정의 정보를 각각 동작 식별정보에 대응시켜 저장한다. 이 때, 동작 정의 정보는 특정 동작이 실행될 때, 3차원 캐릭터의 신체의 각 부위, 관절 등이 어떻게 움직이는지를 상세하게 정의한 내용일 수 있다. 이와 같은 동적 정의 정보가 동작 식별정보와 대응되어 저장되기 때문에, 컨텐츠 엔진(102)에서 동작 식별정보를 수신하는 것만으로 빠르게 3차원 캐릭터가 해야 할 동작을 확인하는 것이 가능하게 된다.
캐릭터 영상 생성 단계(S504)는 상기 캐릭터 정보를 기초로 상기 3차원 캐릭터의 모델링 데이터를 제어하고, 렌더링하여 2차원 영상 및 상기 2차원 영상의 각 픽셀에 대응되는 깊이정보를 생성한다. 상술한 바와 같이 3차원 캐릭터의 모델링 데이터를 제어하면 3차원 캐릭터의 각도, 자세, 표정, 동작 등을 제어할 수 있게 되는데, 이와 같이 제어된 모델링 데이터를 렌더링하게 되면, 현재 3차원 컨텐츠 상에 출력되어야 할 3차원 캐릭터에 대한 2차원 영상이 생성되게 된다.
캐릭터 영상 생성 단계(S504)에서 생성하는 깊이정보는 캐릭터가 포함되는 2차원 영상 내에서 캐릭터가 존재하는 부분 및 존재하지 않는 부분 각각에 대한 깊이정보를 포함할 수 있는데, 이를 통해 추후에 3차원 캐릭터를 렌더링한 2차원 영상이 컨텐츠 영상과 합성될 때, 빠르게 자연스러운 합성을 가능하도록 할 수 있다.
캐릭터 영상 생성 단계(S504)는 상기 깊이정보를 용이하게 만들기 위하여 컨텐츠 엔진(102)으로부터 3차원 컨텐츠 상에서 캐릭터가 위치해야 하는 깊이정보를 수신하고, 캐릭터가 출력되는 부분에 대해서는 수신한 캐릭터가 위치해야 하는 깊이정보에 대응되는 깊이 값을 설정하고, 캐릭터가 출력되지 않는 부분에는 가장 깊은 깊이정보를 설정함으로써, 추후 컨텐츠 엔진(102)에서 컨텐츠 영상을 합성하여 생성할 때, 빠르게 합성이 가능하도록 할 수 있다.
캐릭터 영상 생성 단계(S504)는 캐릭터 동작 정보 저장부(130)를 참조하여, 상기 수신된 동작 식별정보에 대응되는 동작 정의 정보를 이용하여, 상기 3차원 캐릭터의 동작을 제어할 수 있다. 상술한 바와 같이, 동작 정의 정보는 3차원 캐릭터의 신체 각 부위나 각 관절이 어떻게 움직여야하는지를 구체적으로 정의하는 것이기 때문에, 이 정보를 이용하여 모델링 데이터를 제어하면 3차원 캐릭터가 해야 하는 동작을 그대로 구현해 낼 수 있다.
또한, 캐릭터 영상 생성 단계(S504)는 상기 생성된 2차원 영상 중 정해진 개수의 픽셀을 묶은 픽셀 그룹별 깊이정보를 생성할 수 있다. 출력되는 3차원 컨텐츠의 해상도가 높아지게 되면 각 픽셀별 깊이정보를 고려하여 처리하는 과정에서 매우 많은 컴퓨팅 리소스를 사용해야 할 수 있다. 하지만 깊이정보의 처리가 모두 픽셀 단위로 세밀하게 이루어지지 않더라도 컨텐츠 화면 내에서 캐릭터의 움직임을 보는 데에 크게 문제되지 않는 경우가 대부분이기 때문에, 각각의 픽셀 단위로 처리하는 것보다, 정해진 개수의 픽셀을 묶은 픽셀 그룹별 깊이정보를 이용하는 것도 가능하다. 픽셀 그룹은 2개, 4개, 9개, 16개 등의 픽셀이 묶인 형태로 구성될 수 있는데, 가급적 정사각형 형태로 픽셀들을 묶어 구성하는 것이 바람직하다.
영상 스트리밍 단계(S505)는 상기 생성된 2차원 영상 및 깊이정보를 상기 컨텐츠 엔진(102)으로 스트리밍한다. 스트리밍되는 2차원 영상 및 깊이정보는 웹 알티씨(Web-RTC) 프로토콜을 이용하여 실시간으로 전송되도록 할 수 있으며, 이와 같이 전송되는 정보를 컨텐츠 엔진(102)에서 수신하여 3차원 컨텐츠 내부에 3차원 캐릭터의 영상을 합성하여 출력함으로써, 원래 3차원 컨텐츠 내에 해당 3차원 캐릭터가 존재했던 것과 같이 보이는 효과를 얻을 수 있다.
이 때 상기 컨텐츠 엔진(102)은 상기 스트리밍 되는 2차원 영상 및 깊이정보를 수신하고, 상기 3차원 컨텐츠의 화면에서 캐릭터를 제외한 영상을 생성하고, 상기 깊이정보를 이용하여 상기 2차원 영상을 오버랩하여 3차원 컨텐츠 화면을 출력할 수 있다.
본 발명에 따른 3차원 캐릭터 치환 방법은 컴퓨터가 실행하도록 기능시키기 위한 프로그램으로 제작되어 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CDROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있다.
본 발명은 3차원 캐릭터 치환 시스템 및 방법에 관한 것으로, 3차원 캐릭터의 모델링 데이터를 저장하는 모델링 데이터 저장부, 3차원 컨텐츠 상에서의 캐릭터의 위치, 각도 및 동작 정보를 포함하는 캐릭터 정보를 컨텐츠 엔진으로부터 수신하는 캐릭터 정보 수신부, 상기 캐릭터 정보를 기초로 상기 3차원 캐릭터의 모델링 데이터를 제어하고, 렌더링하여 2차원 영상 및 상기 2차원 영상의 각 픽셀에 대응되는 깊이정보를 생성하는 캐릭터 영상 생성부 및 상기 생성된 2차원 영상 및 깊이정보를 상기 컨텐츠 엔진으로 스트리밍하는 영상 스트리밍부를 포함하는 3차원 캐릭터 치환 시스템 및 그 동작 방법을 제공한다.

Claims (11)

  1. 3차원 캐릭터의 모델링 데이터를 저장하는 모델링 데이터 저장부;
    3차원 컨텐츠 상에서의 캐릭터의 위치, 각도 및 동작 정보를 포함하는 캐릭터 정보를 컨텐츠 엔진으로부터 수신하는 캐릭터 정보 수신부;
    상기 캐릭터 정보를 기초로 상기 3차원 캐릭터의 모델링 데이터를 제어하고, 렌더링하여 2차원 영상 및 상기 2차원 영상의 각 픽셀에 대응되는 깊이정보를 생성하는 캐릭터 영상 생성부; 및
    상기 생성된 2차원 영상 및 깊이정보를 상기 컨텐츠 엔진(102)으로 스트리밍하는 영상 스트리밍부
    를 포함하는 3차원 캐릭터 치환 시스템.
  2. 제1항에 있어서,
    상기 컨텐츠 엔진은
    상기 스트리밍 되는 2차원 영상 및 깊이정보를 수신하고,
    상기 3차원 컨텐츠의 화면에서 캐릭터를 제외한 영상을 생성하고, 상기 깊이정보를 이용하여 상기 2차원 영상을 오버랩하여 3차원 컨텐츠 화면을 출력하는 것
    을 특징으로 하는 3차원 캐릭터 치환 시스템.
  3. 제1항에 있어서,
    캐릭터의 복수의 동작을 나타내는 동작 정의 정보를 각각 동작 식별정보에 대응시켜 저장하는 캐릭터 동작 정보 저장부
    를 더 포함하고,
    상기 캐릭터 정보에 포함된 동작 정보는 상기 동작 식별정보를 포함하고,
    상기 캐릭터 영상 생성부는
    상기 캐릭터 동작 정보 저장부를 참조하여, 상기 수신된 동작 식별정보에 대응되는 동작 정의 정보를 이용하여, 상기 3차원 캐릭터의 동작을 제어하는 것
    을 특징으로 하는 3차원 캐릭터 치환 시스템.
  4. 제1항에 있어서,
    상기 캐릭터 영상 생성부는
    상기 생성된 2차원 영상 중 정해진 개수의 픽셀을 묶은 픽셀 그룹별 깊이정보를 생성하는 것
    을 특징으로 하는 3차원 캐릭터 치환 시스템.
  5. 제1항에 있어서,
    상기 영상 스트리밍부는
    상기 2차원 영상 및 깊이정보를 웹 알티씨(Web-RTC) 프로토콜을 이용하여 실시간 전송하는 것
    을 특징으로 하는 3차원 캐릭터 치환 시스템.
  6. 중앙처리장치 및 메모리를 구비하는 3차원 캐릭터 치환 시스템의 3차원 캐릭터 치환 방법에 있어서,
    3차원 캐릭터의 모델링 데이터를 저장하는 모델링 데이터 저장 단계;
    3차원 컨텐츠 상에서의 캐릭터의 위치, 각도 및 동작 정보를 포함하는 캐릭터 정보를 컨텐츠 엔진으로부터 수신하는 캐릭터 정보 수신 단계;
    상기 캐릭터 정보를 기초로 상기 3차원 캐릭터의 모델링 데이터를 제어하고, 렌더링하여 2차원 영상 및 상기 2차원 영상의 각 픽셀에 대응되는 깊이정보를 생성하는 캐릭터 영상 생성 단계; 및
    상기 생성된 2차원 영상 및 깊이정보를 상기 컨텐츠 엔진(102)으로 스트리밍하는 영상 스트리밍 단계
    를 포함하는 3차원 캐릭터 치환 방법.
  7. 제6항에 있어서,
    상기 컨텐츠 엔진은
    상기 스트리밍 되는 2차원 영상 및 깊이정보를 수신하고,
    상기 3차원 컨텐츠의 화면에서 캐릭터를 제외한 영상을 생성하고, 상기 깊이정보를 이용하여 상기 2차원 영상을 오버랩하여 3차원 컨텐츠 화면을 출력하는 것
    을 특징으로 하는 3차원 캐릭터 치환 방법.
  8. 제6항에 있어서,
    캐릭터의 복수의 동작을 나타내는 동작 정의 정보를 각각 동작 식별정보에 대응시켜 저장하는 캐릭터 동작 정보 저장 단계
    를 더 포함하고,
    상기 캐릭터 정보에 포함된 동작 정보는 상기 동작 식별정보를 포함하고,
    상기 캐릭터 영상 생성 단계는
    상기 캐릭터 동작 정보 저장부를 참조하여, 상기 수신된 동작 식별정보에 대응되는 동작 정의 정보를 이용하여, 상기 3차원 캐릭터의 동작을 제어하는 것
    을 특징으로 하는 3차원 캐릭터 치환 방법.
  9. 제6항에 있어서,
    상기 캐릭터 영상 생성 단계는
    상기 생성된 2차원 영상 중 정해진 개수의 픽셀을 묶은 픽셀 그룹별 깊이정보를 생성하는 것
    을 특징으로 하는 3차원 캐릭터 치환 방법.
  10. 제6항에 있어서,
    상기 영상 스트리밍 단계는
    상기 2차원 영상 및 깊이정보를 웹 알티씨(Web-RTC) 프로토콜을 이용하여 실시간 전송하는 것
    을 특징으로 하는 3차원 캐릭터 치환 방법.
  11. 제6항 내지 제10항 중 어느 한 항의 방법을 컴퓨터가 실행하도록 기능시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2022/018374 2021-11-22 2022-11-21 3차원 캐릭터 치환 시스템 및 방법 WO2023090959A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210161547 2021-11-22
KR10-2021-0161547 2021-11-22
KR1020220154987A KR20230075363A (ko) 2021-11-22 2022-11-18 3차원 캐릭터 치환 시스템 및 방법
KR10-2022-0154987 2022-11-18

Publications (1)

Publication Number Publication Date
WO2023090959A1 true WO2023090959A1 (ko) 2023-05-25

Family

ID=86397484

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/018374 WO2023090959A1 (ko) 2021-11-22 2022-11-21 3차원 캐릭터 치환 시스템 및 방법

Country Status (1)

Country Link
WO (1) WO2023090959A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000037574A (ko) * 1998-12-01 2000-07-05 김영돈 가상 캐릭터를 이용한 게임 제작 방법
JP2006146887A (ja) * 2004-11-24 2006-06-08 Microsoft Corp キャラクタの制御された操作
JP2009247551A (ja) * 2008-04-04 2009-10-29 Namco Bandai Games Inc ゲームシステム、ゲームプログラムおよび情報記憶媒体
KR101034966B1 (ko) * 2004-09-15 2011-05-17 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 3차원 그래픽을 2차원 비디오로 인코딩하는 방법과 그래픽-비디오 인코더
KR20200070094A (ko) * 2018-12-07 2020-06-17 한국전자통신연구원 캐릭터의 3차원 이미지를 생성하는 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000037574A (ko) * 1998-12-01 2000-07-05 김영돈 가상 캐릭터를 이용한 게임 제작 방법
KR101034966B1 (ko) * 2004-09-15 2011-05-17 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 3차원 그래픽을 2차원 비디오로 인코딩하는 방법과 그래픽-비디오 인코더
JP2006146887A (ja) * 2004-11-24 2006-06-08 Microsoft Corp キャラクタの制御された操作
JP2009247551A (ja) * 2008-04-04 2009-10-29 Namco Bandai Games Inc ゲームシステム、ゲームプログラムおよび情報記憶媒体
KR20200070094A (ko) * 2018-12-07 2020-06-17 한국전자통신연구원 캐릭터의 3차원 이미지를 생성하는 방법 및 시스템

Similar Documents

Publication Publication Date Title
EP3923248A1 (en) Image processing method and apparatus, electronic device and computer-readable storage medium
KR20220008735A (ko) 애니메이션 인터랙션 방법, 장치, 기기 및 저장 매체
US20160225188A1 (en) Virtual-reality presentation volume within which human participants freely move while experiencing a virtual environment
CN107924584A (zh) 增强现实
CN107852573A (zh) 混合现实社交交互
US20220375358A1 (en) Class system, viewing terminal, information processing method, and program
CN109416825A (zh) 用于设备的双重存在的现实到虚拟现实门户
CN115516364A (zh) 工具桥
CN114401442B (zh) 视频直播及特效控制方法、装置、电子设备及存储介质
JP7150894B2 (ja) Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体
CN107111291A (zh) 用于集中管理交互式机器中的人机接口传感器和执行器的装置和方法
CN106227327B (zh) 一种显示转换方法、装置及终端设备
JP2001126085A (ja) 画像生成システム、画像表示システム、画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体および画像生成方法
CN109478342A (zh) 图像显示装置及图像显示系统
WO2015008932A1 (ko) 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
WO2023090959A1 (ko) 3차원 캐릭터 치환 시스템 및 방법
Soares et al. Designing a highly immersive interactive environment: The virtual mine
WO2021025279A1 (ko) Ai 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체
US20210377514A1 (en) User Interface Module For Converting A Standard 2D Display Device Into An Interactive 3D Display Device
KR101770188B1 (ko) 혼합 현실 체험 공간 제공 방법 및 시스템
US20190378335A1 (en) Viewer position coordination in simulated reality
WO2021107595A1 (ko) 가상콘텐츠 체험 시스템 및 그 제어방법
KR20230156788A (ko) 라이트필드/홀로그래픽 미디어를 위한 자산 재이용가능성
WO2023090960A1 (ko) 3차원 캐릭터 치환 시스템 및 방법
WO2019124802A1 (ko) 개별 영상신호 출력을 이용한 매핑 유사홀로그램 제공 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22896156

Country of ref document: EP

Kind code of ref document: A1