WO2022107980A1 - 사용자의 얼굴을 캐릭터에 반영하는 스티커 제공 스토리북 생성 방법 및 장치 - Google Patents

사용자의 얼굴을 캐릭터에 반영하는 스티커 제공 스토리북 생성 방법 및 장치 Download PDF

Info

Publication number
WO2022107980A1
WO2022107980A1 PCT/KR2020/017409 KR2020017409W WO2022107980A1 WO 2022107980 A1 WO2022107980 A1 WO 2022107980A1 KR 2020017409 W KR2020017409 W KR 2020017409W WO 2022107980 A1 WO2022107980 A1 WO 2022107980A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
image
information
character
storybook
Prior art date
Application number
PCT/KR2020/017409
Other languages
English (en)
French (fr)
Inventor
박병화
권영준
조가비
Original Assignee
주식회사 일루니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 일루니 filed Critical 주식회사 일루니
Publication of WO2022107980A1 publication Critical patent/WO2022107980A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Definitions

  • the present invention relates to a method and apparatus for generating a sticker providing a storybook that reflects a user's face on a character, and more particularly, to a user's face image, creating a new image reflecting the expression and shape of the storybook character, and generating the generated image. It relates to a technology for creating a custom storybook by providing it in a form that can be attached to an actual storybook.
  • the digital storybook is implemented through a multimedia device, there is an advantage that additional content reflecting user information can be easily reflected in the digital storybook. Accordingly, personalized content, realistic content, etc., in which the user's information (face, voice, name, etc.) are transferred to the digital storybook, and the user can feel the content more realistically, have appeared.
  • multimedia devices can have a bad effect on young children.
  • digital addictions that appear due to exposure to multimedia devices in early childhood, when control is insufficient, and the adverse effects of light-emitting displays mounted on multimedia devices on the eyesight of infants and young children.
  • An object to be solved in an embodiment of the present invention is to provide a technology for producing a storybook in the form of a paper reflecting a user's face without increasing the production cost due to printing even in the form of a children's book made of paper.
  • the storybook generating method performed by the storybook generating apparatus includes meta including form information, which is a predefined value for specifying the form of a character model in each scene in which characters of storybook content appear.
  • generating data receiving a user's face image; generating a user face-based user model by applying the texture information of the face image to the character; generating a model image in which the user model has a predefined shape in each scene by reflecting predefined shape information for each scene in the user model; and generating a file in a printable form on a predetermined real object including at least one of the model images.
  • the character model includes a 3D model consisting of a set of polygons consisting of vertices, corners, and faces
  • the shape information includes a positional relationship between vertices specifying a shape of the 3D model for each scene, and the Information on the angle of the 3D model may be included.
  • the metadata further includes information on an object that can be expressed together with the user model based on a relative distance from the user model
  • the generating of the user model includes one or more of the user models included in the user model. Comprising the step of generating the user model by setting the relative distance between the vertex and the object to be kept constant,
  • the generating of the user model may include: generating a 3D shape, which is skeletal information, and a UV image, which is texture information, from the face image; and generating a character model reflecting the face image based on the 3D shape and the UV image, wherein the generating of the model image reflects the shape information in the character model, so that the character model is It may include generating a blend shape model (blend shape model) to express a predefined facial expression for the character.
  • blend shape model blend shape model
  • the generating of the user model may include: generating a corrected image obtained by changing at least one of brightness, expression, and angle applied to the face image based on a predetermined image conversion algorithm; generating a 3D shape, which is skeletal information, and a UV image, which is texture information, from the corrected image; and generating a character model reflecting the face image based on the 3D shape and the UV image.
  • the generating of the user model may include an automatic post-correction step of applying a cartoon filter or processing brightness adjustment to the UV image according to a predetermined algorithm.
  • the generating the user model may include a manual post-correction step of applying a cartoon filter or processing brightness adjustment to the UV image based on user settings.
  • the metadata further includes information on an object applied to a character in the first scene and layer information that is an order in which the object and the character model are arranged in the first scene
  • generating the model image includes: generating the model image by applying predefined shape information for the character of the first scene to the user model; loading the object and the layer information applied to the first scene; and arranging the object and the model image according to the order of the layer information to generate a model image to be reflected in the character of the first scene.
  • the metadata further includes page information in which the character is located in each scene and first position information in which the character is located in the page
  • the method corresponds to the model image corresponding to the metadata of each scene.
  • the method may further include generating a custom page in which the user's face is reflected in the page and location in which the character of each scene appears by substituting the used page information and the first location information.
  • the step of generating the file in a printable form may include: substituting the model image in the position of the character model of each scene; generating a first image obtained by extracting a predetermined first area including a model image substituted for each scene; removing a background corresponding to the outside of the second area designated in the first image - the area to be actually printed; generating a second image in which a predetermined third area - an area to be used as a sticker perforation line - is displayed in the second area; and arranging a plurality of second images in an area corresponding to the size of the real object.
  • the disposing of the plurality of second images may include disposing the plurality of second images according to second location information designated to be arranged in an area corresponding to the size of the real object.
  • the metadata includes page information on which the character is located in each scene, first position information on the page where the character is located, and a second image in which the second image is to be arranged in an area corresponding to the size of the real object. It may further include 2 location information, information on the first area, information on the second area, and information on the third area.
  • first and second location information, and information on the first, second, and third regions includes information on coordinates of a pixel, a horizontal size from the coordinates of the pixel, and information about a vertical size from the coordinates of the pixel may include
  • An apparatus for generating a storybook includes: one or more memories for storing instructions for performing a predetermined operation; and one or more processors operably connected to the one or more memories and configured to execute the instructions, wherein the one or more processors are predefined for specifying the shape of the character model in each scene in which the character of the storybook content appears.
  • the storybook generating method performed by the storybook generating apparatus includes metadata including shape information, which is a predefined value that specifies the shape of a character model in each scene in which characters of storybook content appear.
  • shape information which is a predefined value that specifies the shape of a character model in each scene in which characters of storybook content appear.
  • the device for generating a storybook generates a new image in which the facial expression and shape applied to the character are reflected in the user's face image for each scene in which the character appears in the storybook, and the user's face image is reflected
  • a custom storybook reflecting each user's information can be created through an automated process, and furthermore, the user It enables the automatic creation of printable files such as character stickers reflecting the face of
  • a custom storybook and character sticker reflecting user information can be automatically created only with a face image input from the user, effectively reducing the time and cost of creating a custom storybook and character sticker. can do it
  • FIG. 1 is a functional block diagram of an apparatus for generating a storybook according to an embodiment of the present invention.
  • FIG. 2 is a flowchart of a storybook generating method performed by the storybook generating apparatus according to an embodiment of the present invention.
  • FIG. 3 is an exemplary diagram of an operation of generating a user model reflecting a user's face image according to an embodiment of the present invention.
  • FIG. 4 is an exemplary diagram of an operation of generating a model image having a predefined shape in each scene of a storybook by reflecting metadata in a user model according to an embodiment of the present invention.
  • FIG. 5 is an exemplary diagram of an operation of generating a model image to be reflected in a character by arranging an object and a model image based on layer information according to an embodiment of the present invention.
  • FIG. 6 is an exemplary diagram of an operation of generating a custom page in which a user's face is reflected in a page and a location where a character appears in a storybook according to an embodiment of the present invention.
  • FIG. 7 is an exemplary diagram of an operation of extracting a first image that is a first area in which a character appears in a storybook to generate a sticker according to an embodiment of the present invention.
  • FIG. 8 is an exemplary diagram of an operation of generating a second image in which a second area to be actually printed as a sticker and a third area to be used as a perforation line of the sticker are displayed in the first image according to an embodiment of the present invention.
  • FIGS. 9 and 10 are diagrams illustrating an operation of disposing a plurality of second images to be used as stickers in an area corresponding to the size of the real object according to an embodiment of the present invention.
  • a component when it is mentioned that a component is connected or connected to another component, it may be directly connected or connected to the other component, but it should be understood that another component may exist in the middle.
  • an apparatus 100 for generating a storybook may include a memory 110 , a processor 120 , an input interface 130 , a display unit 140 , and a communication interface 150 . have.
  • the memory 110 may store information and commands for performing the embodiments, including the contents DB 111 , the metadata DB 113 , and the command DB 115 .
  • the content DB 111 may store information constituting content included in the storybook.
  • the content DB 111 may store information about a background, an object, and a character included in each page constituting the storybook.
  • the information about the character may include skeletal information representing the skeleton of the character and texture information that is an image forming a surface applied to the skeleton of the character.
  • the skeleton information constituting the character is a 3D shape and the texture information is a UV image (UV image or UV texture)
  • the rules for how the UV image should be mapped to the 3D shape of the character’s skeleton are defined.
  • a character may be realized while a specific UV image is mapped to a 3D shape.
  • the 3D shape may be configured in the form of a mesh
  • the mesh is data of a geometric model generated as a set of polygons consisting of vertices, edges, and faces.
  • the UV image is a two-dimensional image prepared before being coated in a three-dimensional form on the surface of a 3D shape.
  • the character model which is the appearance of the character expressed in the storybook, can be created as the pixels of the UV image are mapped to specific points of the 3D shape according to the rules defined in the UV map, and the texture is applied to the skeleton of the character.
  • the metadata DB 113 may include shape information, object information, layer information, location information, and area information.
  • the shape information may include a predefined value indicating a positional relationship between vertices specifying a shape such as an expression or an angle of the character model in each scene in which the character of the storybook appears, and an angle of the character model.
  • the shape information may include a value for which position and how much the vertices, edges, or faces constituting the 3D model should be moved, and how much the 3D model should be rotated at what angle and how much from the basic shape. It can contain values.
  • the object information may include information on objects disposed together in the character model in each scene in which the character of the storybook appears.
  • the object may include a hat image, a head image, an image representing the mouth of a character, an image of clothes, and the like.
  • the object information may include information about an object that can be expressed together with the object maintaining a constant distance from the user model even if the expression or shape of the user model moves based on the relative distance from a specific point of the user model. .
  • the layer information may include information on which objects expressed together with the character of a specific scene will be arranged and expressed in the storybook with the corresponding character model.
  • the location information may include information on which location on which page of the storybook an object, character, etc. will be arranged.
  • the first location information and the second location information are separately described.
  • the first location information may include page information on which a specific character is located in the storybook and information on coordinates or regions of pixels on the page where the corresponding character is located.
  • the second location information may include coordinates of pixels or information about a location to be moved in order to move an image of a specific area in the storybook to another page.
  • the area information is information on an area to be extracted in order to extract a specific image from the storybook, and may include information for specifying a predetermined area in a predetermined page.
  • the region information specifies information on the region to be extracted, including page information, coordinates of a specific pixel on the page, horizontal size from the coordinates of the pixel, and information about a vertical size from the coordinates of the pixel. can do.
  • the command DB 115 may store a command for performing an operation of the processor 120 to be described later, or a computer code for performing an operation corresponding to the operation of the processor 120 to be described later.
  • the processor 120 may control overall operations of the components included in the storybook generating apparatus 100 , the memory 110 , the input interface 130 , the display unit 140 , and the communication interface 150 .
  • the processor 120 may include a management module 121 , an image module 123 , and a control module 125 .
  • the processor 120 may execute the instructions stored in the memory 110 to drive the management module 121 , the image module 123 , and the control module 125 . Operations performed by the management module 121 , the image module 123 , and the control module 125 may be understood as operations performed by the processor 120 .
  • the management module 121 may generate or change metadata.
  • the management module 121 may generate shape information, layer information, location information, and area information, or may modify values defined in shape information, layer information, location information, and area information.
  • the image module 123 controls overall operations related to images. For example, when receiving a face image from a user, a new image may be generated by changing or correcting the face image according to a predetermined purpose, and the newly created image may be reflected and stored as new content in the storybook.
  • the control module 125 may extract a specific image area according to metadata, and may generate a printable file on a real object by repositioning or rearranging the extracted images.
  • the input interface 130 may receive a user input or new information.
  • the input interface 130 may include a hardware module such as a camera.
  • the display unit 140 may include a hardware configuration for outputting an image including a display panel.
  • the communication interface 150 communicates with an external device to transmit/receive information.
  • the communication interface 150 may include a wireless communication module or a wired communication core module.
  • FIG. 2 is a flowchart of a storybook generating method performed by the storybook generating apparatus 100 according to an embodiment of the present invention.
  • Each step of the method of operation of the method for generating a storybook according to FIG. 2 may be performed by the configurations of the apparatus 100 for generating a storybook described with reference to FIG. 1 , and each step will be described as follows.
  • the management module 121 may generate metadata including shape information, which is a predefined value that specifies a shape of a character model in each scene in which a character of the storybook content appears ( S210 ).
  • the shape information includes the title of the storybook (“name”: “goldilocks”), the page on which a specific character appears in the storybook (“page”: “5”), and the corresponding Information that identifies the character (“id”: “1”), a value that reflects the degree to which the character model is rotated in 3D space (“rot”: [0,0,0])), the vertices that make up the character model , it may include a value (“L_cheek_up:85” to “M_mouth_sad”:100) that reflects the corner or surface to move in a predetermined direction.
  • Such shape information may be defined for each scene of a character appearing in the storybook.
  • the input interface 130 may acquire the user's face image to be reflected in the character of the storybook (S220).
  • a face image may be obtained by directly photographing a face through the input interface 130 camera module, or may be obtained by receiving an image file.
  • the image module 123 may generate a user model to be applied to the face of the character by substituting the user's real face instead of the character model based on the user's face image. To this end, the image module 123 may generate a user face-based user model by applying the texture information of the face image to the character (S230).
  • FIG. 3 is an exemplary diagram of an operation of generating a user model reflecting a user's face image according to an embodiment of the present invention.
  • the image module 123 may generate a 3D shape 11 as skeletal information and a UV image 12 as texture information from the user's face image, and a UV image 12 in the 3D shape 11 . ), based on a predefined UV map (UV mapping), pixels of the UV image 12 are mapped to specific points of the 3D shape 11, and the character's skeleton is textured.
  • UV mapping UV mapping
  • the image module 123 may generate a 3D shape from the user's face image using a 3D face shape generation technique using deep learning, a 3D face shape regression technique, or the like.
  • character model refers to a 3D model in which the UV image of the basic character is applied to the 3D shape of the basic character appearing in the storybook. meaning to include As shown in FIG. 3, the “user model” has rules for how the UV image 12, which is texture information generated from the user's face image, should be mapped to the 3D shape 11, which is skeletal information generated from the user's face image. It means including a model generated based on a predefined UV map (UV mapping).
  • UV mapping UV mapping
  • the image module 123 applies a cartoon filter to the UV image according to at least one algorithm of an adversarial neural network (GAN), an auto-encoder, a cartoon filter, a bilateral filtering, and an image processing technique, or performs automatic post-correction processing for brightness adjustment.
  • GAN adversarial neural network
  • the image module 123 may apply a cartoon filter to the UV image or perform manual post-correction processing for brightness adjustment based on the user's settings.
  • the image module 123 may generate a model image in which the user model has a predefined shape in each scene by reflecting predefined shape information for each scene in which the character appears in the storybook to the user model (S240). ).
  • the model image may include a blend shape model in which a predetermined expression or movement is implemented in the generated user model.
  • the image module 123 is based on a predetermined image conversion algorithm such as an adversarial neural network (GAN) algorithm, an autoencoder, etc. to generate a corrected image in which at least one of brightness, expression, and angle applied to the face image is changed. Accordingly, the image module 123 may generate a 3D shape as skeletal information and a UV image as texture information from the corrected image, and may generate a character model reflecting a face image based on the 3D shape and UV image.
  • GAN adversarial neural network
  • FIG. 4 is an exemplary diagram of an operation of generating a model image having a predefined shape in each scene of a storybook by reflecting metadata in a user model according to an embodiment of the present invention.
  • the image module 123 may control to deform the shape (eg, vertex, edge, face) of the user model according to information defined in the shape information defined in reference numeral 20 of FIG. 4 .
  • the shape information includes the title of the storybook ("name”: “goldilocks”), the page on which a specific character appears in the storybook ("page”: “5"), and information identifying the character (“id”: “1”) ), a value that reflects the degree to which the character model is rotated in three-dimensional space (“rot”: [0,0,0])) It may include a value (“L_cheek_up:85" to "M_mouth_sad”:100).
  • the image module 123 specifies a target to be transformed according to the storybook, page, and character defined in the shape information, and can transform the shape of the user model instead of the character model according to the value determined so that the rotation/shape moves.
  • an object to be expressed together with the user model may be arranged as shown in FIG. 5 .
  • the image module 123 sets the relative distance between one or more vertices included in the user model and a predetermined object to be kept constant based on the object information included in the metadata, thereby creating a user model in which a specific object is expressed together.
  • the corresponding object can be expressed together with the user model while maintaining a certain distance, and in all scenes where a specific character appears in the storybook, the corresponding object is the user model It can be expressed while maintaining a constant distance from
  • FIG. 5 is an exemplary diagram of an operation of generating a model image to be reflected in a character by arranging an object and a model image based on layer information, according to an embodiment of the present invention.
  • the image module 123 applies predefined shape information for a character of a specific scene to a user model to generate a model image, and then refers to metadata and object information and layers applied to the scene.
  • Information can be loaded.
  • the object information placed on the character is "front” and "back”
  • the arrangement order according to the layer information is "1st layer - back hair, 2nd layer - model image, 3rd layer - front hair” If it is, it is possible to create a model image to be reflected in the character of the scene by arranging it as a layer of the back hair - model image - front hair in the corresponding order.
  • FIG. 6 is an exemplary diagram of an operation of generating a custom page in which a user's face is reflected in a page and a location where a character appears in a storybook, according to an embodiment of the present invention.
  • the control module 125 refers to the first location information of the metadata and substitutes the generated model images in each scene where the character appears in the storybook at a time. can Accordingly, it is possible to create a custom storybook including a custom page in which a user's face image is reflected for a specific character in the basic storybook containing the appearance of the basic character.
  • the three-dimensional model is placed in a three-dimensional virtual space, and is output according to a viewpoint viewed from a position of a virtual camera located at a predetermined point in the virtual space.
  • a sense of difference may occur if the model image, which is one of the user models composed of 3D, is output on the 2D paper or screen as it is. have.
  • the control module 125 may perform an operation according to the following embodiment.
  • the control module 125 may call a model image that is a 3D model to be reflected in the storybook into a 3D virtual space. Thereafter, the control module 125 may determine a location of a virtual camera that captures a model image in a virtual space, set the virtual camera to have a finite focal length, and generate a two-dimensional image obtained by photographing the model image. .
  • the focal length refers to the distance between the focal point, which is a point where light is transmitted and converged from the object, and the reference point of the object.
  • the meaning of the focal length for the virtual camera in the virtual space is the distance between the focal point and the model image where light is transmitted through the model image in the virtual space, assuming that light exists in the virtual space.
  • control module 125 sets the focal length so that the image of the 3D model image is focused on a predetermined focus in the virtual space so that the light projected from the 3D model is projected toward the focal point, and the 3D model and the focus A two-dimensional image in which a three-dimensional effect is reflected can be generated by photographing an object with a virtual camera.
  • control module 125 sets the virtual camera to have an infinite focal length, and in the background image corresponding to the page information on which the model image is to be reflected, in the region corresponding to the first position information where the character face is located, A custom page may be created by projecting the two-dimensional image.
  • the focal length is set so that the image of the background and the generated two-dimensional image is formed with a focus located at an infinity distance in a virtual space, so that the light projected from the background and the two-dimensional image is parallel to the infinity focus You can create custom pages by projecting them.
  • the custom page and the custom storybook generated according to the above-described process are digital content stored in a computer.
  • the digital storybook in which the user's face image is reflected in each scene is completed, but if each user prints the storybook in which his or her face is reflected in a paper book, each user has to print it separately, so the production cost may increase significantly. have.
  • FIG. 7 is an exemplary diagram of an operation of extracting a first image 16 that is a first area in which a character appears in a storybook to generate a sticker, according to an embodiment of the present invention.
  • control module 125 may generate a printable file on a predetermined real object including at least one of the model images generated as described above ( S250 ).
  • the control module 125 refers to the area information of the metadata and includes a predetermined first model image substituted for each scene.
  • the first image 16 may be generated by extracting the region. For example, referring to reference numeral 21 of FIG.
  • Metadata is a file name ("book_page_name”: “Goldilocks5") for a page in which a character appears in the storybook, [x coordinate, y] for specifying the first area Coordinates, width, height]("book_page_rect”: “197, 793, 1472, 1681”), character name information (“charac_name”: “goldilocks”), identification information about the page where the character appears in the storybook ( "book_page_idx”:”5"), character identification information (“charac_idx”:”1”), sticker identification information (“sticker_id”: “goldilocks_5_1”), and the like. Accordingly, the control module 125 may extract the first area set in each metadata with reference to metadata information.
  • a first image 16 obtained by extracting a region corresponding to each of "goldiocks_15_1, goldiocks_16_1, goldiocks_16_2, goldiocks_16_3" may be generated.
  • FIG 8 is a second image showing a second area (A) to be actually printed as a sticker and a third area (B) to be used as a perforation line of the sticker in the first image 16 according to an embodiment of the present invention; It is an exemplary diagram of the operation of generating (17).
  • the control module 125 leaves a predetermined second area A to be actually printed as an image to be implemented on a sticker in the first image 16 , and corresponds to the outside of the second area A
  • the background (C) can be removed.
  • the control module 125 may generate a second image 17 in which a third area B designated as an area to be used as a perforation line of the sticker in the second area A is displayed.
  • FIGS. 9 and 10 are diagrams illustrating an operation of disposing a plurality of second images 17 to be used as stickers in an area 18 corresponding to the size of a real object, according to an embodiment of the present invention.
  • the control module 125 may rearrange the plurality of second images 17 to be output as a sticker so that the plurality of second images 17 are printed on an object in a limited area.
  • the control module 125 may arrange the plurality of second images 17 at positions specified in the second position information of the metadata in the region 18 corresponding to the size of the real object to be used as sticker paper. have.
  • a predetermined size eg, the size of FIG. 9 , reference numeral 18
  • a predetermined resolution eg, FIG. 9 , reference numeral
  • image files such as jpg, bmp, tiff, etc.
  • file generated according to an embodiment of the present invention may be used for printing on various objects such as a doll, a pillow, as well as a sticker.
  • control module 125 in addition to the operation described in Figure 9, as well as the rearrangement of the plurality of second images 17, by additionally placing predetermined images (D) in a predetermined position, A printable file may be generated so that objects are output together with the decorative image D together with the second image 17 .
  • the storybook generating apparatus 100 generates a new image in which the facial expression and shape applied to the character are reflected in the user's face image for each scene in which the character appears in the storybook, and the user's face Stickers with images reflected can be provided in a form that can be directly attached to a paper-type storybook.
  • a custom storybook reflecting the information of each user can be generated through an automated process, Furthermore, it is possible to automatically generate a printable file such as a character sticker reflecting the user's face.
  • a custom storybook and character sticker reflecting user information can be automatically created only with a face image input from the user, effectively reducing the time and cost of creating a custom storybook and character sticker. can do it
  • embodiments of the present invention may be implemented through various means.
  • embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.
  • the method according to embodiments of the present invention may include one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), and Programmable Logic Devices (PLDs). , FPGAs (Field Programmable Gate Arrays), processors, controllers, microcontrollers, microprocessors, and the like.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • processors controllers
  • microcontrollers microcontrollers
  • microprocessors and the like.
  • the method according to the embodiments of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above.
  • a computer program in which a software code or the like is recorded may be stored in a computer-readable recording medium or a memory unit and driven by a processor.
  • the memory unit may be located inside or outside the processor, and may transmit and receive data to and from the processor by various known means.
  • combinations of each block in the block diagram attached to the present invention and each step in the flowchart may be performed by computer program instructions.
  • These computer program instructions may be embodied in an encoding processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, such that the instructions executed by the encoding processor of the computer or other programmable data processing equipment may correspond to each block of the block diagram or
  • Each step of the flowchart creates a means for performing the functions described.
  • These computer program instructions may also be stored in a computer-usable or computer-readable memory which may direct a computer or other programmable data processing equipment to implement a function in a particular way, and thus the computer-usable or computer-readable memory.
  • the instructions stored in the block diagram may also produce an item of manufacture containing instruction means for performing a function described in each block of the block diagram or each step of the flowchart.
  • the computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to create a computer or other programmable data processing equipment. It is also possible that instructions for performing the processing equipment provide steps for carrying out the functions described in each block of the block diagram and each step of the flowchart.
  • each block or each step may represent a module, segment, or part of code including one or more executable instructions for executing a specified logical function. It should also be noted that in some alternative embodiments it is also possible for the functions recited in blocks or steps to occur out of order. For example, it is possible that two blocks or steps shown one after another may in fact be performed substantially simultaneously, or that the blocks or steps may sometimes be performed in the reverse order according to the corresponding function.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)

Abstract

본 발명의 일 실시예에 따른 스토리북 생성 방법은 스토리북 콘텐츠에서 캐릭터가 등장하는 각 장면에서 캐릭터 모델이 갖는 형태를 특정하는 기 정의된 값인 형태 정보를 포함하는 메타데이터를 생성하는 단계; 사용자의 얼굴 이미지를 입력 받는 단계; 상기 얼굴 이미지의 텍스처 정보를 상기 캐릭터에 적용한 사용자 얼굴 기반의 사용자 모델을 생성하는 단계; 상기 각 장면에 대해 기 정의된 형태 정보를 상기 사용자 모델에 반영하여, 상기 사용자 모델이 상기 각 장면에서 기 정의된 형태를 띈 모델 이미지를 생성하는 단계; 및 상기 모델 이미지 중 적어도 하나를 포함하여 소정의 실물 객체에 프린팅 가능한 형태의 파일을 생성하는 단계를 포함할 수 있다.

Description

사용자의 얼굴을 캐릭터에 반영하는 스티커 제공 스토리북 생성 방법 및 장치
본 발명은 사용자의 얼굴을 캐릭터에 반영하는 스티커 제공 스토리북 생성 방법 및 장치에 관한 것으로서, 보다 자세하게는 사용자의 얼굴 이미지에 스토리북 캐릭터의 표정과 형태를 반영한 새로운 이미지를 생성하고, 생성된 이미지를 실물 스토리북에 부착 가능한 형태로 제공하여 커스텀 스토리북을 생성하는 기술에 관한 것이다.
최근, 스마트폰, 태블릿 PC와 같은 다양한 멀티미디어 기기가 개발됨에 따라, 동화책을 멀티미디어 기기를 통해 접할 수 있도록 구현한 디지털 스토리북이 등장하였다.
이러한 디지털 스토리북은 멀티미디어 기기를 통해 구현된다는 점 때문에, 사용자의 정보를 반영한 추가적인 콘텐츠를 디지털 스토리북에 용이하게 반영할 수 있다는 이점이 있다. 이에 따라, 디지털 스토리북에 사용자의 정보(얼굴, 목소리, 이름 등)를 이입하여 사용자가 콘텐츠를 더욱 실감나게 느낄 수 있는 개인형 콘텐츠(Personalized Content), 실감 콘텐츠(Realistic Content) 등이 등장하였다.
한편, 멀티미디어 기기는 어린 나이의 영유아에게 안 좋은 영향을 미칠 수 있다는 이면도 존재한다. 예를 들면, 통제력이 부족한 영유아 기에 멀티미디어 기기를 접함에 따라 나타나는 디지털 중독, 멀티미디어 기기에 탑재되는 발광형 디스플레이가 영유아의 시력에 미치는 악영향 등이 있다.
한편, 디지털 스토리북은 반드시 멀티미디어 기기가 있어야만 볼 수 있다는 한계 때문에, 상술한 바와 같이 멀티미디어 기기가 영유아기의 아이들에게 미치는 영향을 고려하여 여전히 종이로 된 동화책에 대한 수요가 존재한다.
이에 더하여, 종이로 된 동화책에서도 사용자의 얼굴 등의 정보를 캐릭터에 이입한 형태의 개인형 콘텐츠에 대한 수요가 존재하는 실정이다. 다만, 종이로 된 동화책은 인쇄를 통해 제작된다는 특성 때문에 사용자마다의 얼굴을 반영하여 제작하는 경우, 디지털 스토리북과 달리 사용자의 얼굴이 반영된 페이지를 사용자마다 새롭게 인쇄하여야 하여 제작비가 대폭 상승한다는 문제가 있다.
본 발명의 실시예에서 해결하고자 하는 과제는 종이로 된 동화책의 형태에서도 인쇄로 인한 제작 비용을 상승시키지 않으면서, 사용자의 얼굴을 반영한 종이 형태의 스토리북을 제작하는 기술을 제공하는 것이다.
특히, 기본 스토리북에서 캐릭터가 등장하는 각 장면마다 해당 캐릭터에 적용되어 있는 다양한 표정과 형태를 사용자의 얼굴 이미지에 반영한 새로운 이미지를 한 번에 생성하고, 이와 같이 생성된 새로운 이미지를 기본 스토리북에 부착할 수 있는 별도의 인쇄 가능한 형태로 제작하는 기술을 제공한다.
더하여, 상술한 과제를 해결하는 기술을 통해 각 사용자로부터 입력받은 얼굴 이미지만으로 각 사용자의 정보가 반영된 커스텀 스토리북 및 캐릭터 스티커를 자동적으로 생성하는 기술을 제공하고자 한다.
다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 도출될 수 있다.
본 발명의 일 실시예에 따른 스토리북 생성 장치가 수행하는 스토리북 생성 방법은, 스토리북 콘텐츠의 캐릭터가 등장하는 각 장면에서 캐릭터 모델이 갖는 형태를 특정하는 기 정의된 값인 형태 정보를 포함하는 메타데이터를 생성하는 단계; 사용자의 얼굴 이미지를 입력 받는 단계; 상기 얼굴 이미지의 텍스처 정보를 상기 캐릭터에 적용한 사용자 얼굴 기반의 사용자 모델을 생성하는 단계; 상기 각 장면에 대해 기 정의된 형태 정보를 상기 사용자 모델에 반영하여, 상기 사용자 모델이 상기 각 장면에서 기 정의된 형태를 띈 모델 이미지를 생성하는 단계; 및 상기 모델 이미지 중 적어도 하나를 포함하여 소정의 실물 객체에 프린팅 가능한 형태의 파일을 생성하는 단계를 포함할 수 있다.
또한, 상기 캐릭터 모델은 정점, 모서리, 및 면으로 이루어진 다각형의 집합으로 구성된 3D 모델을 포함하고, 상기 형태 정보는 상기 각 장면에 대해서, 상기 3D 모델이 갖는 형태를 특정하는 정점 간의 위치 관계 및 상기 3D 모델이 갖는 각도에 대한 정보를 포함할 수 있다.
또한, 상기 메타데이터는 상기 사용자 모델과의 상대적 거리에 기반하여 상기 사용자 모델과 함께 표현될 수 있는 객체에 대한 정보를 더 포함하고, 상기 사용자 모델을 생성하는 단계는 상기 사용자 모델에 포함된 하나 이상의 정점과 상기 객체와의 상대적 거리가 일정하게 유지되도록 설정하여 상기 사용자 모델을 생성하는 단계를 포함하는,
또한, 상기 사용자 모델을 생성하는 단계는 상기 얼굴 이미지로부터 골격 정보인 3D 쉐입과 텍스처 정보인 UV 이미지를 생성하는 단계; 및 상기 3D 쉐입 및 상기 UV 이미지를 기초로 상기 얼굴 이미지를 반영하는 캐릭터 모델을 생성하는 단계를 포함하고, 상기 모델 이미지를 생성하는 단계는 상기 형태 정보를 상기 캐릭터 모델에 반영하여, 상기 캐릭터 모델이 상기 캐릭터에 대해 기 정의된 표정을 표현하도록 하는 블랜드 쉐입 모델(blend shape model)을 생성하는 단계를 포함할 수 있다.
또한, 상기 사용자 모델을 생성하는 단계는 소정의 이미지 변환 알고리즘을 기초로 상기 얼굴 이미지에 적용된 밝기, 표정 및 각도 중 적어도 하나를 변경한 수정 이미지를 생성하는 단계; 상기 수정 이미지로부터 골격 정보인 3D 쉐입과 텍스처 정보인 UV 이미지를 생성하는 단계; 및 상기 3D 쉐입 및 상기 UV 이미지를 기초로 상기 얼굴 이미지를 반영하는 캐릭터 모델을 생성하는 단계를 포함할 수 있다.
또한, 상기 사용자 모델을 생성하는 단계는 소정의 알고리즘에 따라 상기 UV 이미지에 대해 카툰 필터를 적용하거나 또는 밝기 조정을 처리하도록 하는 자동적 후보정 단계를 포함할 수 있다.
또한, 상기 사용자 모델을 생성하는 단계는 사용자 설정에 기초하여 상기 UV 이미지에 대해 카툰 필터를 적용하거나 또는 밝기 조정을 처리하도록 하는 수동적 후보정 단계를 포함할 수 있다.
또한, 상기 메타데이터는 제1 장면의 캐릭터에 적용되는 객체에 대한 정보 및 상기 제1 장면에서 상기 객체와 상기 캐릭터 모델이 배치되는 순서인 레이어 정보를 더 포함하고, 상기 모델 이미지를 생성하는 단계는 상기 제1 장면의 캐릭터에 대해 기 정의된 형태 정보를 상기 사용자 모델에 적용하여 상기 모델 이미지를 생성하는 단계; 상기 제1 장면에 적용되는 상기 객체와 상기 레이어 정보를 로딩하는 단계; 및 상기 레이어 정보의 순서에 따라서 상기 객체와 상기 모델 이미지를 배치하여 상기 제1 장면의 캐릭터에 반영될 모델 이미지를 생성하는 단계를 포함할 수 있다.
또한, 상기 메타데이터는 상기 각 장면에서 상기 캐릭터가 위치하는 페이지 정보 및 페이지에서의 상기 캐릭터가 위치하는 제1 위치 정보를 더 포함하고, 상기 방법은 상기 모델 이미지를 상기 각 장면의 메타데이터에 대응되는 페이지 정보 및 제1 위치 정보에 대입하여, 상기 각 장면의 캐릭터가 등장하는 페이지 및 위치에 상기 사용자 얼굴이 반영된 커스텀 페이지를 생성하는 단계를 더 포함할 수 있다.
또한, 상기 프린팅 가능한 형태의 파일을 생성하는 단계는 상기 각 장면의 캐릭터 모델의 위치에 상기 모델 이미지를 대입하는 단계; 상기 각 장면에 대입된 모델 이미지를 포함하는 기 지정된 제1 영역을 추출한 제1 이미지를 생성하는 단계; 상기 제1 이미지 내에 기 지정된 제2 영역-실제 인쇄될 영역-의 외부에 해당하는 배경을 제거하는 단계; 상기 제2 영역 내에 기 지정된 제3 영역-스티커 절취선으로 사용될 영역-을 표시한 제2 이미지를 생성하는 단계; 및 상기 실물 객체의 크기와 대응되는 영역 내에 복수의 제2 이미지를 배치하는 단계를 포함할 수 있다.
또한, 상기 복수의 제2 이미지를 배치하는 단계는 상기 복수의 제2 이미지가 상기 실물 객체의 크기와 대응되는 영역 내에 배치되기로 기 지정된 제2 위치 정보에 따라 배치되는 단계를 포함할 수 있다.
또한, 상기 메타데이터는 상기 각 장면에서 상기 캐릭터가 위치하는 페이지 정보, 페이지에서의 상기 캐릭터가 위치하는 제1 위치 정보, 상기 실물 객체의 크기와 대응되는 영역 내에서 상기 제2 이미지가 배치될 제2 위치 정보, 상기 제1 영역에 대한 정보, 상기 제2 영역에 대한 정보, 및 상기 제3 영역에 대한 정보를 더 포함할 수 있다.
또한, 상기 제1 및 제2 위치 정보, 상기 제1, 제2, 및 제3 영역에 대한 정보는 픽셀의 좌표, 상기 픽셀의 좌표로부터의 가로 크기, 및 상기 픽셀의 좌표로부터 세로 크기에 대한 정보를 포함할 수 있다.
본 발명의 일 실시예에 따른 스토리북 생성 장치는 소정의 동작을 수행하도록 하는 명령어들을 저장하는 하나 이상의 메모리; 및 상기 하나 이상의 메모리와 동작 가능 하도록 연결되어 상기 명령어들을 실행하도록 설정된 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는 스토리북 콘텐츠의 캐릭터가 등장하는 각 장면에서 캐릭터 모델이 갖는 형태를 특정하는 기 정의된 값인 형태 정보를 포함하는 메타데이터를 생성하는 동작; 사용자의 얼굴 이미지를 입력 받는 동작; 상기 얼굴 이미지의 텍스처 정보를 상기 캐릭터에 적용한 사용자 얼굴 기반의 사용자 모델을 생성하는 동작; 상기 각 장면에 대해 기 정의된 형태 정보를 상기 사용자 모델에 반영하여, 상기 사용자 모델이 상기 각 장면에서 기 정의된 형태를 띈 모델 이미지를 생성하는 동작; 및 상기 모델 이미지 중 적어도 하나를 포함하여 소정의 실물 객체에 프린팅 가능한 형태의 파일을 생성하는 동작을 수행할 수 있다.
본 발명의 일 실시예에 따른 스토리북 생성 장치가 수행하는 스토리북 생성 방법은 스토리북 콘텐츠의 캐릭터가 등장하는 각 장면에서 캐릭터 모델이 갖는 형태를 특정하는 기 정의된 값인 형태 정보를 포함하는 메타데이터를 생성하는 단계; 사용자의 얼굴 이미지를 입력 받는 단계; 상기 얼굴 이미지의 텍스처 정보를 상기 캐릭터에 적용한 사용자 얼굴 기반의 사용자 모델을 생성하는 단계; 상기 각 장면에 대해 기 정의된 형태 정보를 상기 사용자 모델에 반영하여, 상기 사용자 모델이 상기 각 장면에서 기 정의된 형태를 띈 모델 이미지를 생성하는 단계; 및 상기 모델 이미지를 상기 각 장면의 캐릭터가 등장하는 상기 캐릭터 모델의 위치에 대입하여, 상기 각 장면의 캐릭터가 등장하는 페이지 및 위치에 상기 모델 이미지가 반영된 커스텀 페이지를 생성하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 스토리북 생성 장치는 스토리북에서 캐릭터가 등장하는 각 장면마다 해당 캐릭터에 적용되어 있는 표정과 형태를 사용자의 얼굴 이미지에 반영한 새로운 이미지를 생성하여, 사용자의 얼굴 이미지가 반영된 스티커를 종이 형태의 스토리북에 직접 부착 가능한 형태로 제공할 수 있도록 한다. 이러한 기술은 다양한 사용자로부터 얼굴 이미지를 입력 받는 경우, 각 얼굴 이미지에 대해 상술한 동작을 일괄적으로 적용함으로써, 각 사용자의 정보가 반영된 커스텀 스토리북을 자동화된 과정을 통해 생성할 수 있고, 나아가 사용자의 얼굴이 반영된 캐릭터 스티커 등의 인쇄 가능한 파일을 자동적으로 생성할 수 있도록 한다.
이를 통해, 종이로 된 동화책에서 사용자의 개개인의 얼굴 정보를 이입한 형태의 스토리북을 제공함에 있어서도, 사용자 개개인 별로 자신의 이미지가 인쇄된 책을 하나씩 인쇄할 필요 없이, 기본 형태의 스토리북을 다량 인쇄하여 제작한 후, 사용자의 개개인의 얼굴 이미지를 반영한 형태의 스티커를 함께 제공할 수 있다.
이에 따라, 사용자 입장에서 개개인 별로 스토리북을 별도로 인쇄 주문할 필요 없이, 기본 형태의 스토리북에 사용자의 얼굴 이미지가 반영된 스티커를 함께 제공받음으로써 가격이 절감된 개인형 스토리북을 주문할 수 있다. 또한, 사용자는 자신의 얼굴 이미지가 반영된 스티커를 활용하여, 스스로 개인형 스토리북을 만들어 갈 수 있으므로 보다 흥미를 느낄 수 있다.
나아가, 스토리북 생산자의 입장에서는 사용자로부터 입력 받은 얼굴 이미지만으로 사용자의 정보가 반영된 커스텀 스토리북 및 캐릭터 스티커를 자동적으로 생성할 수 있어, 효과적으로 커스텀 스토리북 및 캐릭터 스티커를 생성하는 시간 및 비용을 대폭 감축시킬 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 본 발명의 일 실시예에 따른 스토리북 생성 장치의 기능 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 스토리북 생성 장치가 수행하는 스토리북 생성 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따라 사용자의 얼굴 이미지를 반영한 사용자 모델을 생성하는 동작의 예시도이다.
도 4는 본 발명의 일 실시예에 따라 사용자 모델에 메타데이터를 반영하여 스토리북의 각 장면에서 기 정의된 형태를 띈 모델 이미지를 생성하는 동작의 예시도이다.
도 5는 본 발명의 일 실시예에 따라 레이어 정보를 기초로 객체와 모델 이미지를 배치하여 캐릭터에 반영될 모델 이미지를 생성하는 동작의 예시도이다.
도 6은 본 발명의 일 실시예에 따라 스토리북에서 캐릭터가 등장하는 페이지 및 위치에 사용자 얼굴이 반영된 커스텀 페이지를 생성하는 동작의 예시도이다.
도 7은 본 발명의 일 실시예에 따라 스티커 생성을 위해 스토리북에서 캐릭터가 등장하는 제1 영역인 제1 이미지를 추출하는 동작의 예시도이다.
도 8은 본 발명의 일 실시예에 따라 제1 이미지 내에서 실제 스티커로 인쇄될 제2 영역과, 스티커의 절취선으로 사용될 제3 영역을 표시한 제2 이미지를 생성하는 동작의 예시도이다.
도 9 및 도 10은 본 발명의 일 실시예에 따라 스티커로 사용될 복수의 제2 이미지를 실물 객체의 크기와 대응되는 영역 내에 배치하는 동작의 예시도이다.
본 발명의 이점 및 특징,　그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.　　그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며,　단지 본 실시예들은 본 발명의 개시가 완전하도록 하고,　본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며,　본 발명의 범주는 청구항에　의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다.　　그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.　　그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록들 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합일 수 있다.
또한 어떤 구성 요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성 요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성 요소들을 배제하는 것으로 이해되어서는 안 된다.
나아가 어떤 구성 요소가 다른 구성 요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성 요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다.
또한 '제1, 제2' 등과 같은 표현은 복수의 구성들을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다.
이하에서는 도면들을 참조하여 본 발명의 실시예들에 대해 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 스토리북 생성 장치(100)의 기능 블럭도이다. 도 1을 참조하면, 일 실시 예에 따른 스토리북 생성 장치(100)는 메모리(110), 프로세서(120), 입력 인터페이스(130), 디스플레이부(140) 및 통신 인터페이스(150)를 포함할 수 있다.
메모리(110)는 콘텐츠 DB(111), 메타데이터 DB(113) 및 명령어 DB(115)를 포함하여, 실시예들을 수행시키기 위한 정보 및 명령어들을 저장할 수 있다.
콘텐츠 DB(111)는 스토리북에 포함된 콘텐츠를 구성하는 정보들을 저장할 수 있다. 예를 들어, 콘텐츠 DB(111)는 스토리북을 구성하는 각 페이지에 포함된 배경, 객체, 캐릭터에 대한 정보를 저장할 수 있다.
캐릭터에 대한 정보는 캐릭터의 골격을 표현하는 골격 정보와, 캐릭터의 골격에 입혀지는 표면을 형성하는 이미지인 텍스처 정보를 포함할 수 있다. 이때 캐릭터를 구성하는 골격 정보가 3D 쉐입(3D shape)이고, 텍스처 정보가 UV 이미지(UV image 또는 UV texture)인 경우, 캐릭터의 골격인 3D 쉐입에 UV 이미지가 어떻게 매핑되어야 하는지에 대한 규칙이 정의된 UV 맵(UV mapping)에 따라, 특정 UV 이미지가 3D 쉐입에 매핑되면서 캐릭터가 구현될 수 있다.
여기서, 3D 쉐입은 메쉬(mesh) 형태로 구성될 수 있으며 메쉬는 정점(vertex), 모서리(edge), 면(face)으로 이루어진 다각형(polygon)의 집합으로 생성되는 기하학적 모형의 데이터이다. UV 이미지는 3D 쉐입의 표면에 3차원의 형태로 입혀지기 전에 준비되는 2차원의 이미지이다. 스토리북에 표현되는 캐릭터의 모습인 캐릭터 모델은 UV 맵에 정의된 규칙에 따라 3D 쉐입의 특정 지점에 UV 이미지의 픽셀들이 매핑되어, 캐릭터의 골격에 텍스처가 입혀짐에 따라 생성될 수 있다.
메타데이터 DB(113)는 형태 정보, 객체 정보, 레이어 정보, 위치 정보 및 영역 정보를 포함할 수 있다.
형태 정보는 스토리북의 캐릭터가 등장하는 각 장면에서 캐릭터 모델이 갖는 표정이나 각도 등의 형태를 특정하는 정점 간의 위치 관계, 및 캐릭터 모델이 갖는 각도를 나타내는 기 정의된 값을 포함할 수 있다. 예를 들어, 형태 정보는 3D 모델을 구성하는 정점, 모서리, 또는 면이 어떠한 위치로 얼마나 이동되어야 하는 지에 대한 값을 포함할 수 있고, 3D 모델이 기본 형태에서 어떠한 각도로 얼마나 회전되어야 하는 지에 대한 값을 포함할 수 있다.
객체 정보는 스토리북의 캐릭터가 등장하는 각 장면에서 캐릭터 모델에 함께 배치되는 객체에 대한 정보를 포함할 수 있다. 예를 들어, 객체는 모자 이미지, 머리 이미지, 캐릭터의 입안을 표현하는 이미지, 옷 이미지 등을 포함할 수 있다. 또한, 객체 정보는 사용자 모델의 특정 지점과의 상대적 거리에 기반하여 사용자 모델의 표정이나 형태가 움직여도 객체가 사용자 모델과 일정한 거리를 유지한 채로 함께 표현될 수 있는 객체에 대한 정보를 포함할 수 있다.
레이어 정보는 특정 장면의 캐릭터에 함께 표현되는 객체가, 해당 캐릭터 모델과 어떠한 순서로 배치되어 스토리북에 표현될 것인지에 대한 정보를 포함할 수 있다.
위치 정보는 객체, 캐릭터 등이 스토리북의 어떠한 페이지의 어떠한 위치에 배치될 것인지에 대한 정보를 포함할 수 있다. 본 발명의 실시예에서는 제1 위치 정보와 제2 위치 정보를 구분하여 기술한다. 제1 위치 정보는 스토리북에서 특정 캐릭터가 위치하는 페이지 정보 및 페이지에서의 해당 캐릭터가 위치하는 픽셀의 좌표 또는 영역에 대한 정보를 포함할 수 있다. 제2 위치 정보는 스토리북에 있는 특정 영역의 이미지를 다른 페이지로 이동시키기 위해, 이동되어야 할 위치에 대한 픽셀의 좌표 또는 영역에 대한 정보를 포함할 수 있다.
영역 정보는 스토리북에서 특정 이미지를 추출하기 위해 추출할 영역에 대한 정보로서, 소정의 페이지에서 소정 영역을 특정하기 위한 정보를 포함할 수 있다. 예를 들어, 영역 정보는 페이지 정보, 해당 페이지에서의 특정 픽셀의 좌표, 상기 픽셀의 좌표로부터의 가로 크기, 및 상기 픽셀의 좌표로부터 세로 크기에 대한 정보를 포함하여, 추출될 영역의 정보를 특정할 수 있다.
명령어 DB(115)는 후술할 프로세서(120)의 동작을 수행시키는 명령어, 또는 후술할 프로세서(120)의 동작들과 대응되는 동작을 수행하도록 하는 컴퓨터 코드를 저장할 수 있다.
프로세서(120)는 스토리북 생성 장치(100)가 포함하는 구성들, 메모리(110), 입력 인터페이스(130), 디스플레이부(140), 및 통신 인터페이스(150)의 전반적인 동작을 제어할 수 있다. 프로세서(120)는 관리 모듈(121), 이미지 모듈(123) 및 제어 모듈(125)을 포함할 수 있다. 프로세서(120)는 메모리(110)에 저장된 명령어들을 실행해 관리 모듈(121), 이미지 모듈(123) 및 제어 모듈(125)을 구동 시킬 수 있다. 관리 모듈(121), 이미지 모듈(123) 및 제어 모듈(125)에 의해 수행되는 동작은 프로세서(120)에 의해 수행되는 동작으로 이해될 수 있다.
관리 모듈(121)은 메타데이터를 생성하거나 변경하는 동작을 수행할 수 있다. 예를 들어, 관리 모듈(121)은 형태 정보, 레이어 정보, 위치 정보 및 영역 정보를 생성하거나, 형태 정보, 레이어 정보, 위치 정보 및 영역 정보에 정의된 값을 수정할 수 있다.
이미지 모듈(123)은 이미지와 관련된 전반적인 동작을 제어한다. 예를 들어, 사용자로부터 얼굴 이미지를 입력 받는 경우 소정의 목적에 따라 얼굴 이미지를 변경 또는 수정하여 새로운 이미지를 생성할 수 있고, 새롭게 생성한 이미지를 스토리북의 새로운 콘텐츠로 반영 및 저장할 수 있다.
제어 모듈(125)은 메타데이터에 따라 특정 이미지 영역을 추출하고, 추출된 이미지들의 위치를 재조정 또는 재배치하여 실물 객체에 프린팅 가능한 형태의 파일을 생성할 수 있다.
입력 인터페이스(130)는 사용자의 입력이나, 새로운 정보를 입력 받을 수 있다. 입력 인터페이스(130)는 카메라 등과 같은 하드웨어 모듈을 포함할 수 있다.
디스플레이부(140)는 디스플레이 패널을 포함하여 영상을 출력하는 하드웨어 구성을 포함할 수 있다.
통신 인터페이스(150)는 외부 장치와 통신하여 정보를 송수신 할 수 있게 한다. 이를 위해, 통신 인터페이스(150)는 무선 통신 모듈 또는 유선 통심 모듈을 포함할 수 있다.
이하, 도 2 내지 도 9를 통해 본 발명의 실시예에 따른 스토리북 생성 장치(100)의 구성들이 연동하여 실시예들을 수행하는 동작의 흐름을 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 스토리북 생성 장치(100)가 수행하는 스토리북 생성 방법의 흐름도이다. 도 2에 따른 스토리북 생성 방법의 동작 방법의 각 단계는 도 1을 통해 설명된 스토리북 생성 장치(100)의 구성들에 의해 수행될 수 있으며, 각 단계를 설명하면 다음과 같다.
먼저, 관리 모듈(121)은 스토리북 콘텐츠의 캐릭터가 등장하는 각 장면에서 캐릭터 모델이 갖는 형태를 특정하는 기 정의된 값인 형태 정보를 포함하는 메타데이터를 생성할 수 있다(S210).
예를 들어, 도 4의 도면부호 20을 참조하면 형태 정보는 스토리북의 제목("name": "goldilocks"), 스토리북에서 특정 캐릭터가 등장하는 페이지("page": "5"), 해당 캐릭터를 식별하는 정보("id": "1"), 캐릭터 모델이 3차원 공간에서 회전되는 정도를 반영하는 값("rot": [0,0,0])), 캐릭터 모델을 구성하는 정점, 모서리 또는 면이 소정의 방향으로 움직이도록 반영하는 값("L_cheek_up:85"~ "M_mouth_sad":100)을 포함할 수 있다. 이러한 형태 정보는 스토리북에서 등장하는 캐릭터의 모든 장면 각각마다 정의될 수 있다.
입력 인터페이스(130)는 스토리북의 캐릭터에 반영될 사용자의 얼굴 이미지를 획득할 수 있다(S220). 입력 인터페이스(130) 카메라 모듈을 통해 직접 얼굴을 촬영하여 얼굴 이미지를 획득하거나, 이미지 파일을 입력받아 획득할 수 있다.
이미지 모듈(123)은 사용자의 얼굴 이미지를 기반으로 캐릭터 모델 대신에, 사용자의 실제 얼굴을 대입하여 캐릭터의 안면부에 적용될 사용자 모델을 생성할 수 있다. 이를 위해, 이미지 모듈(123)은 얼굴 이미지의 텍스처 정보를 캐릭터에 적용한 사용자 얼굴 기반의 사용자 모델을 생성할 수 있다(S230).
도 3은 본 발명의 일 실시예에 따라 사용자의 얼굴 이미지를 반영한 사용자 모델을 생성하는 동작의 예시도이다.
도 3을 참조하면, 이미지 모듈(123)은 사용자의 얼굴 이미지로부터 골격 정보인 3D 쉐입(11)과 텍스처 정보인 UV 이미지(12)를 생성할 수 있고, 3D 쉐입(11)에 UV 이미지(12)가 어떻게 매핑되어야 하는지에 대한 규칙이 기 정의된 UV 맵(UV mapping)에 기초하여, 3D 쉐입(11)의 특정 지점에 UV 이미지(12)의 픽셀들이 매핑되어 캐릭터의 골격에 텍스처가 입혀짐에 따라 생성될 수 있다. 예를 들어, 이미지 모듈(123)은 딥러닝을 이용한 3D 얼굴 쉐입 생성 기법, 3D 얼굴 쉐입 회기(Regression) 기법 등을 이용하여, 사용자의 얼굴 이미지로부터 3D 쉐입을 생성할 수 있다.
본 문서에서 사용되는 "캐릭터 모델"과 "사용자 모델"에 대한 용어를 구별하기 위해 설명하면, "캐릭터 모델"은 스토리북에 등장하는 기본 캐릭터의 3D 쉐입에 기본 캐릭터의 UV 이미지가 입혀진 3D 모델을 포함하는 의미이다. "사용자 모델"은 도 3과 같이, 사용자의 얼굴 이미지로부터 생성된 골격 정보인 3D 쉐입(11)에 사용자의 얼굴 이미지로부터 생성된 텍스처 정보인 UV 이미지(12)가 어떻게 매핑되어야 하는지에 대한 규칙이 기 정의된 UV 맵(UV mapping)에 기초하여 생성된 모델을 포함하는 의미이다.
이미지 모듈(123)은 적대적 신경망(GAN), 오토 인코더, 카툰 필터, bilateral filtering, 이미지 프로세싱 기법 중 적어도 하나의 알고리즘에 따라, UV 이미지에 대해 카툰 필터를 적용하거나 또는 밝기 조정을 처리하는 자동적 후보정을 수행할 수 있다. 또한, 이미지 모듈(123)은 사용자의 설정에 기초하여 UV 이미지에 대해 카툰 필터를 적용하거나 또는 밝기 조정을 처리하는 수동적 후보정을 수행할 수 있다.
이미지 모듈(123)은 스토리북에서 캐릭터가 등장하는 각 장면에 대해 기 정의된 형태 정보를 사용자 모델에 반영하여, 사용자 모델이 각 장면에서 기 정의된 형태를 띈 모델 이미지를 생성할 수 있다(S240). 여기서, 모델 이미지는 상기 생성된 사용자 모델에 소정의 표정이나 움직임이 구현되는 블랜드 쉐입 모델(blend shape model)을 포함할 수 있다.
한편, 입력된 얼굴 이미지의 밝기가 너무 밝거나, 얼굴 이미지가 정면을 쳐다보고 있지 않은 이미지인 경우, 이미지 모듈(123)은 적대적 신경망(GAN) 알고리즘, 오토인코더 등과 같은 소정의 이미지 변환 알고리즘을 기초로 얼굴 이미지에 적용된 밝기, 표정 및 각도 중 적어도 하나를 변경한 수정 이미지를 생성할 수 있다. 이에 따라, 이미지 모듈(123)은 수정 이미지로부터 골격 정보인 3D 쉐입과 텍스처 정보인 UV 이미지를 생성하고, 3D 쉐입 및 UV 이미지를 기초로 얼굴 이미지를 반영하는 캐릭터 모델을 생성할 수 있다.
도 4는 본 발명의 일 실시예에 따라, 사용자 모델에 메타데이터를 반영하여 스토리북의 각 장면에서 기 정의된 형태를 띈 모델 이미지를 생성하는 동작의 예시도이다.
도 4를 참조하면, 이미지 모듈(123)은 도 4의 도면부호 20에 정의된 형태 정보에 정의된 정보에 따라 사용자 모델의 형태(ex. 정점, 모서리, 면)를 변형하도록 제어할 수 있다. 형태 정보에는 스토리북의 제목("name": "goldilocks"), 스토리북에서 특정 캐릭터가 등장하는 페이지("page": "5"), 해당 캐릭터를 식별하는 정보("id": "1"), 캐릭터 모델이 3차원 공간에서 회전되는 정도를 반영하는 값("rot": [0,0,0])), 캐릭터 모델을 구성하는 정점, 모서리 또는 면이 소정의 방향으로 움직이도록 반영하는 값("L_cheek_up:85"~ "M_mouth_sad":100)을 포함할 수 있다.
이에 따라, 이미지 모듈(123)은 형태 정보에 정의된 스토리북, 페이지, 캐릭터에 따라 변형시킬 대상을 특정하고, 회전/형태가 움직이도록 정해진 값에 따라 캐릭터 모델 대신 사용자 모델의 형태를 변형시킬 수 있으며, 사용자 모델과 함께 표현될 객체를 도 5와 같이 배치할 수 있다.
이때 이미지 모듈(123)은 메타데이터에 포함된 객체 정보에 기반하여 사용자 모델에 포함된 하나 이상의 정점과 소정의 객체와의 상대적 거리가 일정하게 유지되도록 설정하여, 특정 객체가 함께 표현되는 사용자 모델을 생성할 수 있다. 이에 따라, 형태 정보에 따라 사용자 모델의 표정이나 형태가 변형되어도 해당 객체는 사용자 모델과 일정한 거리를 유지한 채로 함께 표현될 수 있으며, 스토리북에서 특정 캐릭터가 등장하는 모든 장면에서 해당 객체가 사용자 모델과 일정한 거리가 유지된 채로 표현될 수 있다.
도 5는 본 발명의 일 실시예에 따라, 레이어 정보를 기초로 객체와 모델 이미지를 배치하여 캐릭터에 반영될 모델 이미지를 생성하는 동작의 예시도이다.
도 5를 참조하면, 이미지 모듈(123)은 특정 장면의 캐릭터에 대해 기 정의된 형태 정보를 사용자 모델에 적용하여 모델 이미지를 생성한 후, 메타데이터를 참조하여 해당 장면에 적용되는 객체 정보와 레이어 정보를 로딩할 수 있다. 예를 들어, 특정 장면에서 캐릭터에 배치되는 객체 정보가 "앞머리", "뒷머리"이고, 레이어 정보에 따른 배치 순서가 "제1 레이어 - 뒷머리, 제2 레이어 - 모델 이미지, 제3 레이어 - 앞머리"라면, 해당 순서대로 뒷머리-모델 이미지- 앞머리의 레이어로 배치하여, 해당 장면의 캐릭터에 반영될 모델 이미지를 생성할 수 있다.
도 6은 본 발명의 일 실시예에 따라, 스토리북에서 캐릭터가 등장하는 페이지 및 위치에 사용자 얼굴이 반영된 커스텀 페이지를 생성하는 동작의 예시도이다.
도 6을 참조하면, 모델 이미지가 생성됨에 따라, 제어 모듈(125)은 메타데이터의 제1 위치 정보를 참조하여 스토리북에서 캐릭터가 등장하는 각 장면에 상기 생성된 모델 이미지들을 한 번에 대입할 수 있다. 이에 따라, 기본 캐릭터의 모습이 담긴 기본 스토리북에서 특정 캐릭터에 대해 사용자의 얼굴 이미지가 반영된 커스텀 페이지를 포함하는 커스텀 스토리북을 생성할 수 있다.
한편, 3차원으로 구성된 모델은 3차원 가상의 공간에 놓이고, 가상 공간의 소정 지점에 위치하는 가상 카메라의 위치에서 바라보는 관점에 따라 출력된다. 이때 2차원 종이 또는 2차원 화면에 출력되는 스토리북에 3D 모델로 구성된 모델 이미지를 반영하는 경우, 3차원으로 구성된 사용자 모델 중 하나인 모델 이미지를 2차원 종이 또는 화면에 그대로 출력하면 이질감이 발생할 수 있다. 이에 따라, 2D로 출력되는 스토리북에 3D 모델로 구성된 모델 이미지를 반영하는 경우, 제어 모듈(125)은 다음의 실시예에 따른 동작을 수행할 수 있다.
먼저, 제어 모듈(125)은 스토리북에 반영될 3차원 모델인 모델 이미지를 3차원 가상의 공간에 불러올 수 있다. 이후, 제어 모듈(125)은 가상의 공간에서 모델 이미지를 촬영하는 가상 카메라의 위치를 결정하고, 가상 카메라가 유한의 초점 거리를 갖도록 설정하여 상기 모델 이미지를 촬영한 2차원 이미지를 생성할 수 있다. 초점 거리란 객체로부터 빛이 투과되어 모이는 점인 초점과 객체의 기준점 사이의 거리를 의미한다. 본 실시예와 같이 가상의 공간에 있는 가상 카메라에 대한 초점 거리의 의미는 가상의 공간에 빛이 존재한다고 가정하여 가상의 공간 상에 모델 이미지에 빛이 투과되어 모이게 되는 초점과 모델 이미지 사이의 거리를 의미할 수 있다. 즉, 제어 모듈(125)은 가상의 공간에서 3차원 모델 이미지의 상이 소정의 초점에 맺히도록 초점 거리를 설정하여 3차원 모델로부터 투영되는 빛이 상기 초점을 향해 투영되도록 하고, 3차원 모델과 초점 사이에서 가상의 카메라를 객체를 촬영하여 3차원적인 입체감이 반영된 2차원 이미지를 생성할 수 있다.
다음으로, 제어 모듈(125)은 가상 카메라가 무한의 초점 거리를 갖도록 설정하고, 해당 모델 이미지가 반영될 페이지 정보에 대응하는 배경 이미지 중 캐릭터 얼굴이 위치하는 제1 위치 정보에 대응하는 영역에, 상기 2차원 이미지를 투영하여 커스텀 페이지를 생성할 수 있다.
즉, 스토리북의 배경 이미지는 2차원으로 구성되어 입체감이 표현되지 않았기 때문에 이미지에 왜곡이 발생하지 않도록 이미지로부터 가상 카메라에 투영되는 빛이 2차원 이미지와 직교하는 방향으로 투영(= 무한의 초점 거리를 갖도록 투영)되도록 해야 한다. 이를 위해, 가상의 공간에서 배경과 상기 생성된 2차원 이미지의 상이 무한대 거리에 위치하는 초점으로 상이 맺히도록 초점 거리를 설정하여, 배경과 2차원 이미지로부터 투영되는 빛이 무한의 초점을 향해 평행하게 투영되도록 하여 커스텀 페이지를 생성할 수 있다.
한편, 상술한 과정에 따라 생성된 커스텀 페이지 및 커스텀 스토리북은 컴퓨터에 저장되어 있는 형태의 디지털 콘텐츠이다. 상술한 과정에 의하면, 사용자의 얼굴 이미지가 각 장면에 반영된 디지털 스토리북이 완성되었으나, 사용자마다 자신의 얼굴이 반영된 스토리북을 종이책으로 인쇄한다면 사용자마다 별개로 인쇄하여야 하므로 제작비가 대폭 상승할 수 있다.
이에 따라 후술할 도 7 내지 도 9의 실시예에 따르면, 스토리북에서 캐릭터가 등장하는 각 장면마다 적용된 모델 이미지를 기본 캐릭터가 인쇄된 기본 형태의 종이 스토리북에 부착 가능한 형태로 제공하는 기술을 설명한다.
도 7은 본 발명의 일 실시예에 따라, 스티커 생성을 위해 스토리북에서 캐릭터가 등장하는 제1 영역인 제1 이미지(16)를 추출하는 동작의 예시도이다.
도 7을 참조하면, 제어 모듈(125)은 상술한 바에 따라 생성된 모델 이미지 중 적어도 하나를 포함하여 소정의 실물 객체에 프린팅 가능한 형태의 파일을 생성할 수 있다(S250).
스토리북에서 특정 캐릭터가 등장하는 각 장면의 위치에 사용자의 모델 이미지가 대입된 경우, 제어 모듈(125)은 메타데이터의 영역 정보를 참조하여 각 장면에 대입된 모델 이미지를 포함하는 기 지정된 제1 영역을 추출하여 제1 이미지(16)를 생성할 수 있다. 예를 들어, 도 7의 도면부호 21을 참조하면, 메타데이터는 스토리북에서 캐릭터가 등장하는 페이지에 대한 파일명("book_page_name": "Goldilocks5"), 제1 영역을 특정하기 위한 [x 좌표, y 좌표, 가로길이, 세로길이]("book_page_rect": "197, 793, 1472, 1681"), 캐릭터 이름 정보("charac_name": "goldilocks"), 스토리북에서 캐릭터가 등장하는 페이지에 대한 식별 정보("book_page_idx":"5"), 캐릭터 식별 정보("charac_idx":"1"), 스티커 식별정보("sticker_id": "goldilocks_5_1") 등을 포함할 수 있다. 이에 따라, 제어 모듈(125)은 메타데이터의 정보를 참조하여, 각 메타데이터에 설정된 제1 영역을 추출할 수 있다. 예를 들면, 도 7의 하단 그림처럼, "goldiocks_15_1, goldiocks_16_1, goldiocks_16_2, goldiocks_16_3" 각각에 해당하는 영역을 추출한 제1 이미지(16)를 생성할 수 있다.
도 8은 본 발명의 일 실시예에 따라, 제1 이미지(16) 내에서 실제 스티커로 인쇄될 제2 영역(A)과, 스티커의 절취선으로 사용될 제3 영역(B)을 표시한 제2 이미지(17)를 생성하는 동작의 예시도이다.
도 8을 참조하면, 제어 모듈(125)은 제1 이미지(16) 내에서 스티커에 구현될 이미지로서 실제 인쇄될 기 지정된 제2 영역(A)을 남기고, 제2 영역(A)의 외부에 해당하는 배경(C)을 제거할 수 있다. 또한, 제어 모듈(125)은 제2 영역(A) 내에서 스티커의 절취선으로 사용될 영역으로서 기 지정된 제3 영역(B)을 표시한 제2 이미지(17)를 생성할 수 있다.
도 9 및 도 10은 본 발명의 일 실시예에 따라, 스티커로 사용될 복수의 제2 이미지(17)를 실물 객체의 크기와 대응되는 영역(18) 내에 배치하는 동작의 예시도이다.
도 9를 참조하면, 제어 모듈(125)은 스티커로 출력하기 위해 복수의 제2 이미지(17)들을 재배치하여, 한정된 영역의 객체에 다수의 제2 이미지(17)가 인쇄되도록 할 수 있다. 예를 들어, 제어 모듈(125)은 스티커 종이로 사용될 실물 객체의 크기와 대응되는 영역(18) 내에 메타 데이터의 제2 위치 정보에 기 지정된 위치로 복수의 제2 이미지(17)들을 배치할 수 있다. 이에 따라, 도 9의 도면 부호 18과 같이, 재배치된 복수의 제2 이미지(17)를 포함하는 소정 크기(ex. 도 9, 도면 부호 18의 크기) 또는 소정 해상도(ex. 도 9, 도면 부호 18의 크기))의 이미지 파일을 저장하여, 해당 크기 또는 해당 해상도에 대응하는 실물 객체(18)에 프린팅 가능한 형태의 파일(ex. jpg, bmp, tiff 등의 이미지 파일 포함)을 생성할 수 있다. 또한, 본 발명의 실시예에 따라 생성된 파일은 스티커뿐만 아니라, 인형, 베게 등 다양한 객체에 대한 프린팅을 위해 사용될 수 있다.
도 10을 참조하면, 제어 모듈(125)은 도 9에 설명된 동작에 더하여, 복수의 제2 이미지(17)의 재배치 뿐만 아니라, 소정의 이미지(D)들을 기 지정된 위치에 추가로 배치하여, 제2 이미지(17)와 함께 장식용 이미지(D)이 함께 객체들이 출력되도록 프린팅 가능한 형태의 파일을 생성할 수 있다.
상술한 실시예들에 따른 스토리북 생성 장치(100)는 스토리북에서 캐릭터가 등장하는 각 장면마다 해당 캐릭터에 적용되어 있는 표정과 형태를 사용자의 얼굴 이미지에 반영한 새로운 이미지를 생성하여, 사용자의 얼굴 이미지가 반영된 스티커를 종이 형태의 스토리북에 직접 부착 가능한 형태로 제공할 수 있도록 한다. 이러한 실시예에 따르면 다양한 사용자로부터 얼굴 이미지를 입력 받는 경우, 각 얼굴 이미지에 대해 상술한 동작을 일괄적으로 적용함으로써, 각 사용자의 정보가 반영된 커스텀 스토리북을 자동화된 과정을 통해 생성할 수 있고, 나아가 사용자의 얼굴이 반영된 캐릭터 스티커 등의 인쇄 가능한 파일을 자동적으로 생성할 수 있도록 한다.
이를 통해, 종이로 된 동화책에서 사용자의 개개인의 얼굴 정보를 이입한 형태의 스토리북을 제공함에 있어서도, 사용자 개개인 별로 자신의 이미지가 인쇄된 책을 하나씩 인쇄할 필요 없이, 기본 형태의 스토리북을 다량 인쇄하여 제작한 후, 사용자의 개개인의 얼굴 이미지를 반영한 형태의 스티커를 함께 제공할 수 있다.
이에 따라, 사용자 입장에서 개개인 별로 스토리북을 별도로 인쇄 주문할 필요 없이, 기본 형태의 스토리북에 사용자의 얼굴 이미지가 반영된 스티커를 함께 제공받음으로써 가격이 절감된 개인형 스토리북을 주문할 수 있다. 또한, 사용자는 자신의 얼굴 이미지가 반영된 스티커를 활용하여, 스스로 개인형 스토리북을 만들어 갈 수 있으므로 보다 흥미를 느낄 수 있다.
나아가, 스토리북 생산자의 입장에서는 사용자로부터 입력 받은 얼굴 이미지만으로 사용자의 정보가 반영된 커스텀 스토리북 및 캐릭터 스티커를 자동적으로 생성할 수 있어, 효과적으로 커스텀 스토리북 및 캐릭터 스티커를 생성하는 시간 및 비용을 대폭 감축시킬 수 있다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드 등이 기록된 컴퓨터 프로그램은 컴퓨터 판독 가능 기록 매체 또는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고받을 수 있다.
또한 본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
더불어 각 블록 또는 각 단계는 특정된 논리적 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (16)

  1. 스토리북 생성 장치가 수행하는 스토리북 생성 방법에 있어서,
    스토리북 콘텐츠의 캐릭터가 등장하는 각 장면에서 캐릭터 모델이 갖는 형태를 특정하는 기 정의된 값인 형태 정보를 포함하는 메타데이터를 생성하는 단계;
    사용자의 얼굴 이미지를 입력 받는 단계;
    상기 얼굴 이미지의 텍스처 정보를 상기 캐릭터에 적용한 사용자 얼굴 기반의 사용자 모델을 생성하는 단계;
    상기 각 장면에 대해 기 정의된 형태 정보를 상기 사용자 모델에 반영하여, 상기 사용자 모델이 상기 각 장면에서 기 정의된 형태를 띈 모델 이미지를 생성하는 단계; 및
    상기 모델 이미지 중 적어도 하나를 포함하여 소정의 실물 객체에 프린팅 가능한 형태의 파일을 생성하는 단계를 포함하는,
    스토리북 생성 방법.
  2. 제1항에 있어서,
    상기 캐릭터 모델은,
    정점, 모서리, 및 면으로 이루어진 다각형의 집합으로 구성된 3D 모델을 포함하고,
    상기 형태 정보는,
    상기 각 장면에 대해서, 상기 3D 모델이 갖는 형태를 특정하는 정점 간의 위치 관계 및 상기 3D 모델이 갖는 각도에 대한 정보를 포함하는,
    스토리북 생성 방법.
  3. 제2항에 있어서,
    상기 메타데이터는,
    상기 사용자 모델과의 상대적 거리에 기반하여 상기 사용자 모델과 함께 표현될 수 있는 객체에 대한 정보를 더 포함하고,
    상기 사용자 모델을 생성하는 단계는,
    상기 사용자 모델에 포함된 하나 이상의 정점과 상기 객체와의 상대적 거리가 일정하게 유지되도록 설정하여 상기 사용자 모델을 생성하는 단계를 포함하는,
    스토리북 생성 방법.
  4. 제2항에 있어서,
    상기 사용자 모델을 생성하는 단계는,
    상기 얼굴 이미지로부터 골격 정보인 3D 쉐입과 텍스처 정보인 UV 이미지를 생성하는 단계; 및
    상기 3D 쉐입 및 상기 UV 이미지를 기초로 상기 얼굴 이미지를 반영하는 캐릭터 모델을 생성하는 단계를 포함하고,
    상기 모델 이미지를 생성하는 단계는,
    상기 형태 정보를 상기 캐릭터 모델에 반영하여, 상기 캐릭터 모델이 상기 캐릭터에 대해 기 정의된 표정을 표현하도록 하는 블랜드 쉐입 모델(blend shape model)을 생성하는 단계를 포함하는,
    스토리북 생성 방법.
  5. 제2항에 있어서,
    상기 사용자 모델을 생성하는 단계는,
    소정의 이미지 변환 알고리즘을 기초로 상기 얼굴 이미지에 적용된 밝기, 표정 및 각도 중 적어도 하나를 변경한 수정 이미지를 생성하는 단계;
    상기 수정 이미지로부터 골격 정보인 3D 쉐입과 텍스처 정보인 UV 이미지를 생성하는 단계; 및
    상기 3D 쉐입 및 상기 UV 이미지를 기초로 상기 얼굴 이미지를 반영하는 캐릭터 모델을 생성하는 단계를 포함하는,
    스토리북 생성 방법.
  6. 제5항에 있어서,
    상기 사용자 모델을 생성하는 단계는,
    소정의 알고리즘에 따라 상기 UV 이미지에 대해 카툰 필터를 적용하거나 또는 밝기 조정을 처리하도록 하는 자동적 후보정 단계를 포함하는,
    스토리북 생성 방법.
  7. 제5항에 있어서,
    상기 사용자 모델을 생성하는 단계는,
    사용자 설정에 기초하여 상기 UV 이미지에 대해 카툰 필터를 적용하거나 또는 밝기 조정을 처리하도록 하는 수동적 후보정 단계를 포함하는,
    스토리북 생성 방법.
  8. 제1항에 있어서,
    상기 메타데이터는,
    제1 장면의 캐릭터에 적용되는 객체에 대한 정보 및 상기 제1 장면에서 상기 객체와 상기 캐릭터 모델이 배치되는 순서인 레이어 정보를 더 포함하고,
    상기 모델 이미지를 생성하는 단계는,
    상기 제1 장면의 캐릭터에 대해 기 정의된 형태 정보를 상기 사용자 모델에 적용하여 상기 모델 이미지를 생성하는 단계;
    상기 제1 장면에 적용되는 상기 객체와 상기 레이어 정보를 로딩하는 단계; 및
    상기 레이어 정보의 순서에 따라서 상기 객체와 상기 모델 이미지를 배치하여 상기 제1 장면의 캐릭터에 반영될 모델 이미지를 생성하는 단계를 포함하는,
    스토리북 생성 방법.
  9. 제1항에 있어서,
    상기 메타데이터는,
    상기 각 장면에서 상기 캐릭터가 위치하는 페이지 정보 및 페이지에서의 상기 캐릭터가 위치하는 제1 위치 정보를 더 포함하고,
    상기 방법은,
    상기 모델 이미지를 상기 각 장면의 메타데이터에 대응되는 페이지 정보 및 제1 위치 정보에 대입하여, 상기 각 장면의 캐릭터가 등장하는 페이지 및 위치에 상기 사용자 얼굴이 반영된 커스텀 페이지를 생성하는 단계를 더 포함하는,
    스토리북 생성 방법.
  10. 제1항에 있어서,
    상기 프린팅 가능한 형태의 파일을 생성하는 단계는,
    상기 각 장면의 캐릭터 모델의 위치에 상기 모델 이미지를 대입하는 단계;
    상기 각 장면에 대입된 모델 이미지를 포함하는 기 지정된 제1 영역을 추출한 제1 이미지를 생성하는 단계;
    상기 제1 이미지 내에 기 지정된 제2 영역-실제 인쇄될 영역-의 외부에 해당하는 배경을 제거하는 단계;
    상기 제2 영역 내에 기 지정된 제3 영역-스티커 절취선으로 사용될 영역-을 표시한 제2 이미지를 생성하는 단계; 및
    상기 실물 객체의 크기와 대응되는 영역 내에 복수의 제2 이미지를 배치하는 단계를 포함하는,
    스토리북 생성 방법.
  11. 제10항에 있어서,
    상기 복수의 제2 이미지를 배치하는 단계는,
    상기 복수의 제2 이미지가 상기 실물 객체의 크기와 대응되는 영역 내에 배치되기로 기 지정된 제2 위치 정보에 따라 배치되는 단계를 포함하는,
    스토리북 생성 방법.
  12. 제11항에 있어서,
    상기 메타데이터는,
    상기 각 장면에서 상기 캐릭터가 위치하는 페이지 정보, 페이지에서의 상기 캐릭터가 위치하는 제1 위치 정보, 상기 실물 객체의 크기와 대응되는 영역 내에서 상기 제2 이미지가 배치될 제2 위치 정보, 상기 제1 영역에 대한 정보, 상기 제2 영역에 대한 정보, 및 상기 제3 영역에 대한 정보를 더 포함하는,
    스토리북 생성 방법.
  13. 제12항에 있어서,
    상기 제1 및 제2 위치 정보, 상기 제1, 제2, 및 제3 영역에 대한 정보는,
    픽셀의 좌표, 상기 픽셀의 좌표로부터의 가로 크기, 및 상기 픽셀의 좌표로부터 세로 크기에 대한 정보를 포함하는,
    스토리북 생성 방법.
  14. 스토리북 생성 장치에 있어서,
    소정의 동작을 수행하도록 하는 명령어들을 저장하는 하나 이상의 메모리; 및 상기 하나 이상의 메모리와 동작 가능 하도록 연결되어 상기 명령어들을 실행하도록 설정된 하나 이상의 프로세서를 포함하고,
    상기 하나 이상의 프로세서는,
    스토리북 콘텐츠의 캐릭터가 등장하는 각 장면에서 캐릭터 모델이 갖는 형태를 특정하는 기 정의된 값인 형태 정보를 포함하는 메타데이터를 생성하는 동작;
    사용자의 얼굴 이미지를 입력 받는 동작;
    상기 얼굴 이미지의 텍스처 정보를 상기 캐릭터에 적용한 사용자 얼굴 기반의 사용자 모델을 생성하는 동작;
    상기 각 장면에 대해 기 정의된 형태 정보를 상기 사용자 모델에 반영하여, 상기 사용자 모델이 상기 각 장면에서 기 정의된 형태를 띈 모델 이미지를 생성하는 동작; 및
    상기 모델 이미지 중 적어도 하나를 포함하여 소정의 실물 객체에 프린팅 가능한 형태의 파일을 생성하는 동작을 수행하는,
    스토리북 생성 장치.
  15. 제1항의 방법을 프로세서가 수행하도록 하는 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.
  16. 스토리북 생성 장치가 수행하는 스토리북 생성 방법에 있어서,
    스토리북 콘텐츠의 캐릭터가 등장하는 각 장면에서 캐릭터 모델이 갖는 형태를 특정하는 기 정의된 값인 형태 정보를 포함하는 메타데이터를 생성하는 단계;
    사용자의 얼굴 이미지를 입력 받는 단계;
    상기 얼굴 이미지의 텍스처 정보를 상기 캐릭터에 적용한 사용자 얼굴 기반의 사용자 모델을 생성하는 단계;
    상기 각 장면에 대해 기 정의된 형태 정보를 상기 사용자 모델에 반영하여, 상기 사용자 모델이 상기 각 장면에서 기 정의된 형태를 띈 모델 이미지를 생성하는 단계; 및
    상기 모델 이미지를 상기 각 장면의 캐릭터가 등장하는 상기 캐릭터 모델의 위치에 대입하여, 상기 각 장면의 캐릭터가 등장하는 페이지 및 위치에 상기 모델 이미지가 반영된 커스텀 페이지를 생성하는 단계를 포함하는,
    스토리북 생성 방법.
PCT/KR2020/017409 2020-11-17 2020-12-01 사용자의 얼굴을 캐릭터에 반영하는 스티커 제공 스토리북 생성 방법 및 장치 WO2022107980A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0153730 2020-11-17
KR1020200153730A KR102318111B1 (ko) 2020-11-17 2020-11-17 사용자의 얼굴을 캐릭터에 반영하는 스티커 제공 스토리북 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2022107980A1 true WO2022107980A1 (ko) 2022-05-27

Family

ID=78287081

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/017409 WO2022107980A1 (ko) 2020-11-17 2020-12-01 사용자의 얼굴을 캐릭터에 반영하는 스티커 제공 스토리북 생성 방법 및 장치

Country Status (3)

Country Link
US (1) US11282275B1 (ko)
KR (1) KR102318111B1 (ko)
WO (1) WO2022107980A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100461023B1 (ko) * 2002-04-11 2004-12-09 김기서 인터넷을 통한 실시간 개인 전자도서 편집 서비스 시스템
KR20140049340A (ko) * 2012-10-17 2014-04-25 에스케이플래닛 주식회사 이모티콘 생성 장치 및 이모티콘 생성 방법
KR20170002100A (ko) * 2015-06-29 2017-01-06 김영자 감성 아바타 이모티콘 기반의 스마트 러닝 학습 제공 방법, 그리고 이를 구현하기 위한 스마트 러닝 학습 단말장치
KR101902553B1 (ko) * 2017-09-07 2018-09-28 박병화 스토리텔링 콘텐츠 툴 제공 단말기 및 스토리텔링 콘텐츠 제공 방법
KR20200121139A (ko) * 2019-04-15 2020-10-23 강철호 사용자 맞춤형 네임북 제작 시스템과 방법 및 사용자 맞춤형 네임북

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020025916A (ko) 2002-02-09 2002-04-04 서영현 사용자 정보를 이용한 스티커 동화책 제공방법
KR100715321B1 (ko) * 2005-04-27 2007-05-04 텔미정보통신 주식회사 이미지 프로세싱을 이용한 동화 스토리 진행 방법
US8391642B1 (en) * 2008-05-12 2013-03-05 Hewlett-Packard Development Company, L.P. Method and system for creating a custom image
US20140088750A1 (en) * 2012-09-21 2014-03-27 Kloneworld Pte. Ltd. Systems, methods and processes for mass and efficient production, distribution and/or customization of one or more articles
KR20140004604A (ko) * 2013-10-02 2014-01-13 인텔렉추얼디스커버리 주식회사 ３차원 얼굴 생성 장치 및 방법
US20150143209A1 (en) * 2013-11-18 2015-05-21 PlayMeBook Ltd. System and method for personalizing digital content
KR101588294B1 (ko) * 2013-12-30 2016-01-28 삼성전자주식회사 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법
US9911220B2 (en) * 2014-07-28 2018-03-06 Adobe Systes Incorporated Automatically determining correspondences between three-dimensional models
KR102306538B1 (ko) * 2015-01-20 2021-09-29 삼성전자주식회사 콘텐트 편집 장치 및 방법
KR200481226Y1 (ko) 2015-05-13 2016-08-31 이미옥 Nfc 메시지 기반의 스토리텔링 보드게임 제공을 위한 nfc 스티커 및 모바일 스마트 디바이스
KR20180082170A (ko) * 2017-01-10 2018-07-18 트라이큐빅스 인크. 3차원 얼굴 모델 획득 방법 및 시스템
KR20180097915A (ko) * 2017-02-24 2018-09-03 트라이큐빅스 인크. 개인 맞춤형 3차원 얼굴 모델 생성 방법 및 그 장치
KR102104712B1 (ko) 2018-04-16 2020-04-24 케이티하이텔 주식회사 증강현실 기술 기반의 가상 스티커 부착 게임 방법 및 그 장치
KR20210040555A (ko) * 2019-10-04 2021-04-14 주식회사 케이티 베이시스 모델에 기초하여 가상 캐릭터의 표정을 모사하는 장치, 방법 및 컴퓨터 프로그램

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100461023B1 (ko) * 2002-04-11 2004-12-09 김기서 인터넷을 통한 실시간 개인 전자도서 편집 서비스 시스템
KR20140049340A (ko) * 2012-10-17 2014-04-25 에스케이플래닛 주식회사 이모티콘 생성 장치 및 이모티콘 생성 방법
KR20170002100A (ko) * 2015-06-29 2017-01-06 김영자 감성 아바타 이모티콘 기반의 스마트 러닝 학습 제공 방법, 그리고 이를 구현하기 위한 스마트 러닝 학습 단말장치
KR101902553B1 (ko) * 2017-09-07 2018-09-28 박병화 스토리텔링 콘텐츠 툴 제공 단말기 및 스토리텔링 콘텐츠 제공 방법
KR20200121139A (ko) * 2019-04-15 2020-10-23 강철호 사용자 맞춤형 네임북 제작 시스템과 방법 및 사용자 맞춤형 네임북

Also Published As

Publication number Publication date
KR102318111B1 (ko) 2021-10-27
US11282275B1 (en) 2022-03-22
KR102318111B9 (ko) 2022-06-10

Similar Documents

Publication Publication Date Title
US5280305A (en) Method and apparatus for forming a stylized, three-dimensional object
US4970666A (en) Computerized video imaging system for creating a realistic depiction of a simulated object in an actual environment
US5960099A (en) System and method for creating a digitized likeness of persons
WO1980002490A1 (en) Method and apparatus for producing an image of a person's face at a different age
JPH05174129A (ja) ３次元モデルを映像化するためのモデリング装置
CN105629653A (zh) 一种基于三维模型的交互式全息投影方法
CN103139478A (zh) 一种主副画面实时渲染的拍照方法
KR102353556B1 (ko) 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치
CN113034680A (zh) 一种基于桌面真三维的组态图显示方法
CN107869955A (zh) 一种激光三维扫描仪系统及使用方法
WO2022107980A1 (ko) 사용자의 얼굴을 캐릭터에 반영하는 스티커 제공 스토리북 생성 방법 및 장치
US20220044466A1 (en) Animation System
JP4399125B2 (ja) 画像表示装置および画像表示方法
JPH0727725Y2 (ja) 画像編集装置
US20230113359A1 (en) Full color spectrum blending and digital color filtering for transparent display screens
KR101742779B1 (ko) 음성인식형 입체적 디지털영상 구현시스템
KR101968152B1 (ko) 색칠놀이 기반의 영상분석 및 3d디스플레이 시스템
US20190333405A1 (en) Illustration Instructor
CN103795925A (zh) 一种可交互的主副画面实时渲染的拍照方法
KR20020067088A (ko) 3차원 동화상 모델 얼굴 대체 방법 및 장치
JPH11149285A (ja) 映像音響システム
CN213339435U (zh) 用于拍摄录像的显示装置及视频制作系统
JP2598903B2 (ja) 三次元文字組版装置
US20170221504A1 (en) Photorealistic CGI Generated Character
JP7011363B1 (ja) 絵コンテ制作装置、絵コンテ制作方法及び絵コンテ制作プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20962586

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20962586

Country of ref document: EP

Kind code of ref document: A1