WO2019124850A1 - 사물 의인화 및 인터랙션을 위한 방법 및 시스템 - Google Patents

사물 의인화 및 인터랙션을 위한 방법 및 시스템 Download PDF

Info

Publication number
WO2019124850A1
WO2019124850A1 PCT/KR2018/015671 KR2018015671W WO2019124850A1 WO 2019124850 A1 WO2019124850 A1 WO 2019124850A1 KR 2018015671 W KR2018015671 W KR 2018015671W WO 2019124850 A1 WO2019124850 A1 WO 2019124850A1
Authority
WO
WIPO (PCT)
Prior art keywords
character
face mask
interaction
information
personification
Prior art date
Application number
PCT/KR2018/015671
Other languages
English (en)
French (fr)
Inventor
정유진
김상욱
Original Assignee
네이버랩스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170176004A external-priority patent/KR102026416B1/ko
Priority claimed from KR1020170176001A external-priority patent/KR102026172B1/ko
Application filed by 네이버랩스 주식회사 filed Critical 네이버랩스 주식회사
Publication of WO2019124850A1 publication Critical patent/WO2019124850A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Definitions

  • the following description relates to a technique of characterizing an object and interacting through a characterized interface.
  • 3D models for objects are increasing in various fields such as AR (Augmented Reality), computer game and animation production.
  • 3D models are created using skilled experts and professional software tools or using scanners. Recently, however, research has been actively conducted to enable users to easily create 3D models.
  • Korean Patent Registration No. 10-1747951 discloses a technique for providing a new 3D human character production method using 3D computer graphics based on multi-view shooting.
  • It provides a method and system that can create an anthropomorphic character for an object and use it as an AI agent as a digital agent.
  • a method of interacting with objects performed in a computer system comprising: attaching a face mask to an object specified in an Augmented Reality (AR) space to generate an anthropomorphic character for the object; And providing an interaction with the object using the personification character as an interface.
  • AR Augmented Reality
  • the object interaction method may further include generating the face mask from the image through face modeling of an input image or selected image from an electronic device.
  • the step of generating the face mask may extract a face region from the image and convert the extracted face region into a 3D object.
  • the creating step may include attaching a face mask specific to a particular company or product to the object.
  • the generating step may include implementing the face mask to track the object based on the 3D information of the object.
  • the generating step may include blending the boundary of the face mask.
  • the generating step may include blending the boundary of the face mask using the color value of the object.
  • the providing step may output the selected information in the AI dialog system based on the context of the object through the personification character.
  • the providing step may include a step of recognizing the type of the object through an object recognition technique and selecting contents related to the type of the object.
  • the providing step may include a step of identifying location information related to the object and selecting contents related to the object.
  • the providing step may include selecting contents related to the object according to a subject set in the face mask.
  • the providing step may include providing an interface element of the personification character with an identity related to the object or the face mask.
  • the providing step may include applying the voice of the personification character to the kind of the object or the voice corresponding to the person of the face mask.
  • the providing step may include reflecting action information corresponding to the gesture on the personification character based on gesture information on the personification character.
  • the providing step may include changing the expression of the personification character or attaching an effect in correspondence with gesture information on the personification character.
  • the providing step may output visual information together using a separate graphical user interface.
  • a computer-readable recording medium having recorded thereon a program for causing a computer to execute the object interaction method.
  • a computer system comprising: at least one processor configured to execute computer-readable instructions contained in a memory, the at least one processor attaching a face mask to an object specified in the AR space, A character generator for generating a character string; And an interaction unit for providing an interaction with the object using the personification character as an interface.
  • an identity associated with an object or personification face can be assigned to a character and an artificial intelligence conversation can be filtered based on the object or user's context.
  • FIG. 1 is a diagram illustrating an example of a network environment according to an embodiment of the present invention.
  • FIG. 2 is a block diagram for explaining an internal configuration of an electronic device and a server in an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating an example of components that a processor of a server according to an embodiment of the present invention may include.
  • FIG. 4 is a flowchart illustrating an example of a method that a processor of a server according to an embodiment of the present invention can perform.
  • 5 to 6 are exemplary diagrams for explaining a process of generating a face mask in an embodiment of the present invention.
  • FIGS. 7 to 8 are exemplary diagrams for explaining a process of creating an unintentional character in an embodiment of the present invention.
  • 9 to 10 are exemplary diagrams for explaining an interaction process using an uncharacterized character in an embodiment of the present invention.
  • 11 is a diagram for explaining another example of the personification character in an embodiment of the present invention.
  • FIG. 12 is a flowchart showing an example of an interaction method using an uncharacterized character in an embodiment of the present invention.
  • FIG. 13 is a flowchart showing another example of an interaction method using an unintentional character in an embodiment of the present invention.
  • FIG. 14 is a flowchart showing another example of an interaction method using an uncharacterized character in an embodiment of the present invention.
  • 15 to 16 are exemplary diagrams for explaining an anthropomorphic character serving as various agents in an embodiment of the present invention.
  • the object interaction method according to embodiments of the present invention can be performed through a computer device such as an electronic device or a server to be described later.
  • a computer program according to an embodiment of the present invention can be installed and driven in the computer device, and the computer device can perform the method for interacting with objects according to an embodiment of the present invention, under the control of a computer program driven .
  • the above-described computer program may be stored in a computer-readable recording medium for causing a computer to execute a method for interacting with a material, in combination with a computer apparatus.
  • a server serves as an information platform for providing information through an Augmented Reality (AR) service.
  • AR Augmented Reality
  • the server can characterize objects and support interaction with objects through a characterized interface.
  • 1 is a diagram illustrating an example of a network environment according to an embodiment of the present invention. 1 shows an example in which a plurality of electronic devices 110, 120, 130, 140, a plurality of servers 150, 160, and a network 170 are included. 1, the number of electronic devices and the number of servers are not limited to those shown in FIG.
  • the plurality of electronic devices 110, 120, 130, 140 may be a fixed terminal implemented as a computer device or a mobile terminal.
  • Examples of the plurality of electronic devices 110, 120, 130 and 140 include a smart phone, a mobile phone, a navigation device, a computer, a notebook, a digital broadcast terminal, a PDA (Personal Digital Assistants) ), A tablet PC, a game console, a wearable device, an Internet of things (IoT) device, a virtual reality (VR) device, and an augmented reality (AR) device.
  • FIG. 1 illustrates the shape of a smartphone as an example of the first electronic device 110, but in the embodiments of the present invention, the first electronic device 110 transmits the network 170 using a wireless or wired communication method.
  • any of a variety of physical computer devices capable of communicating with other electronic devices 120, 130, 140 and / or servers 150 any of a variety of physical computer devices capable of communicating with other electronic devices 120, 130, 140 and / or servers 150,
  • the communication method is not limited and includes a communication method using a communication network (for example, a mobile communication network, a wired Internet, a wireless Internet, a broadcasting network, a satellite network, etc.) .
  • the network 170 may be a personal area network (LAN), a local area network (LAN), a campus area network (CAN), a metropolitan area network (MAN), a wide area network (WAN) , A network such as the Internet, and the like.
  • the network 170 may also include any one or more of a network topology including a bus network, a star network, a ring network, a mesh network, a star-bus network, a tree or a hierarchical network, It is not limited.
  • Each of the servers 150 and 160 is a computer device or a plurality of computers that communicate with a plurality of electronic devices 110, 120, 130 and 140 through a network 170 to provide commands, codes, files, Lt; / RTI > devices.
  • the server 150 may be a system that provides a first service to a plurality of electronic devices 110, 120, 130, 140 connected through a network 170, 170, and 140 to the first and second electronic devices 110, 120, 130, and 140, respectively.
  • the server 150 may transmit a desired service (for example, an AR service or the like) through an application as a computer program installed in and driven by a plurality of electronic devices 110, 120, 130, As a first service, to a plurality of electronic devices 110, 120, 130, and 140.
  • a desired service for example, an AR service or the like
  • the server 160 may provide a service for distributing a file for installing and running the application to the plurality of electronic devices 110, 120, 130, and 140 as a second service.
  • 2 is a block diagram for explaining an internal configuration of an electronic device and a server in an embodiment of the present invention. 2 illustrates an internal configuration of the electronic device 1 (110) and the server 150 as an example of the electronic device. Other electronic devices 120, 130, 140 and server 160 may also have the same or similar internal configuration as electronic device 1 110 or server 150 described above.
  • the electronic device 1 110 and the server 150 may include memories 211 and 221, processors 212 and 222, communication modules 213 and 223 and input / output interfaces 214 and 224.
  • the memories 211 and 221 are non-transitory computer readable recording media and can be used to store non-transient computer readable media such as random access memory (RAM), read only memory (ROM), disk drive, solid state drive (SSD), flash memory And may include a permanent mass storage device.
  • the non-decaying mass storage device such as a ROM, an SSD, a flash memory, a disk drive, or the like may be included in the electronic device 110 or the server 150 as a separate persistent storage device separate from the memories 211 and 221.
  • the memory 211 and the memory 221 are provided with an operating system and at least one program code (for example, a program installed in the electronic device 1 (110) and used for a browser or an application installed in the electronic device 1 Code) can be stored.
  • These software components may be loaded from a computer readable recording medium separate from the memories 211 and 221.
  • a computer-readable recording medium may include a computer-readable recording medium such as a floppy drive, a disk, a tape, a DVD / CD-ROM drive, and a memory card.
  • the software components may be loaded into memory 211, 221 via communication modules 213, 223 rather than a computer readable recording medium.
  • At least one program may be a computer program installed by files provided by a file distribution system (e.g., the server 160 described above) that distributes installation files of developers or applications, May be loaded into the memory 211, 221 based on the application (e.g., the application described above).
  • a file distribution system e.g., the server 160 described above
  • the application e.g., the application described above.
  • Processors 212 and 222 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input / output operations.
  • the instructions may be provided to the processors 212 and 222 by the memories 211 and 221 or the communication modules 213 and 223.
  • the processor 212, 222 may be configured to execute a command received in accordance with a program code stored in a recording device, such as the memory 211, 221.
  • the communication modules 213 and 223 may provide functions for the electronic device 1 110 and the server 150 to communicate with each other through the network 170 and may be provided to the electronic device 1 110 and / May provide a function for communicating with another electronic device (e.g., electronic device 2 120) or another server (e.g., server 160).
  • another electronic device e.g., electronic device 2 120
  • another server e.g., server 160
  • the request generated by the processor 212 of the electronic device 1 110 according to the program code stored in the recording device such as the memory 211 is transmitted to the server 170 via the network 170 under the control of the communication module 213 150 < / RTI > Conversely, control signals, commands, contents, files, and the like provided under the control of the processor 222 of the server 150 are transmitted to the communication module 223 of the electronic device 110 via the communication module 223 and the network 170 213 to the electronic device 1 (110).
  • control signals, commands, contents, files, and the like of the server 150 received through the communication module 213 can be transmitted to the processor 212 or the memory 211, (The above-mentioned persistent storage device), which may further include a storage medium 110 for storing data.
  • the input / output interface 214 may be a means for interfacing with the input / output device 215.
  • the input device may include a device such as a keyboard, a mouse, a microphone, a camera, and the like
  • the output device may include a device such as a display, a speaker, a haptic feedback device
  • the input / output interface 214 may be a means for interfacing with a device having integrated functions for input and output, such as a touch screen.
  • the input / output device 215 may be composed of the electronic device 1 (110) and one device.
  • the input / output interface 224 of the server 150 may be a means for interfacing with the server 150 or an interface with a device (not shown) for input or output that the server 150 may include.
  • the configuration is performed using the data provided by the server 150 or the electronic device 2 (120)
  • a service screen or contents can be displayed on the display through the input / output interface 214.
  • electronic device 1 110 and server 150 may include more components than the components of FIG. However, there is no need to clearly illustrate most prior art components.
  • electronic device 1 110 may be implemented to include at least a portion of input / output devices 215 described above, or may be implemented with other components such as a transceiver, Global Positioning System (GPS) module, camera, Elements. More specifically, when the electronic device 1 (110) is a smart phone, the acceleration sensor, the gyro sensor, the camera module, various physical buttons, buttons using a touch panel, input / output ports, A vibrator, and the like may be further included in the electronic device 1 (110).
  • GPS Global Positioning System
  • a character acts not only as an avatar for the user in the space but also as a digital agent communicating information and communicating with the user, or as a major character or protagonist in the content scenario .
  • FIG. 3 is a block diagram illustrating an example of a component that a processor of a server according to an exemplary embodiment of the present invention may include;
  • FIG. 4 is a diagram illustrating a method Fig.
  • the server 150 can provide an information platform service that provides various information through the AR service.
  • the server 150 serves as a platform for providing AR contents to a plurality of electronic devices 110, 120, 130, and 140 as clients.
  • the server 150 may provide services for supporting AR-based object personification and interaction in cooperation with an application installed on the electronic devices 110, 120, 130 and 140.
  • the processor 222 of the server 150 includes a mask generation unit 310, a character generation unit 320, and an interaction unit (not shown) 330).
  • the components of processor 222 may optionally be included or excluded from processor 222 in accordance with an embodiment.
  • the components of the processor 222 may be separate or merged for the representation of the functionality of the processor 222.
  • the components of the processor 222 and the processor 222 may control the server 150 to perform the steps S410 through S440 included in the method for interacting with the objects shown in FIG.
  • the components of processor 222 and processor 222 may be implemented to execute instructions in accordance with the code of the operating system and the code of at least one program that memory 221 contains.
  • processor 222 may be representations of different functions of processor 222 performed by processor 222 in accordance with instructions provided by the program code stored in server 150 .
  • the mask generator 310 may be used as a functional representation of the processor 222 that controls the server 150 in accordance with the above-described instructions to cause the server 150 to generate a face mask.
  • step S410 the processor 222 may read the necessary commands from the loaded memory 221 with instructions related to control of the server 150.
  • the read command may include instructions for controlling the processor 222 to execute the steps (S420 to S440) to be described later.
  • the mask generation unit 310 may generate a face mask from the image through face modeling of the image designated by the user of the electronic device 110.
  • an image to be modeled an image selected from an image received from the electronic device 1 110 or an image on a database related to the server 150 may be used.
  • the mask generation unit 310 may generate a face mask by modeling the face included in the image in 3D.
  • the modeling method may include shading-based modeling for generating a face model using gradual changes in shading information in the image, Known modeling techniques can be used such as solid modeling that generates a face model using vertices, ridges, faces, masses, and the like.
  • the mask generation unit 310 may extract a mask of a face area including a forehead, an eyebrow, an eye, a nose, a mouth, an ear, and the like from a modeled face to convert the mask into a 3D object.
  • the character generating unit 320 may synthesize the face mask generated in step S420 on an object specified in the AR service environment to generate a personification character for the object.
  • the character generating unit 320 attaches a face mask to a specific object selected by the user of the electronic device 1 (110) through a specific object or camera screen pointed by the camera of the electronic device 1 (110) in the AR service environment, Can be converted into a character.
  • the character generating unit 320 may blend the boundaries of the mask area so that the face mask can be naturally laid on a specific object.
  • the character generating unit 320 can utilize representative colors of faces or objects for natural rendering of the face mask.
  • the character generating unit 320 may extract a representative color in an area other than the eyes, the eyebrows, the nose, and the mouth area, and then reflect the corresponding color in the character's skin color.
  • the avatar skin color can be processed with the extracted representative color in order to smoothly process the portion where the skin color such as the hand or neck is exposed.
  • the character generating unit 320 may extract a representative color around a region where a face mask is to be synthesized in a specific object, and then blend the boundary of the mask region using the corresponding color.
  • the character generating unit 320 may extract a color value of an area to be synthesized with a face mask in a specific object, and perform blending using the color value of the object with respect to the boundary of the mask area. That is, the character generating unit 320 may reflect the representative color of an object on the boundary of the face mask in order to smooth the boundary between the face mask and the object.
  • the character generating unit 320 may implement the 3D masking technique to track the object using a face mask attached to a specific object. 2D-based tracking will fail to track when objects or cameras move over a distance. In order to cope with various movements in the X, Y, and Z axes, it is effective to utilize 3D tracking.
  • 3D model information can be obtained by using CAD. If you are using CAD, most of the time you need to set the starting point for tracking. It is also possible to obtain 3D model information for various views using deep runs instead of CAD.
  • the server 150 can construct a standard model, which is 3D information, for each object through preliminary learning of objects, and can provide a 3D standard model for a specific object to be characterized.
  • the character generating unit 320 may acquire the 3D standard model learned in advance for a specific object that the user intends to characterize, and implement 3D tracking of the character on the basis of the obtained 3D standard model.
  • the character generating unit 320 uses the 3D information provided directly by the electronic device 110 to perform 3D tracking of the character Can be implemented.
  • the interaction unit 330 may provide an interaction with a corresponding object by using a character, which is a person who is a person with a face mask, as an interface.
  • the interaction unit 330 can interact through a characterized interface by attaching a face mask to a specific object.
  • the interaction unit 330 may communicate with a user through a specific object in cooperation with an AI (Artificial Intelligence) dialog system, or may provide various information such as weather, news, music, map, and photograph.
  • AI Artificial Intelligence
  • the artificial intelligence dialog system is applied to a personal secretary system, a chatbot platform, an AI speaker, etc., and can understand the intention of a user's command and provide corresponding information.
  • the interaction unit 330 when the interaction unit 330 receives the voice input "today's weather" according to the user's utterance from the electronic device 110, the interaction unit 330 recognizes and analyzes the received voice input to acquire information on today's weather The obtained information can be outputted as voice or text, as in "Today's weather", through the characterized object in the AR space. At this time, the interaction unit 330 may provide visual information by using a separate pop-up window, a word bubble, a tooltip, or the like in the information providing process.
  • the interaction unit 330 may change the facial expression of the face mask implemented with the personification character to exchange and express emotions between the object and the user.
  • the interaction unit 330 can change the expression of the character through transformation of the face region of the masked object through 3D modeling and attach various effects to the personified object in order to maximize the expression of emotion Things are also possible.
  • An effect is a content composed of image objects, which can include synthesizable filters, stickers, emoticons, etc. in an AR-based image. This can be used not only as fixed objects but also as moving image objects using flash or animation It can be implemented. These effects are representative of emotion information and can be pre-classified by emotion.
  • a plurality of emotions for example, joy, sadness, surprise, anxiety, suffering, anxiety, fear, Effects that represent the emotion
  • the interaction unit 330 may extract emotion information from the sentence of the voice input received from the user for emotion expression.
  • the emotion information may include emotion type and emotion intensity (emotion degree).
  • the term indicating the emotion, that is, the emotional terms is determined in advance and is classified into a plurality of types of emotions (for example, joy, sadness, surprise, anxiety, suffering, anxiety, fear, (For example, 1 to 10) in accordance with the degree of strength.
  • Emotional terms can include specific words that express emotions, as well as phrases or sentences that contain specific words.
  • phrases such as "I like” or “I'm bothered” or phrases like "I like it too much” or sentences can be included in the category of emotional terms.
  • the interaction unit 330 extracts a morpheme in a sentence corresponding to a user's voice input, extracts a predetermined emotion term from the extracted morpheme, and classifies the emotion type and emotion intensity corresponding to the extracted emotion term. If a plurality of emotional terms are included in the sentence of the speech input, the weight can be calculated according to the emotional type and the emotional intensity to which the emotional term belongs, thereby calculating the emotional vector for the emotional information of the sentence, Can be extracted.
  • the interaction unit 330 can change the expression of the character or expose the effect of the emotion corresponding to the emotion information, for example, the emotion information recognized from the voice input of the user.
  • the interaction unit 330 can utilize the personified person's character as an artificial intelligent digital agent for providing information.
  • 5 to 6 are exemplary diagrams for explaining a process of generating a face mask in an embodiment of the present invention.
  • the mask generating unit 310 may be configured to cause the first user of the electronic device 110 to perform an anonymization process when receiving a characterization request for a specific object (e.g., macaroons) 501 from the AR service screen 500 You can ask for a portrait picture. 6, when the portrait 600 is input or selected from the electronic device 1 110, the mask generation unit 310 generates a mask 600 for displaying the forehead, eyebrows, eyes, nose, mouth, ear (S61).
  • the face mask 601 can be generated by converting the extracted face region 610 into a 3D object (S62).
  • FIGS. 7 to 8 are exemplary diagrams for explaining a process of creating an unintentional character in an embodiment of the present invention.
  • the character generating unit 320 may blend the boundary of the face mask 601 as shown in Fig. 7 for natural synthesis with a specific object. At this time, the character generating unit 320 may blend the mask boundaries based on the color information of the object to be characterized. For example, when the object 501 requesting characterization in FIG. 5 is yellow, the face mask 601 may be blended in yellow.
  • the character generator 320 combines the face mask 601 with a specific object 501 selected on the AR service screen 500 to generate a character 801 that is an anonymized object 501 .
  • the macaroon can be made into a personification character 801 by attaching a face mask 601 to the macaroon.
  • the character generating unit 320 may attach the face mask 601 to a predetermined ratio and position in the area corresponding to the object 501, or may attach the face mask 601 in the area corresponding to the object 501 It is also possible for the user to adjust the size of the location or area to be attached.
  • 9 to 10 are exemplary diagrams for explaining an interaction process using an uncharacterized character in an embodiment of the present invention.
  • the interaction unit 330 may provide the interaction with the object by using the characterized object as an interface.
  • the interaction unit 330 may be configured to communicate information to be transmitted to the user of the electronic device 1 (110) through the personification character Audio, or visual methods. 9, the interaction unit 330 displays the information (weather, news, music, map, photograph, etc.) to be transmitted to the user through the personification character 801 as a graphical user interface 903 .
  • the interaction unit 330 may expose various effect objects 1003 to the periphery of the personification character 801. FIG. At this time, the effect object 1003 may be used as an object expressing emotion information analyzed in a voice command of the user of the electronic device 110 or emotion information included in information to be delivered to the user.
  • the interaction unit 330 expresses the emotion by changing the expression of the face mask constituting the personification character 801 during communication with the user. For example, when the user's emotion is recognized as 'anger', the face mask mesh of the personification character 801 may be changed to an angry expression or a flame effect indicating an anger feeling around the personification character 801 may be attached .
  • An anthropomorphic character can be created by selecting a specific object in the AR service environment and attaching a face mask to the object. 11, a face mask 1102 may be attached to the cellular phone 1101 in the AR space to make a character 1103 that is a person who has made the cell phone 1101, or a face mask 1102 may be attached to the detergent 1106, And a character 1108 that is an anthropomorphic character of the detergent 1106 by attaching a detergent 1107 to a character.
  • the user can characterize any object by composing it with a mask of a 3D model and characterize it, interface.
  • the interaction unit 330 may support characterization and interaction of objects using a face part (e.g., eyes, mouth, etc.) rather than a face mask, or a specific interface graphic.
  • a face part e.g., eyes, mouth, etc.
  • they can provide specialized paces in partnership with specific companies or products, which can be used for promotional or viral marketing. For example, you can customize chicken face and chicken-related conversations so that users can personalize chicken to create and share content.
  • the interaction or interface can be customized for promotional or marketing purposes.
  • the characterized interface can be used to filter the artificial intelligence conversation to suit various contexts and purposes.
  • FIG. 12 is a flowchart showing an example of an interaction method using an uncharacterized character in an embodiment of the present invention.
  • the interaction unit 330 may receive gesture information on the anonymous character in the AR space from the electronic device 1 (110) in the AR service environment.
  • the interaction unit 330 can receive information on the type and intensity of the gesture from the electronic device 110 when a user gesture such as a collision or touch with the personification character occurs in the AR space.
  • the interaction unit 330 may reflect the action information corresponding to the gesture on the anthropomorphic character based on the gesture information received from the electronic device 1 (110).
  • the interaction unit 330 may express an emotion with one of the actions corresponding to the user gesture, change the expression of the personification character according to emotion, or expose the effect of the emotion.
  • User gestures can be derived by presetting action parameters such as facial expressions or effect attachments for each gesture. For example, you can define "surprise” in a gesture, "joy” in a stroking gesture, and “anger” in a swinging gesture. You can change the character's expression according to the emotion determined by the gesture, Can be attached.
  • the interaction unit 330 may respond to the gesture by changing the expression of the character or by adding an effect corresponding to the user gesture for the personification character as an AR-based interaction.
  • FIG. 13 is a flowchart showing another example of an interaction method using an unintentional character in an embodiment of the present invention.
  • the interaction unit 330 can grasp the positional information related to the characterized object.
  • the location information indicates a location on a map on which an object is located.
  • the location information may include location information such as a location pointed to the AR space, scene information, and location information of the electronic device 110 .
  • step S1302 the interaction unit 330, in cooperation with the artificial intelligent dialog system, selects content related to the position identified in step S1301 as information to be delivered to the user of the electronic device 1 (110) through the personification character .
  • information related to the location of the building can be selectively provided. For example, if you characterize the front door of Building A located in Pangyo, you can say 'Here is Pangyo Building A' through the characterized interface.
  • Pangyo weather can output location based information such as ⁇ , surrounding events ⁇ , surrounding restaurants ⁇ .
  • the interaction unit 330 when the interaction unit 330 creates a character that is an anonymous person in an AR service environment, the interaction unit 330 can utilize it as a location-based agent providing information related to the location of the object.
  • FIG. 14 is a flowchart showing another example of an interaction method using an uncharacterized character in an embodiment of the present invention.
  • the interaction unit 330 may recognize the type of the characterized object through the object recognition technique.
  • the object recognition technology is a known technology, and it can extract feature information such as the appearance, color, texture, and pattern of a specific object through image recognition, and then can search a large-capacity database to identify the kind of the object. In other words, the interaction unit 330 can recognize what object the user characterizes through the object recognition technology.
  • the interaction unit 330 may give the anthropomorphic character an identity related to the object recognized in step S1401.
  • the interaction unit 330 can configure the interface element of the personification character according to the recognized object type.
  • the character voice may be defined differently for each category of the article, and information can be provided by the voice corresponding to the recognized type of the object.
  • a character voice can be synthesized with a cute voice when the characterized object is a fruit, or with a dignified voice when the object is furniture.
  • the user's voice may be collected and reflected in the character's voice during the character creation process.
  • the face mask is generated with the face of the famous person A, May be applied.
  • the interaction unit 330 can select content related to the type of object recognized in step S1401 as information to be transmitted to the user of the electronic device 1 (110) through the personification character in cooperation with the artificial intelligence dialog system have.
  • the interaction unit 330 may filter the artificial intelligence conversation based on the context of the characterized object. For example, as shown in FIG. 15, when the character 1508 is created by attaching the face mask 1507 to the apples 1506 in the AR space to personify the apples 1506, As you move through the character (1508), 'Hi, I'm an apple. Apple is one of the fruits. You can provide information (1510) related to 'apple' like 'apple', which can be used for educational purposes. Also, when the detergent A is made into a character, "Detergent A" is recognized through the recognition of the object. You can provide information related to 'detergent A' like 'Please put only one cup when you wash 7kg.'
  • a preset face for various purposes such as a shopping face for providing shopping information and a weather face for providing weather information can be provided.
  • a character 1608 is created by attaching the shopping face 1607 to the detergent 1606 in the AR space to detergent 1606 as shown in FIG. 16, the detergent 1606 I recognized 'Detergent A' and accordingly, through the character (1608), 'I am Detergent A.' Today's lowest price is 5,000 won.
  • artificial intelligence dialogue that is specific to each object by defining an algorithm for each object, such as an artificial intelligence dialogue interface related to apples, and an artificial intelligence dialog interface related to clothes, by characterizing clothes. It is easy to use as educational agent or various purpose agent, and it is easy to grasp context about the result of deep learning.
  • an anthropomorphic character as an interface
  • an anthropomorphic character as various digital agents.
  • characters that are personified in objects they can be used as educational items for children by making objects friendly, and they can be useful for viral promotion / promotion of specific products or brands.
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the apparatus and components described in the embodiments may be implemented as a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), a programmable logic unit, a microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to execution of the software.
  • the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG.
  • the processing unit may comprise a plurality of processors or one processor and one controller.
  • Other processing configurations are also possible, such as a parallel processor.
  • the software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded.
  • the software and / or data may be embodied in any type of machine, component, physical device, computer storage media, or device for interpretation by a processing device or to provide instructions or data to the processing device have.
  • the software may be distributed over a networked computer system and stored or executed in a distributed manner.
  • the software and data may be stored on one or more computer readable recording media.
  • the method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium.
  • the medium may be a program that continuously stores a computer executable program, or temporarily stores the program for execution or downloading.
  • the medium may be a variety of recording means or storage means in the form of a combination of a single hardware or a plurality of hardware, but is not limited to a medium directly connected to any computer system, but may be dispersed on a network.
  • the medium examples include a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floptical disk, And program instructions including ROM, RAM, flash memory, and the like.
  • a recording medium or a storage medium that is managed by a site or a server that supplies or distributes an application store or various other software is also enumerated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

사물을 의인화한 캐릭터를 인터페이스로 하여 해당 사물과 인터렉션할 수 있는 사물 의인화 및 인터랙션을 위한 방법 및 시스템을 제공한다. 사물 인터렉션 방법은, AR(Augmented Reality) 공간에서 특정된 사물에 페이스 마스크(face mask)를 부착하여 해당 사물에 대한 의인화 캐릭터를 생성하는 단계; 및 상기 의인화 캐릭터를 인터페이스로 하여 상기 사물과의 인터랙션(interaction)을 제공하는 단계를 포함할 수 있다.

Description

사물 의인화 및 인터랙션을 위한 방법 및 시스템
아래의 설명은 사물(object)을 캐릭터화하고 캐릭터화된 인터페이스를 통해 인터랙션(interaction)하는 기술에 관한 것이다.
사물에 대한 3D 모델은 AR(Augmented Reality, 증강현실), 컴퓨터 게임이나 애니메이션 제작 등 다양한 분야에서 수요가 증가하고 있다.
3D 모델은 숙련된 전문가와 전문 소프트웨어 툴을 이용하여 작성하거나 스캐너를 이용하여 제작하나, 최근에는 일반인도 쉽게 3D 모델을 생성할 수 있는 연구가 활발히 진행되고 있다.
예컨대, 한국등록특허공보 제10-1747951호(등록일 2017년 6월 9일)에는 멀티뷰 촬영법을 기반으로 3D 컴퓨터 그래픽을 활용한 새로운 방식의 3D 휴먼 캐릭터 제작 방식을 제공하는 기술이 개시되어 있다.
사물을 의인화한 캐릭터를 인터페이스로 하여 해당 사물과 인터랙션할 수 있는 방법 및 시스템을 제공한다.
사물에 대한 의인화 캐릭터를 생성하여 인공지능(AI) 디지털 에이전트(digital agent)로 활용할 수 있는 방법 및 시스템을 제공한다.
사물이나 의인화 페이스와 관련된 아이덴티티(identity)를 캐릭터에 부여하고 사물이나 사용자의 컨텍스트에 기초하여 인공지능 대화를 필터링할 수 있는 방법 및 시스템을 제공한다.
컴퓨터 시스템에서 수행되는 사물 인터랙션 방법에 있어서, AR(Augmented Reality) 공간에서 특정된 사물에 페이스 마스크(face mask)를 부착하여 해당 사물에 대한 의인화 캐릭터를 생성하는 단계; 및 상기 의인화 캐릭터를 인터페이스로 하여 상기 사물과의 인터랙션(interaction)을 제공하는 단계를 포함하는 사물 인터랙션 방법을 제공한다.
일 측면에 따르면, 상기 사물 인터랙션 방법은, 전자 기기로부터 입력 또는 선택된 이미지의 페이스 모델링(face modeling)을 통해 해당 이미지로부터 상기 페이스 마스크를 생성하는 단계를 더 포함할 수 있다.
다른 측면에 따르면, 상기 페이스 마스크를 생성하는 단계는, 상기 이미지로부터 얼굴 영역을 추출하여 추출된 얼굴 영역을 3D 오브젝트화할 수 있다.
또 다른 측면에 따르면, 상기 생성하는 단계는, 상기 사물에 특정 기업이나 상품에 특화된 페이스 마스크를 부착하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 생성하는 단계는, 상기 사물의 3D 정보를 바탕으로 상기 페이스 마스크가 해당 사물을 트래킹(tracking)하도록 구현하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 생성하는 단계는, 상기 페이스 마스크의 경계를 블렌딩(blending) 처리하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 생성하는 단계는, 상기 사물의 칼라값을 이용하여 상기 페이스 마스크의 경계를 블렌딩 처리하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 제공하는 단계는, 상기 사물의 컨텍스트(context)에 기초하여 인공지능(AI) 대화 시스템에서 선별된 정보를 상기 의인화 캐릭터를 통해 출력할 수 있다.
또 다른 측면에 따르면, 상기 제공하는 단계는, 사물 인식(object recognition) 기술을 통해 상기 사물의 종류를 인식하여 상기 사물의 종류와 관련된 컨텐츠를 선별하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 제공하는 단계는, 상기 사물과 관련된 위치 정보를 파악하여 해당 위치와 관련된 컨텐츠를 선별하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 제공하는 단계는, 상기 페이스 마스크에 정해진 주제에 따라 상기 사물과 관련된 컨텐츠를 선별하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 제공하는 단계는, 상기 의인화 캐릭터의 인터페이스 요소에 상기 사물 또는 상기 페이스 마스크와 관련된 아이덴티티(identity)를 부여하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 제공하는 단계는, 상기 의인화 캐릭터의 음성을 상기 사물의 종류 또는 상기 페이스 마스크의 인물에 대응되는 음성으로 적용하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 제공하는 단계는, 상기 의인화 캐릭터에 대한 제스처 정보에 기초하여 해당 제스처에 대응하는 액션 정보를 상기 의인화 캐릭터에 반영하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 제공하는 단계는, 상기 의인화 캐릭터에 대한 제스처 정보에 대응하여 상기 의인화 캐릭터의 표정을 변화시키거나 이펙트(effect)를 첨부하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 제공하는 단계는, 별도의 그래픽 사용자 인터페이스를 이용하여 시각적인 정보를 함께 출력할 수 있다.
상기 사물 인터랙션 방법을 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체를 제공한다.
컴퓨터 시스템에 있어서, 메모리에 포함된 컴퓨터 판독 가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, AR 공간에서 특정된 사물에 페이스 마스크를 부착하여 해당 사물에 대한 의인화 캐릭터를 생성하는 캐릭터 생성부; 및 상기 의인화 캐릭터를 인터페이스로 하여 상기 사물과의 인터랙션을 제공하는 인터랙션부를 포함하는 컴퓨터 시스템을 제공한다.
본 발명의 실시예들에 따르면, 사물을 의인화한 캐릭터를 인터페이스로 하여 해당 사물과 인터랙션할 수 있고 의인화 캐릭터를 다양한 디지털 에이전트로 활용할 수 있다.
본 발명의 실시예들에 따르면, 사물이나 의인화 페이스와 관련된 아이덴티티를 캐릭터에 부여할 수 있고 사물이나 사용자의 컨텍스트에 기초하여 인공지능 대화를 필터링할 수 있다.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 있어서 전자 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 일실시예에 따른 서버의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 블록도이다.
도 4는 본 발명의 일실시예에 따른 서버의 프로세서가 수행할 수 있는 방법의 예를 도시한 흐름도이다.
도 5 내지 도 6은 본 발명의 일실시예에 있어서 페이스 마스크를 생성하는 과정을 설명하기 위한 예시 도면이다.
도 7 내지 도 8은 본 발명의 일실시예에 있어서 의인화 캐릭터를 생성하는 과정을 설명하기 위한 예시 도면이다.
도 9 내지 도 10은 본 발명의 일실시예에 있어서 의인화 캐릭터를 이용한 인터랙션 과정을 설명하기 위한 예시 도면이다.
도 11은 본 발명의 일실시예에 있어서 의인화 캐릭터의 다른 예시들을 설명하기 위한 도면이다.
도 12는 본 발명의 일실시예에 있어서 의인화 캐릭터를 이용한 인터랙션 방법의 일례를 도시한 흐름도이다.
도 13은 본 발명의 일실시예에 있어서 의인화 캐릭터를 이용한 인터랙션 방법의 다른 예를 도시한 흐름도이다.
도 14는 본 발명의 일실시예에 있어서 의인화 캐릭터를 이용한 인터랙션 방법의 또 다른 예를 도시한 흐름도이다.
도 15 내지 도 16은 본 발명의 일실시예에 있어서 다양한 에이전트 역할을 하는 의인화 캐릭터를 설명하기 위한 예시 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 실시예들에 따른 사물 인터랙션 방법은 이후 설명될 전자 기기나 서버와 같은 컴퓨터 장치를 통해 수행될 수 있다. 이때, 컴퓨터 장치에는 본 발명의 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 컴퓨터 장치는 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 일실시예에 따른 사물 인터랙션 방법을 수행할 수 있다. 상술한 컴퓨터 프로그램은 컴퓨터 장치와 결합되어 사물 인터랙션 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장될 수 있다. 예를 들어, 서버는 AR(Augmented Reality, 증강현실) 서비스를 통해 정보를 제공하는 정보 플랫폼 역할을 하며, 특히 사물을 캐릭터화하고 캐릭터화된 인터페이스를 통해 사물과의 인터랙션을 지원할 수 있다.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다. 도 1의 네트워크 환경은 복수의 전자 기기들(110, 120, 130, 140), 복수의 서버들(150, 160) 및 네트워크(170)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 전자 기기의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다.
복수의 전자 기기들(110, 120, 130, 140)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 복수의 전자 기기들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC, 게임 콘솔(game console), 웨어러블 디바이스(wearable device), IoT(internet of things) 디바이스, VR(virtual reality) 디바이스, AR(augmented reality) 디바이스 등이 있다. 일례로 도 1에서는 전자 기기 1(110)의 예로 스마트폰의 형상을 나타내고 있으나, 본 발명의 실시예들에서 전자 기기 1(110)은 실질적으로 무선 또는 유선 통신 방식을 이용하여 네트워크(170)를 통해 다른 전자 기기들(120, 130, 140) 및/또는 서버(150, 160)와 통신할 수 있는 다양한 물리적인 컴퓨터 장치들 중 하나를 의미할 수 있다.
통신 방식은 제한되지 않으며, 네트워크(170)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망, 위성망 등)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(170)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
서버(150, 160) 각각은 복수의 전자 기기들(110, 120, 130, 140)과 네트워크(170)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 서버(150)는 네트워크(170)를 통해 접속한 복수의 전자 기기들(110, 120, 130, 140)로 제1 서비스를 제공하는 시스템일 수 있으며, 서버(160) 역시 네트워크(170)를 통해 접속한 복수의 전자 기기들(110, 120, 130, 140)로 제2 서비스를 제공하는 시스템일 수 있다. 보다 구체적인 예로, 서버(150)는 복수의 전자 기기들(110, 120, 130, 140)에 설치되어 구동되는 컴퓨터 프로그램으로서의 어플리케이션을 통해, 해당 어플리케이션이 목적하는 서비스(일례로, AR 서비스 등)를 제1 서비스로서 복수의 전자 기기들(110, 120, 130, 140)로 제공할 수 있다. 다른 예로, 서버(160)는 상술한 어플리케이션의 설치 및 구동을 위한 파일을 복수의 전자 기기들(110, 120, 130, 140)로 배포하는 서비스를 제2 서비스로서 제공할 수 있다.
도 2는 본 발명의 일실시예에 있어서 전자 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다. 도 2에서는 전자 기기에 대한 예로서 전자 기기 1(110), 그리고 서버(150)의 내부 구성을 설명한다. 또한, 다른 전자 기기들(120, 130, 140)이나 서버(160) 역시 상술한 전자 기기 1(110) 또는 서버(150)와 동일한 또는 유사한 내부 구성을 가질 수 있다.
전자 기기 1(110)과 서버(150)는 메모리(211, 221), 프로세서(212, 222), 통신 모듈(213, 223) 그리고 입출력 인터페이스(214, 224)를 포함할 수 있다. 메모리(211, 221)는 비-일시적인 컴퓨터 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory) 등과 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM, SSD, 플래시 메모리, 디스크 드라이브 등과 같은 비소멸성 대용량 저장 장치는 메모리(211, 221)와는 구분되는 별도의 영구 저장 장치로서 전자 기기 1(110)이나 서버(150)에 포함될 수도 있다. 또한, 메모리(211, 221)에는 운영체제와 적어도 하나의 프로그램 코드(일례로 전자 기기 1(110)에 설치되어 구동되는 브라우저나 특정 서비스의 제공을 위해 전자 기기 1(110)에 설치된 어플리케이션 등을 위한 코드)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(211, 221)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 모듈(213, 223)을 통해 메모리(211, 221)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템(일례로, 상술한 서버(160))이 네트워크(170)를 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램(일례로 상술한 어플리케이션)에 기반하여 메모리(211, 221)에 로딩될 수 있다.
프로세서(212, 222)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(211, 221) 또는 통신 모듈(213, 223)에 의해 프로세서(212, 222)로 제공될 수 있다. 예를 들어 프로세서(212, 222)는 메모리(211, 221)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 모듈(213, 223)은 네트워크(170)를 통해 전자 기기 1(110)과 서버(150)가 서로 통신하기 위한 기능을 제공할 수 있으며, 전자 기기 1(110) 및/또는 서버(150)가 다른 전자 기기(일례로 전자 기기 2(120)) 또는 다른 서버(일례로 서버(160))와 통신하기 위한 기능을 제공할 수 있다. 일례로, 전자 기기 1(110)의 프로세서(212)가 메모리(211)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(213)의 제어에 따라 네트워크(170)를 통해 서버(150)로 전달될 수 있다. 역으로, 서버(150)의 프로세서(222)의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 통신 모듈(223)과 네트워크(170)를 거쳐 전자 기기 1(110)의 통신 모듈(213)을 통해 전자 기기 1(110)로 수신될 수 있다. 예를 들어 통신 모듈(213)을 통해 수신된 서버(150)의 제어 신호나 명령, 컨텐츠, 파일 등은 프로세서(212)나 메모리(211)로 전달될 수 있고, 컨텐츠나 파일 등은 전자 기기 1(110)이 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.
입출력 인터페이스(214)는 입출력 장치(215)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드, 마우스, 마이크로폰, 카메라 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커, 햅틱 피드백 디바이스(haptic feedback device) 등과 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(214)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(215)는 전자 기기 1(110)과 하나의 장치로 구성될 수도 있다. 또한, 서버(150)의 입출력 인터페이스(224)는 서버(150)와 연결되거나 서버(150)가 포함할 수 있는 입력 또는 출력을 위한 장치(미도시)와의 인터페이스를 위한 수단일 수 있다. 보다 구체적인 예로, 전자 기기 1(110)의 프로세서(212)가 메모리(211)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 서버(150)나 전자 기기 2(120)가 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠가 입출력 인터페이스(214)를 통해 디스플레이에 표시될 수 있다.
또한, 다른 실시예들에서 전자 기기 1(110) 및 서버(150)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 전자 기기 1(110)은 상술한 입출력 장치(215) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다. 보다 구체적인 예로, 전자 기기 1(110)이 스마트폰인 경우, 일반적으로 스마트폰이 포함하고 있는 가속도 센서나 자이로 센서, 카메라 모듈, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 전자 기기 1(110)에 더 포함되도록 구현될 수 있다.
이하에서는 AR 기반의 사물 의인화 및 인터랙션을 위한 방법 및 시스템의 구체적인 실시예를 설명하기로 한다.
AR 서비스에서 캐릭터는 공간 상에서 사용자 본인을 대신해주는 아바타(avatar) 역할은 물론이고, 정보를 전달하고 사용자와 소통하는 디지털 에이전트로 활용되거나, 혹은 컨텐츠 시나리오에 등장하는 주요 인물이나 주인공으로서 다양한 역할을 할 수 있다.
이러한 캐릭터는 3D 모델로 생성되는 것으로 주로 사람의 형태일 수도 있고 다양한 사물 템플릿(template)에 사람 얼굴을 더한 형태로 구현되기도 한다. 그러나, 실제 3D 모델의 디지털 캐릭터를 생성하는 것은 매우 복잡하고 시간이 많이 소요되는 일이다.
본 발명에서는 얼굴 사진을 3D로 모델링한 후 사물에 부착하여 캐릭터화하고 캐릭터화된 인터페이스를 통해 인터랙션할 수 있는 방법을 제안한다.
도 3은 본 발명의 일실시예에 따른 서버의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 블록도이고, 도 4는 본 발명의 일실시예에 따른 서버의 프로세서가 수행할 수 있는 방법의 예를 도시한 흐름도이다.
본 실시예에 따른 서버(150)는 AR 서비스로 다양한 정보를 제공하는 정보 플랫폼 서비스를 제공할 수 있다. 다시 말해, 서버(150)는 클라이언트(client)인 복수의 전자 기기들(110, 120, 130, 140)을 대상으로 AR 컨텐츠를 제공하는 플랫폼 역할을 한다. 서버(150)는 전자 기기들(110, 120, 130, 140) 상에 설치되는 어플리케이션과 연동하여 AR 기반의 사물 의인화 및 인터랙션을 지원하는 서비스를 제공할 수 있다.
도 4의 사물 인터랙션 방법을 수행하기 위해, 서버(150)의 프로세서(222)는 구성요소로서 도 3에 도시된 바와 같이, 마스크 생성부(310), 캐릭터 생성부(320), 및 인터랙션부(330)를 포함할 수 있다. 실시예에 따라 프로세서(222)의 구성요소들은 선택적으로 프로세서(222)에 포함되거나 제외될 수도 있다. 또한, 실시예에 따라 프로세서(222)의 구성요소들은 프로세서(222)의 기능의 표현을 위해 분리 또는 병합될 수도 있다.
이러한 프로세서(222) 및 프로세서(222)의 구성요소들은 도 4의 사물 인터랙션 방법이 포함하는 단계들(S410 내지 S440)을 수행하도록 서버(150)를 제어할 수 있다. 예를 들어, 프로세서(222) 및 프로세서(222)의 구성요소들은 메모리(221)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.
여기서, 프로세서(222)의 구성요소들은 서버(150)에 저장된 프로그램 코드가 제공하는 명령에 따라 프로세서(222)에 의해 수행되는 프로세서(222)의 서로 다른 기능들(different functions)의 표현들일 수 있다. 예를 들어, 서버(150)가 페이스 마스크(face mask)를 생성하도록 상술한 명령에 따라 서버(150)를 제어하는 프로세서(222)의 기능적 표현으로서 마스크 생성부(310)가 이용될 수 있다.
단계(S410)에서 프로세서(222)는 서버(150)의 제어와 관련된 명령이 로딩된 메모리(221)로부터 필요한 명령을 읽어들일 수 있다. 이 경우, 상기 읽어들인 명령은 프로세서(222)가 이후 설명될 단계들(S420 내지 S440)을 실행하도록 제어하기 위한 명령을 포함할 수 있다.
단계(S420)에서 마스크 생성부(310)는 전자 기기 1(110)의 사용자에 의해 지정된 이미지에 대한 페이스 모델링(face modeling)을 통해 해당 이미지로부터 페이스 마스크를 생성할 수 있다. 모델링 대상이 되는 이미지로는 전자 기기 1(110)로부터 수신된 이미지 또는 서버(150)와 관련된 데이터베이스 상의 이미지 중에서 선택된 이미지 등을 이용할 수 있고, 예를 들어 사용자나 지인, 혹은 유명인 등의 얼굴 사진, 특정 기업의 마스코트나 특정 상품 이미지 등이 포함될 수 있다. 마스크 생성부(310)는 이미지에 포함된 얼굴을 3D로 모델링하여 페이스 마스크를 생성할 수 있으며, 이때 모델링 방법은 영상 내 음영 정보의 점진적 변화를 이용하여 얼굴 모델을 생성하는 음영 기반 모델링, 영상 내 정점, 능선, 면, 질량 등을 이용하여 얼굴 모델을 생성하는 솔리드 모델링 등 기 공지된 모델링 기법을 사용할 수 있다. 마스크 생성부(310)는 모델링된 얼굴에서 이마, 눈썹, 눈, 코, 입, 귀 등을 포함한 얼굴 영역의 마스크를 추출하여 3D 오브젝트화할 수 있다.
단계(S430)에서 캐릭터 생성부(320)는 AR 서비스 환경에서 특정된 사물에 단계(S420)에서 생성된 페이스 마스크를 합성하여 해당 사물에 대한 의인화 캐릭터를 생성할 수 있다. 캐릭터 생성부(320)는 AR 서비스 환경에서 전자 기기 1(110)의 카메라에 의해 포인팅된 특정 사물 또는 카메라 화면을 통해 전자 기기 1(110)의 사용자가 선택한 특정 사물에 페이스 마스크를 부착하여 해당 사물을 캐릭터화할 수 있다. 이때, 캐릭터 생성부(320)는 페이스 마스크를 특정 사물에 자연스럽게 얹을 수 있도록 마스크 영역의 경계를 블렌딩(blending) 처리할 수 있다. 캐릭터 생성부(320)는 페이스 마스크의 자연스러운 렌더링을 위해 얼굴이나 사물의 대표 색상을 활용할 수 있다. 일례로, 캐릭터 생성부(320)는 눈, 눈썹, 코, 입 영역을 제외한 영역에서 대표 색상을 추출한 후 해당 색상을 캐릭터 피부색에 반영할 수 있다. 페이스 마스크를 이용한 아바타 생성 시 손이나 목과 같이 피부색이 노출되는 부분을 자연스럽게 처리하기 위해서 추출된 대표 색상으로 아바타 피부색을 처리할 수 있다. 다른 예로, 캐릭터 생성부(320)는 특정 사물에서 페이스 마스크가 합성될 영역 주변의 대표 색상을 추출한 후 해당 색상을 이용하여 마스크 영역의 경계를 블렌딩 처리할 수 있다. 다시 말해, 캐릭터 생성부(320)는 특정 사물에서 페이스 마스크와 합성되는 영역의 칼라값을 추출하여 마스크 영역의 경계에 대해 해당 사물의 칼라값을 이용한 블렌딩을 수행할 수 있다. 즉, 캐릭터 생성부(320)는 페이스 마스크와 사물의 경계를 자연스럽게 하기 위해서 사물의 대표 색상을 페이스 마스크의 경계에 반영할 수 있다. 그리고, 캐릭터 생성부(320)는 3D 트래킹(tracking) 기술을 이용하여 특정 사물에 부착된 페이스 마스크가 해당 사물을 트래킹하도록 구현할 수 있다. 2D 기반 트래킹은 일정 거리 이상 오브젝트나 카메라가 움직이는 경우 트래킹을 실패하게 된다. X, Y, Z 축으로 다양한 움직임에 대응하기 위해서는 3D 트래킹을 활용하는 것이 효과적이며, 3D 트래킹의 경우 일반적으로 CAD를 활용하여 3D 모델 정보를 얻을 수 있다. CAD를 활용하는 경우 대부분 트래킹 시작 포인트를 맞추는 작업이 필요하다. CAD 대신 딥 러닝을 이용하여 다양한 뷰에 맞는 3D 모델 정보를 얻는 것 또한 가능하다. 전자 기기 1(110)의 AR 서비스를 이용하는 환경에 따라, 예를 들어 모바일 기반의 모노 카메라(mono camera) 환경에서는 딥러닝(deep learning)을 이용하여 미리 학습된 물체의 3D 정보를 바탕으로 대상 사물의 모션, 회전, 이동 등의 변화에 대응하여 캐릭터에 실재감을 더할 수 있다. 다시 말해, 서버(150)는 사물에 대한 사전 학습을 통해 사물 별로 3D 정보인 표준 모델을 구축할 수 있고, 캐릭터화하고자 하는 특정 사물에 대한 3D 표준 모델을 제공할 수 있다. 이에, 캐릭터 생성부(320)는 사용자가 캐릭터화하고자 하는 특정 사물에 대해 사전에 학습된 3D 표준 모델을 획득하여 이를 바탕으로 캐릭터의 3D 트래킹을 구현할 수 있다. 또한, 전자 기기 1(110)이 스테레오(stereo)나 3D 센서 환경을 통해 AR 서비스를 이용하는 경우 캐릭터 생성부(320)는 전자 기기 1(110)이 직접 제공하는 3D 정보를 활용하여 캐릭터의 3D 트래킹을 구현할 수 있다.
단계(S440)에서 인터랙션부(330)는 특정 사물을 페이스 마스크로 의인화한 캐릭터를 인터페이스로 하여 해당 사물과의 인터랙션을 제공할 수 있다. 인터랙션부(330)는 특정 사물에 페이스 마스크를 부착함으로써 캐릭터화된 인터페이스를 통해 인터랙션할 수 있다. 일례로, 인터랙션부(330)는 인공지능(AI) 대화 시스템과 연동하여 특정 사물을 통해 사용자와 커뮤니케이션하거나 날씨, 뉴스, 음악, 지도, 사진 등 다양한 정보를 제공할 수 있다. 인공지능 대화 시스템은 개인비서 시스템, 챗봇 플랫폼(chatbot platform), 인공지능(AI) 스피커 등에 적용되는 것으로 사용자의 명령어에 대한 의도를 이해하고 그에 대응하는 정보를 제공할 수 있다. 예를 들어, 인터랙션부(330)는 전자 기기 1(110)로부터 사용자의 발화에 따른 음성 입력 "오늘 날씨"를 수신하는 경우 수신된 음성 입력을 인식 및 분석하여 오늘의 날씨에 대한 정보를 획득하고 AR 공간 상에서 캐릭터화된 사물을 통해 상기 획득한 정보를 "오늘의 날씨는 쪋"와 같이 음성이나 텍스트 등으로 출력할 수 있다. 이때, 인터랙션부(330)는 정보 제공 과정에서 별도의 팝업창(pop-up), 말풍선(word bubble), 툴팁(tooltip) 등을 이용하여 시각적인(visual) 정보를 함께 제공할 수도 있다.
또한, 인터랙션부(330)는 의인화 캐릭터로 구현된 페이스 마스크의 표정을 변화시켜 해당 사물과 사용자 간의 감정을 교류하고 표현할 수 있다. 인터랙션부(330)는 3D 모델링을 통해 오브젝트화된 마스크의 얼굴 영역에 대한 변형을 통해 캐릭터의 표정을 변화시킬 수 있고, 감정의 표현을 극대화하기 위해 의인화된 사물에 다양한 이펙트(effect)를 첨부하는 것 또한 가능하다. 이펙트는 이미지 객체로 구성된 컨텐츠로서 AR 기반 영상에 합성 가능한 필터, 스티커나 이모지 등을 모두 포괄하여 의미할 수 있으며, 이는 고정된 형태의 객체는 물론, 플래시나 애니메이션 등이 적용된 움직이는 이미지 객체로도 구현 가능하다. 이러한 이펙트는 감정 정보를 나타내는 것으로 감정 별로 사전 분류될 수 있으며, 다시 말해 복수 개의 감정(예컨대, 기쁨, 슬픔, 놀람, 고민, 괴로움, 불안, 공포, 혐오, 분노 등)이 사전에 정의되고 각 감정 별로 해당 감정을 나타내는 이펙트들이 그룹핑 되어 관리될 수 있다. 인터랙션부(330)는 감정 표현을 위하여 사용자로부터 수신된 음성 입력의 문장에서 감정 정보를 추출할 수 있다. 이때, 감정 정보는 감정 종류와 감정 강도(감정 정도)를 포함할 수 있다. 감정을 나타내는 용어, 즉 감정 용어들은 사전에 정해지며 소정 기준에 따라 복수 개의 감정 종류(예컨대, 기쁨, 슬픔, 놀람, 고민, 괴로움, 불안, 공포, 혐오, 분노 등)로 분류되고 감정 용어의 강약에 따라 복수 개의 강도 등급(예컨대, 1~10)으로 분류될 수 있다. 감정 용어는 감정을 나타내는 특정 단어는 물론, 특정 단어를 포함한 구절이나 문장 등을 포함할 수 있다. 예를 들어, '좋아해요'나 '괴롭지만요'와 같은 단어, 혹은 '너무너무 좋아해요'와 같은 구절이나 문장 등이 감정 용어의 범주에 포함될 수 있다. 일례로, 인터랙션부(330)는 사용자의 음성 입력에 따른 문장에서 형태소를 추출한 후 추출된 형태소에서 미리 정해진 감정 용어를 추출하여 추출된 감정 용어에 대응되는 감정 종류와 감정 강도를 분류할 수 있다. 음성 입력의 문장에 복수 개의 감정 용어가 포함된 경우 감정 용어가 속한 감정 종류와 감정 강도에 따라 가중치를 계산할 수 있고 이를 통해 문장의 감정 정보에 대한 감정 벡터를 계산하여 해당 문장을 대표하는 감정 정보를 추출할 수 있다. 상기한 감정 정보를 추출하는 기술은 예시적인 것으로 이에 한정되는 것은 아니며, 이미 잘 알려진 다른 기술들을 이용하는 것 또한 가능하다. 따라서, 인터랙션부(330)는 주어진 감정 정보, 예컨대 사용자의 음성 입력으로부터 인식된 감정 정보에 대응하여 캐릭터의 표정을 변화시키거나 해당 감정의 이펙트를 노출할 수 있다.
상기한 바와 같이, 인터랙션부(330)는 사물을 의인화한 캐릭터를 정보 제공을 위한 인공지능 디지털 에이전트로 활용할 수 있다.
도 5 내지 도 6은 본 발명의 일실시예에 있어서 페이스 마스크를 생성하는 과정을 설명하기 위한 예시 도면이다.
도 5를 참조하면, 마스크 생성부(310)는 AR 서비스 화면(500)에서 특정 사물(예컨대, 마카롱)(501)에 대한 캐릭터화 요청이 수신되는 경우 전자 기기 1(110)의 사용자에게 의인화를 위한 인물 사진을 요청할 수 있다. 이후, 도 6에 도시한 바와 같이 마스크 생성부(310)는 전자 기기 1(110)로부터 인물 사진(600)이 입력 또는 선택되면 인물 사진(600)에서 이마, 눈썹, 눈, 코, 입, 귀 등을 포함한 얼굴 영역(610)을 추출할 수 있고(S61), 추출된 얼굴 영영(610)을 3D 오브젝트화하여 페이스 마스크(601)를 생성할 수 있다(S62).
도 7 내지 도 8은 본 발명의 일실시예에 있어서 의인화 캐릭터를 생성하는 과정을 설명하기 위한 예시 도면이다.
캐릭터 생성부(320)는 특정 사물과의 자연스러운 합성을 위해 도 7에 도시한 바와 같이 페이스 마스크(601)의 경계를 블렌딩 처리할 수 있다. 이때, 캐릭터 생성부(320)는 캐릭터화하고자 하는 사물의 색상 정보에 기초하여 마스크 경계를 블렌딩 처리할 수 있으며, 예를 들어 도 5에서 캐릭터화를 요청한 사물(501)이 노란색인 경우 페이스 마스크(601)의 경계를 노란색으로 블렌딩할 수 있다.
도 8을 참조하면, 캐릭터 생성부(320)는 AR 서비스 화면(500)에서 선택된 특정 사물(501)에 페이스 마스크(601)를 합성하여 해당 사물(501)을 의인화한 캐릭터(801)를 생성할 수 있다. 예를 들어, AR 서비스 환경에서 카메라 화면에 포착된 마카롱을 선택하는 경우 마카롱에 페이스 마스크(601)를 부착함으로써 마카롱을 의인화 캐릭터(801)로 만들 수 있다. 이때, 캐릭터 생성부(320)는 사물(501)에 해당되는 영역 내에서 정해진 비율과 위치에 페이스 마스크(601)를 부착할 수 있으며, 혹은 사물(501)에 해당되는 영역 내에서 페이스 마스크(601)를 부착할 위치나 영역 크기를 사용자가 조정하는 것 또한 가능하다.
도 9 내지 도 10은 본 발명의 일실시예에 있어서 의인화 캐릭터를 이용한 인터랙션 과정을 설명하기 위한 예시 도면이다.
인터랙션부(330)는 캐릭터화된 사물을 인터페이스로 하여 해당 사물과의 인터랙션을 제공할 수 있으며, 인공지능 대화 시스템과 연동하여 의인화 캐릭터를 통해 전자 기기 1(110)의 사용자에게 전달하고자 하는 정보를 청각적 또는 시각적인 방법 등으로 출력할 수 있다. 도 9에 도시한 바와 같이, 인터랙션부(330)는 의인화 캐릭터(801)를 통해 사용자에게 전달하고자 하는 정보(날씨, 뉴스, 음악, 지도, 사진 등)를 말풍선과 같은 그래픽 사용자 인터페이스(903)를 이용하여 전달할 수 있다. 또한, 도 10을 참조하면 인터랙션부(330)는 의인화 캐릭터(801)의 주변에 다양한 이펙트 객체(1003)를 함께 노출할 수 있다. 이때, 이펙트 객체(1003)는 전자 기기 1(110)의 사용자의 음성 명령에서 분석된 감정 정보, 혹은 사용자에게 전달하고자 하는 정보에 포함된 감정 정보를 표현하는 객체로 활용될 수 있다. 이외에도, 인터랙션부(330)는 사용자와의 커뮤니케이션 중 의인화 캐릭터(801)를 구성한 페이스 마스크의 표정을 변화시켜 감정을 표현하는 것 또한 가능하다. 예를 들어, 사용자의 감정이 '분노'로 인식되는 경우 의인화 캐릭터(801)의 페이스 마스크 메시를 화난 표정으로 변화시키거나 의인화 캐릭터(801)의 주변에 화난 감정을 나타내는 불꽃 이펙트를 첨부할 수 있다.
AR 서비스 환경에서 특정 사물을 선택하여 해당 사물에 페이스 마스크를 부착함으로써 의인화 캐릭터를 생성할 수 있다. 상기한 예시 이외에도, 도 11에 도시한 바와 같이 AR 공간 상의 휴대폰(1101)에 페이스 마스크(1102)를 부착하여 휴대폰(1101)을 의인화한 캐릭터(1103)를 만들거나, 세제(1106)에 페이스 마스크(1107)를 부착하여 세제(1106)를 의인화한 캐릭터(1108)를 만드는 등 모든 사물을 캐릭터화할 수 있고, 어떤 사물이라도 3D 모델의 마스크와 합성하여 캐릭터화하여 이를 정보 제공을 위한 휴대용 인터페이스(portable interface)로서 활용할 수 있다.
인터랙션부(330)는 페이스 마스크가 아닌 얼굴의 일부분(예컨대, 눈, 입 등), 혹은 특정 인터페이스 그래픽 등을 이용하여 사물의 캐릭터화와 인터랙션을 지원할 수도 있다. 또한, 특정 기업이나 상품과 제휴하여 특화된 페이스를 제공할 수 있고 이를 통해 프로모션이나 바이럴(viral) 마케팅에 활용할 수 있다. 예를 들어, 치킨 페이스와 치킨 관련 대화를 특화하여 이를 바탕으로 사용자가 치킨을 의인화하여 컨텐츠를 만들고 공유할 수 있다. 이때, 인터랙션이나 인터페이스를 프로모션이나 마케팅 용도에 맞게 특화할 수 있다.
이와 같이 사물 의인화 및 인터랙션이 가능해지는 경우 캐릭터화된 인터페이스는 인공지능 대화를 필터링하여 다양한 컨텍스트나 용도 등에 맞게 활용할 수 있다.
도 12는 본 발명의 일실시예에 있어서 의인화 캐릭터를 이용한 인터랙션 방법의 일례를 도시한 흐름도이다.
단계(S1201)에서 인터랙션부(330)는 AR 서비스 환경에서 전자 기기 1(110)로부터 AR 공간 상의 의인화 캐릭터에 대한 제스처 정보를 수신할 수 있다. 인터랙션부(330)는 AR 공간 상에서 의인화 캐릭터에 대한 충돌이나 터치 등의 사용자 제스처가 일어나는 경우 전자 기기 1(110)로부터 해당 제스처의 유형이나 세기 등에 대한 정보를 제공받을 수 있다.
단계(S1202)에서 인터랙션부(330)는 전자 기기 1(110)로부터 수신된 제스처 정보에 기초하여 해당 제스처에 대응하는 액션 정보를 의인화 캐릭터에 반영할 수 있다. 일례로, 인터랙션부(330)는 사용자 제스처에 대응하는 액션 중 하나로 감정을 표현할 수 있으며 감정에 따라 의인화 캐릭터의 표정을 변화시키거나 해당 감정의 이펙트를 노출할 수 있다. 제스처 별로 표정 변화나 이펙트 첨부 등의 액션 파라미터를 사전 설정해 놓고 사용자 제스처를 유도할 수 있다. 예를 들어, 치는 제스처에 '놀람', 쓰다듬는 제스처에 '기쁨', 때리는 제스처에 '분노'가 정의될 수 있으며, 제스처 별로 정해진 감정에 따라 캐릭터의 표정을 변화시키거나 캐릭터 주변에 해당 감정의 이펙트를 첨부할 수 있다.
따라서, 인터랙션부(330)는 AR 기반 인터랙션으로서 의인화 캐릭터에 대한 사용자 제스처에 대응하여 캐릭터의 표정을 변화시키거나 이펙트를 추가함으로써 해당 제스처에 반응할 수 있다.
도 13은 본 발명의 일실시예에 있어서 의인화 캐릭터를 이용한 인터랙션 방법의 다른 예를 도시한 흐름도이다.
단계(S1301)에서 인터랙션부(330)는 캐릭터화된 사물과 관련된 위치 정보를 파악할 수 있다. 일례로, 위치 정보는 사물이 위치한 지도 상의 위치를 나타내는 것으로, AR 공간으로 포인팅된 위치나 장면(scene) 정보, 전자 기기 1(110)의 위치 정보 등 사물의 위치를 특정할 수 있는 정보를 바탕으로 파악 가능하다.
단계(S1302)에서 인터랙션부(330)는 인공지능 대화 시스템과 연동하여 의인화 캐릭터를 통해 전자 기기 1(110)의 사용자에게 전달하고자 하는 정보로서 단계(S1301)에서 파악된 위치와 관련된 컨텐츠를 선별할 수 있다. 사용자가 특정 지역의 건물에 의인화 캐릭터를 만든 경우 해당 건물의 위치와 관련된 정보를 선별하여 제공할 수 있다. 예를 들어, 판교에 위치한 빌딩 A의 정문을 캐릭터화한 경우 캐릭터화된 인터페이스를 통해 '여기는 판교 빌딩 A야. 오늘 판교 날씨는 ~, 주변 이벤트는 ~, 주변 맛집은 ~'와 같은 위치 기반 정보를 출력할 수 있다.
따라서, 인터랙션부(330)는 AR 서비스 환경에서 사물을 의인화한 캐릭터를 만든 경우 이를 해당 사물의 위치와 관련된 정보를 제공하는 위치 기반 에이전트로 활용할 수 있다.
도 14는 본 발명의 일실시예에 있어서 의인화 캐릭터를 이용한 인터랙션 방법의 또 다른 예를 도시한 흐름도이다.
단계(S1401)에서 인터랙션부(330)는 사물 인식(object recognition) 기술을 통해 캐릭터화된 사물의 종류를 인식할 수 있다. 사물 인식 기술은 기 공지된 기술로, 영상 인식을 통해 특정 사물의 외형, 색상, 질감, 무늬 등 특징 정보를 추출한 후 이를 통해 대용량 데이터베이스를 검색하여 해당 사물의 종류를 식별해낼 수 있다. 다시 말해, 인터랙션부(330)는 사물 인식 기술을 통해 사용자가 캐릭터화한 사물이 어떤 물품인지를 인식할 수 있다.
단계(S1402)에서 인터랙션부(330)는 단계(S1401)에서 인식된 사물과 관련된 아이덴티티를 의인화 캐릭터에 부여할 수 있다. 다시 말해, 인터랙션부(330)는 의인화 캐릭터의 인터페이스 요소를 인식된 사물의 종류에 맞게 구성할 수 있다. 이때, 물품의 카테고리 별로 캐릭터 음성이 다르게 정의될 수 있고, 인식된 사물의 종류에 대응되는 음성으로 정보를 제공할 수 있다. 예를 들어, 캐릭터화된 사물이 과일인 경우 귀여운 보이스, 가구인 경우 근엄한 보이스로 캐릭터 음성을 합성할 수 있다. 사물의 종류 이외에도 사물에 부착한 페이스 마스크의 해당 인물과 관련된 아이덴티티를 캐릭터에 부여하는 것 또한 가능하다. 예를 들어, 사용자의 얼굴로 페이스 마스크를 생성한 경우 캐릭터 생성 과정에서 사용자의 목소리를 수집하여 캐릭터 음성에 반영할 수도 있고, 유명인 A의 얼굴로 페이스 마스크를 생성한 경우 캐릭터 음성 또한 유명인 A의 음성을 적용할 수도 있다.
또한, 인터랙션부(330)는 인공지능 대화 시스템과 연동하여 의인화 캐릭터를 통해 전자 기기 1(110)의 사용자에게 전달하고자 하는 정보로서 단계(S1401)에서 인식된 사물의 종류와 관련된 컨텐츠를 선별할 수 있다. 다시 말해, 인터랙션부(330)는 캐릭터화한 사물의 컨텍스트에 기초하여 인공지능 대화를 필터링할 수 있다. 예를 들어, 도 15에 도시한 바와 같이 AR 공간 상의 사과(1506)에 페이스 마스크(1507)를 부착하여 사과(1506)를 의인화한 캐릭터(1508)를 만든 경우 사물 인식을 통해 '사과'임을 인식함에 따라 해당 캐릭터(1508)를 통해 '안녕, 나는 사과야. 사과는 과일 중의 하나로 영어로는 apple이라고 해. 따라 해봐, apple'과 같이 '사과'와 관련된 정보(1510)를 제공할 수 있어 어린이 교육 등의 용도로 활용할 수 있다. 또한, 세제 A를 캐릭터화한 경우 사물 인식을 통해 '세제 A'를 인식함에 따라 해당 캐릭터를 통해 '저는 세제 A예요. 7kg 중간 세탁할 때 한 컵만 넣어주세요.'와 같이 '세제 A'와 관련된 정보를 제공할 수 있다.
사물의 종류에 따라 인공지능 대화를 필터링하는 것 이외에도 페이스 마스크에 정해진 주제에 따라 인공지능 대화를 필터링하는 것 또한 가능하다. 일례로, 쇼핑 정보를 제공하기 위한 쇼핑 페이스, 날씨 정보를 제공하기 위한 날씨 페이스 등 다양한 목적의 프리셋 페이스를 제공할 수 있고 이를 이용하여 사물을 캐릭터화한 경우 해당 주제에 맞는 인터랙션을 제공함으로써 특정 목적의 에이전트로 활용할 수 있다. 예를 들어, 도 16에 도시한 바와 같이 AR 공간 상의 세제(1606)에 쇼핑 페이스(1607)를 부착하여 세제(1606)를 의인화한 캐릭터(1608)를 만든 경우 사물 인식을 통해 세제(1606)가 '세제 A'임을 인식하고 이에 따라 해당 캐릭터(1608)를 통해 '저는 세제 A예요. 오늘 최저가는 5천원이네요. 주문하고 싶다면 말씀해주세요.'와 같이 '세제 A'와 관련된 쇼핑 정보(1610)를 제공할 수 있어 쇼핑 에이전트로 활용할 수 있다. 또한, 날씨 페이스를 이용하여 사물을 캐릭터화한 경우 해당 캐릭터를 날씨 정보를 제공하는 날씨 에이전트로 활용할 수 있다.
사과를 캐릭터화하면 사과와 관련된 인공지능 대화 인터페이스가 되고, 옷을 캐릭터화하면 옷과 관련된 인공지능 대화 인터페이스가 되는 등 사물 별로 알고리즘을 정의하여 각 사물에 특화된 인공지능 대화를 제공할 수 있고 이러한 경우 교육용 에이전트나 다양한 목적의 에이전트로의 활용이 용이하고 더 나아가 딥러닝의 결과물에 대해서 컨텍스트를 파악하는 것이 용이하다.
이처럼 본 발명의 실시예들에 따르면, 사물을 의인화한 캐릭터를 인터페이스로 하여 해당 사물과 인터랙션할 수 있고 의인화 캐릭터를 다양한 디지털 에이전트로 활용할 수 있다. 사물을 의인화한 캐릭터를 이용함에 따라 사물을 친근하게 만들어 어린이 교육용 등으로 활용할 수 있고, 특정 상품이나 브랜드의 바이럴 프로모션/홍보 등에 유용하게 쓰일 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 컴퓨터 시스템에서 수행되는 사물 인터랙션 방법에 있어서,
    AR(Augmented Reality) 공간에서 특정된 사물에 페이스 마스크(face mask)를 부착하여 해당 사물에 대한 의인화 캐릭터를 생성하는 단계; 및
    상기 의인화 캐릭터를 인터페이스로 하여 상기 사물과의 인터랙션(interaction)을 제공하는 단계
    를 포함하는 사물 인터랙션 방법.
  2. 제1항에 있어서,
    상기 사물 인터랙션 방법은,
    전자 기기로부터 입력 또는 선택된 이미지의 페이스 모델링(face modeling)을 통해 해당 이미지로부터 상기 페이스 마스크를 생성하는 단계
    를 더 포함하는 사물 인터랙션 방법.
  3. 제2항에 있어서,
    상기 페이스 마스크를 생성하는 단계는,
    상기 이미지로부터 얼굴 영역을 추출하여 추출된 얼굴 영역을 3D 오브젝트화하는 것
    을 특징으로 하는 사물 인터랙션 방법.
  4. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 사물에 특정 기업이나 상품에 특화된 페이스 마스크를 부착하는 단계
    를 포함하는 사물 인터랙션 방법.
  5. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 사물의 3D 정보를 바탕으로 상기 페이스 마스크가 해당 사물을 트래킹(tracking)하도록 구현하는 단계
    를 포함하는 사물 인터랙션 방법.
  6. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 페이스 마스크의 경계를 블렌딩(blending) 처리하는 단계
    를 포함하는 사물 인터랙션 방법.
  7. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 사물의 칼라값을 이용하여 상기 페이스 마스크의 경계를 블렌딩 처리하는 단계
    를 포함하는 사물 인터랙션 방법.
  8. 제1항에 있어서,
    상기 제공하는 단계는,
    상기 사물의 컨텍스트(context)에 기초하여 인공지능(AI) 대화 시스템에서 선별된 정보를 상기 의인화 캐릭터를 통해 출력하는 것
    을 특징으로 하는 사물 인터랙션 방법.
  9. 제8항에 있어서,
    상기 제공하는 단계는,
    사물 인식(object recognition) 기술을 통해 상기 사물의 종류를 인식하여 상기 사물의 종류와 관련된 컨텐츠를 선별하는 단계
    를 포함하는 사물 인터랙션 방법.
  10. 제8항에 있어서,
    상기 제공하는 단계는,
    상기 사물과 관련된 위치 정보를 파악하여 해당 위치와 관련된 컨텐츠를 선별하는 단계
    를 포함하는 사물 인터랙션 방법.
  11. 제8항에 있어서,
    상기 제공하는 단계는,
    상기 페이스 마스크에 정해진 주제에 따라 상기 사물과 관련된 컨텐츠를 선별하는 단계
    를 포함하는 사물 인터랙션 방법.
  12. 제1항에 있어서,
    상기 제공하는 단계는,
    상기 의인화 캐릭터의 인터페이스 요소에 상기 사물 또는 상기 페이스 마스크와 관련된 아이덴티티(identity)를 부여하는 단계
    를 포함하는 사물 인터랙션 방법.
  13. 제1항에 있어서,
    상기 제공하는 단계는,
    상기 의인화 캐릭터의 음성을 상기 사물의 종류 또는 상기 페이스 마스크의 인물에 대응되는 음성으로 적용하는 단계
    를 포함하는 사물 인터랙션 방법.
  14. 제1항에 있어서,
    상기 제공하는 단계는,
    상기 의인화 캐릭터에 대한 제스처 정보에 기초하여 해당 제스처에 대응하는 액션 정보를 상기 의인화 캐릭터에 반영하는 단계
    를 포함하는 사물 인터랙션 방법.
  15. 제1항에 있어서,
    상기 제공하는 단계는,
    상기 의인화 캐릭터에 대한 제스처 정보에 대응하여 상기 의인화 캐릭터의 표정을 변화시키거나 이펙트(effect)를 첨부하는 단계
    를 포함하는 사물 인터랙션 방법.
  16. 제8항에 있어서,
    상기 제공하는 단계는,
    별도의 그래픽 사용자 인터페이스를 이용하여 시각적인 정보를 함께 출력하는 것
    을 특징으로 하는 사물 인터랙션 방법.
  17. 제1항 내지 제16항 중 어느 한 항의 사물 인터랙션 방법을 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체.
  18. 컴퓨터 시스템에 있어서,
    메모리에 포함된 컴퓨터 판독 가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    AR 공간에서 특정된 사물에 페이스 마스크를 부착하여 해당 사물에 대한 의인화 캐릭터를 생성하는 캐릭터 생성부; 및
    상기 의인화 캐릭터를 인터페이스로 하여 상기 사물과의 인터랙션을 제공하는 인터랙션부
    를 포함하는 컴퓨터 시스템.
  19. 제18항에 있어서,
    상기 적어도 하나의 프로세서는,
    전자 기기로부터 입력 또는 선택된 이미지의 페이스 모델링을 통해 해당 이미지로부터 페이스 마스크를 생성하는 마스크 생성부
    를 더 포함하고,
    상기 캐릭터 생성부는,
    상기 사물의 3D 정보를 바탕으로 상기 페이스 마스크가 해당 사물을 트래킹하도록 구현하는 것
    을 특징으로 하는 컴퓨터 시스템.
  20. 제18항에 있어서,
    상기 인터랙션부는,
    상기 사물의 컨텍스트에 기초하여 인공지능 대화 시스템에서 선별된 정보를 상기 의인화 캐릭터를 통해 출력하는 것
    을 특징으로 하는 컴퓨터 시스템.
PCT/KR2018/015671 2017-12-20 2018-12-11 사물 의인화 및 인터랙션을 위한 방법 및 시스템 WO2019124850A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2017-0176001 2017-12-20
KR1020170176004A KR102026416B1 (ko) 2017-12-20 2017-12-20 사물 의인화 및 인터랙션을 위한 방법 및 시스템
KR1020170176001A KR102026172B1 (ko) 2017-12-20 2017-12-20 사물 의인화 및 사물 컨텍스트를 이용한 인공지능 대화 방법 및 시스템
KR10-2017-0176004 2017-12-20

Publications (1)

Publication Number Publication Date
WO2019124850A1 true WO2019124850A1 (ko) 2019-06-27

Family

ID=66993630

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/015671 WO2019124850A1 (ko) 2017-12-20 2018-12-11 사물 의인화 및 인터랙션을 위한 방법 및 시스템

Country Status (1)

Country Link
WO (1) WO2019124850A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110308793A (zh) * 2019-07-04 2019-10-08 北京百度网讯科技有限公司 增强现实ar表情生成方法、装置及存储介质
US11380094B2 (en) 2019-12-12 2022-07-05 At&T Intellectual Property I, L.P. Systems and methods for applied machine cognition

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002041276A (ja) * 2000-07-24 2002-02-08 Sony Corp 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体
KR20130120175A (ko) * 2012-04-25 2013-11-04 양재건 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR101541254B1 (ko) * 2014-11-13 2015-08-03 이호석 의인화된 캐릭터 이미지를 이용한 서비스 제공 시스템 및 방법
KR20160083900A (ko) * 2013-11-04 2016-07-12 페이스북, 인크. 얼굴 표현을 위한 시스템 및 방법
KR101757642B1 (ko) * 2016-07-20 2017-07-13 (주)레벨소프트 3d 얼굴 모델링 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002041276A (ja) * 2000-07-24 2002-02-08 Sony Corp 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体
KR20130120175A (ko) * 2012-04-25 2013-11-04 양재건 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR20160083900A (ko) * 2013-11-04 2016-07-12 페이스북, 인크. 얼굴 표현을 위한 시스템 및 방법
KR101541254B1 (ko) * 2014-11-13 2015-08-03 이호석 의인화된 캐릭터 이미지를 이용한 서비스 제공 시스템 및 방법
KR101757642B1 (ko) * 2016-07-20 2017-07-13 (주)레벨소프트 3d 얼굴 모델링 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110308793A (zh) * 2019-07-04 2019-10-08 北京百度网讯科技有限公司 增强现实ar表情生成方法、装置及存储介质
CN110308793B (zh) * 2019-07-04 2023-03-14 北京百度网讯科技有限公司 增强现实ar表情生成方法、装置及存储介质
US11380094B2 (en) 2019-12-12 2022-07-05 At&T Intellectual Property I, L.P. Systems and methods for applied machine cognition

Similar Documents

Publication Publication Date Title
WO2022048403A1 (zh) 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端
US11736756B2 (en) Producing realistic body movement using body images
KR102503413B1 (ko) 애니메이션 인터랙션 방법, 장치, 기기 및 저장 매체
CN109688451B (zh) 摄像机效应的提供方法及系统
WO2019177181A1 (ko) 뉴럴 네트워크를 이용하여 상황을 인지하는 증강 현실 제공 장치, 제공 방법 및 상기 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램
CN109086860B (zh) 一种基于虚拟人的交互方法及系统
KR102148151B1 (ko) 디지털 커뮤니케이션 네트워크에 기반한 지능형 채팅
KR101851356B1 (ko) 3d 디지털액터에 의한 지능형 사용자 인터페이스 제공방법
JP2018014094A (ja) 仮想ロボットのインタラクション方法、システム及びロボット
CN112684894A (zh) 增强现实场景的交互方法、装置、电子设备及存储介质
WO2022105846A1 (zh) 虚拟对象显示方法及装置、电子设备、介质
KR20130032620A (ko) 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법
JP2019012255A (ja) 人間−機械間の感情会話のための方法及びシステム
CN113362263A (zh) 变换虚拟偶像的形象的方法、设备、介质及程序产品
CN112673400A (zh) 化身动画
KR20210156742A (ko) 인공지능 캐릭터와의 대화 서비스 제공 방법 및 그 시스템
WO2019124850A1 (ko) 사물 의인화 및 인터랙션을 위한 방법 및 시스템
WO2022196921A1 (ko) 인공지능 아바타에 기초한 인터랙션 서비스 방법 및 장치
Seib et al. A ROS-based system for an autonomous service robot
KR102026172B1 (ko) 사물 의인화 및 사물 컨텍스트를 이용한 인공지능 대화 방법 및 시스템
JP5564625B1 (ja) プログラム及び表示制御装置
KR102026416B1 (ko) 사물 의인화 및 인터랙션을 위한 방법 및 시스템
Sreekanth et al. Multimodal interface for effective man machine interaction
CN114979789A (zh) 一种视频展示方法、装置以及可读存储介质
WO2020017668A1 (ko) 다시점 영상 정합을 이용한 아바타 생성 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18890450

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18890450

Country of ref document: EP

Kind code of ref document: A1