WO2022169289A2 - 인공지능 기반 가상현실 서비스 시스템 및 방법 - Google Patents

인공지능 기반 가상현실 서비스 시스템 및 방법 Download PDF

Info

Publication number
WO2022169289A2
WO2022169289A2 PCT/KR2022/001744 KR2022001744W WO2022169289A2 WO 2022169289 A2 WO2022169289 A2 WO 2022169289A2 KR 2022001744 W KR2022001744 W KR 2022001744W WO 2022169289 A2 WO2022169289 A2 WO 2022169289A2
Authority
WO
WIPO (PCT)
Prior art keywords
data
user
virtual
virtual object
real
Prior art date
Application number
PCT/KR2022/001744
Other languages
English (en)
French (fr)
Other versions
WO2022169289A3 (ko
Inventor
옥재윤
Original Assignee
옥재윤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210163259A external-priority patent/KR102592310B1/ko
Application filed by 옥재윤 filed Critical 옥재윤
Publication of WO2022169289A2 publication Critical patent/WO2022169289A2/ko
Publication of WO2022169289A3 publication Critical patent/WO2022169289A3/ko

Links

Images

Definitions

  • the present invention relates to a virtual reality service system, and in particular, real people or pets that existed before but are not currently are implemented in virtual space so that they can always meet again, and objects of virtual space in everyday life in the real world It relates to an artificial intelligence-based virtual reality service system and method that provides a service of a new concept that is applied closely to loosen the boundary.
  • Laid-Open Patent Publication No. 10-2021-0015977 uses data and artificial intelligence such as habits of the deceased who died at an early age to determine the current death rate.
  • an apparatus for implementing dialogue with a deceased person by implementing voice and video on the assumption that he was currently alive so that a user can have a conversation with a virtual deceased as if the deceased is still alive.
  • the voice of the deceased receiving the voice of the deceased in which the voice of the deceased is matched with the age of the user from the user terminal used by the user, and segmented data generating divided data by dividing the voice of the deceased into units of syllables Aging voice data obtained by aging the voice of the segmented data of the deceased according to the current age of the deceased when the deceased is alive with a machine learning algorithm using voice data according to the age of people as learning data is starting
  • the present invention has been devised to overcome the above-mentioned limitations and provide a service of a new experience, and at the present time when artificial intelligence technology is developing day by day, it stores and converts humans into data, and converges with artificial intelligence technology to create someone forever in the future. There is a task to provide a new concept of service that allows you to feel and experience emotions in the memory of
  • the present invention is based on a database of various information about real entities such as people and animals that have existed or exist in the past or present, and based on data accumulated using artificial intelligence technology, the closest to the entity that exists in the past or present. It is possible to communicate with a virtual object that is implemented in a well-implemented manner, and there is a task to provide various and useful services in real life based on the communication.
  • the artificial intelligence-based virtual reality service system collects a plurality of raw data that can be converted into data extracted from a plurality of viewpoints with respect to an actual object that is a target of virtualization, A data center server that classifies and stores the collected raw data for each object according to data properties, and a virtual object corresponding to a real object using a plurality of property data for each object stored in the data center server at the request of a user terminal and a content providing server that provides content based on communication between a user and a virtual object through the user terminal.
  • the data center server includes a data collection unit that collects raw data obtained directly or indirectly for an actual entity from one or more data collection terminals, an entity registration unit that registers an object to be converted into data from a user terminal, an entity registration unit, and the data collection unit
  • the raw data collected by It may include a data classification unit for deriving attribute data by classifying it as archive data on achievements performed during the existence of an existing entity, and a data storage for storing the attribute data for each entity.
  • the data collection terminal may include a computing device possessed by an actual entity or including an image sensor or a microphone sensor capable of obtaining raw data for an actual entity, or a computing device capable of inputting text by another user.
  • the data center server with respect to the property data of the registered real entity, in accordance with the request of the user terminal of the user who has the right to use the data or the user who has the permission from the user who has the right to use the property data, and
  • the method may further include a data providing unit that provides attribute data online.
  • the content providing server includes a data transfer unit that receives one or more attribute data for a real entity registered from the data center server, and a virtual object that corresponds to the real entity by using the attribute data and implements a virtual entity that operates in a virtual space.
  • An entity implementation unit an entity action generating unit that sets an action of a running virtual entity according to attribute data of the virtual entity, a service determining unit that determines a provision form of a virtual entity according to a setting by a user, and the user terminal It may include a service providing unit that provides the content to the user terminal in response to a request of the user.
  • the content providing server includes a learning data DB for storing learning data extracted from a plurality of sample entities and learning data generated by modulating a certain part from publicly available attribute data stored in the data center server, and one or more predefined learning and a machine learning unit that performs machine learning by applying the learning data to a model, wherein the virtual object implementation unit and the object action generation unit apply the learning results derived from the machine learning unit to the virtual object implementation and virtual object action generation, respectively.
  • a learning data DB for storing learning data extracted from a plurality of sample entities and learning data generated by modulating a certain part from publicly available attribute data stored in the data center server, and one or more predefined learning and a machine learning unit that performs machine learning by applying the learning data to a model, wherein the virtual object implementation unit and the object action generation unit apply the learning results derived from the machine learning unit to the virtual object implementation and virtual object action generation, respectively.
  • the virtual object may be displayed on the user terminal as any one or a combination of two or more of a VR image, an augmented image, a 2D image, and an audio.
  • the content providing server further includes a member management unit that performs a membership registration procedure according to a request of a user who has the right to use attribute data for an existing entity, and performs a login procedure of a registered user, wherein the data transfer unit , when requesting virtual object content from the user terminal, confirming the right to use the attribute data of the real object to the corresponding user, and requesting the data center server to provide the attribute data within the scope of the use right.
  • the content may provide at least one of a dialog function between a user and a virtual object in the user terminal, a schedule management function that displays a schedule notification on the user terminal at a time set by the user, and a game function between the user and the virtual object have.
  • the artificial intelligence-based virtual reality service method for solving the above-mentioned problems, (a) a data center server is extracted from a plurality of viewpoints with respect to an actual entity that is a target of virtualization Collecting a plurality of raw data that can be converted into data, (b) the data center server classifies and stores the collected raw data for each object according to data properties, (c) the content providing server according to the request of the user terminal Implementing a virtual object corresponding to a real object using a plurality of attribute data for each object stored in the data center server, and (d) the content providing server is based on communication between the user and the virtual object through the user terminal. It may include providing content.
  • the data center server collects raw data obtained directly or indirectly about an actual entity from one or more data collection terminals, and the data center server is an object to be converted into data from a user terminal. and receiving the registration of, in step (b), the raw data collected by the data center server, external data indicating external disposition including appearance and words and behavior, and internal product including personality and habit of a real entity
  • a step of deriving attribute data by classifying it into internal data describing the propensity, behavioral data on the behavior of the real entity, and archive data on the achievements performed during the existence of the real entity, and storing the attribute data for each entity may include.
  • the data collection terminal may include a computing device possessed by an actual entity or including an image sensor or a microphone sensor capable of obtaining raw data for an actual entity, or a computing device capable of inputting text by another user.
  • the data center server responds to a request from a user terminal of a user who has the right to use the data or another user who is permitted to use the property data of the registered entity from the user who has the right. Accordingly, the method may further include verifying the usage right and providing the attribute data online.
  • the content providing server receives one or more attribute data for a registered real entity from the data center server, (c2) the content providing server exists using the attribute data Implementing a virtual object corresponding to the object and operating in a virtual space, (c3) the content providing server setting the behavior of the running virtual object according to the attribute data of the virtual object, and (c4) providing the content
  • the method may include determining, by the server, a form of providing the virtual object according to the setting by the user.
  • the content providing server stores the learning data extracted from a plurality of sample entities and the learning data generated by modulating a certain part from the publicly available attribute data stored in the data center.
  • performing, by the content providing server, machine learning by applying the learning data to one or more predefined learning models, and reflecting the derived learning results by the content providing server to virtual object implementation and virtual object behavior generation may include steps.
  • the virtual object may be displayed on the user terminal as any one or a combination of two or more of a VR image, an augmented image, a 2D image, and an audio.
  • the content providing server further includes the step of performing a membership registration procedure according to a request of a user having the right to use attribute data for an existing entity, and performing a login procedure of the registered user and, in the step (c1), when the content providing server requests the virtual object content from the user terminal, confirming to the corresponding user the right to use the attribute data of the real object; and requesting the data center server to provide the attribute data.
  • the content may provide at least one of a dialog function between a user and a virtual object in the user terminal, a schedule management function that displays a schedule notification on the user terminal at a time set by the user, and a game function between the user and the virtual object have.
  • various types of raw data capable of extracting characteristics of existing or existing entities are collected and classified so as to be data-enabled to derive attribute data, and real entities through machine learning By creating virtual objects corresponding to There is an effect that can arouse the interest of the user.
  • information from various viewpoints such as appearance, conversation, and habits of influencers and public figures who want to provide experiential services as well as family or acquaintances that individuals want to remember are databased, and artificial
  • various types of services derived from the virtual object such as conversation with the virtual object, schedule management, and secretary, according to the request of the customer.
  • FIG. 1 is a diagram schematically showing the overall structure of an artificial intelligence-based virtual reality service system according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing the structure of a data center server of an artificial intelligence-based virtual reality service system according to an embodiment of the present invention.
  • FIG. 3 is a diagram showing the structure of a content providing server of an artificial intelligence-based virtual reality service system according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an AI-based virtual reality service method according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an artificial intelligence-based virtual reality service method according to an embodiment of the present invention as a procedure between each component.
  • 6 to 9 are diagrams illustrating screens provided in an artificial intelligence-based virtual reality service according to an embodiment of the present invention.
  • FIG. 1 is a diagram schematically showing the overall structure of an artificial intelligence-based virtual reality service system according to an embodiment of the present invention.
  • an artificial intelligence-based service system collects a plurality of raw data that can be converted into data extracted from a plurality of viewpoints with respect to an actual object that is a target of virtualization, and the collected raw data
  • the data center server 100 and the user terminal 50 for classifying and storing the and may include a content providing server 200 that implements a virtual object that provides a virtual object and provides content based on communication between a user and the virtual object through the user terminal 50 .
  • the user terminal 50 implements not only acquaintances such as family, acquaintances, and friends that have existed before or currently exist through the system of the present invention, but also celebrities such as singers, actors, and comedians as virtual objects acting in virtual space. It is a terminal device that enables a user to communicate.
  • the virtual object according to an embodiment of the present invention may include not only humans, but also pets and virtual entities (eg, dinosaurs, cartoon characters, etc.).
  • the user may register the user terminal 50 possessed or used by the user as a member in the content providing server 200 , and may request the content providing server 200 for content based on a virtual object with which he/she wants to communicate.
  • the above-described virtual object may be implemented as a VR image, AR image, 2D or 3D image, or voice, and the user terminal 50 reproduces the VR image streamed from the content providing server 200 in real time to communicate with the user. can be implemented.
  • the user terminal 50 may be a computing device including at least one processing unit and a memory.
  • the processing unit may include, for example, a central processing unit (CPU), a graphic processing unit (GPU), a microprocessor, an Application Specific Integrated Circuit (ASIC), Field Programmable Gate Arrays (FPGA), etc., It may have a plurality of cores.
  • the memory 1120 may be a volatile memory (eg, RAM, etc.), a non-volatile memory (eg, ROM, flash memory, etc.), or a combination thereof.
  • the user terminal 50 may include additional storage. Storage includes, but is not limited to, magnetic storage, optical storage, and the like.
  • a VR head mounted device equipped with a display capable of expressing depth information
  • a goggles-type AR device capable of displaying a virtual object by overlapping a real background, etc.
  • a known smart phone may be used.
  • a tablet PC or the like may be used, and a plurality of devices may support each other to feel a virtual object or space as if it were real.
  • the data center server 100 is a server device operated in a data center that stores and manages attribute data, which is a source for realization of virtual objects, and may store overall characteristics and patterns of real people and pets as a database and store them. .
  • Such a data center server 100 may be built in a cloud manner, and may receive various raw data about an actual object to be converted into data through an information and communication network, classify and systematize it, and store it during the service period, and use the data It can be provided to users with authority.
  • the data center server 100 may provide attribute data for an existing entity stored according to a user's request to the content providing server 200 linked according to the agreement.
  • attribute data is data classified by systematizing not only the appearance of the real entity, but also voice, conversational habits, intonation, habit, etc., and its actual behavior pattern and personality. These attribute data are virtual by the content providing server 200 . Can be used to create objects.
  • the AI-based virtual reality service system of the present invention can be reproduced using voice analysis technology, such as conversation habits, dialects and intonations, through their voice data forever even after humans or animals are born and die by using artificial intelligence technology.
  • voice analysis technology such as conversation habits, dialects and intonations
  • Voices may be implemented, and the data center server 100 may collect raw data for these voices.
  • Metaverse is a compound word of 'Meta', meaning fictitious and abstract, and 'Universe', meaning the real world, and means a three-dimensional virtual world. Metaverse is a more advanced concept than the conventional virtual reality environment, and can provide an augmented reality environment in which virtual worlds such as the web and the Internet are absorbed into the real world.
  • the data center server 100 may collect raw data obtained by scanning the real face of the real object with a 3D scanner technology, and if the real object In the case where it is difficult to 3D scan the face, such as a deceased person in the past, the recorded photograph of the subject is collected as raw data and can be used for 3D modeling data production by the content providing server 200 later.
  • the system of the present invention can produce and rent clothes or accessories that the user's deceased family members, relatives, and friends usually wear through the 3D modeling service.
  • the virtual object is a celebrity
  • it can be used to extract behavior data by recognizing the face of the real celebrity through face tracking technology and use it to implement the emotional expression of the virtual object, and exist through voice analysis technology. It is also possible to implement a virtual object having the same voice as that of a celebrity.
  • the data center server 100 of the present invention provides content to be described later by databaseizing various habits such as daily habits, facial expressions, and gait of real people or animals.
  • the virtual object maintains the memories of the past alive, and also adds new memories through conversation with the user and data center server 100 ) by providing a record service as new raw data, it is possible to implement a service of living together in the space of a new virtual world in the metaverse era between users and subjects.
  • the data center server 100 can materialize a virtual object in two steps to realize a more natural person at the current level of technology when the above-described real person is converted into a database.
  • face information is acquired by taking a picture of the front of a target for which a virtual object is to be created.
  • the person in the band may prepare the learning data by recording the voice for implementing the conversation for 30 seconds or more.
  • the data center server 100 stores emotional data corresponding to various situations, and as the emotional data is wrapped in 3D modeling of a virtual object, more interactive content can be provided.
  • an embodiment of the present invention According to an example, it is possible to provide a conversation content service with a virtual object for the user himself and not other people. This service implements a conversation between a user and his or her own clone (clone), and the user registers his/her memories and other memory information such as memories in the database center 100 in advance and virtual objects in the manner described above. can create
  • the above-described conversation service with the virtual object may be extended to an ancestor level, such as one's parents and great-grandfathers, and provided.
  • the content providing server 200 is a service providing server device that implements a virtual object and provides various contents based on communication with the virtual object to the user terminal 50 , and according to the request of the user terminal 50 , a specific person , it is possible to create a virtual object corresponding to an animal, and provide content based thereon.
  • Such content may be implemented in various genres such as simple conversation with virtual objects, schedule management, shopping with virtual objects, games, and the like, and may be provided to the user terminal 50 through an information communication network.
  • the content providing server 200 receives, from the agreed data sensor server 100, attribute data for a specific object requested by the user, and simulates the real object using the built-in artificial intelligence-based machine learning module. It is possible to create a virtual object that has a close, appearance, voice, and personality and takes action in a virtual space accordingly, and provides it as content in an appropriate form that can be reproduced in the user terminal 50 .
  • the content providing server 200 receives the celebrity modeling source stored from the data center server 100 in order to implement the appearance, such as the face, body shape, etc. of a virtual object for a celebrity, and extracts information about the skeleton and joints to create a polygon layer and map the texture on the polygon layer to create a 3D virtual object corresponding to the entertainer.
  • the present invention can be provided to the user through an algorithm that can imitate all actions of the subject using artificial intelligence deep learning technology based on such a database.
  • the content providing server 200 is a voice synthesis AI engine deep learning technology, a conversation analysis technology with an interlocutor (user), and an analysis algorithm for a dialogue sentence with an AI virtual object, It enables the realization of emotional expression through facial expression changes and body movements.
  • the content providing server 200 records the voice of repeated daily conversations between the user and the virtual object in real time, converts the text information converted through a voice analysis algorithm into computer code, and encrypts it in the data center server 100 . so you can save it.
  • the artificial intelligence-based virtual reality service system is the first time in human history that a person who existed in a virtual space without disappearing even if the existence of life dies is a virtual existence, but his appearance and voice, By using habits and various memories, they can exist forever even if they die, and can present a new business model for the world of the new metaverse where users can talk, sympathize, laugh, worry, and progress through meeting with users. have.
  • the artificial intelligence-based virtual reality service system manages and operates data based on Internet cloud technology, and enables meeting and conversation with virtual creatures created based on this.
  • an interactive graphic engine linkage technology capable of real-time physical contact feedback can be used.
  • the user may set public or private rights in the data center server 100 for a family registered by the user, which is a real entity registered by the user, or a family registered by a relative, or may be set to be disclosed only to specific persons. Accordingly, it is possible to search for family members, relatives, friends, etc. through the database through the data center server, and then to proceed with the meeting in the form of a virtual object. In this case, the permission to use when registering the virtual object may be divided into public, private, and specific person public. To this end, the user can set the right for this meeting service after obtaining approval for the use of the portrait rights of a third party, such as an individual's family, companion animal, or a celebrity he or she likes.
  • a third party such as an individual's family, companion animal, or a celebrity he or she likes.
  • the system can also create the same environment as real living beings such as clothing, accessories, and furniture, and sometimes provide content that provides food, etc. to the virtual object through the virtual shopping solution category.
  • the virtual entity may wear the medical accessory received as a gift or eat the provided food.
  • the service operator provides information to users according to service contract requirements such as disclosure and non-disclosure by integrating management and operation of data of virtual objects registered by individuals through the service of the present invention, and content provision by virtual objects. make it possible
  • a person who is currently alive, a person who has died or is dying in the past, and a companion animal may be service targets, and through the construction of a database for this, the user can view their appearance in virtual reality at any time.
  • Artificial intelligence technology more realistic communication can be realized.
  • a person such as a specific celebrity, or a company holding such portrait rights or copyrights can generate revenue by providing a virtual person meeting service for celebrities through the B2B business model of the present invention.
  • a database related to virtual objects about famous celebrities or public figures in a data center or providing a virtual person meeting service as content it is not private, but has full or partially permitted rights. It is possible to provide paid or free content in the form of a VR environment or mobile environment, etc., to fans around the world by accessing their favorite entertainers in a virtual space through a user terminal.
  • a search function is provided on the network to find a registered friend or family member, and in a virtual space, each person tries to meet each other at a remote location through a virtual object reflecting their real face. content can be provided.
  • the database may be tokenized according to the standard in an 'non-fungible token (NFT)' and recorded in connection with the blockchain mainnet.
  • NFT 'non-fungible token
  • NFT Since NFT is based on a blockchain, all relevant information such as ownership of data is stored in the blockchain, so the owner of the data can be checked at any time, making it impossible to forge.
  • NFTs contain a separate unique recognition value and cannot be exchanged with each other. It should be managed and utilized in an irreplaceable form.
  • the blockchain mainnet can issue an NFT for the data, and record the NFT and metadata on the distributed ledger.
  • the NFT applied to the embodiment of the present invention can correspond to Ethereum standards such as ERC-721 and ERC-1155, and the information about the generated NFT token is the It can be recorded on a distributed ledger.
  • the operator may provide a service of recording all databases for the restoration of a specific person by visiting the contractor or visiting the contractor's facility.
  • FIG. 2 is a diagram showing the structure of a data center server of an artificial intelligence-based virtual reality service system according to an embodiment of the present invention.
  • the data center server 100 of the artificial intelligence-based virtual reality service system is raw data directly or indirectly obtained from one or more data collection terminals 30 about an existing entity.
  • the data collection unit 110 that collects the data
  • the object registration unit 120 that receives registration of a real object that is an object to be converted into data from the user terminal
  • the raw data collected by the data collection unit 110, external tendency including appearance and behavior Attributes are classified into extrinsic data representing
  • the data providing unit 150 may include a data providing unit 150 that confirms the right to use and provides attribute data online.
  • the data collection unit 110 may collect various raw data about an actual entity that is a target of database formation through various paths through an information and communication network.
  • the data center server 100 may collect features, patterns, etc. derived from various viewpoints with respect to an actual object that is a target of a virtual reality service, and store it as a database for each object.
  • the raw data collected by the data collection unit 110 may include external elements such as the appearance, appearance, and voice of an actual entity, internal elements such as personality and disposition, and the like, and can be used in various ways through online can be collected.
  • the data collection terminal 30 may include a computing device possessed by an actual entity or an image sensor or a microphone sensor capable of acquiring raw data for an actual entity, or a computing device capable of text input by another user.
  • the object registration unit 120 may receive and register an actual object to be converted into data according to a request of a user who wants to use a service based on a virtual object through the system of the present invention.
  • the user is limited to those who have the right to use information such as achievements, as well as the face and voice of the real object, and the object registration unit 120 performs the registration procedure after confirming these permissions when registering the real object, , when the registration procedure is completed, the data storage 140 may create an object table for the corresponding object.
  • the data classifying unit 130 may classify various raw data for a registered real entity collected from the data collecting unit 110 into predetermined pieces according to properties of the data. According to an embodiment of the present invention, in realizing a real object as a virtual object, the appearance displayed or output is determined by reflecting the appearance and voice, and the conversation method and behavior by reflecting the personality, habit, and attitude in the virtual object etc. will be decided.
  • the data classification unit 130 classifies the raw data for each existing entity according to its properties and stores it in the data storage 140 , and externally recognizable data such as appearance and voice are external data (D1).
  • Data on personality, emotion, attitude, etc. can be classified as internal data (D2).
  • data on the behavior, gait, eating habits, etc. of an actual entity can be classified as behavioral data (D3), and data on the occupation, academic background, and biography of an actual entity can be classified as archive data (D4).
  • the data storage 140 may store the data classified by the data classification unit 130 as attribute data in the entity tables 141 and 142 defined for each entity.
  • An independent table for each registered entity can be formed and allocated, and classified attribute data are sequentially stored in the entity tables 141 and 142 .
  • a storage space for accumulating at least the external data D1, the internal data D2, the behavior data D3, and the archive data D4 may be allocated to each of the entity tables 141 and 142 as described above. Data of other classifications for implementing the virtual object may be further stored.
  • the data providing unit 150 may receive a request for the attribute data for each entity stored in the data storage 140 according to the request of the agreed content providing server 200 , and extract and reply from the data storage 140 .
  • the data center server 100 may provide the stored object-specific attribute data to the content providing server 200 for a virtual reality service.
  • the content providing server 200 may request attribute data for a corresponding object according to a request of a user having authority, and the data providing unit 150 responds to the request to the user and the content providing server 200 of the object. It is possible to check whether the usage right for the data exists, search the object table for the corresponding object of the checked request, extract the requested attribute data, and transmit it to the content providing server 200 .
  • the data center server of the present invention is a server operated in a data center that stores and manages data about a plurality of existing or currently existing entities such as people and animals, and in addition to the content providing server 200 of the present invention, objects Accumulated data can be provided to universities, research institutes, etc. that require big data according to the characteristics of Of course, externally provided data may be provided only in a form in which the use of data has been approved in advance or in a form permitted by the relevant laws and regulations without personal approval, in a form in which personal information is masked and altered.
  • the data center server 100 collects and manages data for providing a virtual reality service, and may provide it when necessary, and provides a virtual reality service using this attribute data with reference to the drawings below.
  • the structure of the content providing server 200 will be described in detail.
  • FIG. 3 is a diagram showing the structure of a content providing server of an artificial intelligence-based virtual reality service system according to an embodiment of the present invention.
  • the content providing server 200 of the artificial intelligence-based virtual reality service system includes a data transfer unit ( 210), the virtual object implementation unit 220 for realizing a virtual object that corresponds to a real object and is active in a virtual space using property data, and an object action that sets the behavior of a running virtual object according to the property data of the virtual object
  • the data transfer unit 210 serves to request and receive a reply from the data sensor server 100 for attribute data about a person, animal, etc. according to the virtual reality service request of the user terminal 50 .
  • the data transfer unit 210 may request data transfer for an object that is a service target stored in an external data center, and the data center server 100 may return attribute data of the object in response to a legitimate transfer request.
  • the data transfer unit 210 confirms the right to use the property data of the real object to the corresponding user, and sends the property data to the data center server 100 within the range of the usage right.
  • Attribute data may include sensitive personal information, so only users who have a legitimate right to use the attribute data can use the data in the virtual reality service, and the data transfer unit 210 is verification process will be performed.
  • the virtual object implementation unit 220 may implement the virtual object by using the provided object attribute data.
  • the virtual object implementation unit 220 may materialize the appearance of the virtual object by performing 2D or 3D modeling using external data, which may be provided in a form displayable by the user terminal 50 .
  • the virtual object implementation unit 220 may reflect the content of the conversation constructed using the internal data in a response to the user's utterance input during communication with the virtual object and the user.
  • the virtual object implementation unit 220 may reflect the action shown when the virtual object is output on the screen of the user terminal 50, which is determined using the action data, and the conversation topic determined using the archive data; Content, etc. can be reflected in the response.
  • Such a virtual object may be displayed on the user terminal 50 as any one or a combination of two or more of a VR image, an augmented image, a 2D image, and an audio, and may provide a real-time conversation function.
  • the object action generation unit 230 may generate action information on words, gestures, etc. of a virtual object in a virtual space displayed on the screen of the user terminal 50 and provide it to the virtual object implementation unit 220 .
  • the virtual object displayed on the user terminal 50 may not only respond to the user's utterance, but may also take an autonomous action, move freely in the virtual space, or move objects as well as facial expressions, hand gestures, and gestures.
  • An action such as picking may be performed, and the virtual object implementation unit 220 may receive the action information provided in real time from the object action generator 230 and reflect it on the virtual object.
  • the action of the virtual object may be determined according to the type of content set by the user.
  • the virtual object may communicate with the user while standing or sitting on the screen, or may perform a conversational action while walking in a virtual space.
  • the virtual space may be a space arbitrarily set by the system or a space in which a place of memory with the deceased set by a user is virtually reproduced.
  • the virtual object may store the schedule transmitted by the user through conversation, appear on the screen according to the schedule, and deliver the schedule content to the entertainer's voice.
  • the object action generating unit 230 generates action information of a virtual object appropriate to the user's intention according to the type of current content, so that the action performed by the virtual object during service is determined.
  • the above-described virtual object implementation unit 220 and object action generation unit 230 reflect the learning results derived from the machine learning unit 270 to be described later in virtual object implementation and virtual object action generation, respectively.
  • the service determiner 240 may determine a content type based on a virtual object according to a user's setting. As described above, the system according to an embodiment of the present invention may provide various contents based on communication with a virtual object. Such content provides at least one of a dialog function between a user and a virtual object in the user terminal 50, a schedule management function that displays a schedule notification on the user terminal at a time set by the user, and a game function between the user and the virtual object may be doing
  • the virtual reality service of the present invention when clothing is purchased in a virtual space through an in-app payment method, content for a virtual object to wear the corresponding clothing can be provided.
  • the service providing unit 250 is connected to the user terminal 50 through the information and communications network, receives attribute data for the corresponding virtual object from the data center according to the user's request to implement the virtual object, and also selects the type of content from the user.
  • a virtual space is prepared to respond to the setting, and a virtual object appears to provide a virtual reality service to the user terminal 50 .
  • the virtual object target and service range can be determined according to the user's member information, and the service providing unit 250 refers to the member information stored in the member DB 285 to check the target object and service range. and the content determined by the service determining unit 240 may be provided to the user terminal 50 .
  • Such content may be provided in a real-time 2D or 3D video streaming method for its type, only the voice of a virtual object may be provided, and conversation contents may be provided in the form of text or SMS text.
  • the learning data DB 260 may store various learning data for machine learning that is reflected in the above-described modeling of the virtual object and generating its behavior.
  • the learning data may be input and stored at the system operating side, or may be stored after being supplied from one or more data centers. Such learning data may be in the same format as each data of the attribute data, and may be used to learn the appearance, voice, behavior, etc. of the virtual object.
  • the learning data DB 260 accumulates and stores the result of the conversation between the user and the virtual object as learning data so that it can be utilized for machine learning.
  • the learning data DB 260 may be stored in a storage space allocated for each real person corresponding to the virtual object, and the habits, facial expressions and gestures of the real person are learned through machine learning in advance in the user terminal 50 later. It allows you to implement animations that improvise actions for each situation rather than produced.
  • the machine learning unit 270 may use a plurality of learning data stored in the learning data DB 260 to model a virtual object, generate a response to a conversation, and generate an action.
  • the machine learning unit 270 may build a deep learning probabilistic inference model by using the learning data collected and stored in the learning data DB 260 .
  • the model 205 constructed in this way is not fixed and completed, but when conversations and exchanges between a plurality of users and virtual objects are accumulated, it can be supplemented by receiving feedback from it and repeatedly learning again.
  • the machine learning unit 270 may be based on a sequence-to-sequence framework and an encoder-decoder model in the case of dialogue.
  • the S2S model can be composed of two Recurrent Neural Networks (RNNs), the first RNN splits a sentence into word units and encodes them into one vector, and the second RNN converts the encoded vector into one word. It may be a learning model of a method of decoding each and finally constructing one sentence.
  • the machine learning unit 270 may process the content of the user's utterance as a pre-trained word embedding model.
  • This is an artificial neural network, which can be composed of two layers, converts the input speech content into text, receives it as an input, and finds a way to express the words of the text as a vector.
  • the value of the vector should be a value that well expresses the meaning or role of the word in the text, and the word is expressed as a vector in consideration of the meaning and context of the word.
  • Such a word embedding model can be used as a preprocessing step of a deep neural network.
  • the machine learning unit 270 may obtain a vector corresponding to a word for each word, and input the vector into a deep neural network to perform additional work or to determine a relationship such as word similarity.
  • the machine learning unit 270 may obtain the similarity between words in order to understand the sentence. Word embedding is to find a vector value corresponding to each word so that similar words are located closer together.
  • word embedding can grasp the meaning of a word quite accurately, so that it is possible to find out not only the meaning of the word but also the relationship between several words.
  • the word embedding model can be used to classify not only words but also larger units of sentences or documents.
  • sufficient data it is possible to infer a word that is predetermined as having a high similarity with respect to a specific word through machine learning of the learning data.
  • the machine learning unit 270 may learn the meaning of a word by using a relationship between a word in an input sentence and an adjacent word through connection with a neural network used for deep learning.
  • the target word can be predicted using the context created by the surrounding words, and words that can come around can be predicted based on a single word.
  • the machine learning unit 270 may present a visual conversation using camera image information about the speaker input from the user terminal 50 , that is, the user.
  • a conversation with a general virtual object a number of dialogue pairs are presented, each sentence of the dialogue is decomposed into morpheme units, an appropriate vector is created from it, and a response is derived by grasping the meaning.
  • Information according to the facial expression may be additionally provided to conduct a conversation, or may be reflected in the virtual object's own facial expression.
  • the accuracy can be further improved by adding visual information as real-time input information of the user as well as learning data.
  • visual information can be obtained by well-known facial recognition technology and facial expression recognition technology, and a conversation can be continued in consideration of the emotion according to the expression.
  • the machine learning unit 270 re-establishes the 'relationship' between the user and the virtual object according to the accumulation of conversations and activities occurring between the user and the virtual object, and applies the concept of growing the virtual object. can do.
  • the virtual object repeats the initially specified lines, expressions, and actions in each situation in the same way. Rather, it can be continuously updated to take appropriate actions for each user through machine learning based on data accumulation.
  • the member management unit 280 serves to store member information of the registered user, perform a login procedure of the user terminal 50, or set and authenticate user rights.
  • the member management unit 280 registers a virtual object and performs a procedure of authenticating whether a user who wants to use content has the right to use attribute data for the virtual object, thereby using the virtual object thereafter.
  • the transfer of the attribute data can be requested to the data transfer unit 210 only when the authority of the corresponding user is confirmed.
  • the member DB 285 may store member information of a user registered as a member in the system.
  • the member information stored and managed by the content providing server 200 of the present invention may include the user's name, account name, password, and the identifier of the virtual object to which the user has the right to use, the login of the user terminal 50, When creating a virtual object and providing content, the user and the virtual object may be identified, and login or content provision may be approved.
  • the content providing server 200 may provide various types of content based on communication between a user and a virtual object by the user terminal 50 .
  • FIG. 4 is a diagram illustrating an AI-based virtual reality service method according to an embodiment of the present invention.
  • the execution subject of each step becomes the system of the present invention and its constituent parts, even if there is no separate description.
  • the AI-based virtual reality service method is an AI-based virtual reality service method, in which a data center server is extracted from a plurality of viewpoints with respect to an actual object to be virtualized. Collecting a plurality of raw data that can be converted into data (S100), the data center server classifying and storing the collected raw data for each object according to data properties (S110), the content providing server data according to the request of the user terminal A step of implementing a virtual object corresponding to a real object by using a plurality of attribute data for each object stored in the center server (S120), and the content providing server provides content based on communication between the user and the virtual object through the user terminal It may include a step (S130) of doing.
  • the data center server in the step (S100) of the data center server collecting a plurality of raw data that can be converted into data extracted from a plurality of viewpoints with respect to an actual object targeted for virtualization, the data center negotiated with the system operating side of the present invention Collects raw data about registered real objects from data center servers operated by .
  • the raw data may be collected in a direct manner from a data collection terminal including a smart phone possessed by the real object or a sensor installed around the real object, or data possessed by people around the real object
  • Raw data may be collected in a way that is indirectly input through the collection terminal.
  • the owner who registered the real object may collect raw data from his/her smartphone or the like.
  • the data center server classifies various raw data of the corresponding real object for each object according to the properties of the data.
  • the raw data may include not only data on the appearance, such as an appearance, voice, etc., of a corresponding real entity, but also data such as personality and habits input by people around.
  • the data center server classifies each data according to the properties of the data and accumulates and stores each object to build the data center.
  • the content providing server implementing a virtual object corresponding to the real object by using a plurality of attribute data for each object stored in the data center server according to the request of the user terminal.
  • the content providing server is connected to the system Upon receipt of a request for a virtual reality service for a registered real object from a user terminal, the authority of the user who requested the service is checked, the real object is identified, and attribute data of the real object is requested from the data center server.
  • the content providing server creates a virtual object for the real object in response to the attribute data and provides it to the user terminal.
  • the content providing server implements the virtual object using a plurality of attribute data transferred, and the user Content including virtual objects is provided according to the set content type.
  • FIG. 5 is a diagram illustrating an artificial intelligence-based virtual reality service method according to an embodiment of the present invention as a procedure between each component.
  • the data collection terminal 30 provides raw data from various viewpoints. , and provides the sensed data to the data center server 100 (S200).
  • the data center server 100 stores the collected raw data in the storage for each object (S210). At this time, the stored raw data is classified according to properties and divided and stored in an object table.
  • the user may access the content providing server 200 using his/her user terminal 50 , perform a member registration procedure, and request a virtual reality service based on the registered entity ( S220 ).
  • the registered entity may be a family member, a relative, a friend, or a pet directly related to the user. Or, depending on the type of service, it may be a celebrity such as a singer or an actor. If it is related to a real object such as a family member, the user must register the real object in the data center server 100 in advance. The service becomes available only after setting the registration of the virtual object and granting the user the right to use the virtual object.
  • the content providing server 200 requests the data center server 100 to provide attribute data for the real object (S240).
  • the data center server 100 checks the usage right for the data of the real object of the user who requested the service (S250), searches the object table for the real object for which the confirmation is completed, extracts attribute data, and provides the content server It replies to (200) (S260).
  • the content providing server 200 that has received the property data of the real object creates a virtual object in the virtual space corresponding to the real object using the property data ( S270 ).
  • the reproducibility of such a virtual object may be improved based on machine learning, and more natural communication with the user is possible by determining the appearance and voice of the virtual object, as well as conversation contents and behavior.
  • the content providing server 200 provides virtual reality content based on the virtual object to the user terminal 50 according to the content type set by the user.
  • virtual reality content may be reproduced in the user terminal 50 in the form of VR, AR, or general image, and may be content capable of communication by outputting a response in response to the user's utterance.
  • 6 to 9 are diagrams illustrating screens provided in an artificial intelligence-based virtual reality service according to an embodiment of the present invention.
  • the artificial intelligence-based virtual reality service implements a person, animal, etc. that currently exist or exist in the past as virtual objects in a virtual space, and is based on communication with the user. It is characterized in that it is possible to perform a conversation while watching the appearance of a virtual object in HMD, AR glasses, etc., as well as TV, PC, etc., with such content.
  • the real and virtual objects may be not only the user's acquaintances, but also entertainers, historical figures, and the like.
  • the 3D appearance and voice of the virtual object modeled using the appearance data, as well as the tone, personality, and habits of the virtual object are reflected in the words and actions of the virtual object, the user can meet the real deceased. You can have an experience like
  • the virtual object is a deceased person who has been close to the user, the user can experience conversations with the person who is not currently available to meet again in the virtual space and ask for their regards.
  • the virtual entity is an existing or previously existing singer
  • the user can meet directly with his/her favorite singer and have a one-on-one conversation, and watch a virtual concert featuring the singer.
  • the user when a tangible terminal such as VR or AR is used as a user terminal, the user may experience a more realistic situation.
  • the virtual reality service can implement a conversation based on an actual memory or event in the past by archive data applied to the implemented virtual object in communication with the virtual object. have.
  • the system can receive the history that actually occurred through the data collection terminal and implement the actual event between the user and the real object through conversation with the virtual object.
  • a user can inquire about a point in the past included in the historical data provided in advance during a conversation, and the virtual object can respond to events that occurred at that point in time extracted from the system in the form of a conversation.
  • the user when the virtual object is an acquaintance of the user and the user is currently deceased, the user may recall memories of the user and the acquaintance in the past and experience a conversation as in daily life based on the present time.
  • the virtual object may perform facial expressions, speech tones, habits, and actions implemented by artificial intelligence.
  • the virtual reality service according to the embodiment of the present invention is available not only in virtual reality-only devices such as VR and AR, but also in mobile devices such as smartphones owned by anyone, and not only daily conversation content, You can use the virtual assistant contents, which is a schedule management function.
  • a schedule management content that uses a celebrity registered for his or her favorite service as a virtual object as virtual assistant content, and inputs and stores schedules such as to-dos, reminders, and anniversaries by date in the smartphone
  • schedules such as to-dos, reminders, and anniversaries by date in the smartphone
  • various communication with a virtual object is possible in the real world, and it is possible to implement natural communication that can occur frequently in daily life as well as virtual assistant contents by the aforementioned virtual object.
  • conversational content according to various topics, quiz content in fields such as comics, common sense, science and technology, commercialized external DB, as an example, information providing content based on Google and Wikipedia, etc. based on AI natural language Conversation with virtual objects can be provided.
  • the virtual object may perform automatic log-in to a specific online shopping mall and product order on behalf of the user based on the user's log-in information.
  • the virtual object can store the content as private information in the database, and later in the life memory vault service. can be utilized.
  • the above-described memory storage function can be applied to various useful services. For example, it can be extended to the contents of my life memory that allows you to look back on the memory of a specific point in time at any time, and important information storage contents that store important information such as wills and passwords.
  • the virtual reality service may provide content in the form of a game played with a virtual object.
  • a user can use his/her smartphone to run a virtual object and use game content that progresses with the user in a virtual space.
  • the user may execute a chess game in which the user competes with the virtual object, and the virtual object may enjoy the game together with the user as an opponent.
  • a chessboard on which chess pieces are placed may be displayed on the screen together with the virtual object, and the user may enjoy playing chess when facing the virtual object.
  • the chess pieces can be moved through an input to the user's touch panel, and the user and the virtual object can enjoy the chess game by moving the chess pieces when their turns return, respectively.
  • game content such as chess
  • the virtual object may perform actions such as facial expressions, hand gestures, and gestures corresponding to the situation in which the game is currently being played according to the set personality, habits, etc., which may be reflected and displayed in real time on the user terminal.
  • the virtual reality service may provide various contents for interaction with a virtual object in a virtual space.
  • shopping malls, restaurants, cafes, etc. exist in the real world on the virtual space in which the virtual object appears, and the user selects a shopping mall in the virtual space, purchases virtual clothes, accessories, etc. may be
  • the payment method set in the user terminal may be used for payment of the product, and when the payment is completed, the system pays the corresponding product to the virtual object, and the virtual object may wear or use the graphically processed product.
  • a navigation service that provides a virtual map for driving by receiving a destination from a user in a conversational format through interworking with a navigation solution.
  • system may provide content for various types of interactive implementation between a user and a virtual object.

Landscapes

  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 가상현실 서비스 시스템을 개시한다. 보다 상세하게는, 본 발명은 이전에 존재하였으나 현재는 그렇지 않은 실존인물 또는 애완동물 등을 가상공간상에서 구현함으로써 언제나 다시 만나볼 수 있도록 하는 새로운 개념의 서비스를 제공하는 인공지능 기반 가상현실 서비스 시스템 및 방법에 관한 것이다. 본 발명의 실시예에 따르면, 인물, 동물 등 실존했거나 실존하는 개체의 특성을 추출할 수 있는 다양한 형태의 로우 데이터를 수집하여 데이터화가 가능하도록 분류하여 속성 데이터를 도출하고, 기계학습을 통해 실존 개체에 대응하는 가상 개체를 생성하여 그와의 의사소통에 기반한 콘텐츠를 제공함으로써, 사용자가 마치 해당 인물 또는 애완동물과 직접 소통하는 느낌의 실감나는 체험을 할 수 있고, 이에 기초한 다양한 응용 콘텐츠를 제공함으로써 사용자의 흥미를 유발할 수 있는 효과가 있다.

Description

인공지능 기반 가상현실 서비스 시스템 및 방법
본 발명은 가상현실 서비스 시스템에 관한 것으로, 특히 이전에 존재하였으나 현재는 그렇지 않은 실존인물 또는 애완동물 등을 가상공간상에서 구현함으로써 언제나 다시 만나볼 수 있도록 하고, 현실세계에서 일상생활에 가상공간의 개체를 밀접하게 적용하여 그 경계를 느슨하게 하는 새로운 개념의 서비스를 제공하는 인공지능 기반 가상현실 서비스 시스템 및 방법에 관한 것이다.
인류 역사에 비추어 볼 때, 인간은 무한한 발전을 하고 있다. 역사는 기록의 산물이며 후대를 거치면서 기술의 발전을 보여주고 있다. 최근 부각되고 있는 인공지능 기술 역시 마찬가지로 인간의 지능 수준에 이르고 있다.
오랜기간 동안 인간은 그들이 살아온 역사에 대하여 누군가의 글, 그림, 사진, 영상물속에 기록되어 왔으나, 실제로 그들을 만나보고 그 환경을 직접 체험할 수는 없을 것이다.
특히, 인생에서 오랜 시간 함께 해왔던 가족, 친지, 친구나, 애완동물이 갑작스럽게 세상을 떠나는 경우, 남아 있는 이들은 떠난 이를 그리워하면서 힘든 시간을 보낼 수 있다.
이러한 문제를 극복하기 위해, 공개특허공보 제10-2021-0015977호(공개일자: 2021년02월10일)는 이른 나이에 사망에 이른 사망자의 습관 등의 데이터와 인공지능을 활용하여 현재 사망자가 현재 살아있었을 경우를 가정하여 음성 및 영상을 구현하여 사용자가 마치 사망자가 현재까지 살아있는 것과 같은 느낌으로 가상의 사망자와 대화를 나눌 수 있도록 하는 사망자와의 대화 구현 장치를 개시하고 있다.
전술한 종래기술에 의하면, 사망자의 생전 음성을 나이에 매칭시킨 사망자 음성을 사용자가 사용하는 사용자 단말로부터 수신하는 사망자 음성 수신부 및 사망자의 생전 음성을 음절 단위로 분할한 분할 데이터를 생성하는 분할 데이터 생성부를 구비하고, 사람들의 나이에 따른 음성 데이터를 학습 데이터로 하여 머신 러닝 알고리즘으로 상기 사망자가 살아있을 경우의 사망자의 현재 나이에 맞추어 사망자의 분할 데이터의 음성을 에이징화한 에이징 음성 데이터를 생성하는 내용을 개시하고 있다.
그러나, 이러한 선행기술에 의하면 사망자의 한정된 단어 및 영상만을 제한적인 형태로 제공하는 것으로 추모를 위한 영상일 뿐이라는 한계가 있다.
최근에는 가상현실 기술(Virtual Reality), 증강현실 기술(Augmented Reality) 등, 실제로 존재하지 않는 가상의 공간에 방문하거나, 가상의 인물과 만나서 교류하는 등의 다양한 가상체험 서비스가 연구되고 있으며, 본 발명은 이러한 최신의 가상현실 기술에 기반하여, 현재는 존재하지 않으나 과거 실존했던 인물, 동물 등과 소통할 수 있도록 함과 아울러, 현실세계에서의 일상생활에서 필요한 활동을 가상공간에 존재하는 개체를 통해 수행할 수 있도록 하는 서비스를 구현하고자 한다.
본 발명은 전술한 한계를 극복하고, 새로운 경험의 서비스를 제공하기 위해 안출된 것으로, 인공지능 기술이 나날이 발전하고 있는 현재의 시점에서 인간을 데이터화하여 저장하고, 인공지능 기술과 융합하여 앞으로 영원히 누군가의 기억속에서 감정을 느끼고 체험할 수 있도록 하는 새로운 개념의 서비스를 제공하는 데 과제가 있다.
또한, 본 발명은 과거 또는 현재까지 실존했거나 실존하는 인물, 동물 등의 실존 개체에 관한 다양한 정보를 데이터 베이스하고, 인공지능 기술을 활용하여 축적된 데이터에 기초하여 과거 또는 현재 실존하는 개체와 가장 근접하게 구현된, 가상 개체와의 의사소통을 수행할 수 있고, 그 의사소통에 기반한 다양하면서도 실생활에서 유용한 서비스를 제공하는 데 과제가 있다.
전술한 과제를 해결하기 위해, 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템은, 가상화의 대상이 되는 실존 개체에 대하여 복수의 관점에서 추출되는 데이터화가 가능한 복수의 로우 데이터를 수집하고, 수집된 로우 데이터를 데이터 속성에 따라 개체별로 분류 및 저장하는 데이터 센터 서버 및, 사용자 단말의 요청에 따라, 상기 데이터 센터 서버에 저장된 개체별 다수의 속성 데이터를 이용하여 실존 개체에 대응하는 가상 개체를 구현하고, 상기 사용자 단말을 통해 사용자와 가상 개체 간 의사소통에 기반한 콘텐츠를 제공하는 콘텐츠 제공 서버를 포함할 수 있다.
상기 데이터 센터 서버는, 하나 이상의 데이터 수집 단말로부터 실존 개체에 대한 직접적 또는 간접적으로 획득되는 로우 데이터를 수집하는 데이터 수집부, 사용자 단말로부터 데이터화 하고자 하는 대상인 실존 개체를 등록받는 개체 등록부, 상기 데이터 수집부에 의해 수집된 로우 데이터를, 외모 및 언행을 포함하는 외적 성향을 나타내는 외적 데이터와, 실존 개체의 성격 및 습관을 포함하는 내적 성향을 설명하는 내적 데이터와, 실존 개체의 행동에 대한 행동 데이터와, 실존 개체의 생존시 수행한 업적에 대한 아카이브 데이터로 분류하여 속성 데이터를 도출하는 데이터 분류부 및, 상기 속성 데이터를 개체별로 저장하는 데이터 저장소를 포함할 수 있다.
상기 데이터 수집 단말은, 실존 개체가 소지하거나, 실존 개체에 대한 로우 데이터의 획득이 가능한 이미지 센서 또는 마이크 센서를 포함하는 컴퓨팅 장치 또는, 타 사용자에 의한 텍스트 입력이 가능한 컴퓨팅 장치를 포함할 수 있다.
상기 데이터 센터 서버는, 등록된 실존 개체의 속성 데이터에 대하여, 데이터 사용에 관한 권한을 갖는 사용자 또는, 권한을 갖는 사용자로부터 사용을 허가받은 타 사용자의 사용자 단말의 요청에 따라, 사용 권한을 확인하고 속성 데이터를 온라인을 통해 제공하는 데이터 제공부를 더 포함할 수 있다.
상기 콘텐츠 제공 서버는, 상기 데이터 센터 서버로부터 등록된 실존 개체에 대한 하나 이상의 속성 데이터를 제공받는 데이터 이관부, 상기 속성 데이터를 이용하여 실존 개체에 대응하며 가상 공간상에서 활동하는 가상 개체를 구현하는 가상 개체 구현부, 가상 개체의 속성 데이터에 따라, 실행중인 가상 개체의 행동을 설정하는 개체 행위 생성부, 사용자에 의한 설정 내용에 따라, 가상 개체의 제공 형태를 결정하는 서비스 결정부 및, 상기 사용자 단말의 요청에 따라, 상기 콘텐츠를 사용자 단말에 제공하는 서비스 제공부를 포함할 수 있다.
상기 콘텐츠 제공 서버는, 다수의 샘플 개체로부터 추출된 학습 데이터 및, 상기 데이터 센터 서버에 저장된 공개 가능한 속성 데이터로부터 일정 부분 변조되어 생성된 학습 데이터를 저장하는 학습데이터 DB 및, 하나 이상의 미리 정의된 학습 모델에 상기 학습 데이터를 적용하여 기계학습을 수행하는 기계 학습부를 포함하고, 상기 가상 개체 구현부 및 개체 행위 생성부는, 상기 기계 학습부로부터 도출된 학습결과를 각각 가상 개체 구현 및 가상 개체 행위 생성에 반영할 수 있다.
상기 가상 개체는, VR 영상, 증강 영상, 2D 영상 및 음성 중, 어느 하나 또는 둘 이상의 조합으로 상기 사용자 단말에 표시되는 것일 수 있다.
상기 콘텐츠 제공 서버는, 실존 개체에 대한 속성 데이터의 사용 권한을 갖는 사용자의 요청에 따라 회원 가입 절차를 수행하고, 회원 등록된 사용자의 로그인 절차를 수행하는 회원 관리부를 더 포함하고, 상기 데이터 이관부는, 상기 사용자 단말로부터 가상 개체 콘텐츠 요청시, 해당 사용자에게 실존 개체의 속성 데이터의 사용 권한을 확인하고, 사용 권한 범위 내에서 상기 데이터 센터 서버에 상기 속성 데이터의 제공을 요청하는 것일 수 있다.
상기 콘텐츠는, 사용자 단말에서 사용자와 가상 개체 간 대화 기능, 사용자가 설정한 시점에 사용자 단말에 일정 알림을 표시하는 일정관리 기능 및, 사용자와 가상 개체 간 게임 기능 중, 하나 이상을 제공하는 것일 수 있다.
또한, 전술한 과제를 해결하기 위한 본 발명의 다른 양태의 실시예에 따른 인공지능 기반 가상현실 서비스 방법은, (a) 데이터 센터 서버가 가상화의 대상이 되는 실존 개체에 대하여 복수의 관점에서 추출되는 데이터화가 가능한 복수의 로우 데이터를 수집하는 단계, (b) 상기 데이터 센터 서버가 수집된 로우 데이터를 데이터 속성에 따라 개체별로 분류 및 저장하는 단계, (c) 콘텐츠 제공 서버가 사용자 단말의 요청에 따라 상기 데이터 센터 서버에 저장된 개체별 다수의 속성 데이터를 이용하여 실존 개체에 대응하는 가상 개체를 구현하는 단계 및, (d) 상기 콘텐츠 제공 서버가 상기 사용자 단말을 통해 사용자와 가상 개체 간 의사소통에 기반한 콘텐츠를 제공하는 단계를 포함할 수 있다.
상기 (a) 단계는, 상기 데이터 센터 서버가 하나 이상의 데이터 수집 단말로부터 실존 개체에 대한 직접적 또는 간접적으로 획득되는 로우 데이터를 수집하는 단계 및, 상기 데이터 센터 서버가 사용자 단말로부터 데이터화 하고자 하는 대상인 실존 개체를 등록받는 단계를 포함하고, 상기 (b) 단계는, 상기 데이터 센터 서버가 수집된 로우 데이터를, 외모 및 언행을 포함하는 외적 성향을 나타내는 외적 데이터와, 실존 개체의 성격 및 습관을 포함하는 내적 성향을 설명하는 내적 데이터와, 실존 개체의 행동에 대한 행동 데이터와, 실존 개체의 생존시 수행한 업적에 대한 아카이브 데이터로 분류하여 속성 데이터를 도출하는 단계 및, 상기 속성 데이터를 개체별로 저장하는 단계를 포함할 수 있다.
상기 데이터 수집 단말은, 실존 개체가 소지하거나, 실존 개체에 대한 로우 데이터의 획득이 가능한 이미지 센서 또는 마이크 센서를 포함하는 컴퓨팅 장치 또는, 타 사용자에 의한 텍스트 입력이 가능한 컴퓨팅 장치를 포함할 수 있다.
상기 (c) 단계 이전에, 상기 데이터 센터 서버가 등록된 실존 개체의 속성 데이터에 대하여, 데이터 사용에 관한 권한을 갖는 사용자 또는, 권한을 갖는 사용자로부터 사용을 허가받은 타 사용자의 사용자 단말의 요청에 따라, 사용 권한을 확인하고 속성 데이터를 온라인을 통해 제공하는 단계를 더 포함할 수 있다.
상기 (c) 단계는, (c1) 상기 콘텐츠 제공 서버가 상기 데이터 센터 서버로부터 등록된 실존 개체에 대한 하나 이상의 속성 데이터를 제공받는 단계, (c2) 상기 콘텐츠 제공 서버가 상기 속성 데이터를 이용하여 실존 개체에 대응하며 가상 공간상에서 활동하는 가상 개체를 구현하는 단계, (c3) 상기 콘텐츠 제공 서버가 가상 개체의 속성 데이터에 따라, 실행중인 가상 개체의 행동을 설정하는 단계 및, (c4) 상기 콘텐츠 제공 서버가 사용자에 의한 설정 내용에 따라, 가상 개체의 제공 형태를 결정하는 단계를 포함할 수 있다.
상기 (c2) 단계 및 (c3) 단계는, 상기 콘텐츠 제공 서버가 다수의 샘플 개체로부터 추출된 학습 데이터 및, 상기 데이터 센터에 저장된 공개 가능한 속성 데이터로부터 일정 부분 변조되어 생성된 학습 데이터를 저장하는 단계, 상기 콘텐츠 제공 서버가 하나 이상의 미리 정의된 학습 모델에 상기 학습 데이터를 적용하여 기계학습을 수행하는 단계 및, 상기 콘텐츠 제공 서버가 도출된 학습결과를 각각 가상 개체 구현 및 가상 개체 행위 생성에 반영하는 단계를 포함할 수 있다.
상기 가상 개체는, VR 영상, 증강 영상, 2D 영상 및 음성 중, 어느 하나 또는 둘 이상의 조합으로 상기 사용자 단말에 표시되는 것일 수 있다.
상기 (c1) 단계 이전에, 상기 콘텐츠 제공 서버가 실존 개체에 대한 속성 데이터의 사용 권한을 갖는 사용자의 요청에 따라 회원 가입 절차를 수행하고, 회원 등록된 사용자의 로그인 절차를 수행하는 단계를 더 포함하고, 상기 (c1) 단계는, 상기 콘텐츠 제공 서버가 상기 사용자 단말로부터 가상 개체 콘텐츠 요청시, 해당 사용자에게 실존 개체의 속성 데이터의 사용 권한을 확인하는 단계 및, 상기 콘텐츠 제공 서버가 사용 권한 범위 내에서 상기 데이터 센터 서버에 상기 속성 데이터의 제공을 요청하는 단계를 포함할 수 있다.
상기 콘텐츠는, 사용자 단말에서 사용자와 가상 개체 간 대화 기능, 사용자가 설정한 시점에 사용자 단말에 일정 알림을 표시하는 일정관리 기능 및, 사용자와 가상 개체 간 게임 기능 중, 하나 이상을 제공하는 것일 수 있다.
본 발명의 실시예에 따르면, 인물, 동물 등 실존했거나 실존하는 개체의 특성을 추출할 수 있는 다양한 형태의 로우 데이터를 수집하여 데이터화가 가능하도록 분류하여 속성 데이터를 도출하고, 기계학습을 통해 실존 개체에 대응하는 가상 개체를 생성하여 그와의 의사소통에 기반한 콘텐츠를 제공함으로써, 사용자가 마치 해당 인물 또는 애완동물과 직접 소통하는 느낌의 실감나는 체험을 할 수 있고, 이에 기초한 다양한 응용 콘텐츠를 제공함으로써 사용자의 흥미를 유발할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따르면, 개인이 기억하고자 하는 가족이나 지인을 비롯하여 체험형 서비스를 제공하고자 하는 인플러언서, 공인 등에 대한 외형, 대화, 습관 등 다양한 관점의 정보를 데이터 베이스화하고, 인공 기능을 기술을 적용하여 가상 공간상의 가상 개체로 구현함으로써, 이후 고객의 요청에 따라 가상 개체와의 대화를 비롯하여 일정관리, 비서 등 가상 개체로부터 파생되는 다양한 형태의 서비스를 제공할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템의 전체 구조를 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템의 데이터 센터 서버의 구조를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템의 콘텐츠 제공 서버의 구조를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 방법을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 방법을 각 구성요소간 절차로 나타낸 도면이다.
도 6 내지 도 9는 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스에서 제공되는 화면을 예시한 도면이다.
도 1은 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템의 전체 구조를 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 인공지능 기반 서비스 시스템은, 가상화의 대상이 되는 실존 개체에 대하여 복수의 관점에서 추출되는 데이터화가 가능한 복수의 로우 데이터를 수집하고, 수집된 로우 데이터를 데이터 속성에 따라 개체별로 분류 및 저장하는 데이터 센터 서버(100) 및, 사용자 단말(50)의 요청에 따라, 데이터 센터 서버(100)에 저장된 개체별 다수의 속성 데이터를 이용하여 실존 개체에 대응하는 가상 개체를 구현하고, 사용자 단말(50)을 통해 사용자와 가상 개체 간 의사소통에 기반한 콘텐츠를 제공하는 콘텐츠 제공 서버(200)를 포함할 수 있다.
사용자 단말(50)은 본 발명의 시스템을 통해 이전에 실존했거나 현재 실존하고 있는 가족, 친지, 친구와 같은 지인 뿐만 아니라, 가수, 배우, 희극인 등의 유명인을 가상 공간상에서 행동하는 가상 개체로 구현하여 사용자가 의사소통을 수행할 수 있도록 하는 단말 장치이다.
여기서, 본 발명의 실시예에 따른 가상 개체로는 인간뿐만 아니라, 애완동물 및 가상의 존재(ex. 공룡, 만화 캐릭터 등)을 포함할 수 있다.
사용자는 자신이 소지하거나 이용하는 사용자 단말(50)을 콘텐츠 제공 서버(200)에 회원 등록하고, 자신의 소통하고자 하는 가상 개체에 기반한 콘텐츠를 콘텐츠 제공 서버(200)에 요청할 수 있다. 전술한 가상 개체는 VR 영상, AR 영상, 2D 또는 3D 영상 또는 음성으로 구현될 수 있고, 사용자 단말(50)은 콘텐츠 제공 서버(200)로부터 스트리밍 되는 VR 영상 등을 실시간으로 재생하여 사용자와의 소통을 구현할 수 있다.
이러한 사용자 단말(50)로는 적어도 하나의 프로세싱 유닛 및 메모리를 포함하는 컴퓨팅 장치일 수 있다. 여기서, 프로세싱 유닛은 예를 들어 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등을 포함할 수 있으며, 복수의 코어를 가질 수 있다. 메모리(1120)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다. 또한, 사용자 단말(50)로는 추가적인 스토리지를 포함할 수 있다. 스토리지는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되지 않는다.
또한, 사용자 단말(50)로는 깊이정보를 표현할 수 있는 디스플레이가 탑재된 VR 헤드 마운트 장치, 실제 배경과 가상 개체를 중첩하여 표시할 수 있는 고글형 AR 장치 등이 이용될 수 있고, 공지의 스마트폰 또는 태블릿PC 등이 이용될 수도 있고, 복수의 장치가 서로 연동을 통해 가상 개체 또는 공간을 실제와 같이 느끼도록 지원할 수 있다.
데이터 센터 서버(100)는 가상 개체의 구현을 위한 소스인 속성 데이터를 저장, 관리하는 데이터 센터에서 운용하는 서버 장치로서, 실존 인물 및 애완 동물에 관하여 전반적인 특징, 패턴 등을 데이터 베이스화하여 저장할 수 있다.
이러한 데이터 센터 서버(100)는 클라우드 방식으로 구축될 수 있고, 정보통신망을 통해 데이터화의 대상이 되는 실존 개체에 대한 다양한 로우 데이터를 제공받아 분류 및 체계화하여 서비스 기간동안 저장할 수 있으며, 해당 데이터의 사용 권한을 갖는 사용자에게 제공할 수 있다.
특히, 본 발명의 실시예에 따르면, 데이터 센터 서버(100)는 협약에 따라 연계된 콘텐츠 제공 서버(200)에 사용자의 요청에 따라 보관하고 있는 실존 개체에 대한 속성 데이터를 제공할 수 있다. 이러한 속성 데이터는 해당 실존 개체의 외모뿐만 아니라, 목소리, 대화습관, 억양, 버릇 등과, 그의 실제 행동 패턴, 성격 등을 체계화하여 분류한 데이터로서, 이러한 속성 데이터는 콘텐츠 제공 서버(200)에 의해 가상 개체를 생성하는 데 이용될 수 있다.
상세하게는, 본 발명의 인공지능 기반 가상현실 서비스 시스템은 인공지능 기술을 활용하여 인간이나 동물 등이 태어나고 죽어도 영원히 그들의 목소리 데이터를 통해 대화 습관, 사투리 및 억양 등, 음성분석 기술을 이용하여 재생 가능한 목소리를 구현할 수 있으며, 데이터 센터 서버(100)는 이러한 목소리에 대한 로우 데이터를 수집할 수 있다.
이러한 가상현실 서비스는 증강현실 또는 혼합현실을 사용자에게 제공하는 일종의 메타버스(metabus) 서비스로 볼 수 있다. 메타버스는 가공, 추상을 의미하는 '메타(Meta)'와 현실세계를 의미하는 '유니버스(Universe)'의 합성어로 3차원 가상 세계를 의미한다. 메타버스는 기존의 가상현실 환경(Virtual reality environment)이라는 용어보다 진보된 개념으로서, 웹과 인터넷 등의 가상세계가 현실세계에 흡수된 증강 현실 환경을 제공할 수 있다.
또한, 구현된 목소리를 갖는 가상 개체와의 대화시 다양한 감정표현에 대하여, 데이터 센터 서버(100)는 실존 개체의 실제 얼굴을 3차원 스캐너 기술로 스캐닝한 로우 데이터를 수집할 수 있으며, 만약 실존 개체가 과거의 사망자와 같이 얼굴에 대한 3차원 스캔이 곤란한 상황인 경우에는 그 대상자의 기록사진 등을 로우 데이터로 수집하고 추후 콘텐츠 제공 서버(200)에 의해 3D 모델링 데이터 제작에 활용될 수 있도록 한다.
이러한 스캐닝 기술과 3D 모델링 기술이 도입됨에 따라, 본 발명의 시스템은 사용자의 사망한 가족, 친지 및 친구 등이 평소에 즐겨 입던 의상이나 액세서리 등도 함께 3차원 모델링 서비스를 통해 제작 대여할 수 있다.
또한, 가상 개체가 연예인인 경우, 해당 실존 연예인에 페이스 트래킹(face tracking) 기술을 통해 얼굴을 인식하여 행위 데이터를 추출하고 가상 개체의 감정표현을 구현하는 데 이용할 수 있고, 음성분석 기술을 통해 실존 연예인과 동일한 목소리를 갖는 가상 개체를 구현할 수도 있다.또한, 본 발명의 데이터 센터 서버(100)는 실존 인물이나 동물 등의 평소 습관, 표정, 걸음걸이 등 다양한 습관 등을 데이터 베이스화함으로써 후술하는 콘텐츠 제공 서버(200)에 의해 얼굴 표정이나 동작 패턴들의 학습에 따른 인공지능 기술로 가상 개체가 살아 생전의 기억들을 유지하도록 함과 더불어 이후의 사용자와의 대화를 통해 새로운 기억들을 추가 및 데이터 센터 서버(100)에 새로운 로우 데이터로서 기록 서비스를 제공함으로써, 사용자와 대상자 간에 메타버스 시대의 새로운 가상세계의 공간에서 함께 살아가는 형태의 서비스를 구현할 수 있도록 한다.
특히, 본 발명의 일 실시예에 따른 데이터 센터 서버(100)는 전술한 실존 인물을 데이터 베이스화 함에 있어서, 현재 기술수준에서 보다 자연스러운 인물 구현을 위해 두 단계로 가상 개체를 구체화 할 수 있다.
먼저, 가상 개체를 생성하고자 하는 대상에 대하여 생전의 정면 사진을 촬영하여 얼굴 정보를 획득한다.
다음으로, 해당 인물의 대역을 준비하고 대역의 대화모습을 촬영하여 입모양, 표정뿐만 아니라 제스처 등 대화 상황에서 화자가 취할 수 있는 행동을 영상으로 준비하고, 이를 기계 학습 모델을 통해 가상 개체의 3D 모델링에 적용함으로써 사용자와 가상 개체와의 대화를 구현할 수 있다. 이때, 대역 인물은 대화를 구현하기 위한 음성을 30초 이상 녹음하여 학습 데이터를 준비할 수 있다.
또한, 데이터 센터 서버(100)는 다양한 상황에 대응하는 감성 데이터를 저장하고 있고, 감정 데이터는 가상 개체의 3D 모델링에 랩핑됨에 따라 보다 인터렉티브한 콘텐츠를 제공할 수 있다.또한, 본 발명의 일 실시예에 따르면, 타인이 아닌 사용자 자신에 대한 가상 개체와의 대화 콘텐츠 서비스를 제공할 수 있다. 이러한 서비스는 사용자와, 그 자신의 클론(clone)과의 대화를 구현한 것으로, 사용자는 미리 자신의 기억 및 추억 등의 기타 기억정보를 데이터 베이스 센터(100)에 등록하고 전술한 방식으로 가상 객체를 생성할 수 있다.
여기서, 기억정보를 데이터 베이스 센터(100)에 등록시, 예상되는 질문 및 답변에 대한 질문 리스트를 제공하고, 텍스트로 변환하여 저장할 수 있으며, 사용자의 기억정보를 기반으로 이에 등장하는 친척, 친구 등의 타인과의 대화내용을 수집하고 이를 클론과의 대화 내용에 반영할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 전술한 가상 개체와의 대화 서비스는 자신의 부모, 증조부 등 조상 레벨까지 확장되어 제공될 수 있다.
콘텐츠 제공 서버(200)는 가상 개체를 구현하고, 그 가상 개체와의 의사소통에 기반한 다양한 콘텐츠를 사용자 단말(50)에 제공하는 서비스 제공 서버 장치로서, 사용자 단말(50)의 요청에 따라 특정 인물, 동물에 대응하는 가상 개체를 생성하고, 그에 기반하는 콘텐츠를 제공할 수 있다. 이러한 콘텐츠는 가상 개체와의 단순 대화로부터 일정관리, 가상 개체와 함께 하는 쇼핑, 게임 등 다양한 장르로 구현될 수 있고, 정보통신망을 통해 사용자 단말(50)에 제공될 수 있다.
이를 위해, 콘텐츠 제공 서버(200)는 협약된 데이터 센서 서버(100)로부터, 사용자에 의해 요청된 특정 개체에 대한 속성 데이터를 제공받고, 탑재된 인공지능 기반 기계학습 모듈을 이용하여 실제 개체와 가장 근접한, 외모, 목소리 및 성격을 갖고 그에 따라 가상 공간에서 행동을 취하는 가상 개체를 생성하고, 사용자 단말(50)에서 재생할 수 있는 적절한 형태로 콘텐츠 화하여 제공할 수 있다.
특히, 콘텐츠 제공 서버(200)는 연예인을 대상으로 하는 가상 개체의 얼굴, 체형 등 외모를 구현하기 위해, 데이터 센터 서버(100)로부터 저장된 연예인 모델링 소스를 제공받아, 골격 및 관절에 대한 정보를 추출하여 폴리곤 레이어를 생성하고, 폴리곤 레이어상에 텍스쳐를 맵핑하여 해당 연예인에 대응하는 3D 가상 개체를 생성할 수 있다.
또한, 본 발명은 이러한 데이터 베이스를 바탕으로 인공지능 딥러닝 기술을 이용하여 대상자의 모든 행동을 따라 할 수 있는 알고리즘을 통해 사용자에게 제공할 수 있다.
또한, 본 발명의 실시예에 따르면, 콘텐츠 제공 서버(200)는 음성합성 AI 엔진 딥러닝 기술, 대화자(사용자)와의 대화 분석 기술 및, AI 가상 개체와의 대화 문장에 대한 분석 알고리즘을 통해, 가상 개체의 표정변화 및 신체의 움직임을 통한 감정 표현을 구현할 수 있도록 한다.
또한, 콘텐츠 제공 서버(200)는 사용자와 가상 개체와의 반복된 일상 대화의 음성을 실시간으로 녹음하고, 목소리 분석 알고리즘을 통해 변환된 텍스트 정보를 컴퓨터 코드로 변환하여 데이터 센터 서버(100)에 암호화하여 저장할 수 있도록 한다.
전술한 구조에 따라, 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템은, 인류 역사상 최초로 생명의 존재가 죽어도 사라지지 않고 가상 공간에서 실존했던 인물이 비록 가상의 존재이지만 그의 모습과 목소리, 습관 및 다양한 기억을 이용해 그들은 사망한다 해도 영원히 존재할 수 있게 되며, 사용자와의 만남을 통해 대화하고 감정을 교감하며 함께 웃고 고민하고 기뻐해줄 수 있는 새로운 메타버스의 세상에 대한 신개념의 비즈니스 모델을 제시할 수 있다.
즉, 인간과의 대화를 구현할 수 있는 딥 러닝 인공지능 기술과 3차원 얼굴 스캔기술, 표정인식기술 및 감정인식 기술 등을 접목한 비즈니스 서비스 모델을 통해 가상현실에서 생명체를 개념적으로 영원히 보관하고 종속시킬 수 있다.
또한, 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템은 인터넷 클라우드 기술에 기반하여 데이터를 관리, 운용하며, 이에 기초하여 생성한 가상 생명체와의 만남 및 대화가 가능하도록 한다. 특히, 가상 생명체와의 만남에서는 실시간 물리적 접촉 피드백이 가능한 상호작용 그래픽 엔진 연동기술을 이용할 수 있다.
또한, 사용자는 자신이 등록한 실존 개체인 가족 또는 친인척이 등록한 가족에 대해서, 데이터 센터 서버(100)에서 공개 또는 비공개 권한을 설정할 수 있고, 특정 인원에게만 공개되도록 설정할 수도 있다. 이에 따라, 데이터 센터 서버를 통한 데이터 베이스를 통해 가족, 친척, 친구 등을 검색할 수 있도록 하고, 이후 가상 개체의 형태로 만남을 진행할 수 있도록 한다. 이때, 가상 개체의 등록시 사용권한은 전체 공개, 비공개 및 특정인 공개 등으로 구분될 수 있다. 이를 위해 사용자는, 개인의 가족이거나 반려동물 또는 자신이 좋아하는 연예인 등 제3자의 초상권의 사용승인을 획득한 이후 본 만남 서비스에 대한 권한을 설정할 수 있다.
또한, 본 발명의 실시예에 따르면, 시스템은 가상 개체에게 가상 쇼핑 솔루션 카테고리를 통해 의류, 악세사리, 가구 집과 같은 실제 생명체들과 동일한 환경을 만들어 주기도 할 수 있고, 때로는 음식 등을 제공하는 콘텐츠를 제공할 수 있다. 이때, 가상 개체는 선물 받은 의료 악세사리를 착용하기도 하고 제공받은 음식을 먹을 수도 있다.
또한, 가상현실 공간을 통해 이미 죽었거나 살아있는 가족 간의 모임을 언제든 가질 수 있고, 서비스 이용에 대한 비용에 대해서는 블록체인 기술을 적용하여 발행된 암호화폐를 통해 결제하거나, 현금지불 수단을 통해 비용을 지불할 수 있도록 설정될 수 있다.
그리고, 서비스 운영자는 본 발명의 서비스를 통해 개인이 등록한 가상 개체의 데이터에 대한 관리, 운영과, 가상 개체에 의한 콘텐츠 제공을 통합 관리함으로써, 사용자에게 공개, 비공개 등 서비스 계약 요건에 따라 정보를 제공할 수 있도록 한다.
한편, 본 발명의 실시예에 따르면, 현재 살아 있거나, 과거 죽은 사람 또는 죽게 되는 사람, 그리고 반려동물이 서비스 대상이 될 수 있고, 이에 대한 데이터 베이스의 구축을 통해 사용자가 언제든 그들의 모습을 가상현실에서 인공지능 기술을 통해 더욱 실제와 같은 의사소통을 구현할 수 있도록 한다.
또한, 특정 연예인 등과 같은 사람 또는 그러한 초상권, 저작권을 보유한 기업 등은 본 발명의 B2B비즈니스 모델을 통해 유명인들의 가상인물 만남 서비스를 제공해 수익을 발생시킬 수 있다. 상세하게는, 이러한 유명 연예인 또는 공인들에 대한 가상 개체에 대한 관련 데이터 베이스를 데이터 센터에 등록하거나, 가상인물 만남 서비스를 콘텐츠화 하여 제공하는 경우, 비공개가 아닌 전체공개 또는 일부 허용된 권한을 가진 전세계의 팬들에게 자신이 좋아하는 연예인을 사용자 단말을 통해 가상 공간에 접속하여 VR환경, 모바일 환경 등에서 만날 수 있는 형태의 유료 또는 무료 콘텐츠를 제공할 수 있다.
한편, 본 발명의 서비스의 확장 형태로서, 네트워크상에서 검색기능을 제공하여 등록된 친구를 찾거나 가족을 찾아 가상 공간에서 각자의 실제 얼굴이 반영된 가상 개체를 통해 원격지에서 상대방과의 상호 만남을 시도하는 콘텐츠를 제공할 수 있다.
또한, 데이터 센터로의 혈족 간의 가계 계보도 등록 또는 삭제 서비스를 제공할 수 있으며, 데이터 센터의 데이터 저장, 관리에 대한 운영 비용은 월정액 형태로 결제되도록 할 수 있다.
그리고, 모든 데이터 베이스는 블록체인 암호화 분산장부 저장, 증명 기술과 KYC 본인인증 보안 기술을 적용할 수 있다.
특히, 본 발명의 일 실시예에 따르면, 데이터 베이스는 '대체 불가능한 토큰(NFT)'에 규격에 따라 토큰화되어 블록체인 메인넷과 연계되어 기록될 수 있다.
NFT는 블록체인을 기반으로 하고 있어, 데이터의 소유권 등의 관련 정보가 모두 블록체인에 저장되며, 따라서 데이터 소유자를 언제든 확인할 수 있어 위조 등이 불가능하다. 또한, 공지의 암호화폐 등의 가상자산이 발행처에 따라 균등한 조건을 가지고 있는 반면, NFT는 별도의 고유한 인식 값을 담고 있어 서로 교환할 수 없다는 특징을 갖고 있으며, 각 가상개체에 대한 데이터를 대체 불가능한 형태로 관리, 활용할 수 있도록 한다.
또한, 블록체인 메인넷은 가상개체에 대한 데이터가 생성되면 그 데이터에 대한 NFT를 발행하고, 그 NFT 및 메타 데이터를 분산원장에 기록할 수 있다. 본 발명의 실시예에 적용되는 NFT는 ERC-721, ERC-1155 등의 이더리움 규격에 대응할 수 있고, 생성된 NFT 토큰에 관한 정보는 데이터 센터 서버와 연계된 블록체인 메인넷을 이루는 각 노드의 분산원장에 기록될 수 있다.
또한, 본 발명의 서비스 계약 시, 사업자는 계약자에게 방문하거나 계약자가 시설이 있는 곳에 방문하여 특정 인물의 복원을 위해 모든 데이터 베이스를 기록하는 서비스를 제공할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템의 데이터 센터 서버를 상세히 설명한다.
도 2는 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템의 데이터 센터 서버의 구조를 나타낸 도면이다.
도 2를 참조하면, 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템의 데이터 센터 서버(100)는, 하나 이상의 데이터 수집 단말(30)로부터 실존 개체에 대한 직접적 또는 간접적으로 획득되는 로우 데이터를 수집하는 데이터 수집부(110), 사용자 단말로부터 데이터화 하고자 하는 대상인 실존 개체를 등록받는 개체 등록부(120), 데이터 수집부(110)에 의해 수집된 로우 데이터를, 외모 및 언행을 포함하는 외적 성향을 나타내는 외적 데이터와, 실존 개체의 성격 및 습관을 포함하는 내적 성향을 설명하는 내적 데이터와, 실존 개체의 행동에 대한 행동 데이터와, 실존 개체의 생존시 수행한 업적에 대한 아카이브 데이터로 분류하여 속성 데이터를 도출하는 데이터 분류부(130) 및, 속성 데이터를 개체별로 저장하는 데이터 저장소(140), 등록된 실존 개체의 속성 데이터에 대하여, 데이터 사용에 관한 권한을 갖는 사용자 또는, 권한을 갖는 사용자로부터 사용을 허가받은 타 사용자의 사용자 단말의 요청에 따라, 사용 권한을 확인하고 속성 데이터를 온라인을 통해 제공하는 데이터 제공부(150)를 포함할 수 있다.
데이터 수집부(110)는 정보통신망을 통해 다양한 경로로 데이터 베이스화의 대상이 되는 실존 개체에 대한 다양한 로우 데이터를 수집할 수 있다. 본 발명의 실시예에 따르면, 데이터 센터 서버(100)는 가상현실 서비스의 대상이 되는 실존 개체에 대하여 다양한 관점에서 도출되는 특징, 패턴 등을 수집하여 이를 데이터 베이스하여 개체별로 저장할 수 있다.
이러한 데이터 수집부(110)에 의해 수집되는 로우 데이터로는 실존 개체의 외관 내지 외모, 목소리 등과 같은 외적 요소와, 성격, 성향 등의 내적 요소와, 등이 포함될 수 있고, 온라인을 통해 다양한 방식으로 수집될 수 있다.
특히, 데이터 수집 단말(30)은 실존 개체가 소지하거나, 실존 개체에 대한 로우 데이터의 획득이 가능한 이미지 센서 또는 마이크 센서를 포함하는 컴퓨팅 장치 또는, 타 사용자에 의한 텍스트 입력이 가능한 컴퓨팅 장치를 포함할 수 있다.
개체 등록부(120)는 본 발명의 시스템을 통해 가상 개체에 기반한 서비스를 이용하고자 하는 사용자의 요청에 따라 데이터화 대상인 실존 개체를 지정받아 등록할 수 있다.
여기서, 사용자는 해당 실존 개체의 얼굴, 목소리뿐만 아니라, 업적 등의 정보를 사용할 수 있는 권한을 가진 자로 제한되며, 개체 등록부(120)는 실존 개체의 등록시 이러한 사용권한을 확인 후 등록절차를 수행하고, 등록절차가 완료되면 데이터 저장소(140)는 해당 개체에 대한 개체 테이블을 생성할 수 있다.
데이터 분류부(130)는 데이터 수집부(110)으로부터 수집되는 등록된 실존 개체에 대한 다양한 로우 데이터를 해당 데이터의 속성에 따라 소정개로 분류할 수 있다. 본 발명의 실시예에 따르면, 실존 개체를 가상 개체로 구현함에 있어서, 외모 및 목소리 등을 반영하여 표시되거나 출력되는 외관을 결정하게 되며, 성격, 습관, 태도를 가상 객체에 반영하여 대화 방식, 행동 등을 결정하게 된다.
이를 위해, 데이터 분류부(130)는 실존 개체별 로우 데이터를 그 속성에 따라 분류하여 데이터 저장소(140)에 저장하게 되며, 외모, 목소리와 같이 외부에서 인식 가능한 형태의 데이터는 외적 데이터(D1)로 분류할 수 있고, 성격, 감정, 태도 등에 관한 데이터는 내적 데이터(D2)로 분류할 수 있다. 또한, 평소 실존 개체의 행동, 걸음걸이, 식사습관 등에 관한 데이터는 행동 데이터(D3)로 분류할 수 있고, 실존 개체의 생전 직업, 학력 및 바이오그래피 등에 관한 데이터를 아카이브 데이터(D4)로 분류할 수 있다.
데이터 저장소(140)는 전술한 데이터 분류부(130)에 의해 분류된 데이터들을 속성 데이터로서 각 개체별로 정의된 개체 테이블(141, 142)에 저장할 수 있다. 등록된 실존 개체는 개체별 독립된 테이블이 형성 및 할당될 수 있고, 개체 테이블(141, 142)에는 분류된 속성 데이터들이 순차적으로 저장되게 된다. 전술한 바와 같이 각 개체 테이블(141, 142)에는 적어도 외적 데이터(D1), 내적 데이터(D2), 행동 데이터(D3) 및 아카이브 데이터(D4)의 축적을 위한 저장공간이 할당될 수 있고, 기타 가상 개체를 구현하기 위한 다른 분류의 데이터가 더 저장될 수도 있다.
데이터 제공부(150)는 협약된 콘텐츠 제공 서버(200)의 요청에 따라 데이터 저장소(140)에 저장된 개체별 속성 데이터를 요청받아 데이터 저장소(140)에서 추출 및 회신할 수 있다.
본 발명의 실시예에 따르면, 데이터 센터 서버(100)는 보관중인 개체별 속성 데이터를 가상현실 서비스를 위해 콘텐츠 제공 서버(200)에 제공할 수 있다. 콘텐츠 제공 서버(200)는 권한을 갖는 사용자의 요청에 따라 해당 개체에 대한 속성 데이터를 요청할 수 있고, 이에 데이터 제공부(150)는 요청건에 대하여, 사용자 및 콘텐츠 제공 서버(200)에 해당 개체의 데이터에 대한 사용 권한이 존재하는 지 확인하고, 확인된 요청건의 해당 개체에 대한 개체 테이블을 검색하고 요청된 속성 데이터를 추출하여 콘텐츠 제공 서버(200)에 전송할 수 있다.
또한, 본 발명의 데이터 센터 서버는, 다수의 실존 했거나 현재 존재하는 인물, 동물 등의 개체에 대한 데이터를 저장, 관리하는 데이터 센터에서 운용하는 서버로서, 본 발명의 콘텐츠 제공 서버(200) 이외에도 개체의 특성에 따른 빅데이터가 필요한 대학, 연구소 등에도 축적된 데이터를 제공할 수 있다. 물론, 외부로 제공되는 데이터는 사전에 데이터 사용이 승인되었거나, 개인의 승인이 없어도 관련 법규가 허락하는 형태로 개인정보가 마스킹된 상태로 변조된 형태로만 제공될 수 있다.
전술한 구조에 따라, 데이터 센터 서버(100)는 가상현실 서비스를 제공하기 위한 데이터를 수집 및 관리하고, 필요시 제공할 수 있으며, 이하 도면을 참조하여 이러한 속성 데이터를 이용하여 가상현실 서비스를 제공하는 콘텐츠 제공 서버(200)의 구조를 상세히 설명한다.
이하, 도면을 참조하여 본 발명의 실시예예 따른 인공지능 기반 가상현실 서비스 시스템의 콘텐츠 제공 서버를 상세히 설명한다.
도 3은 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템의 콘텐츠 제공 서버의 구조를 나타낸 도면이다.
도 3을 참조하면, 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템의 콘텐츠 제공 서버(200)는, 데이터 센터 서버로부터 등록된 실존 개체에 대한 하나 이상의 속성 데이터를 제공받는 데이터 이관부(210), 속성 데이터를 이용하여 실존 개체에 대응하며 가상 공간상에서 활동하는 가상 개체를 구현하는 가상 개체 구현부(220), 가상 개체의 속성 데이터에 따라, 실행중인 가상 개체의 행동을 설정하는 개체 행위 생성부(230), 사용자에 의한 설정 내용에 따라, 가상 개체의 제공 형태를 결정하는 서비스 결정부(240), 사용자 단말(50)의 요청에 따라, 콘텐츠를 사용자 단말(50)에 제공하는 서비스 제공부(250), 다수의 샘플 개체로부터 추출된 학습 데이터 및, 데이터 센터 서버(100)에 저장된 공개 가능한 속성 데이터로부터 일정 부분 변조되어 생성된 학습 데이터를 저장하는 학습 데이터DB(260) 및 하나 이상의 미리 정의된 학습 모델에 학습 데이터를 적용하여 기계학습을 수행하는 기계 학습부(270), 실존 개체에 대한 속성 데이터의 사용 권한을 갖는 사용자의 요청에 따라 회원 가입 절차를 수행하고, 회원 등록된 사용자의 로그인 절차를 수행하는 회원 관리부(280) 및 등록된 회원정보를 저장하는 회원DB(285)를 포함할 수 있다.
데이터 이관부(210)는 사용자 단말(50)의 가상현실 서비스 요청에 따라 데이터 센서 서버(100)에 해당 인물, 동물 등에 대한 속성 데이터를 요청하고, 회신 받는 역할을 한다. 데이터 이관부(210)는 외부의 데이터 센터에 저장된 서비스 대상인 개체에 대한 데이터 이관을 요청할 수 있고, 데이터 센터 서버(100)는 정당한 이관 요청에 응답하여 해당 개체의 속성 데이터를 회신할 수 있다.
특히, 데이터 이관부(210)는 사용자 단말(50)로부터 가상 개체 콘텐츠 요청시, 해당 사용자에게 실존 개체의 속성 데이터의 사용 권한을 확인하고, 사용 권한 범위 내에서 데이터 센터 서버(100)에 속성 데이터의 제공을 요청하게 된다. 속성 데이터는 민감한 개인정보를 포함할 수 있으며, 이에 속성 데이터에 대한 정당한 사용권한을 갖는 사용자만이 그 데이터를 가상현실 서비스에 활용할 수 있으며, 데이터 이관부(210)는 이러한 사용자가 보유한 사용 권한에 대한 확인 절차를 수행하게 된다.
가상 개체 구현부(220)는 제공받은 개체의 속성 데이터를 이용하여 가상 개체를 구현할 수 있다. 가상 개체 구현부(220)는 외적 데이터를 이용하여 2D 또는 3D 모델링을 수행하여 가상 개체의 외관을 구체화할 수 있고, 이는 사용자 단말(50)에서 표시 가능한 형태로 제공될 수 있다.
또한, 가상 개체 구현부(220)는 내적 데이터를 이용하여 구축된 대화 내용을 생성한 가상 개체와 사용자와의 소통시 입력되는 사용자의 발화(發話) 내용에 대한 응답에 반영할 수 있다.
또한, 가상 개체 구현부(220)는 행동 데이터를 이용하여 결정되는, 사용자 단말(50)의 화면상에서 가상 개체의 출력시에 보여지는 행동에 반영할 수 있고, 아카이브 데이터를 이용하여 결정된 대화 주제, 내용 등을 응답에 반영할 수 있다.
이러한 가상 개체는, VR 영상, 증강 영상, 2D 영상 및 음성 중, 어느 하나 또는 둘 이상의 조합으로 사용자 단말(50)에 표시될 수 있고, 실시간 대화 기능을 제공할 수 있다.
개체행위 생성부(230)는 사용자 단말(50)의 화면상에 표시되는 가상 공간 내 가상 객체의 말, 제스처 등에 대한 행위정보를 생성하고 이를 가상 개체 구현부(220)에 제공할 수 있다.
사용자 단말(50) 상에서 표시되는 가상 개체는 사용자의 발화에 대응하여 응답하는 것뿐만 아니라, 자율적인 행동을 취할 수 있으며, 표정, 손짓 및 몸짓 등뿐만 아니라, 가상 공간 내에서 자유롭게 이동하거나, 물건을 집는 등의 행위를 수행할 수 있고, 가상 개체 구현부(220)는 개체 행위 생성부(230)로부터 실시간으로 제공되는 행위정보를 전달받아 가상 개체에 반영할 수 있다.
특히, 본 발명의 실시예에 따르면, 가상 개체는 사용자에 의해 설정된 콘텐츠의 종류에 따라 그 행위가 결정될 수 있다. 일례로서, 콘텐츠가 고인과의 대화일 경우, 가상 개체는 화면상에 서 있거나 앉아 있는 상태에서 사용자와 대화하거나, 또는 가상 공간을 걸으며 나누는 대화 행위를 수행할 수 있다. 또한, 가상 공간은 시스템에서 임의로 설정한 공간이거나, 혹은 사용자에 의해 설정된 고인과의 추억 있는 장소를 가상으로 재현한 공간일 수 있다.
또한, 콘텐츠가 연예인의 가상 비서일 경우, 가상 개체는 사용자가 대화로 전달한 일정을 저장하고, 일정에 따라 화면상에 등장하여 일정내용을 해당 연예인의 음성으로 전달하는 행위를 수행할 수 있다.
전술한 바와 같이, 개체행위 생성부(230)는 현재 콘텐츠의 종류에 따라 사용자의 의도에 적절한 가상 개체의 행위정보를 생성함으로써 서비스시의 가상 개체가 수행하는 행위가 결정되도록 한다.
전술한 가상 개체 구현부(220) 및 개체 행위 생성부(230)는 후술하는 기계 학습부(270)로부터 도출된 학습결과를 각각 가상 개체 구현 및 가상 개체 행위 생성에 반영하게 된다.
서비스 결정부(240)는 사용자의 설정에 따라 가상 개체를 기반으로 하는 콘텐츠 종류를 결정할 수 있다. 전술한 바와 같이, 본 발명의 실시예에 따른 시스템은 가상 개체와 의사소통을 기반으로 하는 다양한 콘텐츠를 제공할 수 있다. 이러한 콘텐츠로는 사용자 단말(50)에서 사용자와 가상 개체 간 대화 기능, 사용자가 설정한 시점에 사용자 단말에 일정 알림을 표시하는 일정관리 기능 및, 사용자와 가상 개체 간 게임 기능 중, 하나 이상을 제공하는 것일 수 있다.
또한, 본 발명의 가상현실 서비스가 제공하는 콘텐츠의 일례로서, 가상 공간에서 의류를 인앱 결제 방식으로 구입하면, 가상 개체가 해당 의류를 착용하는 콘텐츠를 제공할 수 있다.
서비스 제공부(250)는 정보통신망을 통해 사용자 단말(50)과 연결되어 사용자의 요청에 따라 데이터 센터로부터 해당 가상 개체에 대한 속성 데이터를 이관 받아 가상 개체를 구현하도록 하고, 아울러 사용자로부터 콘텐츠 종류를 설정받아 이에 대응하도록 가상 공간을 준비하고 가상 개체를 등장시켜 가상현실 서비스를 사용자 단말(50)에 제공하도록 한다.
상기의 가상현실 서비스는 사용자의 회원정보에 따라 그 가상 개체 대상 및 서비스 범위가 결정될 수 있고, 서비스 제공부(250)는 회원DB(285)에 저장된 회원정보를 참조하여 대상 개체 및 서비스 범위를 확인하고, 서비스 결정부(240)에 의해 결정된 콘텐츠를 사용자 단말(50)에 제공할 수 있다. 이러한 콘텐츠는 그 종류에 실시간 2D, 3D 영상의 스트리밍 방식으로 제공될 수도 있고, 가상 개체의 음성만이 제공될 수도 있으며, 대화 내용이 텍스트 형태 또는 SMS 문자 형태로 제공될 수도 있다.
학습 데이터DB(260)는 전술한 가상 개체의 모델링 및 그 행위를 생성하는 데 반영되는 기계학습을 위한 다양한 학습 데이터를 저장할 수 있다. 본 발명의 실시예에 따르면, 학습 데이터는 시스템 운영측에서 입력, 저장될 수도 있고, 또는 하나 이상의 데이터 센터로부터 공급받아 저장될 수도 있다. 이러한 학습 데이터는 속성 데이터의 각 데이터와 동일한 포맷일 수 있고, 가상 개체의 외모, 음성, 행위 등을 학습하는 데 이용될 수 있다. 또한 학습 데이터DB(260)는 사용자와 가상 개체 간 대화발생 결과 또한 학습 데이터로서 축적 저장하여 기계학습에 활용될 수 있도록 한다.
특히, 학습데이터DB(260)는 가상 개체에 대응하는 실존 인물 별로 할당된 저장공간에 저장될 수 있고, 실존 인물의 습관, 표정 및 제스처를 기계학습을 통해 학습시켜 추후 사용자 단말(50)에서 미리 제작된 것이 아닌, 상황별로 즉흥적으로 동작을 취하는 애니메이션을 구현할 수 있도록 한다.
기계 학습부(270)는 학습 데이터DB(260)에 저장된 다수의 학습 데이터를 이용하여 가상 개체 모델링, 대화에 대한 응답 생성 및 행위 생성에 활용할 수 있다.
기계 학습부(270)는 학습 데이터DB(260)에 수집 저장되는 학습 데이터를 활용하여 딥 러닝 확률 추론 모델을 구축할 수 있다. 이렇게 구축된 모델(205)은 고정되어 완성된 것이 아닌, 다수의 사용자와 가상 개체 간의 대화 및 교류가 축적되면, 이로부터 피드백을 받아서 재차 반복적으로 학습이 이루어지면서 보완될 수 있다.
또한, 본 발명의 실시예에 따른 기계 학습부(270)는 대화의 경우 시퀀스-투-시퀀스 프레임워크, 인코더-디코더 모델에 기반할 수 있다. S2S 모델은 은 두 개의 순환 신경망(Recurrent Neural Network; RNN)으로 구성될 수 있고, 첫 번째 RNN은 한 문장을 단어단위로 쪼개어 하나의 벡터로 인코딩하고, 두 번째 RNN은 인코딩된 벡터를 하나의 단어씩 디코딩하여 최종적으로 하나의 문장을 구성하는 방식의 학습 모델일 수 있다.
또한, 응답 생성의 경우, 기계 학습부(270)는 사용자의 발화 내용을 프리트레인드 워드 임베딩 모델(pre-trained word embedding)로 처리할 수 있다. 이는 인공 신경망으로서 두 개의 층으로 구성될 수 있고, 입력되는 발화 내용을 텍스트화하여 입력으로 전달받아 텍스트의 단어를 벡터로 표현하는 방법을 찾게 된다. 여기서, 벡터의 값은 텍스트의 단어가 가지는 의미나 역할을 잘 표현해주는 값이어야 하며, 이렇게 단어의 의미와 맥락을 고려하여 단어를 벡터로 표현하게 된다. 이러한 워드 임베딩 모델은 심층 신경망(deep neural network)의 전처리 단계로 쓰일 수 있다.
즉, 기계 학습부(270)는 각 단어마다 단어에 해당하는 벡터를 구하고, 이 벡터를 다시 심층 신경망(deep neural network)에 입력하여 추가적인 일을 할 수도 있고 단어의 유사성 등 관계를 파악할 수 있다.
또한, 기계 학습부(270)는 문장을 이해하기 위하여 단어간 유사성을 구할 수 있다. 워드 임베딩은 유사한 단어일수록 가까운 거리에 위치하도록 각 단어에 해당하는 벡터 값을 찾는 것으로, 이러한 학습은 사람이 관여하지 않으며 텍스트 데이터만을 사용할 수도 있다.
한편, 데이터의 양이 충분하면 워드 임베딩은 단어의 의미를 꽤 정확하게 파악할 수 있으므로, 이를 이용하면 단어의 뜻뿐만 아니라 여러 단어의 관계를 알아낼 수 있다. 단어뿐만 아니라 더 큰 단위의 문장이나 문서를 분류하는 데에도 워드 임베딩 모델이 사용될 수 있다. 또한, 충분한 데이터가 주어지면, 학습 데이터의 기계학습을 통해, 특정 단어에 대해서 유사도가 높은 것으로 미리 정해져 있는 단어를 추론할 수도 있다.
또한, 기계 학습부(270)는 딥 러닝에 사용되는 신경망과의 연결을 통해, 입력한 문장에 있는 단어와 인접 단어의 관계를 이용해 단어의 의미를 학습할 수 있다. 주변 단어가 만드는 맥락을 이용해 타겟 단어를 예측할 수도 있고, 한 단어를 기준으로 주변에 올 수 있는 단어를 예측할 수도 있다.
또한, 본 발명의 실시예에 따르면, 기계 학습부(270)는 사용자 단말(50)로부터 입력되는 발화자, 즉 사용자에 대한 카메라 이미지 정보를 활용한 시각 대화를 제시할 수도 있다. 일반적인 가상 개체와의 대화에서는 대화쌍을 다수 제시하고, 대화의 각 문장을 형태소 단위로 분해하고 그로부터 적절한 벡터를 만들고 그 의미를 파악하여 응답을 도출하는 방식이나, 이와 더불어 그에 부가하여 대화하는 사용자의 얼굴 표정에 따른 정보를 추가로 제공하여 대화를 행할 수도 있고, 가상 개체 자신의 얼굴 표정에 반영할 수도 있다.
즉, 시각적인 정보를 학습 데이터뿐만 아니라 사용자의 실시간 입력정보로 추가하여 그 정확성을 더욱 개선할 수 있다. 이러한 시각적인 정보는 공지의 안면 인식 기술, 표정 인식 기술에 의해 얻을 수 있고, 표정에 따른 감정을 고려하여 대화를 이어나갈 수 있도록 한다.
또한, 본 발명의 실시예에 따르면, 기계 학습부(270)는 사용자와 가상 개체 간의 발생한 대화, 활동 등의 축적에 따라 사용자와 가상 개체 간의 '관계'를 재정립하고 가상 개체를 성장시키는 개념을 적용할 수 있다.
일례로서, 사용자가 일정 시간 이상 가상 개체와의 교류와 관련된 서비스를 이용함에 따라, 대화, 행동 등에 대한 데이터가 축적됨에 따라 가상 개체는 각 상황에서 최초 지정된 대사, 표정, 행동을 동일하게 반복 수행하는 것이 아닌, 데이터 축적에 따라 기계 학습을 통해 각 사용자에게 적합한 행동을 취하도록 지속적으로 업데이트 될 수 있다.
회원 관리부(280)는 회원 등록된 사용자의 회원 정보를 저장하고, 사용자 단말(50)의 로그인 절차를 수행하거나, 사용자 권한을 설정 및 인증하는 역할을 한다.
특히, 회원 관리부(280)는 사용자의 회원 등록시, 가상 개체를 등록하고, 콘텐츠를 이용하고자 하는 사용자가 가상 개체에 대한 속성 데이터의 사용 권한 보유 여부를 인증하는 절차를 수행함으로써, 이후 가상 개체를 이용하고자 하는 사용자 단말(50)의 요청시 해당 사용자의 권한을 확인된 경우에만 데이터 이관부(210)에 속성 데이터의 이관을 요청할 수 있도록 한다.
회원DB(285)는 시스템에 회원 등록된 사용자의 회원 정보를 저장할 수 있다. 본 발명의 콘텐츠 제공 서버(200)가 저장 및 관리하는 회원 정보는 사용자의 이름, 계정명, 패스워드 및 사용자가 사용권한을 갖는 가상 개체의 식별자를 포함할 수 있고, 사용자 단말(50)의 로그인, 가상 개체의 생성 및 콘텐츠 제공시 해당 사용자와 가상 개체를 식별하고, 로그인을 승인하거나 콘텐츠 제공을 승인할 수 있다.
전술한 구조에 따라, 본 발명의 실시예에 따른 콘텐츠 제공 서버(200)는 사용자 단말(50)에 의해 사용자와 가상 개체 간 의사소통을 기반으로 하는 다양한 형태의 콘텐츠를 제공할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 방법을 상세히 설명한다.
도 4는 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 방법을 나타낸 도면이다. 이하의 설명에서, 각 단계별 실행 주체는 별도의 기재가 없더라도 전술한 본 발명의 시스템 및 그 구성부가 된다.
도 4를 참조하면, 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 방법은, 인공지능 기반 가상현실 서비스 방법으로서, 데이터 센터 서버가 가상화의 대상이 되는 실존 개체에 대하여 복수의 관점에서 추출되는 데이터화가 가능한 복수의 로우 데이터를 수집하는 단계(S100), 데이터 센터 서버가 수집된 로우 데이터를 데이터 속성에 따라 개체별로 분류 및 저장하는 단계(S110), 콘텐츠 제공 서버가 사용자 단말의 요청에 따라 데이터 센터 서버에 저장된 개체별 다수의 속성 데이터를 이용하여 실존 개체에 대응하는 가상 개체를 구현하는 단계(S120) 및, 콘텐츠 제공 서버가 상기 사용자 단말을 통해 사용자와 가상 개체 간 의사소통에 기반한 콘텐츠를 제공하는 단계(S130)를 포함할 수 있다.
상세하게는, 데이터 센터 서버가 가상화의 대상이 되는 실존 개체에 대하여 복수의 관점에서 추출되는 데이터화가 가능한 복수의 로우 데이터를 수집하는 단계(S100)에서는, 본 발명의 시스템 운영측과 협의된 데이터 센터에서 운용하는 데이터 센터 서버에서 등록된 실존 개체에 대한 로우 데이터를 수집한다.
여기서, 실존 개체가 인간인 경우 실존 개체가 소지한 스마트폰 또는 그의 생활 주변에 설치된 센서 등으로 이루어지는 데이터 수집 단말로부터 직접적인 방식으로 로우 데이터를 수집할 수도 있고, 또는 실존 개체의 주변사람이 소지한 데이터 수집 단말을 통해 간접적으로 입력되는 방식으로 로우 데이터를 수집할 수도 있다.
또한, 실존 개체가 애완동물인 경우, 실존 개체를 등록한 소유자가 자신의 스마트폰 등으로부터 로우 데이터를 수집할 수 있다.
다음으로, 데이터 센터 서버가 수집된 로우 데이터를 데이터 속성에 따라 개체별로 분류 및 저장하는 단계(S110)에서는 데이터 센터가 해당 실존 개체에 대한 다양한 로우 데이터를 그 데이터의 속성에 따라 개체별로 분류한다. 로우 데이터에는 해당 실존 개체의 외모, 음성 등, 외관에 대한 데이터뿐만 아니라, 주변사람에 의해 입력되는 성격, 습관 등의 데이터도 포함될 수 있다. 데이터 센터 서버는 각 데이터를 데이터의 속성에 따라 분류하고 개체별로 누적 저장하여 데이터 센터를 구축하게 된다.
다음으로, 콘텐츠 제공 서버가 사용자 단말의 요청에 따라 데이터 센터 서버에 저장된 개체별 다수의 속성 데이터를 이용하여 실존 개체에 대응하는 가상 개체를 구현하는 단계(S120)에서는, 먼저 콘텐츠 제공 서버가 시스템에 등록된 실존 개체에 대한 가상현실 서비스를 사용자 단말로부터 요청 받음에 따라 서비스를 요청한 사용자의 권한을 확인하고, 해당 실존 개체를 식별한 후 데이터 센터 서버에 그 실존 개체의 속성 데이터를 요청한다.
이에 따라, 데이터 센터 서버가 실존 개체의 속성 데이터를 제공하면, 콘텐츠 제공 서버는 속성 데이터에 대응하여 실존 개체에 대한 가상 개체를 생성하고, 사용자 단말에 제공하게 된다.
그리고, 콘텐츠 제공 서버가 사용자 단말을 통해 사용자와 가상 개체 간 의사소통에 기반한 콘텐츠를 제공하는 단계(S130)에서는, 콘텐츠 제공 서버가 이관 받은 다수의 속성 데이터를 이용하여 가상 개체를 구현하고, 사용자가 설정한 콘텐츠의 종류에 따라 가상 개체를 포함하는 콘텐츠를 제공하게 된다.
이하, 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템을 구성하는 각 구성부간의 절차 흐름을 나타내는 도면을 통해 본 발명의 기술적 사상을 상세히 설명한다.
도 5는 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 방법을 각 구성요소간 절차로 나타낸 도면이다.
도 5를 참조하면, 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 방법에 의하면, 먼저 가상 개체로의 구현의 대상이 되는 실존 개체에 대하여, 데이터 수집 단말(30)이 다양한 관점에서 로우 데이터를 감지하고, 감지한 데이터를 데이터 센터 서버(100)에 제공한다(S200).
그리고, 데이터 센터 서버(100)는 수집되는 로우 데이터를 개체별로 저장소에 저장한다(S210). 이때, 저장되는 로우 데이터는 속성에 따라 분류되어 개체 테이블에 나누어 저장된다.
이후, 사용자가 자신의 사용자 단말(50)을 이용하여 콘텐츠 제공 서버(200)에 접속하여 회원 등록 절차를 수행하고, 등록된 개체를 기반으로 하는 가상현실 서비스를 요청할 수 있다(S220). 여기서, 등록된 개체는 사용자와 직접 관련이 있는 가족, 친지, 친구일 수도 있고, 애완동물 일 수도 있다. 또는 서비스 종류에 따라, 가수, 배우 등 연예인일 수도 있다. 가족과 같이 실존 개체와 관련이 있는 경우에는 미리 사용자가 데이터 센터 서버(100)에 실존 개체에 대한 등록을 수행해야 하며, 자신과 직접적인 관련이 없는 연예인의 경우에는 해당 소속사 또는 연예인 본인에 대한 개체 데이터의 등록을 설정하고, 가상 개체의 사용을 위한 권한을 사용자에게 부여한 이후에나 서비스가 가능하게 된다.
이어서, 콘텐츠 제공 서버(200)는 사용자에 의한 실존 개체의 사용 권한이 정상적으로 확인되면, 데이터 센터 서버(100)에 해당 실존 개체에 대한 속성 데이터의 제공을 요청한다(S240).
이에 따라, 데이터 센터 서버(100)는 서비스를 요청한 사용자의 실존 개체의 데이터에 대한 사용 권한을 확인하고(S250), 확인이 완료된 실존 개체에 대하여 개체 테이블을 검색하여 속성 데이터를 추출 및 콘텐츠 제공 서버(200)에 회신한다(S260).
이어서, 실존 개체의 속성 데이터를 이관 받은 콘텐츠 제공 서버(200)는 속성 데이터를 이용하여 실존 개체에 대응하는 가상 공간의 가상 개체를 생성한다(S270). 이러한 가상 개체는 기계 학습에 기반하여 그 재현도가 향상될 수 있고, 가상 개체의 외모, 음성뿐만 아니라, 대화 내용 및 행동이 결정되어 사용자와 보다 자연스러운 의사소통이 가능하게 된다.
가상 개체가 생성되면, 콘텐츠 제공 서버(200)는 사용자가 설정한 콘텐츠의 형태에 따라 가상 개체에 기반한 가상현실 콘텐츠를 사용자 단말(50)에 제공하게 된다. 이러한 가상현실 콘텐츠는 VR, AR 또는 일반 영상 형태로 사용자 단말(50)에서 재생될 수 있고, 사용자의 발화에 대응하여 응답을 출력하는 방식으로 의사소통이 가능한 콘텐츠일 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스에서 제공되는 화면의 일례를 통해 본 발명의 시스템이 제공하는 콘텐츠의 형태를 상세히 설명한다.
도 6 내지 도 9는 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스에서 제공되는 화면을 예시한 도면이다.
도 6을 참조하면, 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스는 현재 실존하거나 과거에 실존했던 인물, 동물 등을 가상 공간상에 가상 개체로 구현하고, 사용자와의 의사소통을 기반으로 하는 콘텐츠로 구성될 수 있고, 이러한 콘텐츠를 TV, PC 등을 비롯하여 HMD, AR 글라스 등에서 가상 개체의 모습을 보면서 대화를 수행할 수 있는 것을 특징으로 한다.
여기서, 실존 및 가상개체로는 사용자의 지인 뿐만 아니라, 연예인, 역사적 위인 등이 될 수 있다. 특히, 본 발명의 실시예에 따르면, 외관 데이터를 이용하여 모델링된 가상 개체의 3D 외모 및 목소리뿐만 아니라, 말투, 성격 및 습관까지 가상 개체의 말, 행동에 반영됨에 따라, 사용자는 실제 고인을 만나는 듯한 경험을 할 수 있다.
만약, 가상 개체가 사용자와 평소 가까이 지냈던 고인인 겨우, 사용자는 현재 만나볼 수 없는 그 사람과 가상 공간에서 다시 만나 안부를 묻는 등의 대화를 나누는 행위를 경험 할 수 있다.
또한, 가상 개체가 현존하거나 과거에 존재했던 가수인 경우, 사용자는 자신이 좋아하는 가수와 직접 만나 일대일 대화를 나누는 체험을 해볼 수 있고, 해당 가수가 등장하는 가상의 콘서트를 관람할 수 있다.
또한, 가상 개체가 과거에 존재했던 역사적 위인인 경우, 그가 존재했던 시대 및 배경으로 가상의 유적지에서 그의 업적을 함께 이야기할 수 있고, 구체적 사실에 대한 설명을 마치 당사자에게 직접 듣는 것과 같은 체험을 할 수 있다.
특히, 본 발명의 실시예에 따른 가상 현실 서비스는, 사용자 단말로서 VR 및 AR 등 체감형 단말을 이용하는 경우, 사용자는 보다 현실적인 상황을 경험할 수 있다.
도 7을 참조하면, 본 발명의 실시예에 따른 가상 현실 서비스는 가상 개체와의 의사 소통에 있어서, 구현된 가상 개체에 적용된 아카이브 데이터에 의해 과거 실제 있었던 추억 또는 사건을 주제로 하는 대화를 구현할 수 있다. 시스템은 데이터 수집 단말을 통해 실제 발생했던 히스토리를 입력받아 사용자와 실존 개체 간 실제 있었던 일을 가상 개체와의 대화를 통해 구현할 수 있다.
사용자는 대화 중 미리 제공된 히스토리 데이터에 포함된 과거 어느 한 시점에 대하여 질의 할 수 있고, 이에 가상 개체는 시스템에서 추출한 해당 시점에서 발생한 일 들을 대화의 형태로 응답할 수 있다.
이에 따라, 본 발명의 가상 현실 서비스에서는 가상 개체가 사용자의 지인이며 현재 고인인 경우, 사용자는 과거 자신과 지인과의 추억을 회상하며 현재 시점을 기준으로 일상과 같은 대화를 경험할 수 있다. 이때, 가상 개체는 인공지능으로 구현된 표정, 말투, 습관 및 행동 등을 수행할 수 있다.
도 8을 참조하면, 본 발명의 실시예에 따른 가상 현실 서비스는 VR, AR 등과 같은 가상 현실 전용 장치뿐만 아니라, 누구나 소지하고 있는 스마트 폰과 같은 모바일 장치에서도 이용 가능하며, 일상 대화 콘텐츠 뿐만 아니라, 일정관리 기능인 가상 비서 콘텐츠를 이용할 수 있다.
예를 들면, 사용자는 가상 비서 콘텐츠로서, 자신이 좋아하는 서비스 등록된 연예인을 가상 개체로 하는 일정관리 콘텐츠를 선택하고, 스마트 폰에 날짜별 할일, 알림, 기념일 등의 일정을 입력 및 저장하면, 해당 시점에 연예인의 외모를 갖는 가상 개체가 화면상에 등장하여 일정을 알려주거나, 사용자가 화면상의 가상 개체에게 특정 시점의 일정을 질의하면, 가상 개체가 저장된 기록을 추출하여 해당 연예인의 목소리로 응답하게 된다.
또한, 본 발명의 실시예에 따르면, 현실세계에서 가상 개체와의 다양한 커뮤니케이션이 가능하며, 전술한 가상 개체에 의한 가상 비서 콘텐츠 뿐만 아니라, 일상생활에서도 흔히 일어날 수 있는 자연스러운 커뮤니케이션을 구현할 수 있다.
상세하게는, 다양한 주제에 따른 대화 콘텐츠로서, 코믹, 상식, 과학 및 기술 등의 분야에 대한 퀴즈 콘텐츠, 상용화된 외부DB, 일례로서 구글, 위키피디아를 기반으로 하는 정보 제공 콘텐츠 등을 AI 자연어를 기반으로 하는 가상 개체와의 대화를 제공할 수 있다.
또한, 쇼핑 기능으로서, 대화 형식으로 가상 개체에 요청시, 가상 개체는 사용자의 로그인 정보를 바탕으로 특정 온라인 쇼핑몰에 대한 자동 로그인 및 상품 주문 등을 대리로 처리할 수 있다.
또한, 확장된 대화 기능으로서, 사용자가 대화 형식으로 가상 개체에게 자신의 과거 특정 시점에서의 일화를 전달하면, 가상 개체는 그 내용을 프라이빗 정보로 데이터 베이스에 저장할 수 있고, 이후 생애기억금고 서비스에 활용될 수 있다.
또한, 전술한 기억 저장 기능은 다양하고 유용한 서비스로 응용될 수 있다. 예를 들어, 언제든 특정 시점에 대한 기억을 되돌아 볼 수 있도록 하는 나의 인생 기억 콘텐츠, 유언, 비밀번호 등 중요정보를 저장해두는 중요 정보 저장 콘텐츠 등으로 확장될 수 있다.
이때, 전술한 프라이빗 정보, 중요정보 등은 보안등급이 최상급임에 따라, 생체 데이터 확인 등의 보안기술이 적용될 수 있으며, 사용자에 의해 부모, 자녀 등의 접근권한이 설정될 수 있다.도 9를 참조하면, 본 발명의 실시예에 따른 가상 현실 서비스는, 가상 개체와 함께 하는 게임 형식의 콘텐츠를 제공할 수 있다. 사용자는 자신의 스마트폰을 이용하여 가상 개체를 실행하고 가상 공간에서 사용자와 함께 진행하는 게임 콘텐츠를 사용할 수 있다.
일 예로서, 사용자는 가상 개체와 실력을 겨루는 체스 게임을 실행할 수 있고, 가상 개체는 상대편으로서 사용자와 함께 게임을 즐길 수 있다. 게임 콘텐츠의 실행시 화면상에는 체스말이 놓여진 체스판이 가상 개체와 함께 표시될 수 있고, 사용자는 가상 개체와 마주보는 시점에서 체스를 즐길 수 있다. 여기서, 체스말을 사용자의 터치 패널에 대한 입력을 통해 이동할 수 있고, 사용자와 가상 개체는 각각 자신의 턴이 돌아오면 체스말을 이동시켜 체스 게임을 즐길 수 있다. 특히, 체스와 같은 게임 콘텐츠는 사용자가 가상 개체와 마주보는 시점에서 진행됨에 따라 사용자는 혼자서 게임을 진행하는 것이 아닌, 상대방과 함께하는 기분으로 체스게임을 즐길 수 있게 된다. 이때, 가상 개체는 설정된 성격, 습관 등에 따라, 현재 게임이 진행되는 상황에 대응하는 표정, 손짓 및 몸짓 등의 행위를 수행할 수 있고, 이는 사용자 단말상에서 실시간으로 반영 및 표시될 수 있다.
또한, 도시되어 있지는 않지만 본 발명의 실시예에 따른 가상 현실 서비스는, 가상 공간상에 가상 개체와의 인터렉티브(interactive)를 위한 다양한 콘텐츠를 제공할 수 있다.
일례로서, 가상 개체가 등장하는 가상공간 상에는 마치 현실 세계에 존재하는 쇼핑몰, 식당, 카페 등이 존재하며, 사용자는 가상공간의 쇼핑몰을 선택하고 가상의 옷, 액세서리 등을 구입하여 가상 개체에게 선물할 수도 있다.
여기서, 상품의 결제는 사용자 단말에 설정된 결제 수단이 이용될 수 있고, 시스템은 결제가 완료되면 해당 상품을 가상 객체에게 지급 처리 하며, 이에 가상 개체는 그래픽으로 처리된 상품을 착용하거나 사용할 수 있다.
또한, 유용한 기능으로서, 네비게이션 솔루션과의 연동을 통해, 사용자로부터 대화형식으로 목적지를 입력받아 운전을 위한 가상 지도를 제공하는 네비게이션 서비스를 제공할 수 있다.
기타, 상기에 기재되어 있지는 않으나, 시스템은 사용자와 가상 개체 간에 다양한 형태의 인터렉티브 구현을 위한 콘텐츠를 제공할 수 있다.

Claims (18)

  1. 가상화의 대상이 되는 실존 개체에 대하여 복수의 관점에서 추출되는 데이터화가 가능한 복수의 로우 데이터를 수집하고, 수집된 로우 데이터를 데이터 속성에 따라 개체별로 분류 및 저장하는 데이터 센터 서버; 및
    사용자 단말의 요청에 따라, 상기 데이터 센터 서버에 저장된 개체별 다수의 속성 데이터를 이용하여 실존 개체에 대응하는 가상 개체를 구현하고, 상기 사용자 단말을 통해 사용자와 가상 개체 간 의사소통에 기반한 콘텐츠를 제공하는 콘텐츠 제공 서버를 포함하는 인공지능 기반 가상현실 서비스 시스템.
  2. 제 1 항에 있어서,
    상기 데이터 센터 서버는,
    하나 이상의 데이터 수집 단말로부터 실존 개체에 대한 직접적 또는 간접적으로 획득되는 로우 데이터를 수집하는 데이터 수집부;
    사용자 단말로부터 데이터화 하고자 하는 대상인 실존 개체를 등록받는 개체 등록부;
    상기 데이터 수집부에 의해 수집된 로우 데이터를, 외모 및 언행을 포함하는 외적 성향을 나타내는 외적 데이터와, 실존 개체의 성격 및 습관을 포함하는 내적 성향을 설명하는 내적 데이터와, 실존 개체의 행동에 대한 행동 데이터와, 실존 개체의 생존시 수행한 업적에 대한 아카이브 데이터로 분류하여 속성 데이터를 도출하는 데이터 분류부; 및
    상기 속성 데이터를 개체별로 저장하는 데이터 저장소를 포함하는 인공지능 기반 가상현실 서비스 시스템.
  3. 제 2 항에 있어서,
    상기 데이터 수집 단말은,
    실존 개체가 소지하거나, 실존 개체에 대한 로우 데이터의 획득이 가능한 이미지 센서 또는 마이크 센서를 포함하는 컴퓨팅 장치 또는, 타 사용자에 의한 텍스트 입력이 가능한 컴퓨팅 장치를 포함하는 인공지능 기반 가상현실 서비스 시스템.
  4. 제 2 항에 있어서,
    상기 데이터 센터 서버는,
    등록된 실존 개체의 속성 데이터에 대하여, 데이터 사용에 관한 권한을 갖는 사용자 또는, 권한을 갖는 사용자로부터 사용을 허가 받은 타 사용자의 사용자 단말의 요청에 따라, 사용 권한을 확인하고 속성 데이터를 온라인을 통해 제공하는 데이터 제공부를 더 포함하는 인공지능 기반 가상현실 서비스 시스템.
  5. 제 1 항에 있어서,
    상기 콘텐츠 제공 서버는,
    상기 데이터 센터 서버로부터 등록된 실존 개체에 대한 하나 이상의 속성 데이터를 제공받는 데이터 이관부;
    상기 속성 데이터를 이용하여 실존 개체에 대응하며 가상 공간상에서 활동하는 가상 개체를 구현하는 가상 개체 구현부;
    가상 개체의 속성 데이터에 따라, 실행중인 가상 개체의 행동을 설정하는 개체 행위 생성부;
    사용자에 의한 설정 내용에 따라, 가상 개체의 제공 형태를 결정하는 서비스 결정부; 및
    상기 사용자 단말의 요청에 따라, 상기 콘텐츠를 사용자 단말에 제공하는 서비스 제공부를 포함하는 인공지능 기반 가상현실 서비스 시스템.
  6. 제 5 항에 있어서,
    상기 콘텐츠 제공 서버는,
    다수의 샘플 개체로부터 추출된 학습 데이터 및, 상기 데이터 센터 서버에 저장된 공개 가능한 속성 데이터로부터 일정 부분 변조되어 생성된 학습 데이터를 저장하는 학습데이터 DB; 및
    하나 이상의 미리 정의된 학습 모델에 상기 학습 데이터를 적용하여 기계학습을 수행하는 기계 학습부를 포함하고,
    상기 가상 개체 구현부 및 개체 행위 생성부는,
    상기 기계 학습부로부터 도출된 학습결과를 각각 가상 개체 구현 및 가상 개체 행위 생성에 반영하는 인공지능 기반 가상현실 서비스 시스템.
  7. 제 5 항에 있어서,
    상기 가상 개체는,
    VR 영상, 증강 영상, 2D 영상 및 음성 중, 어느 하나 또는 둘 이상의 조합으로 상기 사용자 단말에 표시되는 것인, 인공지능 기반 가상현실 서비스 시스템.
  8. 제 5 항에 있어서,
    상기 콘텐츠 제공 서버는,
    실존 개체에 대한 속성 데이터의 사용 권한을 갖는 사용자의 요청에 따라 회원 가입 절차를 수행하고, 회원 등록된 사용자의 로그인 절차를 수행하는 회원 관리부를 더 포함하고,
    상기 데이터 이관부는,
    상기 사용자 단말로부터 가상 개체 콘텐츠 요청시, 해당 사용자에게 실존 개체의 속성 데이터의 사용 권한을 확인하고, 사용 권한 범위 내에서 상기 데이터 센터 서버에 상기 속성 데이터의 제공을 요청하는 것인, 인공지능 기반 가상현실 서비스 시스템.
  9. 제 5 항에 있어서,
    상기 콘텐츠는,
    사용자 단말에서 사용자와 가상 개체 간 대화 기능, 사용자가 설정한 시점에 사용자 단말에 일정 알림을 표시하는 일정관리 기능 및, 사용자와 가상 개체 간 게임 기능 중, 하나 이상을 제공하는 것인, 인공지능 기반 가상현실 서비스 시스템.
  10. 인공지능 기반 가상현실 서비스 방법으로서,
    (a) 데이터 센터 서버가 가상화의 대상이 되는 실존 개체에 대하여 복수의 관점에서 추출되는 데이터화가 가능한 복수의 로우 데이터를 수집하는 단계;
    (b) 상기 데이터 센터 서버가 수집된 로우 데이터를 데이터 속성에 따라 개체별로 분류 및 저장하는 단계;
    (c) 콘텐츠 제공 서버가 사용자 단말의 요청에 따라 상기 데이터 센터 서버에 저장된 개체별 다수의 속성 데이터를 이용하여 실존 개체에 대응하는 가상 개체를 구현하는 단계; 및
    (d) 상기 콘텐츠 제공 서버가 상기 사용자 단말을 통해 사용자와 가상 개체 간 의사소통에 기반한 콘텐츠를 제공하는 단계를 포함하는 인공지능 기반 가상현실 서비스 방법.
  11. 제 10 항에 있어서,
    상기 (a) 단계는, 상기 데이터 센터 서버가 하나 이상의 데이터 수집 단말로부터 실존 개체에 대한 직접적 또는 간접적으로 획득되는 로우 데이터를 수집하는 단계; 및
    상기 데이터 센터 서버가 사용자 단말로부터 데이터화 하고자 하는 대상인 실존 개체를 등록받는 단계를 포함하고,
    상기 (b) 단계는,
    상기 데이터 센터 서버가 수집된 로우 데이터를, 외모 및 언행을 포함하는 외적 성향을 나타내는 외적 데이터와, 실존 개체의 성격 및 습관을 포함하는 내적 성향을 설명하는 내적 데이터와, 실존 개체의 행동에 대한 행동 데이터와, 실존 개체의 생존시 수행한 업적에 대한 아카이브 데이터로 분류하여 속성 데이터를 도출하는 단계; 및
    상기 속성 데이터를 개체별로 저장하는 단계를 포함하는 인공지능 기반 가상현실 서비스 방법.
  12. 제 11 항에 있어서,
    상기 데이터 수집 단말은,
    실존 개체가 소지하거나, 실존 개체에 대한 로우 데이터의 획득이 가능한 이미지 센서 또는 마이크 센서를 포함하는 컴퓨팅 장치 또는, 타 사용자에 의한 텍스트 입력이 가능한 컴퓨팅 장치를 포함하는 인공지능 기반 가상현실 서비스 방법.
  13. 제 12 항에 있어서,
    상기 (c) 단계 이전에,
    상기 데이터 센터 서버가 등록된 실존 개체의 속성 데이터에 대하여, 데이터 사용에 관한 권한을 갖는 사용자 또는, 권한을 갖는 사용자로부터 사용을 허가받은 타 사용자의 사용자 단말의 요청에 따라, 사용 권한을 확인하고 속성 데이터를 온라인을 통해 제공하는 단계를 더 포함하는 인공지능 기반 가상현실 서비스 방법.
  14. 제 10 항에 있어서,
    상기 (c) 단계는,
    (c1) 상기 콘텐츠 제공 서버가 상기 데이터 센터 서버로부터 등록된 실존 개체에 대한 하나 이상의 속성 데이터를 제공받는 단계;
    (c2) 상기 콘텐츠 제공 서버가 상기 속성 데이터를 이용하여 실존 개체에 대응하며 가상 공간상에서 활동하는 가상 개체를 구현하는 단계;
    (c3) 상기 콘텐츠 제공 서버가 가상 개체의 속성 데이터에 따라, 실행중인 가상 개체의 행동을 설정하는 단계; 및
    (c4) 상기 콘텐츠 제공 서버가 사용자에 의한 설정 내용에 따라, 가상 개체의 제공 형태를 결정하는 단계를 포함하는 인공지능 기반 가상현실 서비스 시스템.
  15. 제 14 항에 있어서,
    상기 (c2) 단계 및 (c3) 단계는,
    상기 콘텐츠 제공 서버가 다수의 샘플 개체로부터 추출된 학습 데이터 및, 상기 데이터 센터에 저장된 공개 가능한 속성 데이터로부터 일정 부분 변조되어 생성된 학습 데이터를 저장하는 단계;
    상기 콘텐츠 제공 서버가 하나 이상의 미리 정의된 학습 모델에 상기 학습 데이터를 적용하여 기계학습을 수행하는 단계; 및
    상기 콘텐츠 제공 서버가 도출된 학습결과를 각각 가상 개체 구현 및 가상 개체 행위 생성에 반영하는 단계를 포함하는 인공지능 기반 가상현실 서비스 방법.
  16. 제 14 항에 있어서,
    상기 가상 개체는,
    VR 영상, 증강 영상, 2D 영상 및 음성 중, 어느 하나 또는 둘 이상의 조합으로 상기 사용자 단말에 표시되는 것인, 인공지능 기반 가상현실 서비스 방법.
  17. 제 14 항에 있어서,
    상기 (c1) 단계 이전에, 상기 콘텐츠 제공 서버가 실존 개체에 대한 속성 데이터의 사용 권한을 갖는 사용자의 요청에 따라 회원 가입 절차를 수행하고, 회원 등록된 사용자의 로그인 절차를 수행하는 단계를 더 포함하고,
    상기 (c1) 단계는,
    상기 콘텐츠 제공 서버가 상기 사용자 단말로부터 가상 개체 콘텐츠 요청시, 해당 사용자에게 실존 개체의 속성 데이터의 사용 권한을 확인하는 단계; 및
    상기 콘텐츠 제공 서버가 사용 권한 범위 내에서 상기 데이터 센터 서버에 상기 속성 데이터의 제공을 요청하는 단계를 포함하는 인공지능 기반 가상현실 서비스 방법.
  18. 제 14 항에 있어서,
    상기 콘텐츠는,
    사용자 단말에서 사용자와 가상 개체 간 대화 기능, 사용자가 설정한 시점에 사용자 단말에 일정 알림을 표시하는 일정관리 기능 및, 사용자와 가상 개체 간 게임 기능 중, 하나 이상을 제공하는 것인, 인공지능 기반 가상현실 서비스 방법.
PCT/KR2022/001744 2021-02-05 2022-02-04 인공지능 기반 가상현실 서비스 시스템 및 방법 WO2022169289A2 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210017012 2021-02-05
KR10-2021-0017012 2021-02-05
KR1020210163259A KR102592310B1 (ko) 2021-02-05 2021-11-24 인공지능 기반 가상현실 서비스 시스템 및 방법
KR10-2021-0163259 2021-11-24

Publications (2)

Publication Number Publication Date
WO2022169289A2 true WO2022169289A2 (ko) 2022-08-11
WO2022169289A3 WO2022169289A3 (ko) 2022-10-06

Family

ID=82742385

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/001744 WO2022169289A2 (ko) 2021-02-05 2022-02-04 인공지능 기반 가상현실 서비스 시스템 및 방법

Country Status (1)

Country Link
WO (1) WO2022169289A2 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006071936A (ja) * 2004-09-01 2006-03-16 Matsushita Electric Works Ltd 対話エージェント
KR20160073903A (ko) * 2014-12-17 2016-06-27 구본주 개선된 개인 기억 정보와 속성 정보를 활용한 개인 추억 회상 및 자기 재생 시스템 및 그 방법
KR20160121825A (ko) * 2015-04-13 2016-10-21 주식회사 카이스인포 인공지능 기반 홀로그램 고인추모 플렛폼 구축방법 및 장치
KR101925440B1 (ko) * 2018-04-23 2018-12-05 이정도 가상현실 기반 대화형 인공지능을 이용한 화상 대화 서비스 제공 방법
US10953334B2 (en) * 2019-03-27 2021-03-23 Electronic Arts Inc. Virtual character generation from image or video data

Also Published As

Publication number Publication date
WO2022169289A3 (ko) 2022-10-06

Similar Documents

Publication Publication Date Title
KR102592310B1 (ko) 인공지능 기반 가상현실 서비스 시스템 및 방법
Heller Watching androids dream of electric sheep: Immersive technology, biometric psychography, and the law
US20190204907A1 (en) System and method for human-machine interaction
Thrift The ‘sentient’city and what it may portend
CN109463004A (zh) 数字助理服务的远场延伸
CN108205627A (zh) 交互式助理模块对访问的有条件提供
CN113508369A (zh) 交流支持系统、交流支持方法、交流支持程序以及图像控制程序
CN109789550A (zh) 基于小说或表演中的先前角色描绘的社交机器人的控制
KR102148151B1 (ko) 디지털 커뮤니케이션 네트워크에 기반한 지능형 채팅
CN113168526B (zh) 用于虚拟和增强现实的系统和方法
US12033264B2 (en) Systems and methods for authoring and managing extended reality (XR) avatars
US20130311528A1 (en) Communications with a proxy for the departed and other devices and services for communicaiton and presentation in virtual reality
TW202209264A (zh) 伺服器及資訊處理方法
Wilks Is a Companion a distinctive kind of relationship with a machine?
CN113436622A (zh) 一种智能语音助手的处理方法及装置
WO2020032469A1 (ko) 가상현실 이벤트 제공방법, 장치 및 프로그램
Bartlett et al. Flirting in the era of# MeToo: Negotiating intimacy
Benjamin et al. The entoptic field camera as metaphor-driven research-through-design with AI technologies
CN109074679A (zh) 具有增强现实强化的基于场景的实时广告
CN116341006B (zh) 3d数据系统、服务器以及处理3d数据的方法
H. Tan et al. Critical-playful speculations with cameras in the home
WO2022169289A2 (ko) 인공지능 기반 가상현실 서비스 시스템 및 방법
Lycett et al. Humans in (digital) space: representing humans in virtual environments
WO2019124850A1 (ko) 사물 의인화 및 인터랙션을 위한 방법 및 시스템
JP2017130170A (ja) 会話連動システム、会話連動装置、会話連動方法、および、会話連動プログラム

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 27/11/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 22750038

Country of ref document: EP

Kind code of ref document: A2