WO2021085708A1 - 3d 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템 - Google Patents

3d 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템 Download PDF

Info

Publication number
WO2021085708A1
WO2021085708A1 PCT/KR2019/014969 KR2019014969W WO2021085708A1 WO 2021085708 A1 WO2021085708 A1 WO 2021085708A1 KR 2019014969 W KR2019014969 W KR 2019014969W WO 2021085708 A1 WO2021085708 A1 WO 2021085708A1
Authority
WO
WIPO (PCT)
Prior art keywords
display device
unit
hologram
hologram display
user
Prior art date
Application number
PCT/KR2019/014969
Other languages
English (en)
French (fr)
Inventor
이범로
이상노
Original Assignee
(주)셀빅
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)셀빅 filed Critical (주)셀빅
Publication of WO2021085708A1 publication Critical patent/WO2021085708A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing

Definitions

  • the present invention relates to a two-way communication service system based on a 3D hologram display device, and more particularly, it is possible to implement a more realistic 3D hologram by supporting an optimal voice for a character used by each user of a 3D hologram display device,
  • a 3D hologram display device-based two-way communication service system that enables various information transmission and communication between users through a 3D hologram display device, and improves functionality and product competitiveness by updating various user-friendly content play. will be.
  • a typical technique using virtual reality is the way a user wears a goggle-type device and views a virtual image using computer graphics.
  • this method has a disadvantage that the user cannot conveniently use it because the user has to wear a separate device to view the virtual image.
  • the hologram is created by injecting a reference light and light reflected from an object for recording information, that is, an object light onto a recording medium, and recording an interference pattern between the reference light and the object light.
  • the transmissive hologram causes the reference light and the object light to be incident on the recording medium in the same direction during recording, and allows the reference light to pass through the hologram recorded on the recording medium during reproduction, so that the hologram is reproduced in a direction opposite to the reference light.
  • the reference light and the object light are incident in opposite directions to the recording medium during recording, and during reproduction, the reference light reflects the hologram so that the hologram is reproduced in the same direction as the reference light.
  • the present invention for solving the above-described conventional problem is a bidirectional 3D hologram display device based on a 3D hologram display device capable of realizing a more realistic 3D hologram by supporting an optimal voice suitable for a character used by each user of a 3D hologram display device. Its purpose is to provide a communication service system.
  • the present invention enables a variety of information transmission and user-to-user communication through a 3D hologram display device, and a 3D hologram display device-based interactive device that can improve functionality and product competitiveness through updates of various and user-friendly content play.
  • a communication service system There is another purpose to provide a communication service system.
  • the interactive communication service system based on the 3D hologram display device of the present invention comprises: a plurality of 3D hologram display devices configured to display holographic content including characters or figures as 3D holograms; A central service server that performs wired/wireless communication with a communication module configured in the 3D hologram display device to perform a predetermined control operation on the hologram content displayed on each of the 3D hologram display devices; And a user terminal device having an interlocking application installed and performing short-range communication with the 3D hologram display device and interworking with the 3D hologram display device.
  • the character used by each user of the 3D hologram display device By supporting the optimal voice for the user, a more realistic 3D hologram can be realized, a variety of information transmission and user-to-user communication are possible through a 3D hologram display device, and functionality and product competitiveness through the update of various and user-friendly content play. Can improve.
  • the present invention analyzes and extracts voices suitable for a character used by each user of a 3D hologram display device and supports it as a 3D hologram display device using the character used, thereby enabling each user to have a more realistic emotional interaction. .
  • the present invention has an effect of improving functionality and usability by enabling various information transmission and communication between users through a 3D hologram display device.
  • the present invention has the effect of further improving functionality and product competitiveness through updating of various and user-friendly content play.
  • FIG. 1 is a diagram schematically illustrating a configuration of a two-way communication service system based on a 3D hologram display device according to the present invention.
  • FIG. 2 is a diagram illustrating an embodiment of a 3D hologram display device constituting a two-way communication service system based on a 3D hologram display device according to the present invention.
  • FIG. 3 is a diagram illustrating another embodiment of a 3D hologram display device constituting a two-way communication service system based on a 3D hologram display device according to the present invention.
  • FIG. 4 is a block diagram schematically illustrating a configuration of a control module of a 3D hologram display device constituting a two-way communication service system based on a 3D hologram display device according to the present invention.
  • FIG. 5 is a block diagram schematically illustrating the configuration of a central support server constituting a two-way communication service system based on a 3D hologram display device according to the present invention.
  • FIG. 6 is a conceptual diagram illustrating interlocking content between a user terminal device and an interlocking control unit of a control module constituting a two-way communication service system based on a 3D hologram display device according to the present invention.
  • FIG. 7 is a conceptual diagram illustrating a scheduling service among linked contents in a two-way communication service system based on a 3D hologram display device according to the present invention.
  • FIG. 8 is a diagram illustrating an example of a screen for a weather information service among linked contents in a two-way communication service system based on a 3D hologram display device according to the present invention.
  • FIG. 9 is a diagram illustrating an example of holographic content reproduced by a music player of a control module constituting a two-way communication service system based on a 3D hologram display device according to the present invention.
  • FIG. 10 is a diagram illustrating an example of holographic content reproduced by a customizing unit of a control module constituting a two-way communication service system based on a 3D hologram display device according to the present invention.
  • FIG. 11 is a conceptual diagram illustrating an example of hand gesture recognition for each hand pattern type implemented in a two-way communication service system based on a 3D hologram display device according to the present invention.
  • FIG. 12 is a conceptual diagram illustrating a speech synthesis process through deep learning in a two-way communication service system based on a 3D hologram display device according to the present invention.
  • FIG. 13 is a conceptual diagram for explaining a process of connecting to enable conversational communication between users in a two-way communication service system based on a 3D hologram display device according to the present invention.
  • a plurality of 3D hologram display devices configured to display holographic content including a character or figure as a 3D hologram;
  • a central service server that performs wired/wireless communication with a communication module configured in the 3D hologram display device to perform a predetermined control operation on the hologram content displayed on each of the 3D hologram display devices;
  • a user terminal device having an interlocking application installed to communicate with the 3D hologram display device in short-range communication to interwork with the 3D hologram display device, wherein the 3D hologram display device includes a 3D hologram display device body and a hologram image provided in the 3D hologram display device body.
  • a hologram content output means for outputting, a hologram screen unit provided in the 3D hologram display device body to project a hologram image output from the hologram content output means to display a hologram, and a hologram screen part provided in the 3D hologram display device body
  • a microphone unit receiving a voice input
  • a motion sensor unit provided in the body of the 3D hologram display device to recognize a user's motion
  • a speaker unit provided in the body of the 3D hologram display device to output sound
  • the 3D hologram display device A communication module provided in the main body to communicate with the central service server and the user terminal device, and the 3D hologram display unit provided in the main body, receive a control command transmitted from the central service server, or the hologram content according to its own set condition
  • the central service server includes basic personal information, interests
  • the user information database unit for storing user registration information including content and information on the used 3D hologram display device, a voice data unit receiving voice information of the user transmitted through the 3D hologram display device, and the voice data unit
  • a voice information semantic analysis unit that analyzes the meaning of the provided voice information
  • a voice information conversion unit that converts the voice information into text or converts text to speech
  • a user's use of the text converted by the voice information conversion unit Speech synthesis unit for synthesizing the voice of the character, and voice warfare for transmitting the synthesized voice to the 3D hologram display device of the character in use
  • Speech synthesis unit for synthesizing the voice of the character, and voice warfare for transmitting the synthesized voice to the 3D hologram display device of the character in use
  • a two-way communication service system based on a 3D hologram display device comprising a transmission unit.
  • control module includes an interlocking control unit configured to control the holographic content by interlocking with the hologram content output means or the central service server;
  • a motion motion detection unit for controlling to execute an operation according to a motion pattern stored in a pattern recognition database based on a predetermined motion pattern recognized by the motion sensor unit;
  • a voice recognition unit for recognizing the voice input through the microphone unit and controlling an operation according to the recognized voice;
  • a text-to-speech conversion unit that converts the message transmitted to the hologram content output means into voice and outputs it to a speaker.
  • the interlocking control unit is configured to share SMS or MMS data of the user terminal device and transmit it from hologram content to voice and speech balloon functions, and check a preset schedule by interlocking with the schedule application of the user terminal device or A new schedule may be registered, and weather and temperature information of a location where the 3D hologram display device is located may be displayed on the hologram content.
  • the control module plays music stored in the main body of the 3D hologram display device through an input command recognized through the voice recognition unit, or 3D hologram music stored in the user terminal device by the interlocking control unit.
  • a music play unit to be executed together with the content;
  • a customization unit configured to apply an item including a style, fashion, and effect of the selected character;
  • a game execution unit configured to play game content with an operation command through the motion motion detection unit and the voice recognition unit.
  • the speech synthesis unit of the central operation server may be configured to convert a text file analyzed and processed through a search and semantic process into a natural language data file, and synthesize a unique voice of a used character in the natural language data file.
  • a big data unit for collecting and storing information on holographic contents, information on contents of interest of each user, user request information, and cultural issue information as big data;
  • a data analysis unit that converts metadata for each category including each user, each content, and each field to be used as new content data based on the big data built in the big data unit, and builds the analyzed analysis data;
  • An item store unit for purchasing items provided in the customizing unit of the 3D hologram display device;
  • a game service unit for providing a game executed in a game execution unit of the 3D hologram display device;
  • a hologram content database unit for storing new 3D holographic content;
  • a real-time update unit configured to automatically transmit information on a new 3D hologram content and a demo version to a 3D hologram display device of a corresponding user based on the content of interest included in the user registration information registered in the user information database unit;
  • a payment unit configured to transmit a full version of the 3D hologram content content from the real-time
  • the data analysis unit is configured to re-analyze and build a user-specific pattern and environment based on new information other than the previously prepared reference analysis data, and update trends and rules of the reference analysis data based on the re-analyzed data.
  • the real-time update unit provides information on the hologram content used by the user based on the data stored in the user information database unit, and derives new information to the user based on the analyzed result in connection with the data analysis unit. It can be made to provide.
  • the central service server relays with at least one other 3D hologram display device or user terminal device activated to accept a conversation when receiving a command for requesting a conversation with another user from a 3D hologram display device or a user terminal device. Can be made to do.
  • connection information of another 3D hologram display device or user terminal devices in which the interaction between users is activated Is transmitted to the corresponding user terminal device interlocking with the 3D hologram display device of the user conversation request or the 3D hologram display device of the user conversation request, and when another 3D hologram display device or user terminal device to be connected is selected, another 3D hologram display device Alternatively, it may be configured to connect by checking whether the user terminal device accepts the connection.
  • ... unit ... unit
  • ... module a unit that processes at least one function or operation, which is hardware, software, or hardware and It can be implemented as a combination of software.
  • FIG. 1 is a diagram schematically showing a configuration of a two-way communication service system based on a 3D hologram display device according to the present invention
  • FIG. 2 is a 3D hologram display device constituting a two-way communication service system based on a 3D hologram display device according to the present invention
  • FIG. 3 is a diagram showing another embodiment of a 3D hologram display device constituting a two-way communication service system based on a 3D hologram display device according to the present invention
  • FIG. 4 is a 3D diagram according to the present invention.
  • FIG. 5 is a diagram illustrating a two-way communication service system based on a 3D hologram display device according to the present invention. It is a block diagram schematically showing the configuration of the central support server.
  • the interactive communication service system based on the 3D hologram display device according to the present invention largely converts the contents of the character or figure selected by the user (hereinafter, collectively referred to as "hologram content") into a 3D hologram.
  • hologram content the contents of the character or figure selected by the user (hereinafter, collectively referred to as "hologram content") into a 3D hologram.
  • a plurality of 3D hologram display devices 100 configured to display;
  • a central service server 200 that performs wired/wireless communication with a communication module configured in the 3D hologram display device 100 to perform a predetermined control operation on the hologram content displayed in each of the 3D hologram display devices 100. .
  • the two-way communication service system based on the 3D hologram display device of the present invention may further include a user terminal device 300, which is installed with an interlocking application and is interworked with the 3D hologram display device in short-range communication.
  • the 3D hologram display device 100 is provided in the 3D hologram display device body 110 and the 3D hologram display device body 110 to display a holographic image, as shown in the embodiments of FIGS. 2 and 3.
  • a microphone unit (not shown) provided in the 3D hologram display device body 110 to receive a voice input
  • a motion sensor unit provided in the 3D hologram display device body 110 to recognize a user's motion (not shown)
  • a speaker unit 140 provided in the 3D hologram display device body 110 to output sound
  • a wired/wireless communication module (not shown) for wired/wireless communication, and a control command provided in
  • the hologram content output means 120 is composed of an embedded hologram display device integrally provided with the 3D hologram display device body 110, or includes a holographic image application to output a holographic image stored in an internal memory through a screen. It may be composed of a smart phone or a tablet that is detachably provided on a mounting portion formed on the 3D hologram display device body 110.
  • control module 150 interlocks with the central service server 200 through the hologram content output means 120 and/or a wired/wireless communication module to control the holographic content,
  • a motion motion detection unit 152 that controls to execute an operation according to a corresponding motion pattern stored in a pattern recognition database based on a predetermined motion pattern recognized by the motion sensor unit, and a corresponding recognized voice by recognizing the voice input through the microphone unit.
  • the interlocking control unit 151 activates the hologram content so that a hologram is displayed when motion is recognized by the motion sensor, and when there is a schedule inputted in connection with a schedule program provided in the hologram content output unit 120, the hologram
  • the hologram content may be notified together with a message receiving balloon.
  • FIG. 6 is a conceptual diagram illustrating interlocking content between a user terminal device and an interlocking control unit of a control module constituting a two-way communication service system based on a 3D hologram display device according to the present invention.
  • FIG. 8 is a screen example of a weather information service among linked contents in the interactive communication service system based on a 3D hologram display device according to the present invention. It is a figure showing.
  • the interlocking control unit 151 of the control module 150 may be configured to share SMS or MMS data of the user terminal device 300 interlocked through an interworking application, and transmit it from hologram content to voice and speech balloon functions.
  • the interlocking control unit 151 of the control module 150 may be configured to check an existing schedule or register a new schedule by interlocking with a schedule application of the user terminal device 300.
  • the registration and confirmation of the schedule can be registered and confirmed by recognizing the user's voice, and the registered schedule can be confirmed with the voice of the holographic content.
  • interlocking control unit 151 of the control module 150 may be configured to display the weather and temperature information of the location where the 3D hologram display device is located on the hologram content. Can be recognized and confirmed through holographic content.
  • FIG. 9 is a diagram illustrating an example of holographic content reproduced by a music player of a control module constituting a two-way communication service system based on a 3D hologram display device according to the present invention.
  • the control module 150 may further include a music player 155 that executes holographic content capable of playing music as illustrated in FIG. 9.
  • the music play unit 155 may be configured to play music stored in the main body 100 of the 3D hologram display device or play music stored in the user terminal device 300 by the interlocking control unit 151.
  • the music player 155 has a function of pausing the music being played, playing the next song, replaying the song from the beginning, or adjusting the volume of the music.
  • the music selection and operation control are performed by the user's voice. Can be made to recognize and play it.
  • the music player 155 may be configured to extract necessary bit data by analyzing a waveform of music by a character included in the holographic content to be played, and dance the character accordingly.
  • control module 150 is a diagram showing an example of holographic content reproduced by a customizing unit of a control module constituting a two-way communication service system based on a 3D hologram display device according to the present invention.
  • a customizing unit 156 for applying items including styles, fashions, and effects of the selected character set by the user to decorate their characters with various styles, fashions, and effects may be further included.
  • the character can use characters that have acquired various IP licenses such as K-POP STAR, Marvel, Disney, etc. and self-made characters as characters of the device, and the characters have their own voices, so they can use various functions provided by the device. It can be done so that the voice of the corresponding character can be used in an anonymous conversation service.
  • the central service server 200 may periodically transmit items that can be selected by the customization unit 156 and may include an item store unit for purchasing items.
  • control module 150 is a game that can execute a game provided from the game service unit of the central service server 200 so that the operation command through the motion motion detection unit 152 and the voice recognition unit 153 can be played. It may further include an execution unit 157.
  • the motion motion detection unit 152 may be configured to analyze the meaning of the hand motion detected from the motion sensor unit, move to the analyzed menu, and operate the function.
  • FIG. 11 is a conceptual diagram illustrating an example of hand gesture recognition for each hand pattern type implemented in a two-way communication service system based on a 3D hologram display device according to the present invention.
  • the motion motion detection unit 152 determines the extraction of the hand region detected by the motion sensor unit and the pattern of the extracted hand, and recognizes the hand motion with a combination of the hand shape to have various meanings. It is made so that extraction is possible.
  • the pattern of hand gestures can be applied to hand gesture recognition by distinguishing between a single pattern method that gives meaning to the shape of the palm and finger and recognizes it, and a combination pattern method that interprets the change pattern of each hand's shape as a unit of meaning I can.
  • the power supply unit configured in the 3D hologram display device 100 to supply power to a component that requires power may include a power cable and/or a replaceable battery connected to receive power from a conventional power grid.
  • the power supply unit is preferably made of a combination that can be applied to both a power cable and a replaceable battery.
  • the central service server 200 includes a user information database unit 210 storing user registration information, and a voice data unit receiving voice information of a user transmitted through the 3D hologram display device 100 ( 220) and a voice information semantic analysis unit 230 for analyzing the meaning of the voice information provided by the voice data unit 220, and a voice information conversion unit for converting the voice information into text or from text to voice ( 240), a voice synthesis unit 250 for synthesizing the voice of the user's character to the text converted by the voice information conversion unit 240, and the synthesized voice to the 3D hologram display device 100 of the used character. It may be configured to include a voice transmission unit 260 to transmit.
  • the user information database unit 210 includes information such as basic personal information of a user, a field of interest, content of interest (eg, character type, singer, music type, etc.), and a 3D hologram display device used.
  • information such as basic personal information of a user, a field of interest, content of interest (eg, character type, singer, music type, etc.), and a 3D hologram display device used.
  • the voice information conversion unit 240 may be configured to construct a language model using HMM (Hidden Markov Model) among voice recognition algorithms.
  • HMM Hidden Markov Model
  • the speech information meaning analysis unit 230, the speech information conversion unit 240, and the speech synthesis unit 250 may be formed based on deep learning.
  • FIG. 12 is a conceptual diagram illustrating a speech synthesis process through deep learning in a two-way communication service system based on a 3D hologram display device according to the present invention.
  • the central service server 200 receives the voices of users and generates voice data (voice data unit 220), and analyzes the generated voice data through deep learning to determine the user's intention (speech information meaning
  • the analysis unit 230 converts the determined voice data into text (voice information conversion unit 240).
  • the central service server 200 converts the text file analyzed and processed through the search and semantic process into a natural language data file, and synthesizes the unique voice of the character used in the natural language data file (speech synthesis unit 250). It is configured to have the same form as the natural language spoken by the user and then transmit it to the corresponding 3D hologram display device 100 (voice transmission unit 260).
  • the interactive communication service system based on the 3D hologram display device may enable communication between the user's 3D hologram display devices.
  • FIG. 13 is a conceptual diagram for explaining a process of connecting to enable conversational communication between users in a two-way communication service system based on a 3D hologram display device according to the present invention.
  • the phrases shown in FIG. 13 are exemplary phrases for executing conversational communication between users, and are not limited thereto.
  • the central service server 200 when a specific word for conversation between users is input through the 3D hologram display device 100 and recognized by the central service server 200 (for example, 3D When an anonymous conversation is recognized by inputting an input command through the microphone unit of the hologram display device), the central service server 200 provides another 3D hologram display device 100 and/or a user terminal device 300 in which a conversation between users is activated.
  • the selection information is transmitted back to the central service server 200, the central service server 200 is another 3D hologram display device 100 and/or the user It checks whether the terminal device 300 accepts the connection, and if there is connection acceptance information of the connection target (3D hologram display device 100 and/or the user terminal device 300), the central service server 200 communicates with the user.
  • the request is transmitted to the 3D hologram display device 100 and/or the user terminal device 300 that the connection has been completed.
  • the 3D hologram display device 100 and/or the user terminal device 300 of the user conversation request and the 3D hologram display device 100 and/or the user terminal device 300 to be connected are communicated through their respective hologram contents. Will do.
  • Such conversations between users may be made by voice and speech bubbles.
  • the voice may be made of the user's own voice or the voice of the used character through environment setting.
  • a direct conversation can be made between the 3D hologram display devices, and in the case of the voice of the user character, the voice synthesis unit of the central service server 200 through the central service server 200 as described above.
  • the synthesized voice at 250 may be provided.
  • the central operation server 200 includes information on holographic contents provided to users, information on contents of interest of each user, and user request information. , Includes a big data unit 271 that collects and stores cultural issue information as big data, and by user, content, and field so that it can be used as new content data based on the big data built in the big data unit 271.
  • a data analysis unit 272 that converts metadata for each category and constructs analyzed analysis data, and an item store unit 273 for purchasing items provided to the customization unit 156 of the 3D hologram display device 100 , And a game service unit 274 for providing a game executed by the game execution unit 157 of the 3D hologram display apparatus 100.
  • the data analysis unit 272 re-analyses and builds user-specific patterns and environments based on this, and updates trends and rules of the reference analysis data based on the re-analyzed data. It can be made so that it can respond quickly and automatically to new environmental changes.
  • the central operation server 200 is based on the content of interest included in the user registration information registered in the hologram content database unit 281 and the user information database unit 210 to store new 3D hologram content.
  • a real-time update unit 282 configured to automatically transmit information on 3D hologram content and a demo version to the 3D hologram display device 100 of the user, and the corresponding 3D from the real-time update unit 282 based on the user's payment details.
  • a payment unit 283 configured to transmit the full version of the holographic content content.
  • the hologram content database unit 281 includes not only holographic content and related content currently provided to users, but also the newly developed holographic content based on the results analyzed in connection with the big data unit 271 and the data analysis unit 272. It can be made to build related content.
  • the real-time update unit 282 is configured to primarily provide information on the hologram content used by the corresponding user based on data stored in the user information database unit 210.
  • the real-time update unit 282 may be configured to derive and provide new information to a corresponding user based on a result of the analysis in conjunction with the data analysis unit 272 secondarily.
  • the payment unit 283 may be configured to check the user's payment information and provide holographic content according to the payment details.
  • the user terminal device 300 communicates with the 3D hologram display device 100 through short-range communication such as Bluetooth, and an interworking application is installed to interlock with the 3D hologram display device 100.
  • short-range communication such as Bluetooth
  • the two-way communication service system based on the 3D hologram display device as described above, by analyzing and extracting the voice appropriate for the character used by each user of the 3D hologram display device, it is supported by the 3D hologram display device using the character used. More realistic emotional interaction is possible for each user, and functionality and usability can be improved by enabling a variety of information transfer and communication between users through a 3D hologram display device, and functionality through updates of various and user-friendly content play. And there is an advantage that can further improve product competitiveness.
  • the two-way communication service system based on a 3D hologram display device according to the present invention is applied to the field of 3D hologram technology.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computing Systems (AREA)

Abstract

본 발명은 3D 홀로그램 디스플레이 장치의 각 사용자가 사용하는 사용 캐릭터에 맞는 최적의 음성을 지원하여 보다 현실적인 3D홀로그램을 구현할 수 있고, 3D 홀로그램 디스플레이 장치를 통해 다양한 정보 전달 및 사용자 간 커뮤니케이션을 가능하게 하며, 다양하고 사용자 친화적인 콘텐츠 플레이의 업데이트를 통하여 기능성과 제품 경쟁력을 향상시킬 수 있는 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에 관한 것이다. 본 발명에 따르면, 캐릭터 또는 피규어를 포함하는 홀로그램 콘텐츠을 3D 홀로그램으로 디스플레이하도록 구성되는 복수의 3D 홀로그램 디스플레이 장치; 상기 3D 홀로그램 디스플레이 장치에 구성되는 통신모듈과 유무선 통신하여 상기 3D 홀로그램 디스플레이 장치 각각에서 디스플레이되는 홀로그램 콘텐츠가 소정 제어 동작을 실행하도록 서비스하는 중앙 서비스 서버; 및 연동 애플리케이션이 설치되어 상기 3D 홀로그램 디스플레이 장치와 근거리 통신하여 연동하는 사용자 단말장치;를 포함하는 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템이 제공된다.

Description

3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템
본 발명은 3D홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에 관한 것으로, 더욱 상세하게는 3D 홀로그램 디스플레이 장치의 각 사용자가 사용하는 사용 캐릭터에 맞는 최적의 음성을 지원하여 보다 현실적인 3D홀로그램을 구현할 수 있고, 3D 홀로그램 디스플레이 장치를 통해 다양한 정보 전달 및 사용자 간 커뮤니케이션을 가능하게 하며, 다양하고 사용자 친화적인 콘텐츠 플레이의 업데이트를 통하여 기능성과 제품 경쟁력을 향상시킬 수 있는 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에 관한 것이다.
정보통신기술과 디스플레이 기술의 발전에 따라 3차원 입체 영상과 같이 좀 더 현실감 있는 영상에 대한 요구가 증가하고 있으며, 입체 영상을 디스플레이하기 위한 장치에 대한 수요는 비약적으로 증가하고 있다.
이러한 요구에 맞추어 다양한 입체 영상 기술이 제안되어 왔으며, 이러한 기술로 가상현실을 이용한 기술, 홀로그래피 기술을 이용하여 입체 영상을 구현하는 기술 등이 있다.
가상현실을 이용한 기술은 이용자가 고글 형태의 장치를 착용하고 컴퓨터그래픽을 이용한 가상의 영상을 보는 방식이 대표적인 방식이다. 그러나 이러한 방식은 이용자가 가상의 영상을 보기 위해 별도의 장치를 착용해야 하므로, 이용자가 편리하게 이용할 수 없다는 단점이 있다.
다른 방법으로 홀로그래피 기술을 이용하여 공간에 홀로그램 영상을 구현하는 방식이 있다. 홀로그램은 기록매질에 참조광과 정보를 기록하고자 하는 물체로부터 반사된 광, 즉 물체광을 입사시켜 참조광과 물체광의 간섭패턴을 기록함으로써 만들어진다.
데니스 게이버(Dennis Garbor)가 홀로그램을 처음 발명한 이후 현재까지 가장 보편적인 방법은 E, Leith 등이 개발한 투 빔 투과 홀로그램(Two beam transmission hologram) 과 Denisyuk 등이 개발한 원 빔 반사 홀로그램(One beam reflection hologram) 그리고 N Phillips 등이 발전시킨 에지릿 홀로그램(Edge-lit hologram) 등이 있다.
상기 투과형 홀로그램은 기록시 참조광과 물체광을 기록매질에 대해 같은 방향으로 입사시키며, 재생시에는 참조광이 기록매질에 기록된 홀로그램을 투과하도록 하여 참조광과 반대방향에서 홀로그램이 재생되도록 한다.
상기 반사형 홀로그램은 기록시 참조광과 물체광을 기록매질에 대해 반대방향으로 입사시키며, 재생시에는 참조광이 홀로그램을 반사하도록 하여 참조광과 같은 방향에서 홀로그램이 재생되도록 한다.
그러나 상기한 바와 같은 종래의 기술에서는, 홀로그램 영상을 화면에 출력하여 보여주기 위해서는, 별도의 프로젝터를 구비하거나 고가의 홀로그램 장비를 사용해야 하므로 경제적인 부담으로 홀로그램의 대중화에 걸림돌이 되는 문제점이 있다.
또한, 종래에는 획일적이고 간단한 홀로그램만을 디스플레이하는 단순한 기능만을 갖는 한계가 있어 콘텐츠를 다양화하고 기능화하기 위한 연구가 필요한 실정이다.
따라서, 상기한 종래의 문제점을 해결하기 위한 본 발명은, 3D 홀로그램 디스플레이 장치의 각 사용자가 사용하는 사용 캐릭터에 맞는 최적의 음성을 지원하여 보다 현실적인 3D홀로그램을 구현할 수 있는 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 제공하는데 그 목적이 있다.
또한, 본 발명은 3D 홀로그램 디스플레이 장치를 통해 다양한 정보 전달 및 사용자 간 커뮤니케이션을 가능하게 하며, 다양하고 사용자 친화적인 콘텐츠 플레이의 업데이트를 통하여 기능성과 제품 경쟁력을 향상시킬 수 있는 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 제공하는데 다른 목적이 있다.
본 발명의 해결과제는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템은, 캐릭터 또는 피규어를 포함하는 홀로그램 콘텐츠을 3D 홀로그램으로 디스플레이하도록 구성되는 복수의 3D 홀로그램 디스플레이 장치; 상기 3D 홀로그램 디스플레이 장치에 구성되는 통신모듈과 유무선 통신하여 상기 3D 홀로그램 디스플레이 장치 각각에서 디스플레이되는 홀로그램 콘텐츠가 소정 제어 동작을 실행하도록 서비스하는 중앙 서비스 서버; 및 연동 애플리케이션이 설치되어 상기 3D 홀로그램 디스플레이 장치와 근거리 통신하여 연동하는 사용자 단말장치;를 포함하는 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 제공함으로써, 3D 홀로그램 디스플레이 장치의 각 사용자가 사용하는 사용 캐릭터에 맞는 최적의 음성을 지원하여 보다 현실적인 3D홀로그램을 구현할 수 있고, 3D 홀로그램 디스플레이 장치를 통해 다양한 정보 전달 및 사용자 간 커뮤니케이션을 가능하게 하며, 다양하고 사용자 친화적인 콘텐츠 플레이의 업데이트를 통하여 기능성과 제품 경쟁력을 향상시킬 수 있다.
본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에 의하면 다음과 같은 효과를 제공한다.
첫째, 본 발명은 3D 홀로그램 디스플레이 장치의 각 사용자가 사용하는 사용 캐릭터에 맞는 음성을 분석 추출하여 해당 사용 캐릭터를 사용하는 3D 홀로그램 디스플레이 장치로 지원하여 각 사용자로 하여금 보다 현실적인 감성 인터렉티브가 가능한 효과가 있다.
둘째, 본 발명은 3D 홀로그램 디스플레이 장치를 통해 다양한 정보 전달 및 사용자 간 커뮤니케이션을 가능하게 하여 기능성과 사용성을 향상시킬 수 있는 효과가 있다.
셋째, 본 발명은 다양하고 사용자 친화적인 콘텐츠 플레이의 업데이트를 통하여 기능성과 제품 경쟁력을 더욱 향상시킬 수 있는 효과가 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
도 1은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템의 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 3D 홀로그램 디스플레이 장치의 일 실시 예를 나타내는 도면이다.
도 3은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 3D 홀로그램 디스플레이 장치의 다른 실시 예를 나타내는 도면이다.
도 4는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 3D 홀로그램 디스플레이 장치의 제어 모듈의 구성을 블록화하여 개략적으로 나타내는 도면이다.
도 5는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 중앙 지원 서버의 구성을 블록화하여 개략적으로 나타내는 도면이다.
도 6은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 제어 모듈의 연동 컨트롤부와 사용자 단말장치 간의 연동 콘텐츠를 설명하기 위한 개념도이다.
도 7은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 연동 콘텐츠 중 스케쥴링 서비스를 설명하기 위한 개념도이다.
도 8은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 연동 콘텐츠 중 기상정보 서비스에 대한 화면 예시를 나타내는 도면이다.
도 9는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 제어 모듈의 음악 플레이부에 의해 재생되는 홀로그램 콘텐츠의 예시를 나타내는 도면이다.
도 10은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 제어 모듈의 커스터마이징부에 의해 재생되는 홀로그램 콘텐츠의 예시를 나타내는 도면이다.
도 11은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 구현되는 핸드 패턴 형식별 핸드제스처 인식 예시를 나타내는 개념도이다.
도 12는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 딥러닝을 통한 음성 합성 과정을 나타내는 개념도이다.
도 13은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 사용자 간 대화 커뮤니케이션 가능하게 접속시키는 프로세스를 설명하기 위한 개념도이다.
상기 본 발명의 목적들 및 다른 특징들을 달성하기 위한 본 발명의 일 관점에 따르면, 캐릭터 또는 피규어를 포함하는 홀로그램 콘텐츠을 3D 홀로그램으로 디스플레이하도록 구성되는 복수의 3D 홀로그램 디스플레이 장치; 상기 3D 홀로그램 디스플레이 장치에 구성되는 통신모듈과 유무선 통신하여 상기 3D 홀로그램 디스플레이 장치 각각에서 디스플레이되는 홀로그램 콘텐츠가 소정 제어 동작을 실행하도록 서비스하는 중앙 서비스 서버; 및 연동 애플리케이션이 설치되어 상기 3D 홀로그램 디스플레이 장치와 근거리 통신하여 연동하는 사용자 단말장치;를 포함하고, 상기 3D 홀로그램 디스플레이 장치는, 3D홀로그램 디스플레이 장치본체와, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 홀로그램 영상을 출력하는 홀로그램 콘텐츠 출력수단과, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 상기 홀로그램 콘텐츠 출력수단으로부터 출력되는 홀로그램 영상을 투영시켜 홀로그램이 나타나도록 하는 홀로그램 스크린부와, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 음성을 입력받는 마이크부와, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 사용자의 모션을 인식하는 모션 센서부와, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 음향을 출력하는 스피커부와, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 상기 중앙 서비스 서버 및 사용자 단말장치와 통신하는 통신모듈과, 상기 3D홀로그램 디스플레이 장치본체에 구비되고, 상기 중앙 서비스 서버로부터 전송되는 제어 명령을 전송받거나, 자체 설정 조건에 따라 상기 홀로그램 콘텐츠 출력수단과 연동하여 홀로그램 콘텐츠를 제어하는 제어 모듈, 및 상기 3D홀로그램 디스플레이 장치본체에 구성되어 전력을 공급하기 위한 전원부;를 포함하며, 상기 중앙 서비스 서버는, 사용자의 기본 개인정보, 관심 분야, 관심 콘텐츠, 사용 3D 홀로그램 디스플레이 장치의 정보를 포함하는 사용자 등록 정보를 저장하는 사용자정보 데이터베이스부와, 상기 3D 홀로그램 디스플레이 장치를 통해 전송되는 사용자의 음성정보를 제공받는 음성 데이터부와, 상기 음성 데이터부에서 제공되는 음성 정보의 의미를 분석하는 음성정보 의미 분석부와, 상기 음성 정보를 텍스트로 변환하거나 텍스트에서 음성으로 변환하도록 이루어지는 음성정보 변환부와, 상기 음성정보 변환부에서 변환된 텍스트에 사용자의 사용 캐릭터의 음성을 합성하는 음성합성부, 및 상기 합성된 음성을 사용 캐릭터의 3D 홀로그램 디스플레이 장치로 전송하는 음성전송부를 포함하는 것을 특징으로 하는 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템이 제공된다.
본 발명에 있어서, 상기 제어모듈은 상기 홀로그램 콘텐츠 출력수단 또는 상기 중앙 서비스 서버와 연동하여 홀로그램 콘텐츠를 제어하도록 이루어지는 연동 컨트롤부; 상기 모션 센서부에서 인식된 소정 모션 패턴에 근거하여 패턴인식 데이터베이스에 저장된 해당 모션 패턴에 따른 동작을 실행하도록 제어하는 모션동작 검출부; 상기 마이크부를 통해 입력된 음성을 인식하여 인식된 해당 음성에 따른 동작을 실행하도록 제어하는 음성인식부; 및 상기 홀로그램 콘텐츠 출력수단으로 전송되는 메시지를 음성으로 변환하여 스피커로 출력하도록 제어하는 문자음성 변환부;를 포함할 수 있다.
본 발명에 있어서, 상기 연동 컨트롤부는 상기 사용자 단말장치의 SMS이나 MMS 데이터를 공유하여 홀로그램 콘텐츠에서 음성 및 말풍선 기능으로 전달하도록 이루어지고, 상기 사용자 단말장치의 스케줄 애플리케이션과 연동하여 기설정된 스케줄을 확인하거나 새로운 스케줄을 등록할 수 있도록 이루어지며, 상기 3D 홀로그램 디스플레이 장치가 있는 위치의 날씨와 기온 정보를 홀로그램 콘텐츠에 표시하도록 이루어질 수 있다.
본 발명에 있어서, 상기 제어모듈은 상기 음성인식부를 통해 인식된 입력 명령을 통해 상기 3D 홀로그램 디스플레이 장치 본체에 저장되어 있는 음악을 재생하거나, 상기 연동 컨트롤부에 의해 사용자 단말장치에 저장된 음악을 3D 홀로그램 콘텐츠와 함께 실행되도록 하는 음악 플레이부; 선택 캐릭터의 스타일과 패션 및 이펙트를 포함하는 아이템을 적용하도록 이루어지는 커스터마이징부; 및 상기 모션동작 검출부 및 음성인식부을 통한 조작 명령으로 게임 콘텐츠가 플레이되도록 이루어지는 게임 실행부;를 더 포함할 수 있다.
본 발명에 있어서, 상기 중앙 운용 서버의 음성 합성부는 검색 및 시멘틱 과정을 통하여 분석 처리된 텍스트 파일을 자연어 데이터 파일화하고, 자연어화된 데이터 파일에 사용캐릭터의 고유 음성을 합성하도록 이루어질 수 있다.
본 발명에 있어서, 홀로그램 콘텐츠에 대한 정보, 각 사용자들의 관심 콘텐츠에 대한 정보, 사용자 요구 정보, 문화적 이슈 정보를 빅데이터로 수집 저장하는 빅데이터부; 상기 빅데이터부에 구축된 빅데이터에 근거하여 신규 콘텐츠 데이터로 활용할 수 있도록 사용자별, 콘텐츠별, 분야별을 포함하는 카테고리별로 메타데이터화하고, 분석한 분석 데이터를 구축하는 데이터 분석부; 상기 3D 홀로그램 디스플레이 장치의 커스터마이징부에 제공되는 아이템의 구매를 위한 아이템 스토어부; 상기 3D 홀로그램 디스플레이 장치의 게임 실행부에서 실행되는 게임을 제공하기 위한 게임 서비스부; 신규 3D 홀로그램 콘텐츠를 저장하는 홀로그램콘텐츠 데이터베이스부; 상기 사용자정보 데이터베이스부에 등록되어 있는 사용자 등록 정보에 포함된 관심 콘텐츠에 기반하여 신규 3D 홀로그램 콘텐츠에 대한 정보와 데모 버전을 해당 사용자의 3D 홀로그램 디스플레이 장치로 자동 송출하도록 이루어지는 실시간 업데이트부; 및 사용자의 결재 내역에 근거하여 상기 실시간 업데이트부로부터 해당 3D 홀로그램 콘텐츠 콘텐츠의 풀 버전을 전송하도록 이루어지는 결재부;를 포함할 수 있다.
본 발명에 있어서, 상기 데이터 분석부는 미리 마련된 기준 분석데이터 이외의 신규 정보에 근거하여 사용자별의 패턴 및 환경을 재분석 구축하고, 재분석된 데이터에 근거하여 기준 분석데이터의 경향과 규칙을 업데이트하도록 이루어지며, 상기 실시간 업데이트부는 상기 사용자정보 데이터베이스부에 저장된 데이터에 근거하여 해당 사용자가 사용하고 있는 홀로그램 콘텐츠에 대한 정보를 제공하며, 상기 데이터분석부와 연동하여 분석된 결과를 토대로 해당 사용자에게 새로운 정보를 도출하여 제공하도록 이루어질 수 있다.
본 발명에 있어서, 상기 중앙 서비스 서버는 3D 홀로그램 디스플레이 장치 또는 사용자 단말장치로부터 다른 사용자와의 대화 요청 명령을 입력받게 되는 경우, 대화 수락이 활성화된 하나 이상의 다른 3D 홀로그램 디스플레이 장치 또는 사용자 단말장치와 중계하도록 이루어질 수 있다.
본 발명에 있어서, 상기 중앙 서비스 서버는 상기 3D 홀로그램 디스플레이 장치를 통하여 사용자간 대화를 위한 특정단어의 입력을 인식하는 경우, 사용자간 대화가 활성화되어 있는 다른 3D 홀로그램 디스플레이 장치 또는 사용자 단말장치들의 연결 정보를, 사용자대화 요청의 3D 홀로그램 디스플레이 장치 또는 사용자대화요청의 3D 홀로그램 디스플레이 장치와 연동하는 해당 사용자 단말장치로 전송하고, 연결할 다른 3D 홀로그램 디스플레이 장치 또는 사용자 단말장치를 선택하게 되면, 다른 3D 홀로그램 디스플레이 장치 또는 사용자 단말장치의 연결 수락여부를 확인하여 연결하도록 이루어질 수 있다.
본 발명의 추가적인 목적들, 특징들 및 장점들은 다음의 상세한 설명 및 첨부도면으로부터 보다 명료하게 이해될 수 있다.
본 발명의 상세한 설명에 앞서, 본 발명은 다양한 변경을 도모할 수 있고, 여러 가지 실시 예를 가질 수 있는바, 아래에서 설명되고 도면에 도시된 예시들은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도는 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "...부", "...유닛", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 본원 명세서 전체에서, 어떤 단계가 다른 단계와 "상에"또는 "전에" 위치하고 있다고 할 때, 이는 어떤 단계가 다른 단계와 직접적 시계열적인 관계에 있는 경우 뿐만 아니라, 각 단계 후의 혼합하는 단계와 같이 두 단계의 순서에 시계열적 순서가 바뀔 수 있는 간접적 시계열적 관계에 있는 경우와 동일한 권리를 포함한다.
이하, 본 발명의 바람직한 실시 예에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에 대하여 첨부 도면을 참조하여 상세히 설명한다.
도 1은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템의 구성을 개략적으로 나타내는 도면이고, 도 2는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 3D 홀로그램 디스플레이 장치의 일 실시 예를 나타내는 도면이고, 도 3은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 3D 홀로그램 디스플레이 장치의 다른 실시 예를 나타내는 도면이고, 도 4는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 3D 홀로그램 디스플레이 장치의 제어 모듈의 구성을 블록화하여 개략적으로 나타내는 도면이며, 도 5는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 중앙 지원 서버의 구성을 블록화하여 개략적으로 나타내는 도면이다.
본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템은, 도 1 내지 도 5에 나타낸 바와 같이, 크게 사용자가 선택한 캐릭터 또는 피규어의 콘텐츠(이하, "홀로그램 콘텐츠"로 통칭함)를 3D 홀로그램으로 디스플레이하도록 구성되는 복수의 3D 홀로그램 디스플레이 장치(100); 및 상기 3D 홀로그램 디스플레이 장치(100)에 구성되는 통신모듈과 유무선 통신하여 3D 홀로그램 디스플레이 장치(100) 각각에서 디스플레이되는 홀로그램 콘텐츠가 소정 제어 동작을 실행하도록 서비스하는 중앙 서비스 서버(200);를 포함한다.
이에 더하여, 본 발명의 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템은, 연동 애플리케이션이 설치되어 상기 3D 홀로그램 디스플레이 장치와 근거리통신하여 연동되는 사용자 단말장치(300);를 더 포함할 수 있다.
구체적으로, 상기 3D 홀로그램 디스플레이 장치(100)는 도 2 및 도 3의 실시 예들에 나타낸 바와 같이, 3D홀로그램 디스플레이 장치본체(110)와, 상기 3D홀로그램 디스플레이 장치본체(110)에 구비되어 홀로그램 영상을 출력하는 홀로그램 콘텐츠 출력수단(120)과, 상기 3D홀로그램 디스플레이 장치본체(110)에 구비되어 상기 홀로그램 콘텐츠 출력수단(120)으로부터 출력되는 홀로그램 영상을 투영시켜 홀로그램이 나타나도록 하는 홀로그램 스크린부(130)과, 상기 3D홀로그램 디스플레이 장치본체(110)에 구비되어 음성을 입력받는 마이크부(미도시)와, 상기 3D홀로그램 디스플레이 장치본체(110)에 구비되어 사용자의 모션을 인식하는 모션 센서부(미도시)와, 상기 3D홀로그램 디스플레이 장치본체(110)에 구비되어 음향을 출력하는 스피커부(140)와, 상기 3D홀로그램 디스플레이 장치본체(110)에 구비되어 중앙 서비스 서버(200) 및 사용자 단말장치(300)와 유무선 통신하는 유무선 통신모듈(미도시)과, 상기 3D홀로그램 디스플레이 장치본체(110)에 구비되고, 상기 중앙 서비스 서버(200)로부터 전송되는 제어 명령을 전송받거나, 및/또는 자체 설정 조건에 따라 상기 홀로그램 콘텐츠 출력수단(200)과 연동하여 홀로그램 콘텐츠를 제어하는 제어 모듈(150), 및 상기 3D홀로그램 디스플레이 장치본체(110)에 구성되어 전력을 필요로 하는 구성요소에 전력을 공급하기 위한 전원부;를 포함한다.
상기 홀로그램 콘텐츠 출력수단(120)은 상기 3D홀로그램 디스플레이 장치본체(110)에 일체형으로 구비되는 임베디드 홀로그램 디스플레이 장치로 구성되거나, 홀로그램 영상 애플리케이션을 구비하여 내부 메모리에 저장된 홀로그램 영상을 화면을 통해 출력하도록 이루어지되 상기 3D홀로그램 디스플레이 장치본체(110)에 형성되는 안착부에 탈장착 가능하게 구비되는 스마트폰이나 태블릿으로 구성될 수 있다.
다음으로, 상기 제어모듈(150)은 상기 홀로그램 콘텐츠 출력수단(120) 및/또는 유무선 통신모듈을 통해 상기 중앙 서비스 서버(200)와 연동하여 홀로그램 콘텐츠를 제어하도록 이루어지는 연동 컨트롤부(151)와, 상기 모션 센서부에서 인식된 소정 모션 패턴에 근거하여 패턴인식 데이터베이스에 저장된 해당 모션 패턴에 따른 동작을 실행하도록 제어하는 모션동작 검출부(152)와, 상기 마이크부를 통해 입력된 음성을 인식하여 인식된 해당 음성에 따른 동작을 실행하도록 제어하는 음성인식부(153), 및 상기 홀로그램 콘텐츠 출력수단(120)으로 전송되는 메시지를 음성으로 변환하여 스피커로 출력하도록 제어하는 문자음성 변환부(154)를 포함하여 이루어질 수 있다.
상기 연동 컨트롤부(151)는 상기 모션 센서로부터 움직임을 인식되는 경우 홀로그램이 표출되도록 홀로그램 콘텐츠을 활성화시키고, 상기 홀로그램 콘텐츠 출력수단(120)에 구비되는 일정 프로그램과 연동하여 입력된 일정이 있을 경우, 홀로그램 콘텐츠가 일정알림 말풍선과 함께 일정을 표출하도록 이루어지고, 상기 홀로그램 콘텐츠 출력수단(120)에 메시지가 수신되는 경우, 홀로그램 콘텐츠에 메시지수신 말풍선과 함께 알림할 수 있도록 이루어질 수 있다.
구체적으로, 도 6은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 제어 모듈의 연동 컨트롤부와 사용자 단말장치 간의 연동 콘텐츠를 설명하기 위한 개념도이고 도 7은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 연동 콘텐츠 중 스케쥴링 서비스를 설명하기 위한 개념도이며, 도 8은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 연동 콘텐츠 중 기상정보 서비스에 대한 화면 예시를 나타내는 도면이다.
상기 제어모듈(150)의 연동 컨트롤부(151)는, 연동 애플리케이션을 통해 연동되는 사용자 단말장치(300)의 SMS이나 MMS 데이터를 공유하여 홀로그램 콘텐츠에서 음성 및 말풍선 기능으로 전달하도록 이루어질 수 있다.
또한, 상기 제어모듈(150)의 연동 컨트롤부(151)는, 사용자 단말장치(300)의 스케줄 애플리케이션과 연동하여 기존에 설정된 스케줄을 확인하거나 새로운 스케줄을 등록할 수 있도록 이루어질 수 있다. 여기에서, 스케줄의 등록 및 확인은 사용자 음성을 인식하여 등록 및 확인할 수 있으며, 등록된 일정은 홀로그램 콘텐츠의 음성으로 확인 할 수 있도록 이루어진다.
또한, 상기 제어모듈(150)의 연동 컨트롤부(151)는, 3D 홀로그램 디스플레이 장치가 있는 위치의 날씨와 기온 정보를 홀로그램 콘텐츠에 표시하도록 이루어질 수 있으며, 이때 정보의 표시 및 확인 명령은 사용자의 음성을 인식하고 이를 홀로그램 콘텐츠를 통해 확인할 수 있도록 할 수 있다.
한편, 도 9는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 제어 모듈의 음악 플레이부에 의해 재생되는 홀로그램 콘텐츠의 예시를 나타내는 도면이다.
상기 제어모듈(150)은 도 9에 예시로 나타낸 바와 같이 음악을 플레이할 수 있는 홀로그램 콘텐츠를 실행하는 음악 플레이부(155)를 더 포함할 수 있다.
상기 음악 플레이부(155)는 3D 홀로그램 디스플레이 장치 본체(100)에 저장되어 있는 음악을 재생하거나, 상기 연동 컨트롤부(151)에 의해 사용자 단말장치(300)에 저장된 음악을 재생하도록 이루어질 수 있다.
이러한 음악 플레이부(155)는 재생되고 있는 음악을 일시 정지하거나 다음곡을 재생하거나 곡을 처음부터 다시 재생하거나 음악의 볼륨을 조정할 수 있는 기능을 갖고 있으며, 음악의 선택과 동작 제어는 사용자의 음성을 인식하고 이를 플레이할 수 있도록 이루어질 수 있다.
이때, 상기 음악 플레이부(155)는 플레이되는 홀로그램 콘텐츠에 포함되는 캐릭터가 음악의 파형을 분석하여 필요한 비트 데이터를 추출하고 그에 맞추어 캐릭터가 댄스를 추도록 이루어질 수 있다.
상기 제어모듈(150)은 상기한 기능 이외에도, 도 10은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템을 구성하는 제어 모듈의 커스터마이징부에 의해 재생되는 홀로그램 콘텐츠의 예시를 나타내는 도면으로, 자신의 캐릭터들을 다양한 스타일과 패션, 이펙트로 치장할 수 있도록 사용자가 설정한 선택 캐릭터의 스타일과 패션 및 이펙트 등을 포함하는 아이템을 적용하기 위한 커스터마이징부(156)를 더 포함할 수 있다.
이때, 캐릭터는 K-POP STAR, 마블, 디즈니 등 다양한 IP 라이센스를 획득한 캐릭터들과 자체 제작한 캐릭터들을 장치의 캐릭터로 사용할 수 있으며, 캐릭터들은 고유의 목소리를 가지고 있어 장치가 제공하는 다양한 기능과 익명 대화서비스에서 해당 캐릭터의 목소리를 활용할 수 있게 이루어질 수 있다.
이 경우, 상기 중앙 서비스 서버(200)는 커스터마이징부(156)에서 선택할 수 있는 아이템을 정기적으로 전송할 수 있으며, 아이템의 구매를 위한 아이템 스토어부를 포함할 수 있다.
또한, 상기 제어모듈(150)은 모션동작 검출부(152) 및 음성인식부(153)를 통한 조작 명령으로 플레이할 수 있도록 중앙 서비스 서버(200)의 게임 서비스부에서 제공되는 게임을 실행할 수 있는 게임 실행부(157)를 더 포함할 수 있다.
계속해서, 상기 모션동작 검출부(152)는 모션 센서부로부터 검출되는 손 동작의 의미를 분석하고 분석된 메뉴로 이동하며 기능을 동작시키도록 이루어질 수 있다.
도 11은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 구현되는 핸드 패턴 형식별 핸드제스처 인식 예시를 나타내는 개념도이다.
구체적으로, 상기 모션동작 검출부(152)는 도 11에 예시한 바와 같이, 모션 센서부에서 검출되는 손 구역 추출과 추출된 손 모양의 패턴을 판별하며, 손 모양의 조합으로 손동작을 인식하여 다양한 의미 추출이 가능하도록 이루어진다.
이 경우, 핸드 제스처의 패턴은 손바닥과 손가락의 모양 자체에 의미를 부여하여 인식하도록 하는 단일 패턴 방식과 각 손의 모양의 변화 패턴을 의미 단위로 해석하는 조합 패턴 방식을 구별하여 손동작 인식에 적용할 수 있다.
상기 3D 홀로그램 디스플레이 장치(100)에 구성되어 전력을 필요로 하는 구성요소에 전력을 공급하기 위한 전원부는 통상의 전력망으로부터 전원을 공급받을 수 있도록 연결되는 전원 케이블 및/또는 교체형 배터리로 이루어질 수 있다. 본 발명에서 상기 전원부는 전원 케이블 및 교체형 배터리를 모두 적용될 수 있는 겸용으로 이루어지는 것이 바람직하다.
다음으로, 상기 중앙 서비스 서버(200)는, 사용자 등록 정보를 저장하는 사용자정보 데이터베이스부(210)와, 상기 3D 홀로그램 디스플레이 장치(100)를 통해 전송되는 사용자의 음성정보를 제공받는 음성 데이터부(220)와 상기 음성 데이터부(220)에서 제공되는 음성 정보의 의미를 분석하는 음성정보 의미 분석부(230)와, 상기 음성 정보를 텍스트로 변환하거나 텍스트에서 음성으로 변환하도록 이루어지는 음성정보 변환부(240)와, 상기 음성정보 변환부(240)에서 변환된 텍스트에 사용자의 사용 캐릭터의 음성을 합성하는 음성합성부(250), 및 상기 합성된 음성을 사용 캐릭터의 3D 홀로그램 디스플레이 장치(100)로 전송하는 음성전송부(260)를 포함하여 구성될 수 있다.
상기 사용자정보 데이터베이스부(210)에는 사용자의 기본 개인정보, 관심 분야, 관심 콘텐츠(예를 들면, 캐릭터 종류, 가수, 음악 종류 등), 사용 3D 홀로그램 디스플레이장치 등의 정보를 포함한다.
상기 음성정보 변환부(240)는 음성인식 알고리즘 중 HMM(Hidden Markov Model)을 사용하여 언어 모델을 구성하도록 이루어질 수 있다.
그리고 상기 음성정보 의미 분석부(230)와 음성정보 변환부(240) 및 음성합성부(250)는 딥러닝을 기반으로 이루어질 수 있다.
도 12는 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 딥러닝을 통한 음성 합성 과정을 나타내는 개념도이다.
상기 중앙 서비스 서버(200)는, 사용자들의 음성을 전송받아 음성데이터를 생성하고(음성 데이터부(220)), 생성된 음성데이터를 딥러닝을 통해 분석하여 사용자의 의도를 판별하며(음성정보 의미 분석부(230)), 판별된 음성데이터를 텍스트로 변환한다(음성정보 변환부(240)).
그리고 상기 중앙 서비스 서버(200)는, 검색 및 시멘틱 과정을 통하여 분석 처리된 텍스트 파일을 자연어 데이터 파일화하고, 자연어화된 데이터 파일에 사용캐릭터의 고유 음성을 합성하여(음성 합성부(250)) 사용자가 발화한 자연어와 같은 형태를 갖추도록 한 다음 해당 3D 홀로그램 디스플레이 장치(100)로 전송(음성 전송부(260)) 하도록 이루어진다.
한편, 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템은, 사용자의 3D 홀로그램 디스플레이 장치 간에 커뮤니케이션 가능하게 이루어질 수 있다.
도 13은 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서 사용자 간 대화 커뮤니케이션 가능하게 접속시키는 프로세스를 설명하기 위한 개념도이다. 도 13에 기재된 문구는 사용자 간 대화 커뮤니케이션을 실행하기 위한 예시 문구로서 이에 한정되는 것은 아니다.
본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템은, 3D 홀로그램 디스플레이 장치(100)를 통하여 사용자간 대화를 위한 특정단어가 입력되어 중앙 서비스 서버(200)에서 인식되면(예를 들면, 3D 홀로그램 디스플레이 장치의 마이크부를 통하여 입력명령이 입력되어 익명대화가 인식되면), 상기 중앙 서비스 서버(200)에서는 사용자간 대화가 활성화되어 있는 다른 3D 홀로그램 디스플레이 장치(100) 및/또는 사용자 단말장치(300)들의 연결 정보를, 사용자대화 요청의 3D 홀로그램 디스플레이 장치(100) 또는 사용자대화요청의 3D 홀로그램 디스플레이 장치(100)와 연동하는 해당 사용자 단말장치(300)로 전송하고, 연결할 다른 3D 홀로그램 디스플레이 장치(100) 및/또는 사용자 단말장치(300)를 선택하게 되면, 선택 정보는 중앙 서비스 서버(200)로 다시 전송되며, 상기 중앙 서비스 서버(200)는 다른 3D 홀로그램 디스플레이 장치(100) 및/또는 사용자 단말장치(300)의 연결 수락여부를 확인하며, 연결대상(3D 홀로그램 디스플레이 장치(100) 및/또는 사용자 단말장치(300))의 연결 수락 정보가 있을 경우 상기 중앙 서비스 서버(200)는 사용자대화 요청의 3D 홀로그램 디스플레이 장치(100) 및/또는 사용자 단말장치(300)로 연결이 완료되었음을 전송하게 된다.
그리고 사용자대화 요청의 3D 홀로그램 디스플레이 장치(100) 및/또는 사용자 단말장치(300)와 연결대상의 3D 홀로그램 디스플레이 장치(100) 및/또는 사용자 단말장치(300) 간은 각자의 홀로그램 콘텐츠를 통해 대화를 행하게 된다.
이러한 사용자 간의 대화는 음성 및 말풍선으로 이루어질 수 있다. 여기에서, 음성은 환경 설정을 통해 사용자 본인 음성 또는 사용 캐릭터의 음성으로 이루어질 수 있다.
여기에서, 상기 사용자 본인 음성인 경우 3D 홀로그램 디스플레이 장치 간 직접 대화가 이루어질 수 있으며, 사용 캐릭터의 음성인 경우 앞서 설명한 바와 같이 중앙 서비스 서버(200)를 통하여 그 중앙 서비스 서버(200)의 음성 합성부(250)에서 합성된 음성이 제공될 수 있다.
한편, 본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에서, 상기 중앙 운용 서버(200)는 사용자들에게 제공되어 있는 홀로그램 콘텐츠에 대한 정보, 각 사용자들의 관심 콘텐츠에 대한 정보, 사용자 요구 정보, 문화적 이슈 정보를 빅데이터로 수집 저장하는 빅데이터부(271)와, 상기 빅데이터부(271)에 구축된 빅데이터에 근거하여 신규 콘텐츠 데이터로 활용할 수 있도록 사용자별, 콘텐츠별, 분야별을 포함하는 카테고리별로 메타데이터화하고, 분석한 분석 데이터를 구축하는 데이터 분석부(272)와, 상기 3D 홀로그램 디스플레이 장치(100)의 커스터마이징부(156)에 제공되는 아이템의 구매를 위한 아이템 스토어부(273), 및 상기 3D 홀로그램 디스플레이 장치(100)의 게임 실행부(157)에서 실행되는 게임을 제공하기 위한 게임 서비스부(274)를 더 포함할 수 있다
상기 데이터 분석부(272)는 미리 마련된 기준 분석데이터 이외에 신규 정보가 발생하는 경우, 이에 근거하여 사용자별의 패턴 및 환경을 재분석 구축하고, 재분석된 데이터에 근거하여 기준 분석데이터의 경향과 규칙을 업데이트하도록 이루어지도록 하여, 새로운 환경 변화에 신속하고 자동적으로 대응할 수 있도록 이루어질 수 있다.
또한, 상기 중앙 운용 서버(200)는 신규 3D 홀로그램 콘텐츠를 저장하는 홀로그램콘텐츠 데이터베이스부(281)와, 상기 사용자정보 데이터베이스부(210)에 등록되어 있는 사용자 등록 정보에 포함된 관심 콘텐츠에 기반하여 신규 3D 홀로그램 콘텐츠에 대한 정보와 데모 버전을 해당 사용자의 3D 홀로그램 디스플레이 장치(100)로 자동 송출하도록 이루어지는 실시간 업데이트부(282), 및 사용자의 결재 내역에 근거하여 상기 실시간 업데이트부(282)로부터 해당 3D 홀로그램 콘텐츠 콘텐츠의 풀 버전을 전송하도록 이루어지는 결재부(283)를 포함한다.
상기 홀로그램콘텐츠 데이터베이스부(281)는 현재 사용자들에게 제공된 홀로그램 콘텐츠와 관련 콘텐츠뿐만 아니라, 상기 빅데이터부(271) 및 데이터분석부(272)와 연동하여 분석된 결과를 토대로 신규 개발된 홀로그램 콘텐츠와 관련 콘텐츠를 구축하도록 이루어질 수 있다.
그리고 상기 실시간 업데이트부(282)는 1차적으로 상기 사용자정보 데이터베이스부(210)에 저장된 데이터에 근거하여 해당 사용자가 사용하고 있는 홀로그램 콘텐츠에 대한 정보를 제공하도록 이루어진다. 그리고 상기 실시간 업데이트부(282)는 2차적으로 데이터분석부(272)와 연동하여 분석된 결과를 토대로 해당 사용자에게 새로운 정보를 도출하여 제공하도록 이루어질 수 있다.
계속해서, 상기 결재부(283)는 사용자의 결재 정보를 확인하여 해당 결재 내역에 따른 홀로그램 콘텐츠를 제공하도록 이루어질 수 있다.
한편, 상기 사용자 단말장치(300)에는 3D 홀로그램 디스플레이 장치(100)와 블루투스와 같은 근거리 통신을 통하여 통신하고, 연동 애플리케이션이 설치되어 상기 3D 홀로그램 디스플레이 장치(100)와 연동되게 된다.
이상에서 설명한 바와 같은 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템에 따르면, 3D 홀로그램 디스플레이 장치의 각 사용자가 사용하는 사용 캐릭터에 맞는 음성을 분석 추출하여 해당 사용 캐릭터를 사용하는 3D 홀로그램 디스플레이 장치로 지원하여 각 사용자로 하여금 보다 현실적인 감성 인터렉티브가 가능하고, 3D 홀로그램 디스플레이 장치를 통해 다양한 정보 전달 및 사용자 간 커뮤니케이션을 가능하게 하여 기능성과 사용성을 향상시킬 수 있으며, 다양하고 사용자 친화적인 콘텐츠 플레이의 업데이트를 통하여 기능성과 제품 경쟁력을 더욱 향상시킬 수 있는 이점이 있다.
상기한 바와 같은 실시 예들은 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
본 명세서에서 설명되는 실시 예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시 예는 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명에 따른 3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템은, 3D 홀로그램 기술 분야에 적용된다.

Claims (9)

  1. 캐릭터 또는 피규어를 포함하는 홀로그램 콘텐츠을 3D 홀로그램으로 디스플레이하도록 구성되는 복수의 3D 홀로그램 디스플레이 장치;
    상기 3D 홀로그램 디스플레이 장치에 구성되는 통신모듈과 유무선 통신하여 상기 3D 홀로그램 디스플레이 장치 각각에서 디스플레이되는 홀로그램 콘텐츠가 소정 제어 동작을 실행하도록 서비스하는 중앙 서비스 서버; 및
    연동 애플리케이션이 설치되어 상기 3D 홀로그램 디스플레이 장치와 근거리 통신하여 연동하는 사용자 단말장치;를 포함하며,
    상기 3D 홀로그램 디스플레이 장치는, 3D홀로그램 디스플레이 장치본체와, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 홀로그램 영상을 출력하는 홀로그램 콘텐츠 출력수단과, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 상기 홀로그램 콘텐츠 출력수단으로부터 출력되는 홀로그램 영상을 투영시켜 홀로그램이 나타나도록 하는 홀로그램 스크린부와, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 음성을 입력받는 마이크부와, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 사용자의 모션을 인식하는 모션 센서부와, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 음향을 출력하는 스피커부와, 상기 3D홀로그램 디스플레이 장치본체에 구비되어 상기 중앙 서비스 서버 및 사용자 단말장치와 통신하는 통신모듈과, 상기 3D홀로그램 디스플레이 장치본체에 구비되고, 상기 중앙 서비스 서버로부터 전송되는 제어 명령을 전송받거나, 자체 설정 조건에 따라 상기 홀로그램 콘텐츠 출력수단과 연동하여 홀로그램 콘텐츠를 제어하는 제어 모듈, 및 상기 3D홀로그램 디스플레이 장치본체에 구성되어 전력을 공급하기 위한 전원부;를 포함하며,
    상기 중앙 서비스 서버는, 사용자의 기본 개인정보, 관심 분야, 관심 콘텐츠, 사용 3D 홀로그램 디스플레이 장치의 정보를 포함하는 사용자 등록 정보를 저장하는 사용자정보 데이터베이스부와, 상기 3D 홀로그램 디스플레이 장치를 통해 전송되는 사용자의 음성정보를 제공받는 음성 데이터부와, 상기 음성 데이터부에서 제공되는 음성 정보의 의미를 분석하는 음성정보 의미 분석부와, 상기 음성 정보를 텍스트로 변환하거나 텍스트에서 음성으로 변환하도록 이루어지는 음성정보 변환부와, 상기 음성정보 변환부에서 변환된 텍스트에 사용자의 사용 캐릭터의 음성을 합성하는 음성합성부, 및 상기 합성된 음성을 사용 캐릭터의 3D 홀로그램 디스플레이 장치로 전송하는 음성전송부를 포함하는 것을 특징으로 하는
    3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템.
  2. 제1항에 있어서,
    상기 제어모듈은
    상기 홀로그램 콘텐츠 출력수단 또는 상기 중앙 서비스 서버와 연동하여 홀로그램 콘텐츠를 제어하도록 이루어지는 연동 컨트롤부;
    상기 모션 센서부에서 인식된 소정 모션 패턴에 근거하여 패턴인식 데이터베이스에 저장된 해당 모션 패턴에 따른 동작을 실행하도록 제어하는 모션동작 검출부;
    상기 마이크부를 통해 입력된 음성을 인식하여 인식된 해당 음성에 따른 동작을 실행하도록 제어하는 음성인식부; 및
    상기 홀로그램 콘텐츠 출력수단으로 전송되는 메시지를 음성으로 변환하여 스피커로 출력하도록 제어하는 문자음성 변환부;를 포함하는 것을 특징으로 하는
    3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템.
  3. 제2항에 있어서,
    상기 연동 컨트롤부는
    상기 사용자 단말장치의 SMS이나 MMS 데이터를 공유하여 홀로그램 콘텐츠에서 음성 및 말풍선 기능으로 전달하도록 이루어지고,
    상기 사용자 단말장치의 스케줄 애플리케이션과 연동하여 기설정된 스케줄을 확인하거나 새로운 스케줄을 등록할 수 있도록 이루어지며,
    상기 3D 홀로그램 디스플레이 장치가 있는 위치의 날씨와 기온 정보를 홀로그램 콘텐츠에 표시하도록 이루어지는 것을 특징으로 하는
    3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템.
  4. 제2항 또는 제3항에 있어서,
    상기 제어모듈은
    상기 음성인식부를 통해 인식된 입력 명령을 통해 상기 3D 홀로그램 디스플레이 장치 본체에 저장되어 있는 음악을 재생하거나, 상기 연동 컨트롤부에 의해 사용자 단말장치에 저장된 음악을 3D 홀로그램 콘텐츠와 함께 실행되도록 하는 음악 플레이부;
    선택 캐릭터의 스타일과 패션 및 이펙트를 포함하는 아이템을 적용하도록 이루어지는 커스터마이징부; 및
    상기 모션동작 검출부 및 음성인식부을 통한 조작 명령으로 게임 콘텐츠가 플레이되도록 이루어지는 게임 실행부;를 더 포함하는 것을 특징으로 하는
    3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템.
  5. 제4항에 있어서,
    상기 중앙 운용 서버의 음성 합성부는
    검색 및 시멘틱 과정을 통하여 분석 처리된 텍스트 파일을 자연어 데이터 파일화하고, 자연어화된 데이터 파일에 사용캐릭터의 고유 음성을 합성하도록 이루어지는 것을 특징으로 하는
    3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템.
  6. 제4항에 있어서,
    홀로그램 콘텐츠에 대한 정보, 각 사용자들의 관심 콘텐츠에 대한 정보, 사용자 요구 정보, 문화적 이슈 정보를 빅데이터로 수집 저장하는 빅데이터부;
    상기 빅데이터부에 구축된 빅데이터에 근거하여 신규 콘텐츠 데이터로 활용할 수 있도록 사용자별, 콘텐츠별, 분야별을 포함하는 카테고리별로 메타데이터화하고, 분석한 분석 데이터를 구축하는 데이터 분석부;
    상기 3D 홀로그램 디스플레이 장치의 커스터마이징부에 제공되는 아이템의 구매를 위한 아이템 스토어부;
    상기 3D 홀로그램 디스플레이 장치의 게임 실행부에서 실행되는 게임을 제공하기 위한 게임 서비스부;
    신규 3D 홀로그램 콘텐츠를 저장하는 홀로그램콘텐츠 데이터베이스부;
    상기 사용자정보 데이터베이스부에 등록되어 있는 사용자 등록 정보에 포함된 관심 콘텐츠에 기반하여 신규 3D 홀로그램 콘텐츠에 대한 정보와 데모 버전을 해당 사용자의 3D 홀로그램 디스플레이 장치로 자동 송출하도록 이루어지는 실시간 업데이트부; 및
    사용자의 결재 내역에 근거하여 상기 실시간 업데이트부로부터 해당 3D 홀로그램 콘텐츠 콘텐츠의 풀 버전을 전송하도록 이루어지는 결재부;를 포함하는 것을 특징으로 하는
    3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템.
  7. 제6항에 있어서,
    상기 데이터 분석부는 미리 마련된 기준 분석데이터 이외의 신규 정보에 근거하여 사용자별의 패턴 및 환경을 재분석 구축하고, 재분석된 데이터에 근거하여 기준 분석데이터의 경향과 규칙을 업데이트하도록 이루어지며,
    상기 실시간 업데이트부는 상기 사용자정보 데이터베이스부에 저장된 데이터에 근거하여 해당 사용자가 사용하고 있는 홀로그램 콘텐츠에 대한 정보를 제공하며, 상기 데이터분석부와 연동하여 분석된 결과를 토대로 해당 사용자에게 새로운 정보를 도출하여 제공하도록 이루어지는 것을 특징으로 하는
    3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템.
  8. 제4항에 있어서,
    상기 중앙 서비스 서버는 3D 홀로그램 디스플레이 장치 또는 사용자 단말장치로부터 다른 사용자와의 대화 요청 명령을 입력받게 되는 경우, 대화 수락이 활성화된 하나 이상의 다른 3D 홀로그램 디스플레이 장치 또는 사용자 단말장치와 중계하도록 이루어지는 것을 특징으로 하는
    3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템.
  9. 제4항에 있어서,
    상기 중앙 서비스 서버는
    상기 3D 홀로그램 디스플레이 장치를 통하여 사용자간 대화를 위한 특정단어의 입력을 인식하는 경우, 사용자간 대화가 활성화되어 있는 다른 3D 홀로그램 디스플레이 장치 또는 사용자 단말장치들의 연결 정보를, 사용자대화 요청의 3D 홀로그램 디스플레이 장치 또는 사용자대화요청의 3D 홀로그램 디스플레이 장치와 연동하는 해당 사용자 단말장치로 전송하고, 연결할 다른 3D 홀로그램 디스플레이 장치 또는 사용자 단말장치를 선택하게 되면, 다른 3D 홀로그램 디스플레이 장치 또는 사용자 단말장치의 연결 수락여부를 확인하여 연결하도록 이루어지는 것을 특징으로 하는
    3D 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템.
PCT/KR2019/014969 2019-10-29 2019-11-06 3d 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템 WO2021085708A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190135904A KR102236914B1 (ko) 2019-10-29 2019-10-29 3d 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템
KR10-2019-0135904 2019-10-29

Publications (1)

Publication Number Publication Date
WO2021085708A1 true WO2021085708A1 (ko) 2021-05-06

Family

ID=75472720

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/014969 WO2021085708A1 (ko) 2019-10-29 2019-11-06 3d 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템

Country Status (2)

Country Link
KR (1) KR102236914B1 (ko)
WO (1) WO2021085708A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230145748A1 (en) * 2021-11-10 2023-05-11 AHA Consulting Co., Ltd. Digital mat system for management and analysis of user's cognitive and physical ability

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140267598A1 (en) * 2013-03-14 2014-09-18 360Brandvision, Inc. Apparatus and method for holographic poster display
KR20150084586A (ko) * 2014-01-14 2015-07-22 주식회사 글로브포인트 가상 ３ｄ 아바타를 이용한 동영상 강의 저작 키오스크 및 저작 시스템
KR20160131505A (ko) * 2015-05-07 2016-11-16 주식회사 셀바스에이아이 음성 변환 방법 및 음성 변환 장치
KR20170131790A (ko) * 2016-05-20 2017-11-30 김수연 홀로그램을 이용한 휴대용 단말의 정보제공 시스템 및 방법
KR102002383B1 (ko) * 2017-08-04 2019-07-23 ㈜아이센두 홀로그래픽 디스플레이 시스템

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150120712A (ko) 2014-04-18 2015-10-28 이상원 개인용 홀로그램 장치
CN105854289A (zh) * 2015-01-22 2016-08-17 奇锐科技股份有限公司 浮空投影游戏暨学习系统
KR20160107690A (ko) 2015-03-05 2016-09-19 주식회사 메인정보시스템 3차원 홀로그램 디스플레이 장치
KR101661163B1 (ko) * 2015-05-27 2016-09-29 일마일 주식회사 영상 분석을 통한 운전자 안전 운전 보조와 지도 ｄｂ의 실시간 갱신을 처리하기 위한 안전 운전 시스템
KR20160090735A (ko) * 2015-11-11 2016-08-01 서용창 홀로그램 영상 기반 메시지 서비스 제공 방법 및 사용자 단말, 그리고 홀로그램 영상 표시 장치
KR20170073119A (ko) 2015-12-18 2017-06-28 (주)젬백스테크놀러지 홀로그램 기반의 입체 영상 표시 장치
KR20190104941A (ko) * 2019-08-22 2019-09-11 엘지전자 주식회사 감정 정보 기반의 음성 합성 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140267598A1 (en) * 2013-03-14 2014-09-18 360Brandvision, Inc. Apparatus and method for holographic poster display
KR20150084586A (ko) * 2014-01-14 2015-07-22 주식회사 글로브포인트 가상 ３ｄ 아바타를 이용한 동영상 강의 저작 키오스크 및 저작 시스템
KR20160131505A (ko) * 2015-05-07 2016-11-16 주식회사 셀바스에이아이 음성 변환 방법 및 음성 변환 장치
KR20170131790A (ko) * 2016-05-20 2017-11-30 김수연 홀로그램을 이용한 휴대용 단말의 정보제공 시스템 및 방법
KR102002383B1 (ko) * 2017-08-04 2019-07-23 ㈜아이센두 홀로그래픽 디스플레이 시스템

Also Published As

Publication number Publication date
KR102236914B1 (ko) 2021-04-06

Similar Documents

Publication Publication Date Title
US7202886B2 (en) Videophone terminal
US20190193273A1 (en) Robots for interactive comedy and companionship
JP6767046B2 (ja) 音声対話システム、音声対話装置、ユーザー端末、および音声対話方法
KR20220008735A (ko) 애니메이션 인터랙션 방법, 장치, 기기 및 저장 매체
WO2011142532A2 (ko) 지능형 로봇의 서비스 시나리오 편집기, 그 방법, 지능형 로봇 장치 및 지능형 로봇의 서비스 방법
WO2018212470A1 (ko) 음성요청에 대응하는 정보 제공을 위한 미디어 선택
WO2022196921A1 (ko) 인공지능 아바타에 기초한 인터랙션 서비스 방법 및 장치
KR20200090355A (ko) 실시간 번역 기반 멀티 채널 방송 시스템 및 이를 이용하는 방법
WO2023096275A1 (ko) 텍스트 기반 아바타 생성 방법 및 시스템
WO2022182064A1 (ko) 인공지능 아바타 튜터를 활용한 회화 학습 시스템 및 그 방법
CN101809651A (zh) 提供语音到语音翻译和模拟人类属性的化身的移动无线显示器
CN108924218A (zh) 用于推送信息的方法和装置
CN107172382A (zh) 一种智能会议系统及方法
WO2021085708A1 (ko) 3d 홀로그램 디스플레이 장치 기반의 양방향 커뮤니케이션 서비스 시스템
CN114464180A (zh) 一种智能设备及智能语音交互方法
JP2021177418A (ja) 電子機器の通訳機能提供方法およびイヤセット機器
JP2000207170A (ja) 情報処理装置および情報処理方法
JPH11109991A (ja) マンマシンインターフェースシステム
CN110471531A (zh) 虚拟现实中多模态人机对话系统和方法
WO2015037871A1 (ko) 텍스트 인식을 이용한 음성재생 서비스 제공 시스템, 서버 및 단말
WO2022092439A1 (ko) 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치
CN106373174A (zh) 一种模型动画播放系统、词典查询系统及方法
CN209625781U (zh) 用于亲子教育的双语切换装置
CN113157241A (zh) 交互设备、交互装置及交互系统
WO2023120747A1 (ko) 음성인식기반 단축키 xr인터렉티브 연동시스템 및 이를 이용한 연동 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19950332

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19950332

Country of ref document: EP

Kind code of ref document: A1