WO2018221799A1 - Reading entertaining device and driving method therefor - Google Patents

Reading entertaining device and driving method therefor Download PDF

Info

Publication number
WO2018221799A1
WO2018221799A1 PCT/KR2017/013770 KR2017013770W WO2018221799A1 WO 2018221799 A1 WO2018221799 A1 WO 2018221799A1 KR 2017013770 W KR2017013770 W KR 2017013770W WO 2018221799 A1 WO2018221799 A1 WO 2018221799A1
Authority
WO
WIPO (PCT)
Prior art keywords
module
word
book
words
control data
Prior art date
Application number
PCT/KR2017/013770
Other languages
French (fr)
Korean (ko)
Inventor
신재형
Original Assignee
(주)누리아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)누리아이 filed Critical (주)누리아이
Publication of WO2018221799A1 publication Critical patent/WO2018221799A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B17/00—Teaching reading
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors

Definitions

  • the present invention provides reading entertaining that can provide greater concentration and immersion to the contents of a book to a reader or a listener by changing the brightness or color of the surrounding light in the process of reading the book.
  • An apparatus and a driving method thereof are provided.
  • the present invention relates to a reading entertaining device and a driving method thereof, which provide a variety of sound effects together with brightness and color adjustment of illumination to give greater fun in the reading process.
  • Reading books is a very good way to increase children's ability to acquire texts by increasing intimacy with children and increasing their interest in texts for children and infants who have not yet acquired texts.
  • the reading of the book is to translate the picture and text language to the child by the teacher, parents, etc., and the children are deeply assimilated by reading the interpretation of the teacher, parents, etc. to children who are still inexperienced in cultural experience. Provides an understanding effect
  • reading books for various purposes such as forming intimacy between teachers and students, inducing and promoting interest in books, and acquiring reading habit-forming characters, are performed not only at home but also at educational sites in kindergarten or elementary schools.
  • the present invention has been made to solve the above problems, and to provide a reading entertainment apparatus and a driving method thereof that can double the interest or interest to the person who reads the book in the process of reading the book out loud.
  • the present invention comprises the steps of: receiving a sound signal by a first mike module of the terminal device; Extracting a voice signal from the sound signal by a first voice signal extraction module of the terminal device; Converting, by the first encoding module of the terminal device, the voice signal into a text stream;
  • the first word matching module of the terminal device checks whether there is a word matching the word stored in the first word matching control database on the text stream, and if there is a matched word, the word is matched.
  • Delivering to a first control module of the terminal device Receiving, by the first control module, control data matched with the corresponding word from the first word matching control database to a first data transmission / reception module of the terminal device; And transmitting, by the first data transmitting and receiving module, the control data to the outside of the illumination.
  • the present invention comprises the steps of: transmitting, by a first data transmission / reception module of a terminal device, book information to a book matching control data storage server; And receiving, by the terminal device, control data from the book matching control data storage server, and storing the control data in a first word matching control database of the terminal device. .
  • the book information may include an international standard book number (isbn) in the form of a barcode photographed through a first camera module of the terminal device. It provides a driving method.
  • isbn international standard book number
  • the present invention includes the steps of receiving the control data by the second data transmission and reception module of the lighting device;
  • the second control module of the lighting device is based on the control data, the second lighting module, the second speaker module, the second vibration module, the second blowing module, the second spray module and the second fragrance of the lighting device. Controlling any one or more of the modules; provides a method of driving a reading entertainment apparatus comprising a.
  • the first data transmission / reception module provides a driving method of a reading and entertainment apparatus, which is operated in a Bluetooth or Wi-Fi manner.
  • the second data transmission and reception module provides a driving method of the reading entertainment apparatus, characterized in that the operation by Bluetooth or Wi-Fi.
  • the second lighting module provides a driving method of the reading entertainment apparatus, characterized in that consisting of LED (LED).
  • the control data may include at least one of lighting control data, speaker control data, vibration control data, air blowing control data, spray control data, and fragrance control data. do.
  • the lighting control data provides a driving method of the reading entertainment apparatus, characterized in that configured in the RGB weight format.
  • the present invention comprises the steps of the book matching control data storage server receiving book information from the terminal device; And searching, by the book matching control data storage server, control data corresponding to the received book information in a book matching control database and transmitting the book data to the terminal device. do.
  • the present invention comprises the steps of receiving a sound signal; Extracting a voice signal from the sound signal;
  • the speech signal is text encoded and converted into a text stream; Checking whether there is a word on the text stream that matches a preset word; If there is a word matching a predetermined word on the text stream, lighting is controlled based on the control data matched with the predetermined word; driving method of a reading entertainment apparatus comprising a to provide.
  • control data provides a driving method of the reading and entertainment apparatus, characterized in that matching according to the international standard number of the book.
  • the present invention includes the steps of receiving control data matching the international standard number of the book; It provides a method of driving a reading entertainment apparatus comprising a; controlling the lighting based on the control data.
  • the present invention includes a first microphone module for receiving a sound signal; A first word matching control database storing control data; A first voice extraction module for extracting a voice signal from the sound signal received by the first microphone module; A first encoding module for character-encoding the speech signal extracted by the first speech extraction module and converting the speech signal into a text stream; A first word matching module which receives the text stream from the first encoding module and checks whether there is a word matching the word stored in the first word matching control database on the text stream and calculates the word as a corresponding word; A first control module receiving the word from the first word matching module and extracting control data matched with the word from the first word matching control database; And a first data transmission / reception module for receiving the control data from the first control module and transmitting the control data to the outside.
  • the first camera module And converting the barcode photographed through the first camera module into an international standard book number, wherein the first control module converts the obtained international standard book number through the first data transmission / reception module. And a control data updated from the book matching control data server and stored in the first word matching control database.
  • the present invention also provides an effect part including a second lighting module; A second data transmission / reception module for receiving control data; And a second control module for controlling the effect part on the basis of the control data.
  • the present invention also provides an effect part comprising a second lighting module; A second microphone module for receiving a sound signal; A second word matching control database storing the control data; A second voice extraction module for extracting a voice signal from the sound signal received by the second microphone module; A second encoding module which character-encodes the speech signal extracted by the second speech extraction module into a text stream; A second word matching module which receives the text stream from the second encoding module and checks whether there is a word matching the word stored in the second word matching control database on the text stream and calculates the word as a corresponding word; A second control module receiving the corresponding word from the second word matching module and extracting control data matched with the corresponding word from the first word matching control database; And a second control module for controlling the effect part on the basis of the control data.
  • the second transmission and reception module A second camera module; And converting the barcode photographed through the second camera module into an international standard book number, wherein the second control module matches the obtained international standard number with the second data transmission / reception module. And transmitting the control data updated from the book matching control data server to the control database server and storing the updated control data in the second word matching control database.
  • the effect part may include a second speaker module; A second vibration module; A second blowing module; A second spray module; It provides a reading entertaining device, characterized in that it further comprises; a second fragrance module.
  • the present invention includes a receiving module; A book matching control database that stores word related control data for each book information; A central control module for receiving book information through the receiving module and extracting control data corresponding to the book information from the book matching control database; And a transmission module for transmitting the control data extracted by the central control module to an external device.
  • the central control module when the receiving module receives the control data accompanying the update request signal, replaces the control data with the control data accompanying the update request signal in the book matching control database. Provides a retaining device.
  • the present invention includes the steps of receiving the control data by the second data transmission and reception module of the lighting device;
  • the second control module of the lighting device is based on the control data, the second lighting module, the second speaker module, the second vibration module, the second blowing module, the second spray module and the second fragrance of the lighting device. Controlling any one or more of the modules; wherein the second lighting module is a full color lighting module consisting of red LEDs, green LEDs, and blue LEDs.
  • a driving method of a reading entertainment apparatus is provided.
  • the present invention comprises the steps of receiving a sound signal by a first mike module of the terminal device; Extracting a voice signal from the sound signal by a first voice signal extraction module of the terminal device; Converting, by the first encoding module of the terminal device, the voice signal into a text stream;
  • the first word matching module of the terminal device checks whether there is a word matching the word stored in the first word matching control database on the text stream, and if there is a matched word, the word is matched.
  • Delivering to a first control module of the terminal device Receiving, by the first control module, control data matched with the corresponding word from the first word matching control database to a first data transmission / reception module of the terminal device; And transmitting, by the first data transmission / reception module, the control data to the outside, wherein the terminal device is a smart phone.
  • the present invention comprises the steps of the book matching control data storage server receiving book information from the terminal device; And searching, by the book matching control data storage server, control data corresponding to the received book information in a book matching control database and transmitting the book data to the terminal device, wherein the book information is an international standard book number.
  • a method of driving a reading entertainment apparatus is provided.
  • the present invention comprises the steps of receiving a sound signal; Extracting a voice signal from the sound signal;
  • the speech signal is text encoded and converted into a text stream; Checking whether there is a word on the text stream that matches a preset word; If there is a word on the text stream that matches a preset word, lighting is controlled based on control data matched with the preset word; And controlling at least one of a speaker, a vibrating element, a fan, a nebulizer, and a scent generator based on the control data matched with the preset word.
  • the present invention includes a first microphone module for receiving a sound signal; A first word matching control database storing control data; A first voice extraction module for extracting a voice signal from the sound signal received by the first microphone module; A first encoding module for character-encoding the speech signal extracted by the first speech extraction module and converting the speech signal into a text stream; A first word matching module which receives the text stream from the first encoding module and checks whether there is a word matching the word stored in the first word matching control database on the text stream and calculates the word as a corresponding word; A first control module receiving the word from the first word matching module and extracting control data matched with the word from the first word matching control database; And a first data transmission / reception module configured to receive the control data from the first control module and transmit the control data to the outside, wherein the first data transmission / reception module is operated in a Bluetooth or Wi-Fi manner. to provide.
  • the present invention also provides an effect part including a second lighting module; A second data transmission / reception module for receiving control data; And a second control module for controlling the effect part based on the control data, wherein the second transmission / reception module is operated in a Bluetooth or Wi-Fi manner.
  • the second lighting module provides a reading entertainment apparatus, characterized in that consisting of the LED.
  • the second lighting module provides a reading entertainment apparatus, characterized in that the full color lighting module consisting of a red LED, a green LED and a blue LED.
  • the control data may include at least one of lighting control data, speaker control data, vibration control data, air blowing control data, spray control data, and fragrance control data.
  • the lighting control data provides a reading entertaining device, characterized in that configured in the Algi ratio weight format.
  • the method may further include receiving, by a terminal device, book information through a first camera module; Loading, by the terminal device, control data corresponding to the book information into an internal memory module; Receiving, by the terminal device, a sound signal through a first mike module; Extracting, by the terminal device, a voice signal from the sound signal through a first voice extraction module; Converting, by the terminal device, the voice signal into a text stream through a first encoding module; Checking, by the terminal device, whether there is a word in the text stream that matches a sink word included in the control data through a first word matching module; If there is a word in the text stream that matches a sync word included in the control data, the terminal device modifying a pointer indicating a control order to point to a location of the corresponding sync word; A driving method of a reading entertaining device is provided.
  • the terminal device when there is a word in the text stream that matches the sync word included in the control data, after the step of the terminal device modifying the pointer indicating the control order to indicate the location of the sync word, the terminal device Performing control data related to the corresponding sync word; and providing a driving method of the reading entertainment apparatus.
  • the terminal device Checking whether there is a word in the text stream that matches a control word included in the control data through a first word matching module; If there is a word matching the control word included in the control data, the terminal device to perform the control data associated with the control word; driving method of the reading entertainment apparatus further comprising to provide.
  • the terminal device when there is a word that matches a control word included in the control data, after the terminal device performs control data related to the control word, the terminal device moves the pointer to the position of the control word. Modifying to point to the; provides a method of driving a reading entertainment apparatus further comprises.
  • the method may further include: checking, by the terminal device, whether control data corresponding to the book information is stored in advance; If the control data corresponding to the book information is not stored in advance, transmitting, by the terminal device, the book information to a book matching control data storage server; The terminal device receives the control data corresponding to the book information from the book matching control data storage server; provides a method of driving a reading entertainment apparatus further comprises.
  • the method may further include connecting an external lighting module to the terminal device before the terminal device receives the book information through the first camera module.
  • a driving method of an entertainment apparatus is provided.
  • the present invention comprises the steps of receiving book information; Loading control data corresponding to the book information; Receiving a sound signal; Extracting a voice signal from the sound signal; Converting the speech signal into a text stream; Checking whether there is a word in the text stream that matches a sink word included in the control data; If there is a word in the text stream that matches the sync word included in the control data, a pointer indicating a control order indicates the position of the sync word; entertaining).
  • the control data related to the sync word when there is a word in the text stream that matches the sync word included in the control data, after the pointer indicating the control order indicates the position of the sync word, the control data related to the sync word.
  • the step of performing; provides a driving method of the reading entertainment apparatus further comprises.
  • the control data is included in the control data in the text stream. Checking whether there is a word matching the included control word; When there is a word in the text stream that matches the control word included in the control data, the step of performing control data associated with the control word; Provides a method of driving a reading and entertainment apparatus further comprising do.
  • the pointer may point to the corresponding control word. It provides a method of driving a reading and entertainment apparatus further comprising;
  • the sync word may provide a driving method of the reading entertainment apparatus, wherein the frequency of the sync word is a word less than or equal to a preset frequency.
  • the sync word may provide a driving method of a reading and entertainment apparatus, wherein the sync word is a word corresponding to a pseudonym among words included in the book.
  • the sync word provides a driving method of the reading entertainment apparatus, characterized in that the word is not represented by sound or light.
  • control word provides a driving method of the reading entertainment apparatus, characterized in that the onset.
  • control word provides a driving method of the reading entertainment apparatus, characterized in that the word can be represented by sound or light.
  • control data provides a driving method of the reading and entertainment apparatus, characterized in that it comprises a control signal for the speaker or lighting.
  • control signal for the illumination provides a driving method of the reading entertainment apparatus, characterized in that configured in the RGB weight format.
  • the book information provides a driving method of the reading entertainment apparatus, characterized in that the international standard book number.
  • the present invention is a first camera module; A first transmission / reception module; A first microphone module; A first book information acquisition module for recognizing a barcode photographed through the first camera module and converting the barcode into an international standard book number; An internal memory module for storing control data corresponding to an international standard book number acquired through the first book information acquisition module; A first voice extraction module for extracting a voice signal from the sound signal received by the first microphone module; A first encoding module for character-encoding the speech signal extracted by the first speech extraction module and converting the speech signal into a text stream; A first word matching module receiving the text stream from the first encoding module and checking whether there is a word corresponding to a sync word or a control word included in the control data on the text stream; Receive the matched sync word or control word information from the first word matching module, perform control data related to the sync word or the control word, and a pointer indicating a control order indicates the position of the sync word or the control word. It provides a reading entertainment apparatus comprising a;
  • a reading entertainment apparatus further comprises; an external lighting module mounted separately.
  • the first control module transmits the international standard book number to the book matching control data storage server through the first transmission / reception module when control data corresponding to the international standard book number is not stored in the internal memory module. And transmitting and receiving the control data corresponding to the international standard book number from the book matching control data storage server through the first transmission / reception module and storing the control data in the internal memory.
  • the sync word provides a reading entertainment apparatus, characterized in that the frequency of exposure in the book is less than a predetermined frequency word.
  • the sync word provides a reading entertainment apparatus, characterized in that the word corresponding to the pseudonymetic word included in the book.
  • the sync word provides a reading entertainment apparatus, characterized in that the words that can not be represented by sound or light.
  • control word is a reading entertaining device, characterized in that the onset.
  • control word provides a reading entertainment apparatus, characterized in that the word can be represented by sound or light.
  • control data provides a reading and entertaining device, characterized in that it comprises a control signal for the speaker or lighting.
  • control signal for the illumination provides a reading entertaining device, characterized in that configured in the Algi ratio weight format.
  • the present invention comprises the steps of connecting the external lighting module to the terminal device; Receiving, by the terminal device, book information through a first camera module; Loading, by the terminal device, control data corresponding to the book information into an internal memory module; Receiving, by the terminal device, a sound signal through a first mike module; Extracting, by the terminal device, a voice signal from the sound signal through a first voice extraction module; Converting, by the terminal device, the voice signal into a text stream through a first encoding module; Checking, by the terminal device, whether there is a word in the text stream that matches a sink word included in the control data through a first word matching module; If there is a word in the text stream that matches a sync word included in the control data, the terminal device modifying a pointer indicating a control order to point to a location of the corresponding sync word;
  • the external lighting module provides a driving method of the reading entertainment apparatus, characterized in that consisting of LED (LED).
  • the present invention is a first camera module; A first transmission / reception module; A first microphone module; A first book information acquisition module for recognizing a barcode photographed through the first camera module and converting the barcode into an international standard book number; An internal memory module for storing control data corresponding to an international standard book number acquired through the first book information acquisition module; A first voice extraction module for extracting a voice signal from the sound signal received by the first microphone module; A first encoding module for character-encoding the speech signal extracted by the first speech extraction module and converting the speech signal into a text stream; A first word matching module receiving the text stream from the first encoding module and checking whether there is a word corresponding to a sync word or a control word included in the control data on the text stream; Receive the matched sync word or control word information from the first word matching module, perform control data related to the sync word or the control word, and a pointer indicating a control order indicates the position of the sync word or the control word.
  • a first control module adapted to point; External lighting module
  • the present invention includes the steps of receiving a full text book that can be recognized electronically by the speech recognition data storage server (server); Determining, by the speech recognition improvement data storage server, category information of the full text of the book; Calculating, by the speech recognition improvement data storage server, a frequency of words included in the full text of the book; And storing, by the voice recognition improvement data storage server, the frequency of the words for each category information in a word database for each category information. to provide.
  • the voice recognition improvement data storage server accumulates and stores the frequency of the words for each category information in the word database for each category of information, a predetermined number of words having a high frequency in the word database for each category of information are included in the category information. And storing the voice recognition improvement database by stars.
  • the present invention comprises the steps of the terminal device receives the book information including the category information; Receiving, by the terminal device, a sound signal; Extracting, by the terminal device, a voice signal from a sound signal; Converting, by the terminal device, a voice signal into a text stream; Selecting, by the terminal device, a word having the highest similarity between words on a text stream and preset words stored for each category information as recognition words; And when the similarity of the recognition word is equal to or greater than a preset similarity, controlling the at least one of a speaker, a vibrating element, and an illumination element based on the control data matched with the recognition word.
  • a driving method of a reading entertaining device is provided.
  • the preset words may be words included in voice recognition improvement data received by the terminal device from a voice recognition improvement data storage server.
  • the terminal device selects a word having the highest similarity between words on a text stream and preset words stored for each category information as a recognition word, and the terminal device stores the preset word stored on the text stream for each word and category information.
  • the similarity between words is determined by the global alignment method of the sequence alignment method provides a driving method of the reading entertainment apparatus.
  • the terminal device selects a word having the highest similarity between words on a text stream and preset words stored for each category information as a recognition word, and the terminal device stores the preset word stored on the text stream for each word and category information.
  • the similarity between words is determined by a local alignment method of the sequence alignment method provides a driving method of the reading entertainment apparatus.
  • the preset similarity is 70 percent (percent) to provide a method for driving a reading entertainment apparatus.
  • control data matched with the recognition word is provided by the terminal device from the book matching control data storage server and provides a driving method of the reading entertaining device, characterized in that the storage.
  • the category information includes fairy tales, children's books, science, mathematics, computer, technology, fiction, history, business, investment, literature, parenting, family, travel, art, design, foreign languages, It provides a method of driving a reading and entertainment device, characterized in that any one or more of learning, cooking, food, wine (wine), autobiography, biography, politics, social science, religion.
  • the category information provides a driving method of the reading entertainment apparatus, characterized in that determined by reflecting any one or more of age, gender, occupation, hobbies, interests.
  • the category information provides a driving method of the reading entertainment apparatus, characterized in that determined by reflecting any one or more of the title of the book, author, publisher, international standard book number (isbn). .
  • the present invention transmits and receives a module for transmitting and receiving data from the outside (module);
  • a book text receiving module for receiving a book text that can be recognized electronically;
  • a category determination module for determining category information of a book text received through the book text receiving module;
  • a word frequency calculation module for calculating a frequency of words included in a book full text received through the book full text reception module;
  • a word database for each category information for accumulating and storing the frequency of words calculated by the word frequency calculating module for each category information;
  • a speech recognition improvement database for category information for extracting and storing a predetermined number of words having a high frequency among words stored in the word database for each category information; Control the data exchange or operation between the transmission / reception module, the book full text reception module, the category determination module, the word frequency calculation module, the word database for each category information, and the voice recognition improvement database for each category information.
  • a control module for extracting data of the speech recognition improvement database for each category information as speech recognition improvement data and transmitting the received speech recognition
  • the present invention includes a first data transmission and reception module; A first mike module; A word storage module storing preset words for each category information; A book information acquisition module for obtaining book information including category information; An internal memory module storing control data; A first voice extraction module for extracting a voice signal from the sound signal received by the first microphone module; A first encoding module for character-encoding the speech signal extracted by the first speech extraction module and converting the speech signal into a text stream; A first word matching module receiving the text stream from the first encoding module and selecting a word having the highest similarity as a recognition word between a word on the text stream and preset words stored for each category of information in the word storage module; When the recognition word is received from the first word matching module, and the similarity of the recognition word is equal to or greater than a preset similarity, the control data matched with the recognition word is received from the internal memory module, and any one of a speaker, a vibration device, and an illumination device is received. It provides a reading entertainment apparatus comprising a; first
  • the book information acquisition module includes a first camera module; And a book information acquisition module for recognizing a barcode photographed through the first camera module and converting the barcode into an international standard book number.
  • a reading entertainment apparatus further comprises; an external lighting module mounted separately.
  • the first control module may read the book information through the first transmission / reception module when the control data corresponding to the book information acquired by the book information acquisition module is not stored in the internal memory module. And transmitting control data corresponding to the book information from the book matching control data storage server through the first transmission / reception module and storing the control data in the internal memory module. do.
  • the preset word words stored in the word storage module may be words included in the voice recognition improvement data received from the voice recognition improvement data storage server through the first data transmission / reception module. do.
  • the first word matching module provides a reading entertainment apparatus, wherein the similarity is determined through a global alignment among sequence alignment schemes.
  • the first word matching module provides a reading entertainment apparatus, wherein the similarity is determined through a local alignment method among sequence alignment methods.
  • the predetermined similarity is provided to the reading entertaining device, characterized in that 70 percent.
  • the category information includes fairy tales, children's books, science, mathematics, computer, technology, fiction, history, business, investment, literature, parenting, family, travel, art, design, foreign languages, It provides a reading and entertaining device, characterized in that any one or more of learning, cooking, food, wine (wine), autobiography, biography, politics, social science, religion.
  • the category information may be determined by reflecting any one or more of age, gender, occupation, hobbies and interests.
  • the category information provides a reading and entertainment apparatus, characterized in that determined by reflecting any one or more of the title, author, publisher, international standard book number (isbn) of the book.
  • the present invention includes the steps of receiving a full text book that can be recognized electronically by the speech recognition data storage server (server); Determining, by the speech recognition improvement data storage server, category information of the full text of the book; Calculating, by the speech recognition improvement data storage server, a frequency of words included in the full text of the book; Storing, by the voice recognition improvement data storage server, the frequency of the words for each category information in a word database for each category information; Storing a predetermined number of words having a high frequency in the word database for each category of information in a speech recognition improvement database for each category of information; and wherein the predetermined number is 300.
  • the step of receiving a book text that can be recognized electronically by the voice recognition improvement data storage server is connected to an external server that contains the book text that can be recognized electronically using an API (application program interface).
  • the present invention provides a method of driving a reading entertainment apparatus, the method comprising: receiving a reading.
  • the present invention comprises the steps of the voice recognition improvement data storage server to receive the voice recognition improvement data for each category information through a terminal device; And extracting, by the voice recognition improvement data storage server, data of the voice recognition improvement database for each category information as voice recognition improvement data for each category information and transmitting the extracted data to the terminal device.
  • the voice recognition improvement data storage server to receive the voice recognition improvement data for each category information through a terminal device; And extracting, by the voice recognition improvement data storage server, data of the voice recognition improvement database for each category information as voice recognition improvement data for each category information and transmitting the extracted data to the terminal device.
  • the present invention comprises the steps of the book matching control data storage server receiving a control data transmission request including book information from the terminal device; And transmitting, by the book matching control data storage server, the control data matched for each book to the terminal device.
  • the present invention transmits and receives a module for transmitting and receiving data from the outside (module);
  • a book text receiving module for receiving a book text that can be recognized electronically;
  • a category determination module for determining category information of a book text received through the book text receiving module;
  • a word frequency calculation module for calculating a frequency of words included in a book full text received through the book full text reception module;
  • a word database for each category information for accumulating and storing the frequency of words calculated by the word frequency calculating module for each category information;
  • a speech recognition improvement database for category information for extracting and storing a predetermined number of words having a high frequency among words stored in the word database for each category information;
  • Control the data exchange or operation between the transmission / reception module, the book full text reception module, the category determination module, the word frequency calculation module, the word database for each category information, and the voice recognition improvement database for each category information.
  • a control module extracting data from the voice recognition improvement database for each category information as voice recognition improvement data and transmitting the received voice
  • the book full text receiving module provides a reading and entertainment apparatus, characterized in that for receiving and connecting to an external server containing an electronic book that can be recognized electronically using apyi.
  • the book information is identified according to the International Standard Book Number, and through this, the most effective control data related to the words recognized in the book reading process of the book can be received and stored, thereby achieving a doubled effect. That is, even the same word 'lightning' may provide different effects for each book to provide the user with an effect optimized for the book's contents.
  • the international standard book number in the form of a barcode through the camera module, there is an effect that can easily transmit information about the book to the server.
  • the shape of the reading and entertainment device is shaped like a book and the color and brightness of the light are changed at the opening part of the book to provide a feeling as if the book is talking to oneself, stimulating the interest of listeners, especially children. can do.
  • the inventors of the present invention and the method of driving the book by allowing the general user to access and upload the book matching control data storage server, giving the user the pleasure of reading the book and actively active the world of the book It can give you the feeling of being a creator, and share your control data with others to form a rapport.
  • the terminal device when the terminal device is implemented as an application that runs on a smart phone, it is possible to achieve the effect of supplying the terminal device at a minimum cost, and above all, to achieve the advantage of easy updating and maintenance of the application. have.
  • the reader can effectively maintain the synchronization between the reading part of the book and the lighting effect or sound effect to be provided for the reading part. It works.
  • Twelfth through a separate external lighting module to give a visual effect, there is an effect that can be provided to the user by more freely adjusting the color or brightness of the light to be provided while reading a book.
  • the reader since the words frequently used for each category of the book may be stored in advance, the reader may improve the recognition of the words spoken. It has an effect. That is, even if a user speaks inaccurately, the user recognizes the word as the most similar word compared to the words frequently appearing in each category of the book, thereby achieving the same effect as the effect of increasing the speech recognition rate.
  • the speech recognition improvement data storage server periodically receives the full text of the book and accumulates the frequency of the most frequently occurring words by category information to provide the higher frequency words as the speech recognition improvement data.
  • This has the effect of providing speech recognition enhancement data that is actively optimized for the language usage.
  • this process is performed in advance in the speech recognition improvement data storage server, and the terminal device which provides various effects to the user in the process of reading a book only utilizes this, so that the load that the terminal device has to deal with is reduced. have.
  • the terminal device may concentrate only on the recognition of the words of the book to be read and the effects of sounds, lighting, etc. to be provided accordingly.
  • FIG. 1 is a diagram showing an adult, such as a parent, reading a book to a child.
  • FIG. 2 is a view showing a conventional color-changing lighting and the appearance of a smart phone used to adjust such lighting.
  • FIG 3 is a view showing a first embodiment of the lighting device constituting the reading entertainment apparatus according to the present invention.
  • FIG. 4 is a view showing a second embodiment of the lighting device constituting the reading entertainment apparatus according to the present invention.
  • FIG. 5 is a view showing a third embodiment of the lighting device constituting the reading entertainment apparatus according to the present invention.
  • FIG. 6 is a view showing a fourth embodiment of the lighting device constituting the present invention reading entertaining device.
  • Figure 7 is a view showing a state of photographing the barcode of the book in the terminal device of the present invention reading entertainment apparatus.
  • FIG. 8 is a view illustrating a basic process of the present invention, the reading entertaining device and its driving method.
  • FIG. 9 is a view illustrating a process in which the present invention, the reading entertainment apparatus and its driving method transmit book information to a server, and receive and operate control data optimized for the book information from the server.
  • FIG. 10 is a flowchart summarizing a process in which a terminal device of a reading entertainment apparatus of the present invention recognizes a word in a voice and sends control data to the outside.
  • FIG. 11 is a flowchart showing a process in which control data recorded inside the terminal device of the reading entertainment apparatus is updated according to book information.
  • FIG. 12 is a flowchart illustrating a process in which an effect part is controlled in the lighting device of the present invention.
  • FIG. 13 is a flowchart illustrating an operation performed in the book matching control data storage server of the present invention.
  • FIG. 14 is a block diagram illustrating an internal configuration of a terminal device constituting the present invention.
  • FIG. 15 is a block diagram showing an internal configuration of a lighting device constituting the present reading entertainment apparatus.
  • 16 is a block diagram illustrating an internal configuration of a lighting device that can be driven alone without an external terminal device.
  • FIG. 17 is a block diagram illustrating an internal configuration of the book matching control data storage server of the present invention.
  • Figure 19 is a flow chart showing another driving method of the present invention reading entertaining device.
  • FIG. 20 is a diagram illustrating an example in which a sync word used in a reading entertainment apparatus according to another embodiment of the present invention is selected from the contents of a book.
  • FIG. 21 is a diagram illustrating an example in which a sync word and a control word are selected from the contents of a book in a reading entertainment apparatus according to another embodiment of the present invention.
  • FIG. 22 is a diagram illustrating a format in which control data is stored according to a sync word in another embodiment of the present invention.
  • FIG. 23 is a view illustrating a process in which a pointer indicating a playback order is modified to maintain synchronization in another embodiment of the reading entertainment apparatus according to the present invention.
  • FIG. 24 is a diagram illustrating a format in which a sync word and a control word are stored in another embodiment of the present invention.
  • FIG. 25 is a diagram illustrating a process in which a pointer indicating a playback order is modified so that synchronization is maintained in another embodiment of the present invention.
  • FIG. 26 is a block diagram illustrating an internal configuration of a reading and entertainment apparatus according to another embodiment or another embodiment.
  • FIG. 27 is a view illustrating an external lighting module mounted on the reading entertainment apparatus.
  • FIG. 28 is a front view of an external lighting module connected to and used with the present invention reading entertainment device.
  • 29 is a view showing a rear view of an external lighting module used in connection with the present inventors entertaining device.
  • FIG. 30 is a view showing a side view of the external illumination used in connection with the present invention reading entertaining device.
  • 31 is a view showing an example of a cover mounted to the front portion of the external lighting module used in connection with the present invention reading entertaining device.
  • 32 is a view showing a process of the operation of the present invention reading entertaining device and its driving method to improve the speech recognition ability.
  • FIG. 33 is a flowchart showing a process of calculating the speech recognition improvement data by the speech recognition improvement data storage server constituting the present invention.
  • 34 is a flowchart illustrating a process of transmitting the speech recognition improvement data to the terminal device by the speech recognition improvement data storage server constituting the book entertainment apparatus.
  • 35 is a flowchart summarizing the operation of the terminal device constituting the book entertaining device of the present invention that has received the speech recognition improvement data.
  • 36 is a view showing a method of comparing the similarity between a word on a text stream and a predetermined word in a terminal device configuring the book entertainment apparatus according to the present invention.
  • FIG. 37 is a block diagram illustrating an internal configuration of the speech recognition improvement data storage server of the present invention.
  • 38 is a block diagram illustrating an internal configuration of a terminal device having an improved speech recognition function.
  • FIG. 1 is a diagram showing an adult, such as a parent, reading a book to a child.
  • a light such as a stand 20 around a space where a book is read only plays a role of shining a light so that a letter can be seen in the process of reading a book, and is interesting in the process of reading a book. It does not play a supporting role in concentrating, nor does it contribute to forming emotional rapport or intimacy through reading books between children and parents.
  • FIG. 2 is a view showing a conventional color-changing lighting and the appearance of a smart phone used to adjust such lighting.
  • an illumination lamp 40 which is called a sensibility light or a smart light and changes color
  • the user may operate the application 30 driven by the smart phone to adjust the color or brightness of the lamp 40 whose color is changed according to his / her mood or ambient atmosphere.
  • the reading and entertainment apparatus of the present invention may include a terminal device 200, a lighting device 100, and a book matching control data data storage server 300.
  • a terminal device 200 may include a terminal device 200, a lighting device 100, and a book matching control data data storage server 300.
  • each of these components constituting the reading and entertainment apparatus is distinguished from each other independently, it does not limit that one component is merged by accommodating functions in the other component.
  • the lighting device 100 will be described in more detail in the configuration of the present invention.
  • FIG 3 is a view showing a first embodiment of the lighting device constituting the reading entertainment apparatus according to the present invention.
  • the lighting device 100 may be formed in a book shape.
  • a second lighting module 111 may be provided at a portion of the book that is opposite to the book portion.
  • the second lighting module 111 of the lighting device 100 may be a lighting module composed of an LED (Light Emitting Device), and in particular, a red LED, a green LED, and a blue LED It may be a full color lighting module consisting of.
  • the lighting device 100 constituting the reading entertainment apparatus may recognize a word included in a speech spoken by a person reading a book, and thus may vary the color and illuminance of the second lighting module 111.
  • the recognized word is a star
  • the second lighting module 111 of the lighting device 100 may be turned on and shines on the light, and the recognized word is the sea.
  • the color may change to blue.
  • the control data for instructing the operation of the second lighting module 111 of the lighting device 100 may be configured in an RGB weighting format. By changing the color and illuminance of each LED constituting the 111, it is possible to control the second lighting module 111 to the overall desired color and illuminance.
  • the inventors of the present invention reading entertaining device 100 is formed in the shape of a book so that children can feel that the lighting is related to the book.
  • the color or brightness of the second lighting module 111 is changed through the open portion of the book, thereby providing children with a feeling as if the book is talking to them.
  • FIG. 4 is a view showing a second embodiment of the lighting device constituting the reading entertainment apparatus according to the present invention.
  • the reading and entertainment apparatus is characterized in that, in addition to the first embodiment, a second speaker module 112 is formed at a portion corresponding to the cover of the book.
  • the lighting device 100 recognizes a word included in the spoken voice to change the color of the second lighting module 111 and the like and various sounds through the second speaker module 112. You can print For example, when the recognized word is 'sea', the sound of waves may be output, and when the recognized word is 'shower', the sound of rain may be output.
  • the present inventors entertaining device can achieve the effect of providing a greater interest with respect to the people around the book.
  • FIG. 5 is a view showing a third embodiment of the lighting device constituting the reading entertainment apparatus according to the present invention.
  • the lighting device 100 according to the third embodiment of the present invention is further provided with a second blowing module 113 in addition to the second embodiment.
  • the second blower module 113 may output wind to the outside by providing a fan therein.
  • the second blower module 113 may be designed using the principle of blowing air to the outside using the principle of a jet engine used in a wingless fan.
  • the lighting device 100 may recognize a word included in the spoken voice to generate wind through the second blowing module 113. For example, when the recognized word is 'breeze', the calm wind is output from the second blowing module 113, and when the recognized word is 'strong wind', the strong wind may be output.
  • the effects provided through the second lighting module 111, the second speaker module 112, and the second blower module 113 of the lighting device 100 may be provided alone, or the effects part ( The effects of each module constituting 110 may be provided in combination with each other. For example, when the word 'wave' is recognized in a voice spoken by a reader, the color of the second lighting module 111 is changed to blue, and the sound of waves is output from the second speaker module 112. Wind may be output through the second blowing module 113.
  • the reading entertaining device and its driving method have an effect that can provide a more exciting reading environment.
  • FIG. 6 is a view showing a fourth embodiment of the lighting device constituting the present invention reading entertaining device.
  • the lighting device 100 of the reading entertainment apparatus includes the second spray module 114, the second fragrance module 115, and the second vibration module 116. ) May be further provided.
  • the second spray module 114 may play a role of spraying water to the outside based on the recognized word among the spoken voices, and the second fragrance module 115.
  • the fragrance may be sprayed using silver perfume, and the second vibration module may serve to generate vibration. That is, when the recognized word is 'rain', the second spray module 114 may spray water to the outside, and when the recognized word is “flower”, the second fragrance module 115 may have a floral fragrance outside. I can spray the material, and the second vibration module can generate an oscillation if the recognized word is an earthquake, providing the same effect as an earthquake.
  • the operation of the various modules constituting the effect part 110 may be generated in combination with each other, and in the description of the present invention, the effect part 110 is referred to as the second lighting module 111 and the second speaker.
  • the module 112, the second blowing module 113, the second spray module 114, the second fragrance module 115, and the second vibration module may include a combination that includes any one or more components.
  • the reading entertaining device and the driving method thereof can provide a more lively and interesting book reading environment.
  • Figure 7 is a view showing a state of photographing the barcode of the book in the terminal device of the present invention reading entertainment apparatus.
  • the reading entertaining device and its driving method recognizes a word in the spoken voice of a person who reads the book by the lighting device 100 alone, and based on this, the effect part 110 of the lighting device 100 provides the same.
  • the lighting device 100 may merely implement a role for reproducing the effect, and the detailed instructions may be implemented in a format instructed through the external terminal device 200.
  • the terminal device 200 may be a smart phone, and specifically, may be implemented in a manner instructed to the lighting device 100 through an application installed and operated on the smart phone. In this manner, when the present invention, the reading entertaining device and the driving method thereof are implemented, the reading entertaining device is recorded on the cover of the book 10 through the first camera module 280 of the terminal device 200.
  • FIG. 8 is a view illustrating a basic process of the present invention, the reading entertaining device and its driving method.
  • the user may take the terminal device 200 that the user holds near the lighting device 100. Then, the terminal device 200 and the lighting device 100 may be connected in communication with each other, which may be a pairing method using a Bluetooth method or a connection method using a Wi-Fi. In addition, the connection of the terminal device 200 and the lighting device 100 may be made by automatically searching each other, or may be made by searching the lighting device 100 through an application driven in the terminal device 200. have.
  • a user may read a book aloud. Then, the terminal device 200 may recognize the spoken voice of the user and check whether there is a word matching the preset word that is already stored and recorded in the terminal device 200 among the recognized words. In this process, when there is a word that matches the predetermined word among the recognized words, the terminal device 200 transmits control data related to the word to the lighting device 100. In addition, the lighting device 100 having received such a signal configures each module constituting its own effect part 110 according to the control data to generate an effect, thereby allowing the user to immerse in the contents of the book more deeply.
  • the terminal device 200 extracts control data matched to 'wave', which is a preset word, from the internal storage device, and extracts the control data to the lighting device ( 100, the lighting device 100 receives the change, and changes the color of the second lighting module 111 to blue according to the control data, and generates the sound of waves through the second speaker module 112.
  • control data matched to 'wave' which is a preset word
  • the lighting device 100 receives the change, and changes the color of the second lighting module 111 to blue according to the control data, and generates the sound of waves through the second speaker module 112.
  • control data may refer to data stored in matching with a recognized word as data for controlling each module constituting the effect part 110 of the lighting device 100. have.
  • FIG. 9 is a view illustrating a process in which the present invention, the reading entertainment apparatus and its driving method transmit book information to a server, and receive and operate control data optimized for the book information from the server.
  • the present invention can provide greater interest or vitality.
  • the lighting device 100 In order to receive the control data related to the book from the outside, it is possible to control the lighting device 100 based on this. For example, even though the recognized word is the same as the 'wave', the feeling or image given to each book may be different. That is, in some books, 'wave' may be a calming image, while in other books, 'wave' may be a rougher image.
  • the reading entertaining device and its driving method receives the book information and reads the book using control data optimally designed in correspondence with the contents of the book. We want to convey a deeper impression to the user.
  • the terminal device 200 which can be employed as a smart phone or the like, acquires an international standard book number in the form of a barcode attached to the back of a book through the first camera module 280 provided therein, and controls book matching.
  • the data storage server 300 may transmit the data.
  • the book matching control data storage server 300 receiving such information extracts control data corresponding to the book information received from the book matching control database 320 which stores control data related to words for each book information.
  • the data may be transmitted back to the terminal device 200, and the terminal device 200 receiving the data may update the first word matching control database 220, which is an internal storage space, based on the received control data.
  • the user reads the book and retrieves control data for the recognized word in the spoken voice from the updated first word matching control database 220 and delivers it to the lighting device 100, and the lighting The device 100 controls the effect part 110 according to the control data.
  • the lighting device 100 merely operates the second speaker module 112.
  • the control data is updated, not only the second speaker module 112 but also the first Several modules such as the second lighting module 111 and the second blowing module 113 may also be operated together to provide greater immersion to the user.
  • the control data transmitted as a default value for each word may also be transmitted as control data designed to give an optimized effect for each book.
  • FIG. 10 is a flowchart summarizing a process in which a terminal device of a reading entertainment apparatus of the present invention recognizes a word in a voice and sends control data to the outside.
  • the terminal device 200 may go through a process of receiving a sound signal from the outside by using a first mike module 210 provided therein (S10-1), and extracts a first voice signal extraction module ( A process of extracting a voice signal from the received sound signal may be performed through 230. (S10-2)
  • the terminal device 200 characterizes the voice signal extracted through the internal first encoding module 240 and converts the text signal into a text stream.
  • the voice signal may be continuously converted into a character format such as an ASCII code or a Unicode Transformation Format (UTF).
  • the first word matching module 250 is continuously converted in this way and whether there is a word that matches a word stored in the preset first word matching control database 220 on a text stream stored in a memory such as a queue method.
  • a process of transmitting control data matched with the word to the outside through the first transmission / reception module 120 may be performed.
  • the present invention does not input the voice one by one and allows the terminal device 200 to recognize it, but instead of converting the voice signal into a text stream and storing the same in a queue, the reading entertaining device is matched with a preset word on the text stream. By checking for the presence of words, it is possible to provide an effect of allowing the user who reads the book aloud or the reader to focus on the book content.
  • FIG. 11 is a flowchart showing a process in which control data recorded inside the terminal device of the reading entertainment apparatus is updated according to book information.
  • the reading entertaining device and its driving method may recognize the voice by the pre-stored control data and control the effect of the lighting device 100, but the optimum effect for each book.
  • the control data for each book may be received and the lighting device 100 may be controlled accordingly.
  • the process of receiving the control data by the terminal device 200 is as follows.
  • the terminal device 200 may perform a process of transmitting information related to a book to the book matching control data storage server 300 through the first transmission / reception module 120.
  • the book may be transmitted.
  • the related information may be directly inputted by the user of the title of the book, the author, or the publisher, or may be an optical character reader (OCR) recognized after photographing the cover of the book, but preferably the cover of the book.
  • OCR optical character reader
  • the international standard book number attached to the bar code format may be recognized using the first camera module 280 of the terminal device 200.
  • the book matching control data storage server 300 having received the book information transmits control data related to the book back to the terminal device 200, and the terminal device 200 having received the control data has an internal storage space.
  • the process of storing the one word matching control database 220 may be performed.
  • the reading entertainment apparatus and its driving method may provide different effects to the user even if the same word is recognized. That is, if the terminal device 200 controls the operation of the lighting device 100 based on the word stored as a default, after the first word matching control database 220 is updated, based on the word optimized for the book By controlling the lighting device 100 to provide the user with an optimal effect in relation to the book.
  • the inventors of the present invention reading entertaining device and a driving method thereof can deliver a greater impression and immersion to people around the site reading a book.
  • FIG. 12 is a flowchart illustrating a process in which an effect part is controlled in the lighting device of the present invention.
  • the lighting device 100 may undergo a process of receiving control data through the second data transmission / reception module 170 (S12-1), and the control data may be sent through the terminal device 200. .
  • the lighting device 100 may perform a process of adjusting the color or brightness of the second lighting module 111 based on the control data (S12-2). ). Also, based on the received control data, the second speaker module 112, the second vibration module 116, the second blowing module 113, the second fragrance module 115, the second vibration module 116, and the like may be used. The operation may be controlled (S12-3). Here, the operation between the respective modules may be performed at the same time or at a time difference interval according to the control data.
  • FIG. 13 is a flowchart illustrating an operation performed in the book matching control data storage server of the present invention.
  • the book matching control data storage server 300 receives book information from the terminal device 200 (S13-1), and retrieves control data corresponding to the received book information from the book matching control database 320.
  • the book information may be an international standard book number transmitted from the terminal device 200, but is not necessarily limited thereto, and the title of the book, the author, the publisher, the publication date, and the like.
  • the user may directly input and transmit or may be recognized and transmitted as an OSC.
  • the book matching control data storage server 300 undergoes a process of transmitting the extracted control data to the terminal device 200 again.
  • the book-specific control data stored in the book matching control database 320 of the book matching control data storage server 300 may be previously input by the operator of the present invention reading entertaining device, but provides each book It may be uploaded and recorded by another operating entity such as a publisher.
  • the control data stored by the user who directly read the book may be uploaded.
  • the reading entertaining device and the driving method thereof provide the user with pleasure of reading a book, and at the same time, he / she actively reads the book world. It can give you the feeling of becoming a creator, and you can achieve the effect of sharing the control data you design with others and forming a rapport.
  • FIG. 14 is a block diagram illustrating an internal configuration of a terminal device constituting the present invention.
  • the terminal device 200 of the reading entertainment apparatus includes a first microphone module 210, a first word matching control database 220, a first speech signal extraction module 230, a first encoding module 240, and a first encoding module 240.
  • the word matching module 250, the first control module 260, and the first data transmission / reception module 270 may be configured to be included.
  • the camera may further include the first camera module 280 and the book information acquisition module 190.
  • the first microphone module 210 of the terminal device 200 serves to receive sound from the outside, and the first voice signal extraction module 230 is a person from the sound signal received through the first microphone module 210. It can play a role of extracting the voice signal related to the nurturing.
  • the first encoding module 240 may perform a function of encoding a voice signal, converting the voice signal into a text stream, and delivering the converted text stream to the first word matching module 250.
  • the first word matching module receives the text stream.
  • the received text stream may be continuously checked to determine whether there is a word that matches the word stored in the first word matching control database 220.
  • the first word matching module 250 transfers the word to the first control module 260, and the first word matching module 250 sends the first word matching control database 220.
  • Control data related to the corresponding word may be received from and transmitted to the outside through the first data transmission / reception module 270.
  • the terminal device 200 may further include a first camera module 280 and a book information acquisition module 190. Through this configuration, the terminal device 200 photographs a barcode displayed on a book and obtains an international standard book number.
  • the matching control data storage server 300 may transmit the same.
  • FIG. 15 is a block diagram showing an internal configuration of a lighting device constituting the present reading entertainment apparatus.
  • the lighting device 100 may include a second data transmission / reception module 170, a second control module 160, and an effect part 110.
  • the effect part 110 includes the second lighting module 111, the second speaker module 112, the second blowing module 113, the second spray module 114, the second fragrance module 115, and the second. It may be configured to include any one or more of the vibration module 116.
  • the lighting device 100 having such a configuration receives the control data transmitted by the terminal device 200 through the second data transmission / reception module 170 and the second control module received through the second data transmission / reception module 170. 160 interprets the received control data to instruct the operation of each module of the effect part 110.
  • the lighting device 100 of the reading and entertainment apparatus of the present invention When the lighting device 100 of the reading and entertainment apparatus of the present invention is formed in such a configuration, the lighting device 100 may have only a minimal and simple configuration, thereby achieving an effect of low manufacturing cost.
  • the terminal device 200 when the terminal device 200 is implemented as an application operating on a smart phone, the effect of supplying the terminal device 200 can be achieved at a minimum cost, and above all, it is easy to update and maintain the application. There is an advantage.
  • 16 is a block diagram illustrating an internal configuration of a lighting device that can be driven alone without an external terminal device.
  • the lighting device 100 has a second microphone module 117, a second speech extraction module 130, a second encoding module 140, a second word matching module. 150, the second control module 160, the second data transmission / reception module 170, the second camera module 180, the book information acquisition module 190, the second word matching control database 120, and the effect part ( 110 may be configured to include. That is, it may be formed to include all the components corresponding to the components of the terminal device 200, the operation method may be similar to the operation method of the terminal device 200 described above. However, the above-described terminal device 200 transmits control data to the lighting device 100 located outside, but since the lighting device 100 shown in FIG.
  • the control data is transmitted to the outside. It is possible to control the operation of each module of the effect part 110 directly, without transmitting.
  • a process of transmitting book information to the book matching control data storage server 300 and receiving control data according to the book and transferring the book information to the second word matching control database 120 may also be directly performed.
  • FIG. 17 is a block diagram illustrating an internal configuration of the book matching control data storage server of the present invention.
  • the book matching control data storage server 300 of the present invention's reading entertainment apparatus receives book information transmitted from the book matching control database 320, the terminal device 200, and the like, which store word-related control data for each book information.
  • the central control module 330 to retrieve and extract control data corresponding to book information received through the receiving module 310 and the receiving module 310 from the book matching control database 320, and the control received through the receiving module. It may be formed to include a transmission module 340 for transmitting the data back to the outside, such as the terminal device 200.
  • the present invention can provide the user with an effect that can best utilize the meaning of the book content.
  • Another embodiment of the method of driving the reading entertainment apparatus according to the present invention may first be performed from a process in which the external lighting module 400 is connected to the reading entertainment apparatus according to the present invention implemented as a smart phone. 1) And, after the external lighting module 400 is connected to the reading and entertainment apparatus implemented as a smart phone, the book information may be received.
  • This process may include a first camera provided in a smart phone or the like. Module 280 or the like. (S18-2) More specifically, the international standard book number in the form of a barcode provided on the cover of the book 10 is photographed through the first camera module 280, thereby Information about 10 may be received.
  • the reading entertainment apparatus After receiving the information about the book 10 as described above, the reading entertainment apparatus checks whether control data corresponding to the information of the book 10 is stored in advance (S18-3), and stores the information. In this case, the process of loading the corresponding control data into the internal memory module 221 may be performed (S18-6). However, the control data corresponding to the received book 10 information is read. If not already stored in the inning device, the reading entertainment device transmits the information of the received book 10 to the book matching control data storage server 300 (S18-4), and such book matching control data. A process of receiving control data corresponding to the book 10 from the storage server 300 and storing the control data therein may be performed (S18-5).
  • the reading entertainment apparatus may perform a process of receiving a sound signal using the first microphone module 210 or the like (S18-7).
  • the process of removing noise from the received sound signal and extracting a signal related to a human voice is performed (S18-8), and the process of converting the received voice signal into a text stream by the first encoding module 240 is performed.
  • the reading and entertainment apparatus of the present invention After converting the received speech signal into a text stream sequentially, the reading and entertainment apparatus of the present invention checks whether there is a word matching the sink word included in the control data in the converted text stream (S18). If there is a matching sync word, a process of modifying a pointer to point to the position of the sync word in the control data corresponding to the book 10 information is performed (S18-11). A process of allowing control data related to a word to be performed may be performed. (S18-13) Through this, another driving method of the reading entertainment apparatus according to the present invention provides an appropriate sound effect and lighting corresponding to the corresponding part of the book read by the reader. The criterion and the role of selecting the sync word used in the present invention will be described in more detail with reference to the accompanying drawings.
  • the inventors of the present invention After performing the control of the lighting and the speaker according to the control data associated with the sync word, the inventors of the present invention read the list of the sync words left by moving the pointer indicating the control order of the control data to the end of the sync word. (S18-13), and if there is a sync word still left, check whether there is a voice signal continuously received through the first microphone module 210 (S18-14), and the received voice signal If is still present, it continuously checks whether there is a word in the converted text stream that matches the sync word. If there is no word left on the sync word list or there is no word list received through the first microphone module 210, the present invention, the reading entertaining device may use the external lighting module 400 or the speaker according to the control data. The process of controlling the module is terminated.
  • the reading entertaining device is a lighting method provided by the reading entertaining device corresponding to a portion and a corresponding portion of the book read by the reader offline (offline) through a driving method according to another embodiment or There is an effect that can match the synchronization between sound effects.
  • Figure 19 is a flow chart showing another driving method of the present invention reading entertaining device.
  • the reading entertaining device can also be started from the process in which the external lighting module 400 is connected to the reading entertaining device implemented in the form of a smart phone (S19-1). After the external lighting module 400 is connected as described above, a process of receiving book 10 information by the first camera module 280 or the like may be performed (S19-2). It may be provided in the form of an international standard book number, or may be provided through the OCR recognition by photographing the cover of the book 10 as it is.
  • control data corresponding to the information of the book 10 is stored in the reading entertainment apparatus (S19-3), and if the information is already stored, the control data.
  • the process of loading the data into the internal memory module 221 may be performed.
  • the reading entertaining device is an international standard.
  • Information about the book 10 such as the book number may be transmitted to the book matching control data storage server 300 (S19-4), and the control data corresponding to the book 10 may be received.
  • S19-5 Information about the book 10 such as the book number may be transmitted to the book matching control data storage server 300 (S19-4), and the control data corresponding to the book 10 may be received.
  • Another driving method of the reading entertainment apparatus receives a sound signal through the first microphone module 210 (S19-7).
  • the voice signal may be extracted from the sound signal through the first voice extraction module 230 (S19-8), and the voice signal may be converted into a text stream through the first encoding module 240. (S19- 9)
  • the reading entertainment apparatus After the voice signal is converted into the text stream through the first encoding module 240, the reading entertainment apparatus checks whether there is a word in the converted text stream that matches the sync word included in the control data (S19-). 10) If there is a matched word, a process of modifying the pointer indicating the reproduction or control order of the control data to point to the corresponding sync word location may be performed. (S19-11) The process up to this point is described with reference to FIG. 18. It is the same as the driving method of FIG.
  • a process of checking whether there is a word matching the control word on the word included in the text stream may be performed (S19-12). If there is a word that matches the control word on the text stream in which the voice is converted into text, the process of driving the external lighting module 400 and the speaker module of the reading entertainment apparatus is performed according to the control data related to the control word. (S19-13) As described above, after the operation is performed according to the control data related to the control word, the process of modifying the pointer to indicate the position of the control word is performed so that the reader can read the book and The synchronization between the reading and entertainment apparatus providing the effects of light, sound, etc. is continuously maintained (S19-14).
  • the reading entertainment apparatus checks whether a list of control words and sync words included in the control data remains (S19-15), and if there is no word list, The driving of the reading entertaining device according to the data is terminated.
  • whether the list of the control word and the sync word remains may be determined by whether the pointer indicating the control order has moved to the end of the control data pool. If the list of control words and sync words remains, it is checked whether the voice signal is continuously received (S19-16). If the voice signal is continuously received, the voice signal is converted into the converted text stream. The process of checking whether there is a word that matches the sync word may be performed (S19-10), and the subsequent operation may be repeatedly performed.
  • the reading entertaining device is provided between the sound reading, the lighting effect, etc. provided to provide a more exciting interest in the part to which the book is read. There is an effect that can more effectively match the motivation of the.
  • FIG. 20 is a diagram illustrating an example in which a sync word used in a reading entertainment apparatus according to another embodiment of the present invention is selected from the contents of a book.
  • a reading entertaining device uses a sync word and a speaker provided by the reading entertaining device by itself or an effect on light provided by the external lighting module 400. It is possible to provide an effect that can be synchronized with the sound effect provided by using such as. That is, when the user of the reading entertainment apparatus reads the book 10 to a child after activating the function of the reading entertainment apparatus, the reading entertainment apparatus analyzes the received voice and converts the converted text stream. Check whether the word coincides with the sync word included in the control data, and if there is a word matching the sync word, the reader is driven by driving the external lighting module 400 or the speaker module according to the control data related to the sync word. Can match the motivation between the reading part and the sound or lighting effect that should be provided in sync with that part.
  • the sync word may be selected from words that are exposed only once or twice in the book, and more specifically, a word having a frequency less than or equal to a predetermined frequency may be selected as the sync word. Moreover, it may be selected from the terminology which is difficult to provide a sound effect or an illumination effect. The reason why the word is selected as the less frequent word in the book is because the word is less frequently exposed, so if there is a matching word in the text stream, the book is easily read and synchronized. .
  • the operation of the synchronization and control data according to the sync word will be described in more detail with reference to the following drawings.
  • FIG. 21 is a diagram illustrating an example in which a sync word and a control word are selected from the contents of a book in a reading entertainment apparatus according to another embodiment of the present invention.
  • a reading entertainment apparatus serves to match a control order of control data for providing a lighting effect, a sound effect, and the like, to which a reading book is read and a reading reading apparatus.
  • the control word may further include a control word that provides a different lighting effect and a sound effect according to the word as a matching word among the words on the text stream in which the voice signal is changed along with the sync word for performing the operation.
  • the sync word may be selected from words exposed below a preset frequency in the book as described above, or may be selected from a metaphor that is difficult to express by sound or light.
  • the control word may be selected from words that can be actively expressed by sound or light, and more preferably, an onomatopoeic word may be selected.
  • the reading entertaining device is different from the driving method according to the other embodiment described above is to provide a control word that is recognized to give an effect in addition to the sync word to the reader to read the words read It is possible to give more interest by imposing more positive effects.
  • control words in the drawing are selected to be 'fear', 'shake', 'sea', 'sour', 'scream', and so on.
  • the entertaining device may cause more interest and fun to the person reading the book or the person reading the book by performing the operation according to the control data related to the corresponding control word. Singularity of the control process of another driving method of the present invention, the reading entertaining device including the control word and the sync word will be described in more detail with reference to the following drawings.
  • 22 and 23 illustrate a process of maintaining synchronization by modifying a pointer indicating a format and a reproduction order in which control data is stored according to a sync word in another embodiment of the present invention.
  • the control data of the other driving method of the reading and entertainment apparatus of the present invention includes a sync word, and each sync word includes control data for controlling the external lighting module 400 and the speaker module in association with the corresponding sync word. It may be.
  • the pointer may move to indicate the position of the sync word. More specifically, after the information on the book to be read by the user of the reading entertaining device of the present invention is received by the reading entertaining device through the first camera module 280, the reading entertaining device is the corresponding book information.
  • the control data corresponding to the control data may be loaded into the internal memory module 221, and the control data may be stored in a format as shown in FIG. 22.
  • the reading entertainment apparatus converts the speech signal into a text stream and checks whether there is a word matching the sync word among the converted words.
  • the word 'injury' is identified on the text stream, and the speaker module or the external lighting module 400 is driven according to control data associated with the word 'injury'. That is, it provides a sound effect or a lighting effect that should be provided between the 'injury' and 'cosmic space'.
  • FIG. 23 is a diagram illustrating a situation in which such a loss occurs. That is, in relation to the book 10, the reading entertaining device recognizes a sync word of 'injury', plays an effect such as an impact sound according to the control data related to the sync word, and then sinks the word of 'cosmic space'.
  • another driving method of the reading and entertainment apparatus may move a pointer indicating the playback order to a sink word position of 'air', and play a sound of wind leaking from the air. That is, even if a loss of some sync words occurs, when the other sync words are recognized, the pointer is modified to point to the playback or control sequence with the corresponding sync words, so that an appropriate sound effect can be provided according to the contents of the book in the reading process of the entire book. .
  • 24 and 25 illustrate a process in which synchronization is maintained by modifying a pointer indicating a format and a reproduction order in which the sync word and the control word are stored in another embodiment of the present invention.
  • the driving method of the reading entertainment apparatus further includes the sync word, which synchronizes the reading part of the book with the control order of the control data providing the effect. It is possible to determine whether or not to implement the control data to give a different sound effect and lighting effect according to each word provided in the control word. That is, in the above embodiment, the control data is directly performed in relation to the sync word, but in the present embodiment, the sync word is mainly responsible for modifying a pointer indicating a control order of the control data, and the control data related to the sound or lighting effect is implemented. The determination of whether or not is determined by the recognition of the control word.
  • the reading and entertainment device recognizes the position of the word “injury”. To point to it. After that, when the word 'scary' is recognized, the reading entertainment apparatus performs control data related to the control word 'scary', and the pointer is also modified to point to the control word 'scary'. .
  • the control word plays a role of maintaining synchronization with the determination of whether or not the control data is performed. Therefore, the control word is more precisely synchronized than the method of simply relying on the sync word to maintain synchronization with the reading part of the book. It can be effective.
  • the reading entertaining device loses the 'space travel' portion, and the control data until the next sync word is recognized is not performed, so that the related sound and lighting effects are not provided.
  • Another driving method even if the loss of the 'spaceship' part, if you recognize the control word 'shook' can provide a related effect while still maintaining motivation.
  • FIG. 26 is a block diagram illustrating an internal configuration of a reading and entertainment apparatus according to another embodiment or another embodiment.
  • the reading entertaining apparatus for a driving method may include a first microphone module 210, a first voice extraction module 230, a first encoding module 240, and a first word matching module. 250, a first control module 260, a first data transmission / reception module 270, an internal memory module 221, a first camera module 280, and a book information acquisition module 190.
  • the external lighting module 400 may be further provided.
  • the first microphone module 210 of the reading entertaining device may serve to receive a sound from the outside, and the first voice extraction module 230 may receive a sound signal from the sound signal received through the first microphone module 210. It may serve to extract voice signals related to human upbringing.
  • the first encoding module 240 may perform a function of encoding a voice signal, converting the voice signal into a text stream, and delivering the converted text stream to the first word matching module 250.
  • the first word matching module receives the text stream.
  • the received text stream may be continuously checked to determine whether there is a word corresponding to a sync word or a control word included in prestored control data.
  • the first word matching module 250 transfers the word to the first control module 260, and the first control module 260 matches the word from the internal memory module 221.
  • the control data is called to control the operation of the external lighting module 400 or the speaker module provided therein.
  • the reading entertaining apparatus photographs a bar code marked on a book through the first camera module 280 and the book information acquisition module 190, obtains an international standard book number, and stores control data corresponding to the book information in an internal memory module. 221. If the control data corresponding to the book information is not stored in the reading entertaining device, the book matching control data is transmitted to the book 10 through the first data transmission / reception module.
  • the storage server 300 may transmit the received control data to the book 10 and store the received data.
  • the inventors of the present invention is provided with an external lighting module 400 to provide a visual effect, thereby more freely adjusting the color and brightness of the light provided while reading the book 10 can be provided to the user Effect can be achieved.
  • 27 to 31 are views showing the external lighting module mounted on the reading entertainment apparatus and the front, rear, and side surfaces of the external lighting module in more detail.
  • the external lighting module 400 may be connected in a manner of being mounted on an earphone jack terminal of a reading entertainment apparatus provided in a smartphone type terminal device 200, and such an external lighting module 400. ) May be provided with a surface light emitting unit 430 for emitting light of various colors according to the control data.
  • the earphone jack 420 is connected to the earphone jack terminal in the lower portion of the external lighting module 400 and performs a role of receiving power to drive the surface light emitting unit 430. It may be provided, the rear may be provided with a power button 410 used to control the on and off of the external lighting module 400.
  • the external lighting module 400 is manufactured to have a thin thickness of a smart phone in preparation for the case where the present inventors entertaining device such as a smart phone, so that the earphone jack 420 is not overwhelming. It can be made to go.
  • the diffuser plate of the surface light emitting unit 430 may be added to various pictures or figures to give fun to the user, for example, the animal shape of the duodenum may be engraved on the diffuser plate of the surface light emitting unit 430. Can be.
  • 32 is a view showing a process of the operation of the present invention reading entertaining device and its driving method to improve the speech recognition ability.
  • the present invention may further include a voice recognition improvement data storage server 500 in order to increase a recognition rate of a voice that a user reads a book and speaks.
  • the voice recognition improvement data storage server 500 receives a book text that can be recognized electronically from the external server 600 and accumulates and stores the frequency of words included in the book text.
  • the voice recognition improvement data capable of increasing the recognition rate may be provided to the terminal device 200.
  • the basic concept of improving the speech recognition rate of the contents of the book read by the user according to the present invention is as follows.
  • the speech recognition improvement data storage server 500 constituting the present invention reading and receiving device receives a book full text and a word, which comes out of a lot of words contained in the full text, according to the user reads the book and reads the sound, By providing the terminal device 200 that provides various effects such as vibration, the terminal device 200 allows the terminal device 200 to efficiently recognize the words spoken by the user.
  • the voice recognition improvement data storage server 500 provides the terminal device 200 with words organized according to category information of a book so that the terminal device 200 recognizes the words spoken by the user more effectively. The operation of the voice recognition improvement data storage server 500 and the terminal device 200 to increase the voice recognition rate will be described in more detail with reference to the accompanying drawings.
  • FIG. 33 is a flowchart showing a process of calculating the speech recognition improvement data by the speech recognition improvement data storage server constituting the present invention.
  • the speech recognition improvement data storage server 500 constituting the reading entertainment apparatus of the present invention may perform a process of receiving a full text of an electronically recognizable book.
  • S33-1 Full text of the book
  • the reception may be manually entered, but may be accessed using an application program interface (api) provided by a site such as a Google book or a Gutenberg project. It may be input in a manner that is automatically received periodically.
  • the speech recognition improvement data storage server 500 may perform a process of determining the category information of the received full text of the book (S22-3). Again, this can be done automatically using Apia, but this does not limit manual entry or entry.
  • the voice recognition improvement data storage server 500 may be to automatically determine the content of the full text of the received book.
  • the category information that is, the category information of the book full text, is classified into attributes according to the content of the book, and the speech recognition improvement data storage server 500 of the present invention may have a frequency of words included in the received book full text.
  • the categories of books can be fairy tales, children's books, furthermore science, math, computer, technology, fiction, history, business, investment, literature, parenting, family, travel, art, Design, foreign languages, learning, cooking, food, wine, autobiography, biography, politics, social science, religion, and the like can be included.
  • the speech recognition improvement data storage server 500 may perform a process of calculating a frequency of words included in the book text.
  • the number of individual words included may be counted to store the number, and the counted numbers may be stored in the word database 540 of the category information of the speech recognition improvement data storage server 500 by category information. Therefore, the data may be accumulated and stored (S33-4). Accordingly, the word database 540 for each category of information is classified and stored for each category of the frequencies of words contained in a book text that has been continuously received from the past to the present.
  • a cumulative frequency may be stored by counting all of the words included in the full text of the book currently input for each category.
  • the words frequently appearing in books are only certain words.
  • the speech recognition improvement data storage server 500 used in the present invention extracts a number of words having a high frequency from the words stored in the word database 540 for each category information by a preset number, and improves the speech recognition database for each category information 550. (S33-5), the number of extraction can be freely set as needed, but about 300 words are extracted based on the statistics that the top 300 words occupy 65 percent of the total words on the print media. And may be stored in the speech recognition improvement database 550 for each category information.
  • the inventors of the present invention and the driving method thereof may pre-store the words frequently used for each category of the book to be read through the voice recognition improvement data storage server 500, so that the reader who reads the book speaks the words spoken. The effect of improving the recognition can be achieved.
  • 34 is a flowchart illustrating a process of transmitting the speech recognition improvement data to the terminal device by the speech recognition improvement data storage server constituting the book entertainment apparatus.
  • the voice recognition improvement data storage server 500 receives a request for voice recognition improvement data for each category of information from the terminal device 200 (S34-1), a high frequency among words recorded in the word database for each category information 540 is obtained. A predetermined number of words may be extracted and stored in the speech recognition improvement database 550 for each category information, which may be extracted as category speech recognition improvement data, and transmitted to the terminal device 200. (S34-2) That is, the present invention.
  • the role of recognizing the words contained in the full text of the book and calculating and storing the frequency for each category information is performed by the speech recognition improvement data storage server 500, and the contents of the book read using the resulting speech recognition improvement data are stored in the book. The role of increasing the recognition rate is performed in the terminal device 200.
  • a dictionary operation for recognizing words included in the book full text and storing the frequency thereof is performed by the speech recognition improvement data storage server 500, and only the result is transmitted to the terminal device 200 as necessary, thereby providing the terminal device ( In the case of 200), the load to be processed is considerably reduced, so that it is possible to concentrate only on the recognition of the words of the book to be read and the effects such as sound and lighting.
  • 35 is a flowchart summarizing the operation of the terminal device constituting the book entertaining device of the present invention that has received the speech recognition improvement data.
  • the terminal device 200 constituting the present invention may perform a process of receiving book information including category information.
  • the category information of the book is to be read by the user.
  • the category information may be selected and directly input, or may be determined by the terminal device 200 by reflecting the title of the book, the author, the publisher, and the international standard book number. Furthermore, it may be determined by reflecting a user's age, gender, occupation, hobbies, interests, etc., which are input in advance in the first use process of the terminal device 200.
  • the terminal device 200 may receive a sound signal (S35-2) and perform a process of extracting a voice signal from the sound signal (S35). That is, after removing only noise such as noise from the sound input through the first microphone module 210 of the terminal device 200, only the pure human voice is extracted, and the voice signal is converted into a text stream.
  • the process of converting is performed (S35-1), and the terminal device 3000 compares the similarities between the words on the text stream and preset words stored for each category information to select a word having the highest similarity as the recognition word.
  • the predetermined words may be words included in the speech recognition improvement data provided by the speech recognition improvement data storage server 500. The process of comparing the similarity between the words on the text stream and the preset words by the terminal device 200 will be described in more detail with reference to the following drawings.
  • the terminal device 200 After the words having the highest similarity are selected as the recognition words by comparing the words stored in the category information with the words in the text stream, the terminal device 200 checks whether the similarity of the recognition words is equal to or greater than the preset similarity (S35-). 6) If the similarity is greater than or equal to a preset similarity, the speaker, the vibration device, the lighting device, and the like included in the terminal device 200 may be controlled based on control data matched with the corresponding recognition word (S35-7). The predetermined similarity may be set to about 70 percent.
  • the terminal device 200 constituting the reading entertainment apparatus of the present invention recognizes a word read by the user based on words included in the speech recognition improvement data provided by the speech recognition improvement data storage server 500.
  • the recognition rate is improved.
  • 36 is a view showing a method of comparing the similarity between a word on a text stream and a predetermined word in a terminal device configuring the book entertainment apparatus according to the present invention.
  • the terminal device 200 constituting the present invention does not intend to convert the received voice signal to text more accurately, but even if the text is incorrectly converted, the words of the text are preset words. It is determined to be any one of the corresponding to the word to control the speaker, vibration element, lighting element, etc. of the terminal device 200. In other words, even if the user pronounces the word 'Dad' in the book incorrectly as 'Ava', the word 'Ava' is judged to be 'DAD' against the preset words, and the word 'DAD' is matched. To perform the specified control data. In addition, since the preset words are stored for each category of the book, the words that the user pronounces can be corrected more accurately.
  • the terminal device constituting the present invention may use a sequence alignment method as a method of determining similarity between words, and specifically, a global alignment method or a local alignment method may be used among these sequence alignment methods.
  • the global sorting method is useful for analyzing strings of similar sizes
  • the local sorting method is useful for determining whether one string belongs to another string even if the sizes are different.
  • the similarity determination method using the sequence alignment method is as follows.
  • RAFRIGENAPOR when a word to be compared among the preset words is "REFRIGERATOR" and a word on the text stream recognized and converted by the user is recognized as "RAFRIGENAPOR", there are nine matching parts and three wrong parts between the two words. Thus, the similarity between two words can be calculated as (9/12) * 100 with 75 percent. The same can be done for local alignment.
  • the comparison process may be performed on all of the preset words stored in the terminal device 200, and the word determined to be the most similar among them may be selected as the recognition word.
  • the terminal device 200 constituting the present invention examines the information by category information of the book and recognizes it as the most similar word, and provides the user with the corresponding effect when the similarity is equal to or greater than the preset similarity.
  • the user can be provided with the same effect as the speech recognition is improved.
  • FIG. 37 is a block diagram illustrating an internal configuration of the speech recognition improvement data storage server of the present invention.
  • Speech recognition improvement data storage server 500 constituting the present invention reading entertaining device is a book full reception module 510, a category determination module 520, a word frequency calculation module 530, a word database by category information 540 ), A voice recognition improvement database 550 for each category information, a transmission / reception module 560, and a control module 570.
  • the book full text reception module 510 of the voice recognition improvement data storage server 500 is a part for receiving a full text that can be recognized electronically from the outside, and more specifically, using Google Books, It can connect to an external server provided by Amazon, etc., and periodically receive the full text that can be recognized electronically.
  • the category determination module 520 determines the category information of the book text received by the book text receiving module 510, which includes the words contained in the category information or the book text that are provided by an external server and the like. It may be determined using a method of analysis or the like.
  • the word frequency calculation module 530 is a part that calculates the appearing frequency of words included in the book full text received by the book full text reception module 510, and thus the word frequency count module 530
  • the frequency of the calculated words is accumulated and stored in the word database 540 for each category of information.
  • the speech recognition improvement database 550 for each category information extracts a predetermined number of words in order of high frequency from the words accumulated in the category information word database 540 in the terminal device as the speech recognition improvement data.
  • the transmission / reception module 560 plays a role of exchanging data with external devices such as the terminal device 200.
  • the control module 570 may control an operation of each module constituting the voice recognition improvement data storage server 500 and mediate data exchange between the modules.
  • the reading entertaining device and its driving method further includes a speech recognition improvement data storage server 500 of such a configuration, so that the frequently used words according to various book categories are stored in advance so that the recognition degree of the corresponding words is improved. The effect of being improved can be achieved.
  • 38 is a block diagram illustrating an internal configuration of a terminal device having an improved speech recognition function.
  • the terminal device 200 may further include a word storage module 222 in addition to the terminal device 200 according to the embodiment of FIG. 26.
  • the first word matching module 250 may determine the similarity between the preset words stored in the word storage module 222 according to the category information and the words on the text stream and select the word having the highest similarity as the recognition word.
  • the first control module 260 may control the operation of the speaker, the vibration device, and the lighting device by receiving control data matched with the recognition word from the internal memory module 221 when the similarity of the recognition word is greater than or equal to a preset similarity. Can be.
  • the words stored in the word storage module 222 may be composed of words included in the voice recognition improvement data received from the voice recognition improvement data storage server 500, and the terminal device 200 periodically performs voice recognition improvement data.
  • the preset words may be kept up to date in order to determine similarity for each category.
  • the terminal device 200 constituting the present invention may obtain book category information through the book information acquisition module A including the first camera module 280 and the book information acquisition module 190. More specifically, a cover or barcode of a book may be photographed through the first camera module 280 and the obtained image may be obtained using the result of the optical information reader (OCR) processing of the book information acquisition module 190. Can be.
  • OCR optical information reader
  • the present invention is not limited thereto, and may be obtained by surveying and reflecting age, gender, occupation, hobbies, interests, etc. of the user through a questionnaire previously performed in the terminal device 200.
  • the inventor of the present invention reads the book through the terminal device 200 having such a configuration, even if the reader of the book is pronounced somewhat inaccurately, by recognizing the most similar words for each category of the book and providing the effect according to the user, Achieve an effect that can double your enjoyment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Administration (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Toys (AREA)

Abstract

The present invention relates to a reading entertaining device and a driving method therefor, and is characterized in that higher levels of immersion and interest can be provided to both a person who reads a book and a person who listens to the story of the book, by recognizing words in a speech of a user who reads out loudly a book and variously providing effects such as adjustment of brightness or color of illumination according to a corresponding word.

Description

독서 엔터테이닝 장치 및 이의 구동 방법 Reading entertaining device and driving method thereof
본 발명은 책의 낭독 과정에서 주변의 조명의 밝기 또는 색 등을 변화시켜 책을 읽는 사람이나 듣는 사람에게 책의 내용에 대한 더 큰 집중도와 몰입도를 제공할 수 있는 독서 엔터테이닝(entertaining) 장치 및 이의 구동 방법에 관한 것이다. 또한, 조명의 밝기 및 색 조절과 함께, 다양한 음향 효과를 제공함으로써 독서 과정에서 더 큰 재미를 부여할 수 있는 독서 엔터테이닝 장치 및 이의 구동 방법에 관한 것이다.The present invention provides reading entertaining that can provide greater concentration and immersion to the contents of a book to a reader or a listener by changing the brightness or color of the surrounding light in the process of reading the book. An apparatus and a driving method thereof are provided. In addition, the present invention relates to a reading entertaining device and a driving method thereof, which provide a variety of sound effects together with brightness and color adjustment of illumination to give greater fun in the reading process.
책 읽어주기는 문자를 아직 미해득한 영유아나 어린이를 대상으로 자녀와의 친밀감을 높여주고 자녀에게 문자에 대한 관심을 높여주어 문자 해득 능력을 증가시켜 줄 수 있는 매우 좋은 방법이다. 이러한 책 읽어주기는 교사, 부모 등이 어린이에게 그림과 문자 언어를 번역하여 읽어주는 것으로서, 아직 문화적 경험이 미숙한 어린이들에게 교사, 부모 등의 해석에 따른 읽어주기를 통하여 어린이가 동화를 더 깊이 이해토록 하는 효과를 제공한다. Reading books is a very good way to increase children's ability to acquire texts by increasing intimacy with children and increasing their interest in texts for children and infants who have not yet acquired texts. The reading of the book is to translate the picture and text language to the child by the teacher, parents, etc., and the children are deeply assimilated by reading the interpretation of the teacher, parents, etc. to children who are still inexperienced in cultural experience. Provides an understanding effect
따라서, 가정에서뿐만 아니라 유치원이나 초등학교의 교육 현장에서도 교사와 학생 간의 친밀감 형성, 책에 대한 흥미 유발과 증진, 독서 습관 형성 문자 해득 등의 다양한 목적을 가진 책 읽어주기가 이루어지고 있다.Therefore, reading books for various purposes, such as forming intimacy between teachers and students, inducing and promoting interest in books, and acquiring reading habit-forming characters, are performed not only at home but also at educational sites in kindergarten or elementary schools.
또한, 부모나 교사가 어린이에게 소리를 내어 책을 읽어주는 것 이외에 자신이 혼자 책을 소리 내어 읽는 형태인 낭독의 경우도 글의 이미지나 정서가 효과적으로 스스로에게 전달되어 기억되는 점에서 언어 교육에서 매우 중요한 부분으로 알려져있다.In addition, in the case of reading aloud in which a parent or teacher reads a book aloud to a child, he or she reads the book aloud alone. Known as an important part.
그러나, 이처럼 낭독을 포함한 책 읽어주기의 긍정적 효과가 매우 큼에도 이러한 효과를 더욱 향상시켜 흥미를 고취시켜줄 수 있는 보조 도구의 개발은 미비한 실정이었다.However, even though the positive effects of reading books, including reading aloud, are so great, the development of auxiliary tools that can enhance these effects and inspire interest has been insufficient.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 책을 소리 내어 읽는 과정에서 책 읽기를 듣는 사람에게 흥미나 관심을 배가시켜줄 수 있는 독서 엔터테이닝 장치 및 이의 구동 방법을 제공하고자 한다.The present invention has been made to solve the above problems, and to provide a reading entertainment apparatus and a driving method thereof that can double the interest or interest to the person who reads the book in the process of reading the book out loud.
또한, 듣는 사람뿐 아니라, 책을 읽는 사람에게도 역시 흥미나 집중도를 배가시켜줄 수 있는 독서 엔터테이닝 장치 및 이의 구동 방법을 제공하고자 한다.In addition, it is intended to provide a reading entertainment apparatus and a driving method thereof that can double interest or concentration to not only the listener but also the reader.
상기한 목적을 달성하기 위해, 본 발명에서는 단말 디바이스(device)의 제1 마이크(mike) 모듈(module)이 소리 신호를 수신하는 단계; 상기 단말 디바이스의 제1 음성 신호 추출 모듈이 상기 소리 신호에서 음성 신호를 추출하는 단계; 상기 단말 디바이스의 제1 인코딩 모듈이 상기 음성 신호를 문자 인코딩(encoding)하여 텍스트(text) 스트림(stream)으로 변환하는 단계; 상기 단말 디바이스의 제1 단어 매칭(matching) 모듈이 상기 텍스트 스트림 상에 제1 단어 매칭 제어 데이터베이스(database)에 저장된 단어와 일치되는 단어가 있는지 여부를 확인하여 일치된 단어가 있는 경우, 해당 단어를 상기 단말 디바이스의 제1 제어 모듈로 전달하는 단계; 상기 제1 제어 모듈이 상기 제1 단어 매칭 제어 데이터베이스로부터 상기 해당 단어와 매칭된 제어 데이터를 수신하여 상기 단말 디바이스의 제1 데이터 송수신 모듈에 전달하는 단계; 상기 제1 데이터 송수신 모듈이 조명 상기 제어 데이터를 외부로 전송하는 단계;를 포함하는 것을 특징으로 하는 독서 엔터테이닝(entertaining) 장치의 구동 방법을 제공한다.In order to achieve the above object, the present invention comprises the steps of: receiving a sound signal by a first mike module of the terminal device; Extracting a voice signal from the sound signal by a first voice signal extraction module of the terminal device; Converting, by the first encoding module of the terminal device, the voice signal into a text stream; The first word matching module of the terminal device checks whether there is a word matching the word stored in the first word matching control database on the text stream, and if there is a matched word, the word is matched. Delivering to a first control module of the terminal device; Receiving, by the first control module, control data matched with the corresponding word from the first word matching control database to a first data transmission / reception module of the terminal device; And transmitting, by the first data transmitting and receiving module, the control data to the outside of the illumination.
또한, 본 발명에서는 단말 디바이스의 제1 데이터 송수신 모듈이 책 정보를 도서 매칭 제어 데이터 저장 서버(server)로 전송하는 단계; 상기 단말 디바이스가 상기 도서 매칭 제어 데이터 저장 서버로부터 제어 데이터를 수신받아 상기 단말 디바이스의 제1 단어 매칭 제어 데이터베이스에 저장하는 단계;를 포함하는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the present invention comprises the steps of: transmitting, by a first data transmission / reception module of a terminal device, book information to a book matching control data storage server; And receiving, by the terminal device, control data from the book matching control data storage server, and storing the control data in a first word matching control database of the terminal device. .
또한, 상기 책 정보는 상기 단말 디바이스의 제1 카메라(camera) 모듈을 통하여 촬영된 바코드(barcode) 형태의 국제표준도서번호(isbn, international standard book number)인 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.The book information may include an international standard book number (isbn) in the form of a barcode photographed through a first camera module of the terminal device. It provides a driving method.
또한, 본 발명은 조명 디바이스의 제2 데이터 송수신 모듈이 제어 데이터를 수신하는 단계; 상기 조명 디바이스의 제2 제어 모듈이 상기 제어 데이터를 기초로 상기 조명 디바이스의 제2 조명 모듈, 제2 스피커(speaker) 모듈, 제2 진동 모듈, 제2 송풍 모듈, 제2 분무 모듈 및 제2 향기 모듈 중 어느 하나 이상을 제어하는 단계;를 포함하는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the present invention includes the steps of receiving the control data by the second data transmission and reception module of the lighting device; The second control module of the lighting device is based on the control data, the second lighting module, the second speaker module, the second vibration module, the second blowing module, the second spray module and the second fragrance of the lighting device. Controlling any one or more of the modules; provides a method of driving a reading entertainment apparatus comprising a.
또한, 상기 제1 데이터 송수신 모듈은 블루투스(bluetooth) 또는 와이파이(wifi) 방식으로 작동되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the first data transmission / reception module provides a driving method of a reading and entertainment apparatus, which is operated in a Bluetooth or Wi-Fi manner.
또한, 상기 제2 데이터 송수신 모듈은 블루투스 또는 와이파이 방식으로 작동되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the second data transmission and reception module provides a driving method of the reading entertainment apparatus, characterized in that the operation by Bluetooth or Wi-Fi.
또한, 상기 제2 조명 모듈은 엘이디(LED)로 구성된 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the second lighting module provides a driving method of the reading entertainment apparatus, characterized in that consisting of LED (LED).
또한, 상기 제어 데이터는 조명 제어 데이터, 스피커 제어 데이터, 진동 제어 데이터, 송풍 제어 데이터, 분무 제어 데이터 및 향기 제어 데이터 중 어느 하나 이상을 포함하는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.The control data may include at least one of lighting control data, speaker control data, vibration control data, air blowing control data, spray control data, and fragrance control data. do.
또한, 상기 조명 제어 데이터는 알지비(RGB) 가중치 포맷(format)으로 구성된 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the lighting control data provides a driving method of the reading entertainment apparatus, characterized in that configured in the RGB weight format.
또한, 본 발명은 도서 매칭 제어 데이터 저장 서버가 단말 디바이스로부터 책 정보를 수신하는 단계; 상기 도서 매칭 제어 데이터 저장 서버가 수신된 책 정보에 대응되는 제어 데이터를 도서 매칭 제어 데이터베이스에서 검색하여 상기 단말 디바이스로 전송하는 단계;를 포함하는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the present invention comprises the steps of the book matching control data storage server receiving book information from the terminal device; And searching, by the book matching control data storage server, control data corresponding to the received book information in a book matching control database and transmitting the book data to the terminal device. do.
또한, 본 발명은 소리 신호가 수신되는 단계; 상기 소리 신호로부터 음성 신호가 추출되는 단계; 상기 음성 신호가 문자 인코딩되어 텍스트 스트림으로 변환되는 단계; 상기 텍스트 스트림 상에 기설정된 단어와 매칭되는 단어가 있는지 여부가 확인되는 단계; 상기 텍스트 스트림 상에 기설정된 단어와 매칭되는 단어가 있는 경우, 상기 기설정된 단어와 매칭된 제어 데이터를 기초로 조명이 제어되는 단계;가 포함되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the present invention comprises the steps of receiving a sound signal; Extracting a voice signal from the sound signal; The speech signal is text encoded and converted into a text stream; Checking whether there is a word on the text stream that matches a preset word; If there is a word matching a predetermined word on the text stream, lighting is controlled based on the control data matched with the predetermined word; driving method of a reading entertainment apparatus comprising a to provide.
또한, 상기 제어 데이터는 책의 국제표준번호에 따라 매칭되어 있는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the control data provides a driving method of the reading and entertainment apparatus, characterized in that matching according to the international standard number of the book.
또한, 본 발명은 책의 국제표준번호에 매칭되어 있는 제어 데이터를 수신하는 단계; 상기 제어 데이터를 기초로 조명이 제어되는 단계;가 포함되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the present invention includes the steps of receiving control data matching the international standard number of the book; It provides a method of driving a reading entertainment apparatus comprising a; controlling the lighting based on the control data.
또한, 본 발명은 소리 신호를 수신하는 제1 마이크 모듈; 제어 데이터를 저장하고 있는 제1 단어 매칭 제어 데이터베이스; 상기 제1 마이크 모듈이 수신한 소리 신호로부터 음성 신호를 추출하는 제1 음성 추출 모듈; 상기 제1 음성 추출 모듈이 추출한 음성 신호를 문자 인코딩하여 텍스트 스트림으로 변환하는 제1 인코딩 모듈; 상기 제1 인코딩 모듈로부터 상기 텍스트 스트림을 전달받아 상기 텍스트 스트림 상에 상기 제1 단어 매칭 제어 데이터베이스에 저장된 단어와 일치되는 단어가 있는지 여부를 확인하여 해당 단어로 산출하는 제1 단어 매칭 모듈; 상기 제1 단어 매칭 모듈로부터 상기 해당 단어를 전달받아 상기 해당 단어와 매칭된 제어 데이터를 상기 제1 단어 매칭 제어 데이터베이스로부터 추출하는 제1 제어 모듈; 상기 제1 제어 모듈로부터 상기 제어 데이터를 수신하여 외부로 전송하는 제1 데이터 송수신 모듈;을 포함하는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the present invention includes a first microphone module for receiving a sound signal; A first word matching control database storing control data; A first voice extraction module for extracting a voice signal from the sound signal received by the first microphone module; A first encoding module for character-encoding the speech signal extracted by the first speech extraction module and converting the speech signal into a text stream; A first word matching module which receives the text stream from the first encoding module and checks whether there is a word matching the word stored in the first word matching control database on the text stream and calculates the word as a corresponding word; A first control module receiving the word from the first word matching module and extracting control data matched with the word from the first word matching control database; And a first data transmission / reception module for receiving the control data from the first control module and transmitting the control data to the outside.
또한, 제1 카메라 모듈; 상기 제1 카메라 모듈을 통하여 촬영된 바코드를 인식하여 국제표준도서번호로 변환하는 ;을 더 포함하며, 상기 제1 제어 모듈은 상기 이 획득한 국제표준도서번호를 상기 제1 데이터 송수신 모듈을 통하여 도서 매칭 제어 데이터 서버로 전송하고, 상기 도서 매칭 제어 데이터 서버로부터 갱신되는 제어 데이터를 수신하여 상기 제1 단어 매칭 제어 데이터베이스에 저장하는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the first camera module; And converting the barcode photographed through the first camera module into an international standard book number, wherein the first control module converts the obtained international standard book number through the first data transmission / reception module. And a control data updated from the book matching control data server and stored in the first word matching control database.
또한, 본 발명은 제2 조명 모듈을 포함하는 효과 파트(part); 제어 데이터를 수신하는 제2 데이터 송수신 모듈; 상기 제어 데이터를 기초로 상기 효과 파트를 제어하는 제2 제어 모듈;을 포함하는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.The present invention also provides an effect part including a second lighting module; A second data transmission / reception module for receiving control data; And a second control module for controlling the effect part on the basis of the control data.
또한, 본 발명은 제2 조명 모듈을 포함하는 효과 파트; 소리 신호를 수신하는 제2 마이크 모듈; 상기 제어 데이터를 저장하고 있는 제2 단어 매칭 제어 데이터베이스; 상기 제2 마이크 모듈이 수신한 소리 신호로부터 음성 신호를 추출하는 제2 음성 추출 모듈; 상기 제2 음성 추출 모듈이 추출한 음성 신호를 문자 인코딩하여 텍스트 스트림으로 변환하는 제2 인코딩 모듈; 상기 제2 인코딩 모듈로부터 상기 텍스트 스트림을 전달받아 상기 텍스트 스트림 상에 상기 제2 단어 매칭 제어 데이터베이스에 저장된 단어와 일치되는 단어가 있는지 여부를 확인하여 해당 단어로 산출하는 제2 단어 매칭 모듈; 상기 제2 단어 매칭 모듈로부터 상기 해당 단어를 전달받아 상기 해당 단어와 매칭된 제어 데이터를 상기 제1 단어 매칭 제어 데이터베이스로부터 추출하는 제2 제어 모듈; 상기 제어 데이터를 기초로 상기 효과 파트를 제어하는 제2 제어 모듈;을 포함하는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.The present invention also provides an effect part comprising a second lighting module; A second microphone module for receiving a sound signal; A second word matching control database storing the control data; A second voice extraction module for extracting a voice signal from the sound signal received by the second microphone module; A second encoding module which character-encodes the speech signal extracted by the second speech extraction module into a text stream; A second word matching module which receives the text stream from the second encoding module and checks whether there is a word matching the word stored in the second word matching control database on the text stream and calculates the word as a corresponding word; A second control module receiving the corresponding word from the second word matching module and extracting control data matched with the corresponding word from the first word matching control database; And a second control module for controlling the effect part on the basis of the control data.
또한, 제2 송수신 모듈; 제2 카메라 모듈; 상기 제2 카메라 모듈을 통하여 촬영된 바코드를 인식하여 국제표준도서번호로 변환하는 ;을 더 포함하며, 상기 제2 제어 모듈은 상기 이 획득한 국제표준번호를 상기 제2 데이터 송수신 모듈을 통하여 도서 매칭 제어 데이터베이스 서버로 전송하고, 상기 도서 매칭 제어 데이터 서버로부터 갱신되는 제어 데이터를 수신하여 상기 제2 단어 매칭 제어 데이터베이스에 저장하는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the second transmission and reception module; A second camera module; And converting the barcode photographed through the second camera module into an international standard book number, wherein the second control module matches the obtained international standard number with the second data transmission / reception module. And transmitting the control data updated from the book matching control data server to the control database server and storing the updated control data in the second word matching control database.
또한, 상기 효과 파트는 제2 스피커 모듈; 제2 진동 모듈; 제2 송풍 모듈; 제2 분무 모듈; 제2 향기 모듈;을 더 포함하여 구성되는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.The effect part may include a second speaker module; A second vibration module; A second blowing module; A second spray module; It provides a reading entertaining device, characterized in that it further comprises; a second fragrance module.
또한, 본 발명은 수신 모듈; 책 정보별로 단어 관련 제어 데이터를 저장하고 있는 도서 매칭 제어 데이터베이스; 상기 수신 모듈을 통하여 책 정보를 수신하고, 상기 책 정보에 대응되는 제어 데이터를 상기 도서 매칭 제어 데이터베이스에서 추출하는 중앙 제어 모듈; 상기 중앙 제어 모듈이 추출한 제어 데이터를 외부로 전송하는 송신 모듈;을 포함하는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the present invention includes a receiving module; A book matching control database that stores word related control data for each book information; A central control module for receiving book information through the receiving module and extracting control data corresponding to the book information from the book matching control database; And a transmission module for transmitting the control data extracted by the central control module to an external device.
또한, 상기 중앙 제어 모듈은 상기 수신 모듈이 갱신 요청 신호에 수반된 제어 데이터를 수신시, 상기 도서 매칭 제어 데이터베이스에 제어 데이터를 상기 갱신 요청 신호에 수반된 제어 데이터로 교체하는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.The central control module, when the receiving module receives the control data accompanying the update request signal, replaces the control data with the control data accompanying the update request signal in the book matching control database. Provides a retaining device.
또한, 본 발명은 조명 디바이스의 제2 데이터 송수신 모듈이 제어 데이터를 수신하는 단계; 상기 조명 디바이스의 제2 제어 모듈이 상기 제어 데이터를 기초로 상기 조명 디바이스의 제2 조명 모듈, 제2 스피커(speaker) 모듈, 제2 진동 모듈, 제2 송풍 모듈, 제2 분무 모듈 및 제2 향기 모듈 중 어느 하나 이상을 제어하는 단계;를 포함하고, 상기 제2 조명 모듈은 레드(red) 엘이디, 그린(green) 엘이디 및 블루(blue) 엘이디로 구성된 풀(full) 컬러(color) 조명 모듈인 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the present invention includes the steps of receiving the control data by the second data transmission and reception module of the lighting device; The second control module of the lighting device is based on the control data, the second lighting module, the second speaker module, the second vibration module, the second blowing module, the second spray module and the second fragrance of the lighting device. Controlling any one or more of the modules; wherein the second lighting module is a full color lighting module consisting of red LEDs, green LEDs, and blue LEDs. Provided is a driving method of a reading entertainment apparatus.
또한, 본 발명은 단말 디바이스(device)의 제1 마이크(mike) 모듈(module)이 소리 신호를 수신하는 단계; 상기 단말 디바이스의 제1 음성 신호 추출 모듈이 상기 소리 신호에서 음성 신호를 추출하는 단계; 상기 단말 디바이스의 제1 인코딩 모듈이 상기 음성 신호를 문자 인코딩(encoding)하여 텍스트(text) 스트림(stream)으로 변환하는 단계; 상기 단말 디바이스의 제1 단어 매칭(matching) 모듈이 상기 텍스트 스트림 상에 제1 단어 매칭 제어 데이터베이스(database)에 저장된 단어와 일치되는 단어가 있는지 여부를 확인하여 일치된 단어가 있는 경우, 해당 단어를 상기 단말 디바이스의 제1 제어 모듈로 전달하는 단계; 상기 제1 제어 모듈이 상기 제1 단어 매칭 제어 데이터베이스로부터 상기 해당 단어와 매칭된 제어 데이터를 수신하여 상기 단말 디바이스의 제1 데이터 송수신 모듈에 전달하는 단계; 상기 제1 데이터 송수신 모듈이 조명 상기 제어 데이터를 외부로 전송하는 단계;를 포함하고, 상기 단말 디바이스는 스마트 폰(smart phone)인것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the present invention comprises the steps of receiving a sound signal by a first mike module of the terminal device; Extracting a voice signal from the sound signal by a first voice signal extraction module of the terminal device; Converting, by the first encoding module of the terminal device, the voice signal into a text stream; The first word matching module of the terminal device checks whether there is a word matching the word stored in the first word matching control database on the text stream, and if there is a matched word, the word is matched. Delivering to a first control module of the terminal device; Receiving, by the first control module, control data matched with the corresponding word from the first word matching control database to a first data transmission / reception module of the terminal device; And transmitting, by the first data transmission / reception module, the control data to the outside, wherein the terminal device is a smart phone.
또한, 본 발명은 도서 매칭 제어 데이터 저장 서버가 단말 디바이스로부터 책 정보를 수신하는 단계; 상기 도서 매칭 제어 데이터 저장 서버가 수신된 책 정보에 대응되는 제어 데이터를 도서 매칭 제어 데이터베이스에서 검색하여 상기 단말 디바이스로 전송하는 단계;를 포함하고, 상기 책 정보는 국제표준도서번호인 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the present invention comprises the steps of the book matching control data storage server receiving book information from the terminal device; And searching, by the book matching control data storage server, control data corresponding to the received book information in a book matching control database and transmitting the book data to the terminal device, wherein the book information is an international standard book number. A method of driving a reading entertainment apparatus is provided.
또한, 본 발명은 소리 신호가 수신되는 단계; 상기 소리 신호로부터 음성 신호가 추출되는 단계; 상기 음성 신호가 문자 인코딩되어 텍스트 스트림으로 변환되는 단계; 상기 텍스트 스트림 상에 기설정된 단어와 매칭되는 단어가 있는지 여부가 확인되는 단계; 상기 텍스트 스트림 상에 기설정된 단어와 매칭되는 단어가 있는 경우, 상기 기설정된 단어와 매칭된 제어 데이터를 기초로 조명이 제어되는 단계; 상기 기설정된 단어와 매칭된 제어 데이터를 기초로 스피커, 진동 소자, 팬, 분무기 및 향기 발생기 중 어느 하나 이상이 제어되는 단계;가 포함되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the present invention comprises the steps of receiving a sound signal; Extracting a voice signal from the sound signal; The speech signal is text encoded and converted into a text stream; Checking whether there is a word on the text stream that matches a preset word; If there is a word on the text stream that matches a preset word, lighting is controlled based on control data matched with the preset word; And controlling at least one of a speaker, a vibrating element, a fan, a nebulizer, and a scent generator based on the control data matched with the preset word. .
또한, 본 발명은 소리 신호를 수신하는 제1 마이크 모듈; 제어 데이터를 저장하고 있는 제1 단어 매칭 제어 데이터베이스; 상기 제1 마이크 모듈이 수신한 소리 신호로부터 음성 신호를 추출하는 제1 음성 추출 모듈; 상기 제1 음성 추출 모듈이 추출한 음성 신호를 문자 인코딩하여 텍스트 스트림으로 변환하는 제1 인코딩 모듈; 상기 제1 인코딩 모듈로부터 상기 텍스트 스트림을 전달받아 상기 텍스트 스트림 상에 상기 제1 단어 매칭 제어 데이터베이스에 저장된 단어와 일치되는 단어가 있는지 여부를 확인하여 해당 단어로 산출하는 제1 단어 매칭 모듈; 상기 제1 단어 매칭 모듈로부터 상기 해당 단어를 전달받아 상기 해당 단어와 매칭된 제어 데이터를 상기 제1 단어 매칭 제어 데이터베이스로부터 추출하는 제1 제어 모듈; 상기 제1 제어 모듈로부터 상기 제어 데이터를 수신하여 외부로 전송하는 제1 데이터 송수신 모듈;을 포함하고, 상기 제1 데이터 송수신 모듈은 블루투스 또는 와이파이 방식으로 작동되는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the present invention includes a first microphone module for receiving a sound signal; A first word matching control database storing control data; A first voice extraction module for extracting a voice signal from the sound signal received by the first microphone module; A first encoding module for character-encoding the speech signal extracted by the first speech extraction module and converting the speech signal into a text stream; A first word matching module which receives the text stream from the first encoding module and checks whether there is a word matching the word stored in the first word matching control database on the text stream and calculates the word as a corresponding word; A first control module receiving the word from the first word matching module and extracting control data matched with the word from the first word matching control database; And a first data transmission / reception module configured to receive the control data from the first control module and transmit the control data to the outside, wherein the first data transmission / reception module is operated in a Bluetooth or Wi-Fi manner. to provide.
또한, 본 발명은 제2 조명 모듈을 포함하는 효과 파트(part); 제어 데이터를 수신하는 제2 데이터 송수신 모듈; 상기 제어 데이터를 기초로 상기 효과 파트를 제어하는 제2 제어 모듈;을 포함하고, 상기 제2 송수신 모듈은 블루투스 또는 와이파이 방식으로 작동되는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.The present invention also provides an effect part including a second lighting module; A second data transmission / reception module for receiving control data; And a second control module for controlling the effect part based on the control data, wherein the second transmission / reception module is operated in a Bluetooth or Wi-Fi manner.
또한, 상기 제2 조명 모듈은 엘이디로 구성된 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the second lighting module provides a reading entertainment apparatus, characterized in that consisting of the LED.
또한, 상기 제2 조명 모듈은 레드 엘이디, 그린 엘이디 및 블루 엘이디로 구성된 풀 컬러 조명 모듈인 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the second lighting module provides a reading entertainment apparatus, characterized in that the full color lighting module consisting of a red LED, a green LED and a blue LED.
또한, 상기 제어 데이터는 조명 제어 데이터, 스피커 제어 데이터, 진동 제어 데이터, 송풍 제어 데이터, 분무 제어 데이터 및 향기 제어 데이터 중 어느 하나 이상을 포함하는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.The control data may include at least one of lighting control data, speaker control data, vibration control data, air blowing control data, spray control data, and fragrance control data.
또한, 상기 조명 제어 데이터는 알지비 가중치 포맷으로 구성된 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the lighting control data provides a reading entertaining device, characterized in that configured in the Algi ratio weight format.
또한, 단말 디바이스(device)가 제1 카메라(camera) 모듈(module)을 통하여 책 정보를 수신하는 단계; 상기 단말 디바이스가 상기 책 정보에 대응되는 제어 데이터를 내부 메모리(memory) 모듈로 로딩(loading)하는 단계; 상기 단말 디바이스가 제1 마이크(mike) 모듈을 통하여 소리 신호를 수신하는 단계; 상기 단말 디바이스가 제1 음성 추출 모듈을 통하여 상기 소리 신호로부터 음성 신호를 추출하는 단계; 상기 단말 디바이스가 제1 인코딩(encoding) 모듈을 통하여 상기 음성 신호를 텍스트(text) 스트림(stream)으로 변환하는 단계; 상기 단말 디바이스가 제1 단어 매칭(matching) 모듈을 통하여 상기 텍스트 스트림 중에서 상기 제어 데이터에 포함된 싱크(sink) 단어와 일치되는 단어가 있는지 여부를 확인하는 단계; 상기 텍스트 스트림 중에서 상기 제어 데이터에 포함된 싱크 단어와 일치되는 단어가 있는 경우, 상기 단말 디바이스가 제어 순서를 가리키는 포인터(pointer)를 해당 싱크 단어의 위치를 가리키도록 수정하는 단계;를 포함하는 것을 특징으로 하는 독서 엔터테이닝(entertaining) 장치의 구동 방법을 제공한다.The method may further include receiving, by a terminal device, book information through a first camera module; Loading, by the terminal device, control data corresponding to the book information into an internal memory module; Receiving, by the terminal device, a sound signal through a first mike module; Extracting, by the terminal device, a voice signal from the sound signal through a first voice extraction module; Converting, by the terminal device, the voice signal into a text stream through a first encoding module; Checking, by the terminal device, whether there is a word in the text stream that matches a sink word included in the control data through a first word matching module; If there is a word in the text stream that matches a sync word included in the control data, the terminal device modifying a pointer indicating a control order to point to a location of the corresponding sync word; A driving method of a reading entertaining device is provided.
또한, 상기 텍스트 스트림 중에서 상기 제어 데이터에 포함된 싱크 단어와 일치되는 단어가 있는 경우, 상기 단말 디바이스가 제어 순서를 가리키는 포인터를 해당 싱크 단어의 위치를 가리키도록 수정하는 단계 이후에, 상기 단말 디바이스가 상기 해당 싱크 단어와 관련된 제어 데이터를 수행하는 단계;를 더 포함하는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, when there is a word in the text stream that matches the sync word included in the control data, after the step of the terminal device modifying the pointer indicating the control order to indicate the location of the sync word, the terminal device Performing control data related to the corresponding sync word; and providing a driving method of the reading entertainment apparatus.
또한, 상기 텍스트 스트림 중에서 상기 제어 데이터에 포함된 싱크 단어와 일치되는 단어가 있는 경우, 상기 단말 디바이스가 제어 순서를 가리키는 포인터를 해당 싱크 단어의 위치를 가리키도록 수정하는 단계 이후에, 상기 단말 디바이스가 제1 단어 매칭 모듈을 통하여 상기 텍스트 스트림 중에서 상기 제어 데이터에 포함된 제어 단어와 일치되는 단어가 있는지 여부가 확인되는 단계; 상기 제어 데이터에 포함된 제어 단어와 일치되는 단어가 있는 경우, 상기 단말 디바이스가 상기 해당 제어 단어와 관련된 제어 데이터를 수행하는 단계;가 더 포함되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, when there is a word in the text stream that matches the sync word included in the control data, after the step of the terminal device modifying the pointer indicating the control order to indicate the location of the sync word, the terminal device Checking whether there is a word in the text stream that matches a control word included in the control data through a first word matching module; If there is a word matching the control word included in the control data, the terminal device to perform the control data associated with the control word; driving method of the reading entertainment apparatus further comprising to provide.
또한, 상기 제어 데이터에 포함된 제어 단어와 일치되는 단어가 있는 경우, 상기 단말 디바이스가 상기 해당 제어 단어와 관련된 제어 데이터를 수행하는 단계 이후에, 상기 단말 디바이스가 상기 포인터를 상기 해당 제어 단어의 위치를 가리키도록 수정하는 단계;가 더 포함되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, when there is a word that matches a control word included in the control data, after the terminal device performs control data related to the control word, the terminal device moves the pointer to the position of the control word. Modifying to point to the; provides a method of driving a reading entertainment apparatus further comprises.
또한, 상기 단말 디바이스가 상기 책 정보에 해당되는 제어 데이터가 기저장되어 있는지 여부를 확인하는 단계; 상기 책 정보에 해당되는 제어 데이터가 기저장되어 있지 않은 경우에는, 상기 단말 디바이스가 상기 책 정보를 도서 매칭 제어 데이터 저장 서버(server)로 전송하는 단계; 상기 단말 디바이스가 상기 책 정보에 대응되는 제어 데이터를 상기 도서 매칭 제어 데이터 저장 서버로부터 수신하는 단계;가 더 포함되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.The method may further include: checking, by the terminal device, whether control data corresponding to the book information is stored in advance; If the control data corresponding to the book information is not stored in advance, transmitting, by the terminal device, the book information to a book matching control data storage server; The terminal device receives the control data corresponding to the book information from the book matching control data storage server; provides a method of driving a reading entertainment apparatus further comprises.
또한, 단말 디바이스(device)가 제1 카메라(camera) 모듈(module)을 통하여 책 정보를 수신하는 단계 이전에, 외부 조명 모듈을 상기 단말 디바이스에 연결하는 단계;가 더 포함되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.The method may further include connecting an external lighting module to the terminal device before the terminal device receives the book information through the first camera module. Provided is a driving method of an entertainment apparatus.
또한, 본 발명은 책 정보를 입력받는 단계; 상기 책 정보에 대응되는 제어 데이터(data)가 로딩(loading)되는 단계; 소리 신호가 수신되는 단계; 상기 소리 신호에서 음성 신호가 추출되는 단계; 상기 음성 신호가 텍스트 스트림(text stream)으로 변환되는 단계; 상기 텍스트 스트림 중에서 상기 제어 데이터에 포함된 싱크(sink) 단어와 일치되는 단어가 있는지 여부가 확인되는 단계; 상기 텍스트 스트림 중에서 상기 제어 데이터에 포함된 싱크 단어와 일치되는 단어가 있는 경우, 제어 순서를 가리키는 포인터(pointer)가 해당 싱크 단어의 위치를 가리키는 단계;가 포함되는 것을 특징으로 하는 독서 엔터테이닝(entertaining) 장치의 구동 방법을 제공한다.In addition, the present invention comprises the steps of receiving book information; Loading control data corresponding to the book information; Receiving a sound signal; Extracting a voice signal from the sound signal; Converting the speech signal into a text stream; Checking whether there is a word in the text stream that matches a sink word included in the control data; If there is a word in the text stream that matches the sync word included in the control data, a pointer indicating a control order indicates the position of the sync word; entertaining).
또한, 상기 텍스트 스트림 중에서 상기 제어 데이터에 포함된 싱크 단어와 일치되는 단어가 있는 경우, 제어 순서를 가리키는 포인터(pointer)가 해당 싱크 단어의 위치를 가리키는 단계 이후에, 상기 해당 싱크 단어와 관련된 제어 데이터가 수행되는 단계;가 더 포함되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, when there is a word in the text stream that matches the sync word included in the control data, after the pointer indicating the control order indicates the position of the sync word, the control data related to the sync word. The step of performing; provides a driving method of the reading entertainment apparatus further comprises.
또한, 상기 텍스트 스트림 중에서 상기 제어 데이터에 포함된 싱크 단어와 일치되는 단어가 있는 경우, 제어 순서를 가리키는 포인터(pointer)가 해당 싱크 단어의 위치를 가리키는 단계 이후에, 상기 텍스트 스트림 중에서 상기 제어 데이터에 포함된 제어 단어와 일치되는 단어가 있는지 여부가 확인되는 단계; 상기 텍스트 스트림 중에서 상기 제어 데이터에 포함된 제어 단어와 일치되는 단어가 있는 경우, 해당 제어 단어와 관련된 제어 데이터가 수행되는 단계;가 더 포함되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, when there is a word in the text stream that matches the sync word included in the control data, after the pointer indicating the control order indicates the position of the sync word, the control data is included in the control data in the text stream. Checking whether there is a word matching the included control word; When there is a word in the text stream that matches the control word included in the control data, the step of performing control data associated with the control word; Provides a method of driving a reading and entertainment apparatus further comprising do.
또한, 상기 텍스트 스트림 중에서 상기 제어 데이터에 포함된 제어 단어와 일치되는 단어가 있는 경우, 해당 제어 단어와 관련된 제어 데이터가 수행되는 단계가 수행되는 이후에, 상기 포인터가 상기 해당 제어 단어를 가리키도록 수정되는 단계;가 더 포함되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, when there is a word in the text stream that matches the control word included in the control data, after the step of performing control data related to the control word is performed, the pointer may point to the corresponding control word. It provides a method of driving a reading and entertainment apparatus further comprising;
또한, 책 정보를 입력받는 단계 이후에, 상기 책 정보에 해당되는 제어 데이터가 기저장되어 있는지 여부가 확인되는 단계; 상기 책 정보에 해당되는 제어 데이터가 기저장되어있지 않은 경우에는, 상기 책 정보를 외부로 전송하고 상기 책 정보에 대응되는 제어 데이터를 수신하는 단계;가 더 포함되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, after the step of receiving the book information, checking whether the control data corresponding to the book information is stored in advance; If the control data corresponding to the book information is not pre-stored, transmitting the book information to the outside and receiving the control data corresponding to the book information; Reading entertaining further comprising Provided is a method of driving a device.
또한, 상기 싱크 단어는 상기 책에서 노출되는 빈도가 기설정된 빈도 이하의 단어인 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.The sync word may provide a driving method of the reading entertainment apparatus, wherein the frequency of the sync word is a word less than or equal to a preset frequency.
또한, 상기 싱크 단어는 상기 책에 포함된 단어 중에서 의태어에 해당하는 단어인 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.The sync word may provide a driving method of a reading and entertainment apparatus, wherein the sync word is a word corresponding to a pseudonym among words included in the book.
또한, 상기 싱크 단어는 소리 또는 빛으로 표현이 안되는 단어인 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the sync word provides a driving method of the reading entertainment apparatus, characterized in that the word is not represented by sound or light.
또한, 상기 제어 단어는 의성어인 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the control word provides a driving method of the reading entertainment apparatus, characterized in that the onset.
또한, 상기 제어 단어는 소리 또는 빛으로 표현이 가능한 단어인 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the control word provides a driving method of the reading entertainment apparatus, characterized in that the word can be represented by sound or light.
또한, 상기 제어 데이터는 스피커 또는 조명에 대한 제어 신호가 포함되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the control data provides a driving method of the reading and entertainment apparatus, characterized in that it comprises a control signal for the speaker or lighting.
또한, 상기 조명에 대한 제어 신호는 알지비(RGB) 가중치 포맷(format)으로 구성된 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the control signal for the illumination provides a driving method of the reading entertainment apparatus, characterized in that configured in the RGB weight format.
또한, 상기 책 정보는 국제표준도서번호인 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the book information provides a driving method of the reading entertainment apparatus, characterized in that the international standard book number.
또한, 본 발명은 제1 카메라 모듈; 제1 송수신 모듈; 제1 마이크 모듈; 상기 제1 카메라 모듈을 통하여 촬영된 바코드(barcode)를 인식하여 국제표준도서번호로 변환하는 제1 도서 정보 획득 모듈; 상기 제1 도서 정보 획득 모듈을 통하여 획득한 국제표준도서번호에 대응되는 제어 데이터를 저장하는 내부 메모리 모듈; 상기 제1 마이크 모듈이 수신한 소리 신호로부터 음성 신호를 추출하는 제1 음성 추출 모듈; 상기 제1 음성 추출 모듈이 추출한 음성 신호를 문자 인코딩하여 텍스트 스트림으로 변환하는 제1 인코딩 모듈; 상기 제1 인코딩 모듈로부터 상기 텍스트 스트림을 전달받아 상기 텍스트 스트림 상에 상기 제어 데이터에 포함된 싱크 단어 또는 제어 단어와 일치되는 단어가 있는지 여부를 확인하는 제1 단어 매칭 모듈; 상기 제1 단어 매칭 모듈로부터 일치되는 싱크 단어 또는 제어 단어 정보를 전달받고, 해당 싱크 단어 또는 해당 제어 단어와 관련된 제어 데이터를 수행하며, 제어 순서를 가리키는 포인터가 해당 싱크 단어 또는 해당 제어 단어의 위치를 가리키도록 수정하는 제1 제어 모듈;을 포함하는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the present invention is a first camera module; A first transmission / reception module; A first microphone module; A first book information acquisition module for recognizing a barcode photographed through the first camera module and converting the barcode into an international standard book number; An internal memory module for storing control data corresponding to an international standard book number acquired through the first book information acquisition module; A first voice extraction module for extracting a voice signal from the sound signal received by the first microphone module; A first encoding module for character-encoding the speech signal extracted by the first speech extraction module and converting the speech signal into a text stream; A first word matching module receiving the text stream from the first encoding module and checking whether there is a word corresponding to a sync word or a control word included in the control data on the text stream; Receive the matched sync word or control word information from the first word matching module, perform control data related to the sync word or the control word, and a pointer indicating a control order indicates the position of the sync word or the control word. It provides a reading entertainment apparatus comprising a; first control module to modify to point.
또한, 별도로 장착되는 외부 조명 모듈;을 더 포함하는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, it provides a reading entertainment apparatus further comprises; an external lighting module mounted separately.
또한, 상기 제1 제어 모듈은 상기 국제표준도서번호에 대응되는 제어 데이터가 상기 내부 메모리 모듈에 기저장되어 있지 않은 경우 상기 국제표준도서번호를 상기 제1 송수신 모듈을 통하여 도서 매칭 제어 데이터 저장 서버로 전송하고, 상기 제1 송수신 모듈을 통하여 상기 도서 매칭 제어 데이터 저장 서버로부터 상기 국제표준도서번호에 대응하는 제어 데이터를 수신하여 상기 내부 메모리에 저장하는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.The first control module transmits the international standard book number to the book matching control data storage server through the first transmission / reception module when control data corresponding to the international standard book number is not stored in the internal memory module. And transmitting and receiving the control data corresponding to the international standard book number from the book matching control data storage server through the first transmission / reception module and storing the control data in the internal memory.
또한, 상기 싱크 단어는 상기 책에서 노출되는 빈도가 기설정된 빈도 이하의 단어인 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the sync word provides a reading entertainment apparatus, characterized in that the frequency of exposure in the book is less than a predetermined frequency word.
또한, 상기 싱크 단어는 상기 책에 포함된 단어 중에서 의태어에 해당하는 단어인 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the sync word provides a reading entertainment apparatus, characterized in that the word corresponding to the pseudonymetic word included in the book.
또한, 상기 싱크 단어는 소리 또는 빛으로 표현이 안되는 단어인 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the sync word provides a reading entertainment apparatus, characterized in that the words that can not be represented by sound or light.
또한, 상기 제어 단어는 의성어인 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the control word is a reading entertaining device, characterized in that the onset.
또한, 상기 제어 단어는 소리 또는 빛으로 표현 가능한 단어인 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the control word provides a reading entertainment apparatus, characterized in that the word can be represented by sound or light.
또한, 상기 제어 데이터는 스피커 또는 조명에 대한 제어 신호가 포함되는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the control data provides a reading and entertaining device, characterized in that it comprises a control signal for the speaker or lighting.
또한, 상기 조명에 대한 제어 신호는 알지비 가중치 포맷으로 구성된 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the control signal for the illumination provides a reading entertaining device, characterized in that configured in the Algi ratio weight format.
또한, 본 발명은 단말 디바이스에 외부 조명 모듈이 연결되는 단계; 상기 단말 디바이스(device)가 제1 카메라(camera) 모듈(module)을 통하여 책 정보를 수신하는 단계; 상기 단말 디바이스가 상기 책 정보에 대응되는 제어 데이터를 내부 메모리(memory) 모듈로 로딩(loading)하는 단계; 상기 단말 디바이스가 제1 마이크(mike) 모듈을 통하여 소리 신호를 수신하는 단계; 상기 단말 디바이스가 제1 음성 추출 모듈을 통하여 상기 소리 신호로부터 음성 신호를 추출하는 단계; 상기 단말 디바이스가 제1 인코딩(encoding) 모듈을 통하여 상기 음성 신호를 텍스트(text) 스트림(stream)으로 변환하는 단계; 상기 단말 디바이스가 제1 단어 매칭(matching) 모듈을 통하여 상기 텍스트 스트림 중에서 상기 제어 데이터에 포함된 싱크(sink) 단어와 일치되는 단어가 있는지 여부를 확인하는 단계; 상기 텍스트 스트림 중에서 상기 제어 데이터에 포함된 싱크 단어와 일치되는 단어가 있는 경우, 상기 단말 디바이스가 제어 순서를 가리키는 포인터(pointer)를 해당 싱크 단어의 위치를 가리키도록 수정하는 단계;를 포함하고, 상기 외부 조명 모듈은 엘이디(LED)로 구성된 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the present invention comprises the steps of connecting the external lighting module to the terminal device; Receiving, by the terminal device, book information through a first camera module; Loading, by the terminal device, control data corresponding to the book information into an internal memory module; Receiving, by the terminal device, a sound signal through a first mike module; Extracting, by the terminal device, a voice signal from the sound signal through a first voice extraction module; Converting, by the terminal device, the voice signal into a text stream through a first encoding module; Checking, by the terminal device, whether there is a word in the text stream that matches a sink word included in the control data through a first word matching module; If there is a word in the text stream that matches a sync word included in the control data, the terminal device modifying a pointer indicating a control order to point to a location of the corresponding sync word; The external lighting module provides a driving method of the reading entertainment apparatus, characterized in that consisting of LED (LED).
또한, 본 발명은 제1 카메라 모듈; 제1 송수신 모듈; 제1 마이크 모듈; 상기 제1 카메라 모듈을 통하여 촬영된 바코드(barcode)를 인식하여 국제표준도서번호로 변환하는 제1 도서 정보 획득 모듈; 상기 제1 도서 정보 획득 모듈을 통하여 획득한 국제표준도서번호에 대응되는 제어 데이터를 저장하는 내부 메모리 모듈; 상기 제1 마이크 모듈이 수신한 소리 신호로부터 음성 신호를 추출하는 제1 음성 추출 모듈; 상기 제1 음성 추출 모듈이 추출한 음성 신호를 문자 인코딩하여 텍스트 스트림으로 변환하는 제1 인코딩 모듈; 상기 제1 인코딩 모듈로부터 상기 텍스트 스트림을 전달받아 상기 텍스트 스트림 상에 상기 제어 데이터에 포함된 싱크 단어 또는 제어 단어와 일치되는 단어가 있는지 여부를 확인하는 제1 단어 매칭 모듈; 상기 제1 단어 매칭 모듈로부터 일치되는 싱크 단어 또는 제어 단어 정보를 전달받고, 해당 싱크 단어 또는 해당 제어 단어와 관련된 제어 데이터를 수행하며, 제어 순서를 가리키는 포인터가 해당 싱크 단어 또는 해당 제어 단어의 위치를 가리키도록 수정하는 제1 제어 모듈; 별도로 장착되는 외부 조명 모듈;을 포함하며, 상기 외부 조명 모듈은 엘이디로 구성된 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the present invention is a first camera module; A first transmission / reception module; A first microphone module; A first book information acquisition module for recognizing a barcode photographed through the first camera module and converting the barcode into an international standard book number; An internal memory module for storing control data corresponding to an international standard book number acquired through the first book information acquisition module; A first voice extraction module for extracting a voice signal from the sound signal received by the first microphone module; A first encoding module for character-encoding the speech signal extracted by the first speech extraction module and converting the speech signal into a text stream; A first word matching module receiving the text stream from the first encoding module and checking whether there is a word corresponding to a sync word or a control word included in the control data on the text stream; Receive the matched sync word or control word information from the first word matching module, perform control data related to the sync word or the control word, and a pointer indicating a control order indicates the position of the sync word or the control word. A first control module adapted to point; External lighting module that is mounted separately; The external lighting module provides a reading and entertainment apparatus, characterized in that consisting of LED.
또한, 본 발명은 음성 인식 개선 데이터(data) 저장 서버(server)가 전자적으로 인식할 수 있는 책 전문을 수신하는 단계; 상기 음성 인식 개선 데이터 저장 서버가 상기 책 전문의 범주 정보를 결정하는 단계; 상기 음성 인식 개선 데이터 저장 서버가 상기 책 전문에 포함된 단어들의 빈도수가 계산하는 단계; 상기 음성 인식 개선 데이터 저장 서버가 범주 정보별 단어 데이터베이스(database)에 범주 정보별로 상기 단어들의 빈도수가 누적하여 저장하는 단계;가 포함되는 것을 특징으로 하는 독서 엔터테이닝(entertaining) 장치의 구동 방법을 제공한다.In addition, the present invention includes the steps of receiving a full text book that can be recognized electronically by the speech recognition data storage server (server); Determining, by the speech recognition improvement data storage server, category information of the full text of the book; Calculating, by the speech recognition improvement data storage server, a frequency of words included in the full text of the book; And storing, by the voice recognition improvement data storage server, the frequency of the words for each category information in a word database for each category information. to provide.
또한, 상기 음성 인식 개선 데이터 저장 서버가 범주 정보별 단어 데이터베이스에 범주 정보별로 상기 단어들의 빈도수가 누적하여 저장하는 단계 이후에, 상기 범주 정보별 단어 데이터베이스에서 빈도수가 높은 기설정된 개수의 단어들이 범주 정보별 음성 인식 개선 데이터베이스에 저장되는 단계;가 더 포함되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.Further, after the voice recognition improvement data storage server accumulates and stores the frequency of the words for each category information in the word database for each category of information, a predetermined number of words having a high frequency in the word database for each category of information are included in the category information. And storing the voice recognition improvement database by stars.
또한, 본 발명은 단말 디바이스가 범주 정보를 포함하는 책 정보를 입력받는 단계; 상기 단말 디바이스가 소리 신호를 수신하는 단계; 상기 단말 디바이스가 소리 신호에서 음성 신호를 추출하는 단계; 상기 단말 디바이스가 음성 신호를 텍스트 스트림으로 변환하는 단계; 상기 단말 디바이스가 텍스트 스트림 상의 단어와 범주 정보별로 저장된 기설정된 단어들 사이에 유사도가 가장 높은 단어를 인식 단어로 선택하는 단계; 상기 인식 단어의 유사도가 기설정된 유사도 이상인 경우, 상기 단말 디바이스가 상기 인식 단어에 매칭된 제어 데이터를 기초로 스피커(speaker), 진동 소자, 조명 소자 중 어느 하나 이상을 제어되는 단계;가 포함되는 것을 특징으로 하는 독서 엔터테이닝(entertaining) 장치의 구동 방법을 제공한다.In addition, the present invention comprises the steps of the terminal device receives the book information including the category information; Receiving, by the terminal device, a sound signal; Extracting, by the terminal device, a voice signal from a sound signal; Converting, by the terminal device, a voice signal into a text stream; Selecting, by the terminal device, a word having the highest similarity between words on a text stream and preset words stored for each category information as recognition words; And when the similarity of the recognition word is equal to or greater than a preset similarity, controlling the at least one of a speaker, a vibrating element, and an illumination element based on the control data matched with the recognition word. A driving method of a reading entertaining device is provided.
또한, 상기 기설정된 단어들은 상기 단말 디바이스가 음성 인식 개선 데이터 저장 서버로부터 수신한 음성 인식 개선 데이터에 포함된 단어들인 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.The preset words may be words included in voice recognition improvement data received by the terminal device from a voice recognition improvement data storage server.
또한, 상기 단말 디바이스가 텍스트 스트림 상의 단어와 범주 정보별로 저장된 기설정된 단어들 사이에 유사도가 가장 높은 단어를 인식 단어로 선택하는 단계에서, 상기 단말 디바이스가 텍스트 스트림 상의 단어와 범주 정보별로 저장된 기설정된 단어들 사이의 유사도는 서열 정렬 방식 중 전역 정렬 방식을 통하여 결정되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.The terminal device selects a word having the highest similarity between words on a text stream and preset words stored for each category information as a recognition word, and the terminal device stores the preset word stored on the text stream for each word and category information. The similarity between words is determined by the global alignment method of the sequence alignment method provides a driving method of the reading entertainment apparatus.
또한, 상기 단말 디바이스가 텍스트 스트림 상의 단어와 범주 정보별로 저장된 기설정된 단어들 사이에 유사도가 가장 높은 단어를 인식 단어로 선택하는 단계에서, 상기 단말 디바이스가 텍스트 스트림 상의 단어와 범주 정보별로 저장된 기설정된 단어들 사이의 유사도는 서열 정렬 방식 중 지역 정렬 방식을 통하여 결정되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.The terminal device selects a word having the highest similarity between words on a text stream and preset words stored for each category information as a recognition word, and the terminal device stores the preset word stored on the text stream for each word and category information. The similarity between words is determined by a local alignment method of the sequence alignment method provides a driving method of the reading entertainment apparatus.
또한, 상기 기설정된 유사도는 70 퍼센트(percent)인 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the preset similarity is 70 percent (percent) to provide a method for driving a reading entertainment apparatus.
또한, 상기 인식 단어에 매칭된 제어 데이터는 상기 단말 디바이스가 도서 매칭 제어 데이터 저장 서버로부터 수신하여 저장한 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the control data matched with the recognition word is provided by the terminal device from the book matching control data storage server and provides a driving method of the reading entertaining device, characterized in that the storage.
또한, 상기 범주 정보에는 동화, 아동 도서, 과학, 수학, 컴퓨터(computer), 기술, 소설, 역사, 비즈니스(business), 투자, 문학, 양육, 가족, 여행, 예술, 디자인(design), 외국어, 학습, 요리, 음식, 와인(wine), 자서전, 전기, 정치, 사회 과학, 종교 중 어느 하나 이상이 포함되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the category information includes fairy tales, children's books, science, mathematics, computer, technology, fiction, history, business, investment, literature, parenting, family, travel, art, design, foreign languages, It provides a method of driving a reading and entertainment device, characterized in that any one or more of learning, cooking, food, wine (wine), autobiography, biography, politics, social science, religion.
또한, 상기 범주 정보는 나이, 성별, 직업, 취미, 관심사 중 어느 하나 이상을 반영하여 결정되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the category information provides a driving method of the reading entertainment apparatus, characterized in that determined by reflecting any one or more of age, gender, occupation, hobbies, interests.
또한, 상기 범주 정보는 책의 제목, 저자, 출판사, 국제표준도서번호(isbn; international standard book number) 중 어느 하나 이상을 반영하여 결정되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the category information provides a driving method of the reading entertainment apparatus, characterized in that determined by reflecting any one or more of the title of the book, author, publisher, international standard book number (isbn). .
또한, 본 발명은 외부로부터 데이터를 주고 받는 역할을 수행하는 송수신 모듈(module); 전자적으로 인식할 수 있는 책 전문을 수신하는 책 전문 수신 모듈; 상기 책 전문 수신 모듈을 통하여 수신된 책 전문의 범주 정보를 결정하는 범주 결정 모듈; 상기 책 전문 수신 모듈을 통하여 수신된 책 전문에 포함된 단어들의 빈도수를 계산하는 단어 빈도수 계산 모듈; 상기 단어 빈도수 계산 모듈이 산출한 단어들의 빈도수를 범주 정보별로 누적하여 저장하는 범주 정보별 단어 데이터베이스; 상기 범주 정보별 단어 데이터베이스에 저장된 단어들 중 빈도수가 높은 기설정된 개수의 단어들을 추출하여 저장하는 범주 정보별 음성 인식 개선 데이터베이스; 상기 송수신 모듈, 상기 책 전문 수신 모듈, 상기 범주 결정 모듈, 상기 단어 빈도수 계산 모듈, 상기 범주 정보별 단어 데이터베이스, 상기 범주 정보별 음성 인식 개선 데이터베이스 사이의 데이터 교환 또는 동작을 제어하며, 상기 송수신 모듈을 통하여 범주 정보별 음성 인식 개선 데이터를 요청받는 경우 상기 범주 정보별 음성 인식 개선 데이터베이스의 데이터를 음성 인식 개선 데이터로 추출하여 상기 송수신 모듈을 통하여 송신하는 제어 모듈;을 포함하는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the present invention transmits and receives a module for transmitting and receiving data from the outside (module); A book text receiving module for receiving a book text that can be recognized electronically; A category determination module for determining category information of a book text received through the book text receiving module; A word frequency calculation module for calculating a frequency of words included in a book full text received through the book full text reception module; A word database for each category information for accumulating and storing the frequency of words calculated by the word frequency calculating module for each category information; A speech recognition improvement database for category information for extracting and storing a predetermined number of words having a high frequency among words stored in the word database for each category information; Control the data exchange or operation between the transmission / reception module, the book full text reception module, the category determination module, the word frequency calculation module, the word database for each category information, and the voice recognition improvement database for each category information. And a control module for extracting data of the speech recognition improvement database for each category information as speech recognition improvement data and transmitting the received speech recognition enhancement data through the transmission / reception module when receiving the request for speech recognition improvement data for each category information. Provides an inning device.
또한, 본 발명은 제1 데이터 송수신 모듈; 제1 마이크(mike) 모듈; 범주 정보별로 기설정된 단어들이 저장된 단어 저장 모듈; 범주 정보를 포함하는 책 정보를 획득하는 책 정보 획득 모듈; 제어 데이터를 저장하고 있는 내부 메모리 모듈; 상기 제1 마이크 모듈이 수신한 소리 신호로부터 음성 신호를 추출하는 제1 음성 추출 모듈; 상기 제1 음성 추출 모듈이 추출한 음성 신호를 문자 인코딩하여 텍스트 스트림으로 변환하는 제1 인코딩 모듈; 상기 제1 인코딩 모듈로부터 상기 텍스트 스트림을 전달받아 상기 텍스트 스트림 상의 단어와 상기 단어 저장 모듈에 범주 정보별로 저장된 기설정된 단어들 사이에 유사도가 가장 높은 단어를 인식 단어로 선택하는 제1 단어 매칭 모듈; 상기 제1 단어 매칭 모듈로부터 인식 단어를 전달 받고, 상기 인식 단어의 유사도가 기설정된 유사도 이상인 경우, 상기 내부 메모리 모듈로부터 상기 인식 단어와 매칭된 제어 데이터를 전달받아 스피커, 진동 소자, 조명 소자 중 어느 하나 이상을 제어하는 제1 제어 모듈;을 포함하는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the present invention includes a first data transmission and reception module; A first mike module; A word storage module storing preset words for each category information; A book information acquisition module for obtaining book information including category information; An internal memory module storing control data; A first voice extraction module for extracting a voice signal from the sound signal received by the first microphone module; A first encoding module for character-encoding the speech signal extracted by the first speech extraction module and converting the speech signal into a text stream; A first word matching module receiving the text stream from the first encoding module and selecting a word having the highest similarity as a recognition word between a word on the text stream and preset words stored for each category of information in the word storage module; When the recognition word is received from the first word matching module, and the similarity of the recognition word is equal to or greater than a preset similarity, the control data matched with the recognition word is received from the internal memory module, and any one of a speaker, a vibration device, and an illumination device is received. It provides a reading entertainment apparatus comprising a; first control module for controlling one or more.
또한, 책 정보 획득 모듈은 제1 카메라(camera) 모듈; 상기 제1 카메라 모듈을 통하여 촬영된 바코드(barcode)를 인식하여 국제표준도서번호로 변환하는 도서 정보 획득 모듈;을 포함하여 구성되는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the book information acquisition module includes a first camera module; And a book information acquisition module for recognizing a barcode photographed through the first camera module and converting the barcode into an international standard book number.
또한, 별도로 장착되는 외부 조명 모듈;을 더 포함하는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, it provides a reading entertainment apparatus further comprises; an external lighting module mounted separately.
또한, 상기 제1 제어 모듈은 상기 책 정보 획득 모듈이 획득한 책 정보에 대응되는 제어 데이터가 상기 내부 메모리 모듈에 기저장되어 있지 않은 경우 상기 책 정보를 상기 제1 송수신 모듈을 통하여 도서 매칭 제어 데이터 저장 서버로 전송하고, 상기 제1 송수신 모듈을 통하여 상기 도서 매칭 제어 데이터 저장 서버로부터 상기 책 정보에 대응되는 제어 데이터를 수신하여 상기 내부 메모리 모듈에 저장하는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the first control module may read the book information through the first transmission / reception module when the control data corresponding to the book information acquired by the book information acquisition module is not stored in the internal memory module. And transmitting control data corresponding to the book information from the book matching control data storage server through the first transmission / reception module and storing the control data in the internal memory module. do.
또한, 상기 단어 저장 모듈에 저장된 상기 기설정된 단어들은 상기 제1 데이터 송수신 모듈을 통하여 음성 인식 개선 데이터 저장 서버로부터 수신한 음성 인식 개선 데이터에 포함된 단어들인 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.The preset word words stored in the word storage module may be words included in the voice recognition improvement data received from the voice recognition improvement data storage server through the first data transmission / reception module. do.
또한, 상기 제1 단어 매칭 모듈은 서열 정렬 방식 중 전역 정렬 방식을 통하여 유사도를 결정하는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the first word matching module provides a reading entertainment apparatus, wherein the similarity is determined through a global alignment among sequence alignment schemes.
또한, 상기 제1 단어 매칭 모듈은 서열 정렬 방식 중 지역 정렬 방식을 통하여 유사도를 결정하는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the first word matching module provides a reading entertainment apparatus, wherein the similarity is determined through a local alignment method among sequence alignment methods.
또한, 상기 기설정된 유사도는 70 퍼센트인 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the predetermined similarity is provided to the reading entertaining device, characterized in that 70 percent.
또한, 상기 범주 정보에는 동화, 아동 도서, 과학, 수학, 컴퓨터(computer), 기술, 소설, 역사, 비즈니스(business), 투자, 문학, 양육, 가족, 여행, 예술, 디자인(design), 외국어, 학습, 요리, 음식, 와인(wine), 자서전, 전기, 정치, 사회 과학, 종교 중 어느 하나 이상이 포함되는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the category information includes fairy tales, children's books, science, mathematics, computer, technology, fiction, history, business, investment, literature, parenting, family, travel, art, design, foreign languages, It provides a reading and entertaining device, characterized in that any one or more of learning, cooking, food, wine (wine), autobiography, biography, politics, social science, religion.
또한, 상기 범주 정보는 나이, 성별, 직업, 취미, 관심사 중 어느 하나 이상을 반영하여 결정되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법를 제공한다.The category information may be determined by reflecting any one or more of age, gender, occupation, hobbies and interests.
또한, 상기 범주 정보는 책의 제목, 저자, 출판사, 국제표준도서번호(isbn; international standard book number) 중 어느 하나 이상을 반영하여 결정되는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the category information provides a reading and entertainment apparatus, characterized in that determined by reflecting any one or more of the title, author, publisher, international standard book number (isbn) of the book.
또한, 본 발명은 음성 인식 개선 데이터(data) 저장 서버(server)가 전자적으로 인식할 수 있는 책 전문을 수신하는 단계; 상기 음성 인식 개선 데이터 저장 서버가 상기 책 전문의 범주 정보를 결정하는 단계; 상기 음성 인식 개선 데이터 저장 서버가 상기 책 전문에 포함된 단어들의 빈도수가 계산하는 단계; 상기 음성 인식 개선 데이터 저장 서버가 범주 정보별 단어 데이터베이스(database)에 범주 정보별로 상기 단어들의 빈도수가 누적하여 저장하는 단계; 상기 범주 정보별 단어 데이터베이스에서 빈도수가 높은 기설정된 개수의 단어들이 범주 정보별 음성 인식 개선 데이터베이스에 저장되는 단계;가 포함되며, 상기 기설정된 개수는 300개인 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the present invention includes the steps of receiving a full text book that can be recognized electronically by the speech recognition data storage server (server); Determining, by the speech recognition improvement data storage server, category information of the full text of the book; Calculating, by the speech recognition improvement data storage server, a frequency of words included in the full text of the book; Storing, by the voice recognition improvement data storage server, the frequency of the words for each category information in a word database for each category information; Storing a predetermined number of words having a high frequency in the word database for each category of information in a speech recognition improvement database for each category of information; and wherein the predetermined number is 300. Provide a method.
또한, 음성 인식 개선 데이터 저장 서버가 전자적으로 인식할 수 있는 책 전문이 수신되는 단계는 전자적으로 인식할 수 있는 책 전문을 수록하고 있는 외부 서버에 에이피아이(api, application program interface)를 이용하여 접속하여 수신하는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the step of receiving a book text that can be recognized electronically by the voice recognition improvement data storage server is connected to an external server that contains the book text that can be recognized electronically using an API (application program interface). The present invention provides a method of driving a reading entertainment apparatus, the method comprising: receiving a reading.
또한, 본 발명은 음성 인식 개선 데이터 저장 서버가 단말 디바이스(device)를 통하여 범주 정보별 음성 인식 개선 데이터를 요청받는 단계; 상기 음성 인식 개선 데이터 저장 서버가 범주 정보별 음성 인식 개선 데이터베이스의 데이터를 범주 정보별 음성 인식 개선 데이터로 추출하여 상기 단말 디바이스로 전송하는 단계;를 포함하는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the present invention comprises the steps of the voice recognition improvement data storage server to receive the voice recognition improvement data for each category information through a terminal device; And extracting, by the voice recognition improvement data storage server, data of the voice recognition improvement database for each category information as voice recognition improvement data for each category information and transmitting the extracted data to the terminal device. Provide a method.
또한, 본 발명은 도서 매칭 제어 데이터 저장 서버가 단말 디바이스로부터 책 정보를 포함한 제어 데이터 전송 요청을 수신하는 단계; 상기 도서 매칭 제어 데이터 저장 서버가 상기 단말 장치로 도서 별로 매칭된 제어 데이터를 전송하는 단계;를 포함하는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법을 제공한다.In addition, the present invention comprises the steps of the book matching control data storage server receiving a control data transmission request including book information from the terminal device; And transmitting, by the book matching control data storage server, the control data matched for each book to the terminal device.
또한, 본 발명은 외부로부터 데이터를 주고 받는 역할을 수행하는 송수신 모듈(module); 전자적으로 인식할 수 있는 책 전문을 수신하는 책 전문 수신 모듈; 상기 책 전문 수신 모듈을 통하여 수신된 책 전문의 범주 정보를 결정하는 범주 결정 모듈; 상기 책 전문 수신 모듈을 통하여 수신된 책 전문에 포함된 단어들의 빈도수를 계산하는 단어 빈도수 계산 모듈; 상기 단어 빈도수 계산 모듈이 산출한 단어들의 빈도수를 범주 정보별로 누적하여 저장하는 범주 정보별 단어 데이터베이스; 상기 범주 정보별 단어 데이터베이스에 저장된 단어들 중 빈도수가 높은 기설정된 개수의 단어들을 추출하여 저장하는 범주 정보별 음성 인식 개선 데이터베이스; 상기 송수신 모듈, 상기 책 전문 수신 모듈, 상기 범주 결정 모듈, 상기 단어 빈도수 계산 모듈, 상기 범주 정보별 단어 데이터베이스, 상기 범주 정보별 음성 인식 개선 데이터베이스 사이의 데이터 교환 또는 동작을 제어하며, 상기 송수신 모듈을 통하여 범주 정보별 음성 인식 개선 데이터를 요청받는 경우 상기 범주 정보별 음성 인식 개선 데이터베이스의 데이터를 음성 인식 개선 데이터로 추출하여 상기 송수신 모듈을 통하여 송신하는 제어 모듈;을 포함하며, 상기 기설정된 개수는 300개인 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the present invention transmits and receives a module for transmitting and receiving data from the outside (module); A book text receiving module for receiving a book text that can be recognized electronically; A category determination module for determining category information of a book text received through the book text receiving module; A word frequency calculation module for calculating a frequency of words included in a book full text received through the book full text reception module; A word database for each category information for accumulating and storing the frequency of words calculated by the word frequency calculating module for each category information; A speech recognition improvement database for category information for extracting and storing a predetermined number of words having a high frequency among words stored in the word database for each category information; Control the data exchange or operation between the transmission / reception module, the book full text reception module, the category determination module, the word frequency calculation module, the word database for each category information, and the voice recognition improvement database for each category information. And a control module extracting data from the voice recognition improvement database for each category information as voice recognition improvement data and transmitting the received voice recognition improvement data through the transmission / reception module. A reading entertaining device characterized by an individual is provided.
또한, 상기 책 전문 수신 모듈은 전자적으로 인식할 수 있는 책 전문을 수록하고 있는 외부 서버에 에이피아이를 이용하여 접속하여 수신하는 것을 특징으로 하는 독서 엔터테이닝 장치를 제공한다.In addition, the book full text receiving module provides a reading and entertainment apparatus, characterized in that for receiving and connecting to an external server containing an electronic book that can be recognized electronically using apyi.
본 발명의 바람직한 실시 예에 따른 독서 엔터테이닝 장치 및 이의 구동 방법에 의하면 다음과 같은 효과가 있다.According to the reading entertainment apparatus and the driving method thereof according to the preferred embodiment of the present invention, the following effects are obtained.
첫째, 부모가 아이에게 책을 소리 내어 읽어주는 과정에서 인지되는 단어를 기반으로 조명의 밝기, 색 등을 다양하게 조절함으로써 이야기를 듣는 아이에게 더 큰 몰입도와 흥미감을 제공할 수 있는 효과가 있다. First, it is possible to provide greater immersion and interest to the child listening to the story by adjusting the brightness, color, etc. of the lighting in a variety of ways based on the recognized words in the process of reading the book aloud to the child.
둘째, 조명에 부가하여 인지되는 단어를 기반으로 소리, 진동, 바람, 향기 등의 효과를 책을 읽는 사람 또는 듣는 사람에게 제공하여, 책 읽기 과정에서 더 큰 생동감을 제공할 수 있는 효과가 있다.Second, based on the recognized words in addition to lighting, by providing effects such as sound, vibration, wind, fragrance to the reader or listener, there is an effect that can provide a greater life in the reading process.
셋째, 국제표준도서번호에 따라 책 정보를 식별하고, 이를 통하여 해당 책의 책 읽기 과정에서 인식된 단어 관련 가장 효과적인 제어 데이터들을 수신하여 저장함으로써 생동감이 배가 되는 효과를 얻을 수 있다. 즉, 같은 '번개'라는 단어라도 책별로 서로 다른 효과를 제공하여 책의 내용에 최적화된 효과를 사용자에게 제공토록 할 수 있다. 또한, 바코드 형태의 국제표준도서번호를 카메라 모듈을 통하여 인식함으로써, 손쉽게 책에 대한 정보를 서버로 전송할 수 있는 효과도 있다.Third, the book information is identified according to the International Standard Book Number, and through this, the most effective control data related to the words recognized in the book reading process of the book can be received and stored, thereby achieving a doubled effect. That is, even the same word 'lightning' may provide different effects for each book to provide the user with an effect optimized for the book's contents. In addition, by recognizing the international standard book number in the form of a barcode through the camera module, there is an effect that can easily transmit information about the book to the server.
넷째, 독서 엔터테이닝 장치의 모습을 책 모양으로 형성하고 책이 열리는 부분에서 조명의 색상과 밝기가 변화되도록 함으로써 책이 마치 자신에게 말하는 듯한 느낌을 제공하여, 듣는 사람, 특히 아이들의 흥미를 자극할 수 있다.Fourth, the shape of the reading and entertainment device is shaped like a book and the color and brightness of the light are changed at the opening part of the book to provide a feeling as if the book is talking to oneself, stimulating the interest of listeners, especially children. can do.
다섯째, 빛, 소리, 진동 등의 다양한 효과의 조합을 통하여 생동감 넘치는 책 읽기 환경을 제공할 수 있는 효과가 있다.Fifth, there is an effect that can provide a lively reading environment through a combination of various effects, such as light, sound, vibration.
여섯째, 음성 신호를 텍스트 스트림으로 변환하고 이를 큐에 저장하면서 해당 텍스트 스트림 상에 기설정된 단어와 일치되는 단어가 있는지 여부를 확인함으로써, 책을 소리 내어 읽는 사용자나 책 이야기를 듣는 자가 오로지 책 내용에만 집중할 수 있도록 하는 효과가 있다.Sixth, by converting a speech signal into a text stream and storing it in a queue to see if there is a word on the text stream that matches a preset word, the user who reads the book aloud or listens to the book story can This can help you focus.
일곱째, 본 발명인 독서 엔터테이닝 장치 및 이의 구동 방법은 도서 매칭 제어 데이터 저장 서버에 대한 접근 및 업로드 권한을 일반 사용자에게 허용함으로써, 사용자에게 책을 읽는 즐거움을 주는 동시에 자신이 책의 세계를 능동적으로 구축하여 가는 창조자가 된 듯한 느낌을 부여할 수 있으며, 자신이 설계한 이러한 제어 데이터들을 타인과 공유하며 교감을 형성토록 할 수도 있다.Seventh, the inventors of the present invention and the method of driving the book by allowing the general user to access and upload the book matching control data storage server, giving the user the pleasure of reading the book and actively active the world of the book It can give you the feeling of being a creator, and share your control data with others to form a rapport.
여덟번째, 독서 엔터테이닝 장치의 조명 디바이스가 단독으로 구성되는 경우, 최소한의 간단한 구성만을 가지게 되어 그 제작 비용이 저렴해지는 효과를 달성할 수 있다. 또한, 독자적으로 책을 읽는 발화자의 음성 내 단어를 인식하고 해당 단어별로 효과를 발생시킬 수 있기 때문에, 스마트 폰 등이 없는 어린이들의 경우에도 혼자서 쉽게 사용할 수 있다는 장점이 있다.Eighth, when the lighting device of the reading and entertainment apparatus is configured alone, it is possible to achieve the effect that the manufacturing cost is lowered because it has only a minimal and simple configuration. In addition, since it can recognize the words in the voice of the speaker who reads the book independently and generate effects for each word, there is an advantage that it can be easily used alone even in children without a smartphone.
아홉번째, 단말 디바이스가 스마트 폰 상에서 작동되는 어플로 구현되는 경우에는 최소한의 비용으로 단말 디바이스를 공급할 수 있는 효과도 달성할 수 있으며, 무엇보다 어플의 갱신 및 유지 관리가 용이하다는 장점을 달성할 수 있다.Ninth, when the terminal device is implemented as an application that runs on a smart phone, it is possible to achieve the effect of supplying the terminal device at a minimum cost, and above all, to achieve the advantage of easy updating and maintenance of the application. have.
열번째, 부모가 자연스럽게 책을 아이에게 읽어주는 횟수가 증대되도록 함으로써, 아이와 부모 간의 보다 높은 친밀감이 형성되도록 할 수 있는 효과가 있다. 그리고, 이러한 아이와 부모 간의 친밀감이 책에 대한 친밀감으로 이어지도록 하는 효과도 있다.Tenth, by increasing the number of times the parents naturally read the book to the child, there is an effect that can be formed a higher intimacy between the child and the parent. In addition, this intimacy between the child and the parent has an effect that leads to the intimacy with the book.
열한번째, 책의 정보에 따라 대응하여 저장된 제어 데이터에 포함된 싱크 단어와 제어 단어를 통하여 낭독자가 책을 읽는 부분과 해당 낭독 부분에 대하여 제공되어야 할 조명 효과 또는 음향 효과 사이의 동기를 효과적으로 유지할 수 있는 효과가 있다. Eleventh, through the sync word and control word included in the stored control data according to the information of the book, the reader can effectively maintain the synchronization between the reading part of the book and the lighting effect or sound effect to be provided for the reading part. It works.
열두번째, 시각 효과를 부여하는 별도의 외부 조명 모듈을 통하여, 책을 읽는 동안에 제공되어야 할 빛의 색상이나 밝기를 더욱 자유롭게 조절하여 사용자에게 제공할 수 있는 효과가 있다.Twelfth, through a separate external lighting module to give a visual effect, there is an effect that can be provided to the user by more freely adjusting the color or brightness of the light to be provided while reading a book.
열세번째, 추가로 음성 인식 개선 데이터 저장 서버를 구비하는 실시 예의 경우, 책의 범주별로 자주 사용되는 단어를 미리 기억하여 제공할 수 있으므로, 책을 읽는 낭독자가 발화하는 단어에 대한 인식도를 향상시킬 수 있는 효과가 있다. 즉, 사용자가 다소 부정확하게 발화하더라도 이를 책의 범주별로 자주 등장하는 단어들과 비교하여 가장 유사한 단어로 인식함으로써, 음성 인식율이 높아지는 효과와 동일한 효과를 달성할 수 있다.Thirteenth, in the case of the embodiment including the voice recognition improvement data storage server, since the words frequently used for each category of the book may be stored in advance, the reader may improve the recognition of the words spoken. It has an effect. That is, even if a user speaks inaccurately, the user recognizes the word as the most similar word compared to the words frequently appearing in each category of the book, thereby achieving the same effect as the effect of increasing the speech recognition rate.
열네번째, 음성 인식 개선 데이터 저장 서버는 주기적으로 책 전문을 수신하고 범주 정보별로 가장 많이 나오는 단어의 빈도수를 누적 정리하여 상위 빈도수의 단어를 음성 인식 개선 데이터로 제공하므로, 시대 상황 또는 환경에 맞추어 변화되는 언어 사용 태양에 맞추어 능동적으로 최적화된 음성 인식 개선 데이터를 제공할 수 있는 효과가 있다. 또한, 이러한 과정은 사전에 상위단인 음성 인식 개선 데이터 저장 서버에서 이루어지고 책을 읽는 과정에서 사용자에게 각종 효과를 제공하는 단말 디바이스는 이를 활용할 뿐이므로, 단말 디바이스가 처리해야 할 부하량이 줄어드는 효과가 있다. 그 결과, 단말 디바이스 단에서는 낭독되는 책의 단어에 대한 인식과 그에 따라 제공되어야 할 소리, 조명 등의 효과 제공에만 집중할 수 있다.Fourteenth, the speech recognition improvement data storage server periodically receives the full text of the book and accumulates the frequency of the most frequently occurring words by category information to provide the higher frequency words as the speech recognition improvement data. This has the effect of providing speech recognition enhancement data that is actively optimized for the language usage. In addition, this process is performed in advance in the speech recognition improvement data storage server, and the terminal device which provides various effects to the user in the process of reading a book only utilizes this, so that the load that the terminal device has to deal with is reduced. have. As a result, the terminal device may concentrate only on the recognition of the words of the book to be read and the effects of sounds, lighting, etc. to be provided accordingly.
도면 1도는 부모 등의 어른이 어린이에게 책을 읽어주는 모습을 보여주는 도면이다.FIG. 1 is a diagram showing an adult, such as a parent, reading a book to a child.
도면 2도는 종래의 색이 변화되는 조명과 이러한 조명을 조절하는데 사용되는 스마트 폰의 모습을 보여주는 도면이다.2 is a view showing a conventional color-changing lighting and the appearance of a smart phone used to adjust such lighting.
도면 3도는 본 발명인 독서 엔터테이닝 장치를 구성하는 조명 디바이스의 제 1 실시 예를 보여주는 도면이다.3 is a view showing a first embodiment of the lighting device constituting the reading entertainment apparatus according to the present invention.
도면 4도는 본 발명인 독서 엔터테이닝 장치를 구성하는 조명 디바이스의 제2 실시 예를 보여주는 도면이다.4 is a view showing a second embodiment of the lighting device constituting the reading entertainment apparatus according to the present invention.
도면 5도는 본 발명인 독서 엔터테이닝 장치를 구성하는 조명 디바이스의 제3 실시 예를 보여주는 도면이다.5 is a view showing a third embodiment of the lighting device constituting the reading entertainment apparatus according to the present invention.
도면 6도는 본 발명인 독서 엔터테이닝 장치를 구성하는 조명 디바이스의 제4 실시 예를 보여주는 도면이다.6 is a view showing a fourth embodiment of the lighting device constituting the present invention reading entertaining device.
도면 7도는 본 발명인 독서 엔터테이닝 장치의 단말 디바이스에서 도서의 바코드를 촬영하는 모습을 보여주는 도면이다.Figure 7 is a view showing a state of photographing the barcode of the book in the terminal device of the present invention reading entertainment apparatus.
도면 8도는 본 발명인 독서 엔터테이닝 장치 및 이의 구동 방법이 작동되는 기본적인 과정을 설명해주는 도면이다.8 is a view illustrating a basic process of the present invention, the reading entertaining device and its driving method.
도면 9도는 본 발명인 독서 엔터테이닝 장치 및 이의 구동 방법이 책 정보를 서버에 전송하고 해당 책 정보에 최적화된 제어 데이터를 서버로부터 수신하여 작동하는 과정을 보여주는 도면이다.9 is a view illustrating a process in which the present invention, the reading entertainment apparatus and its driving method transmit book information to a server, and receive and operate control data optimized for the book information from the server.
도면 10도는 본 발명인 독서 엔터테이닝 장치의 단말 디바이스가 음성 중에서 단어를 인식하여 제어 데이터를 외부로 발송하는 과정을 정리하여 보여주는 순서도이다.FIG. 10 is a flowchart summarizing a process in which a terminal device of a reading entertainment apparatus of the present invention recognizes a word in a voice and sends control data to the outside.
도면 11도는 독서 엔터테이닝 장치의 단말 디바이스의 내부에 기록된 제어 데이터가 책 정보에 따라 최신으로 갱신되는 과정을 보여주는 순서도이다.FIG. 11 is a flowchart showing a process in which control data recorded inside the terminal device of the reading entertainment apparatus is updated according to book information.
도면 12도는 본 발명인 독서 엔터테이닝 장치의 조명 디바이스에서 효과 파트가 제어되는 과정을 순서도로 보여주는 도면이다.FIG. 12 is a flowchart illustrating a process in which an effect part is controlled in the lighting device of the present invention.
도면 13도는 본 발명인 독서 엔터테이닝 장치의 도서 매칭 제어 데이터 저장 서버에서 이루어지는 동작을 순서도로 보여주는 도면이다.FIG. 13 is a flowchart illustrating an operation performed in the book matching control data storage server of the present invention.
도면 14도는 본 발명인 독서 엔터테이닝 장치를 이루는 단말 디바이스의 내부 구성을 블럭으로 보여주는 도면이다.FIG. 14 is a block diagram illustrating an internal configuration of a terminal device constituting the present invention.
도면 15도는 본 발명인 독서 엔터테이닝 장치를 구성하는 조명 디바이스의 내부 구성을 블럭도로 보여주는 도면이다.FIG. 15 is a block diagram showing an internal configuration of a lighting device constituting the present reading entertainment apparatus.
도면 16도는 외부의 단말 디바이스가 없이 단독으로 구동 가능한 조명 디바이스의 내부 구성을 블럭도로 보여주는 도면이다.16 is a block diagram illustrating an internal configuration of a lighting device that can be driven alone without an external terminal device.
도면 17도는 본 발명인 독서 엔터테이닝 장치의 도서 매칭 제어 데이터 저장 서버의 내부 구성을 블럭도로 보여주는 도면이다.FIG. 17 is a block diagram illustrating an internal configuration of the book matching control data storage server of the present invention.
도면 18도는 본 발명인 독서 엔터테이닝 장치의 다른 구동 방법을 보여주는 순서도이다.18 is a flowchart showing another driving method of the present invention.
도면 19도는 본 발명인 독서 엔터테이닝 장치의 또 다른 구동 방법을 보여주는 순서도이다.Figure 19 is a flow chart showing another driving method of the present invention reading entertaining device.
도면 20도는 앞서 살펴본 본 발명의 다른 실시 예에 따른 독서 엔터테이닝 장치에서 사용되는 싱크 단어가 책의 내용에서 선택된 예시를 보여주는 도면이다.20 is a diagram illustrating an example in which a sync word used in a reading entertainment apparatus according to another embodiment of the present invention is selected from the contents of a book.
도면 21도는 앞서 살펴본 본 발명의 또 다른 실시 예에 따른 독서 엔터테이닝 장치에서 책의 내용에서 싱크 단어와 제어 단어가 선택된 예시를 보여주는 도면이다.FIG. 21 is a diagram illustrating an example in which a sync word and a control word are selected from the contents of a book in a reading entertainment apparatus according to another embodiment of the present invention.
도면 22도는 본 발명인 독서 엔터테이닝 장치의 다른 실시 예에서 싱크 단어에 따라 제어 데이터가 저장된 형식을 보여주는 도면이다.FIG. 22 is a diagram illustrating a format in which control data is stored according to a sync word in another embodiment of the present invention.
도면 23도는 본 발명인 독서 엔터테이닝 장치의 다른 실시 예에서 재생 순서를 가리키는 포인터가 수정되어 동기가 유지되는 과정을 보여주는 도면이다.FIG. 23 is a view illustrating a process in which a pointer indicating a playback order is modified to maintain synchronization in another embodiment of the reading entertainment apparatus according to the present invention.
도면 24도는 본 발명인 독서 엔터테이닝 장치의 또 다른 실시 예에서 싱크 단어와 제어 단어가 저장된 형식을 보여주는 도면이다.FIG. 24 is a diagram illustrating a format in which a sync word and a control word are stored in another embodiment of the present invention.
도면 25도는 본 발명인 독서 엔터테이닝 장치의 또 다른 실시 예에서 재생 순서를 가리키는 포인터가 수정되어 동기가 유지되는 과정을 보여주는 도면이다.FIG. 25 is a diagram illustrating a process in which a pointer indicating a playback order is modified so that synchronization is maintained in another embodiment of the present invention.
도면 26도는 다른 실시 예 또는 또 다른 실시 예에 따른 독서 엔터테이닝 장치의 내부 구성 등을 블럭도로 보여주는 도면이다.FIG. 26 is a block diagram illustrating an internal configuration of a reading and entertainment apparatus according to another embodiment or another embodiment.
도면 27도는 독서 엔터테이닝 장치에 외부 조명 모듈이 장착된 모습을 보여주는 도면이다.FIG. 27 is a view illustrating an external lighting module mounted on the reading entertainment apparatus.
도면 28도는 본 발명인 독서 엔터에이닝 장치에 연결되어 사용되는 외부 조명 모듈의 정면도를 보여주는 도면이다.FIG. 28 is a front view of an external lighting module connected to and used with the present invention reading entertainment device.
도면 29도는 본 발명인 독서 엔터테이닝 장치에 연결되어 사용되는 외부 조명 모듈의 후면도를 보여주는 도면이다.29 is a view showing a rear view of an external lighting module used in connection with the present inventors entertaining device.
도면 30도는 본 발명인 독서 엔터테이닝 장치에 연결되어 사용되는 외부 조명의 측면도를 보여주는 도면이다.30 is a view showing a side view of the external illumination used in connection with the present invention reading entertaining device.
도면 31도는 본 발명인 독서 엔터테이닝 장치에 연결되어 사용되는 외부 조명 모듈의 전면부에 장착되는 커버의 일 예를 보여주는 도면이다.31 is a view showing an example of a cover mounted to the front portion of the external lighting module used in connection with the present invention reading entertaining device.
도면 32도는 본 발명인 독서 엔터테이닝 장치 및 이의 구동 방법이 음성 인식 능력을 개선하기 위하여 작동하는 과정을 과정을 보여주는 도면이다.32 is a view showing a process of the operation of the present invention reading entertaining device and its driving method to improve the speech recognition ability.
도면 33도는 본 발명인 독서 엔터테이닝 장치를 구성하는 음성 인식 개선 데이터 저장 서버가 음성 인식 개선 데이터를 산출하는 과정을 보여주는 순서도이다.33 is a flowchart showing a process of calculating the speech recognition improvement data by the speech recognition improvement data storage server constituting the present invention.
도면 34도는 본 발명인 도서 엔터테이닝 장치를 구성하는 음성 인식 개선 데이터 저장 서버가 단말 디바이스로 음성 인식 개선 데이터를 전송하는 과정을 보여주는 순서도이다.34 is a flowchart illustrating a process of transmitting the speech recognition improvement data to the terminal device by the speech recognition improvement data storage server constituting the book entertainment apparatus.
도면 35도는 음성 인식 개선 데이터를 수신한 본 발명인 도서 엔터테이닝 장치를 구성하는 단말 디바이스가 작동하는 과정을 정리하여 보여주는 순서도이다.35 is a flowchart summarizing the operation of the terminal device constituting the book entertaining device of the present invention that has received the speech recognition improvement data.
도면 36도는 본 발명인 도서 엔터테이닝 장치를 구성하는 단말 디바이스에서 텍스트 스트림 상의 단어와 기설정된 단어들 사이에 유사도를 비교하는 방식을 보여주는 도면이다.36 is a view showing a method of comparing the similarity between a word on a text stream and a predetermined word in a terminal device configuring the book entertainment apparatus according to the present invention.
도면 37도는 본 발명을 구성하는 음성 인식 개선 데이터 저장 서버의 내부 구성을 블럭도로 보여주는 도면이다.FIG. 37 is a block diagram illustrating an internal configuration of the speech recognition improvement data storage server of the present invention.
도면 38도는 음성 인식 기능이 개선된 단말 디바이스의 내부 구성을 블럭도로 보여주는 도면이다.38 is a block diagram illustrating an internal configuration of a terminal device having an improved speech recognition function.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예들에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들은 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, with reference to the accompanying drawings will be described embodiments of the present invention; As the inventive concept allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to the specific disclosed form, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
도면 1도는 부모 등의 어른이 어린이에게 책을 읽어주는 모습을 보여주는 도면이다.FIG. 1 is a diagram showing an adult, such as a parent, reading a book to a child.
서구에서는 아이가 잠자리에 들 때 부모가 동화책 등의 책(10)을 읽어주는 것이 보편화되어 있으며, 이를 통하여 아이들이 자연스럽게 언어나 문자를 습득하도록 하고 있다. 이렇게 취침 전에 책(10)을 읽어주면, 아이는 단순히 이야기를 듣는 대상에서 점차적으로 이야기의 창작자가 되어 주도적으로 상상력을 발휘하게 되는 효과가 있다. 이러한 책 읽어주기의 효과가 널리 알려짐에 따라, 한국에서도 많은 부모가 아이의 침대 머리맡에서 동화책 등의 책(10)을 읽어주고 있는 상황이다.In the West, it is common for a parent to read a book (10) such as a fairy tale book when a child goes to bed, thereby allowing the child to naturally acquire a language or a letter. If you read the book 10 before going to bed, the child is simply the author of the story gradually hears the story has the effect that the imagination leads to the initiative. As the effect of reading such a book is widely known, many parents are reading books such as fairy tales (10) at the bedside of a child in Korea.
이렇게 취침 전 책 읽어주기의 긍정적 효과에도 불구하고, 잠자리에 들기 전에 책을 읽어주는 환경은 과거와 현재나 별로 달라진 것이 없다. 즉, 책을 읽어주는 공간의 주변에 있는 스탠드(stand)(20)와 같은 조명은 단순히 책을 읽는 과정에서 활자를 볼 수 있도록 빛을 비추는 역할만 수행할 뿐, 책을 읽어주는 과정에서 흥미나 집중도를 부여하는데 보조적인 역할도 수행하고 있지 못하며, 아이와 부모 사이의 책 읽기를 통한 정서 교감이나 친밀감 형성에도 어떠한 기여도 못하고 있는 실정이다.Despite the positive effects of reading books before bedtime, the environment for reading books before going to bed has not changed much between the past and the present. In other words, a light such as a stand 20 around a space where a book is read only plays a role of shining a light so that a letter can be seen in the process of reading a book, and is interesting in the process of reading a book. It does not play a supporting role in concentrating, nor does it contribute to forming emotional rapport or intimacy through reading books between children and parents.
도면 2도는 종래의 색이 변화되는 조명과 이러한 조명을 조절하는데 사용되는 스마트 폰의 모습을 보여주는 도면이다.2 is a view showing a conventional color-changing lighting and the appearance of a smart phone used to adjust such lighting.
종래의 조명 장치 중에서 감성 조명 또는 스마트(smart) 조명이라고 불리며 색이 변화되는 조명등(40)이 제공된 바 있다. 그리고, 사용자는 스마프 폰에서 구동되는 어플(application)(30)을 조작하여 자신의 기분이나 주변 분위기에 맞추어 색이 변화되는 조명등(40)의 색상이나 밝기를 조절할 수 있었다.Among conventional lighting devices, an illumination lamp 40, which is called a sensibility light or a smart light and changes color, has been provided. In addition, the user may operate the application 30 driven by the smart phone to adjust the color or brightness of the lamp 40 whose color is changed according to his / her mood or ambient atmosphere.
그러나, 이러한 조명등은 수동적으로 조작될 뿐이어서, 부모가 아이에게 책을 읽어주는 과정이나 혼자 책을 낭독하는 과정에서 그 책의 느낌이나 분위기를 살려 주기 위하여 적극적으로 색상이 변화되거나 밝기가 변화되지는 못하였다.However, these lights are only passively operated, so that the color is not actively changed or the brightness is changed in order to revive the feeling or atmosphere of the book during the process of reading the book to the child or reading the book alone. I couldn't.
본 발명인 독서 엔터테이닝 장치는 단말 디바이스(device)(200), 조명 디바이스(100), 도서 매칭(matching) 제어 데이터(data) 저장 서버(300)를 포함하여 구성될 수 있다. 그리고, 독서 엔터테이닝 장치를 이루는 이러한 각 구성은 서로 독립되어 구별됨이 원칙이나, 어느 한 구성이 다른 한 구성에 기능이 수용됨으로써 병합되는 것을 제한하는 것은 아니다.The reading and entertainment apparatus of the present invention may include a terminal device 200, a lighting device 100, and a book matching control data data storage server 300. In addition, although each of these components constituting the reading and entertainment apparatus is distinguished from each other independently, it does not limit that one component is merged by accommodating functions in the other component.
먼저, 본 발명인 독서 엔터테이닝 장치를 이루는 구성 중 조명 디바이스(100)에 대하여 보다 자세히 살펴보도록 한다.First, the lighting device 100 will be described in more detail in the configuration of the present invention.
도면 3도는 본 발명인 독서 엔터테이닝 장치를 구성하는 조명 디바이스의 제 1 실시 예를 보여주는 도면이다.3 is a view showing a first embodiment of the lighting device constituting the reading entertainment apparatus according to the present invention.
제1 실시 예에 따른 조명 디바이스(100)는 책 모양의 형태로 형성될 수 있다. 그리고, 책 등 부위의 반대편인 책이 열리는 부분에는 제2 조명 모듈(module)(111)이 구비되어 있을 수 있다. 그리고, 조명 디바이스(100)의 제2 조명 모듈(111)은 엘이디(LED, Light Emitting Device)로 구성된 조명 모듈일 수 있으며, 특히 레드(red) 엘이디, 그린(green) 엘이디 및 블루(blue) 엘이디로 구성된 풀 컬러(full color) 조명 모듈일 수 있다.The lighting device 100 according to the first embodiment may be formed in a book shape. In addition, a second lighting module 111 may be provided at a portion of the book that is opposite to the book portion. In addition, the second lighting module 111 of the lighting device 100 may be a lighting module composed of an LED (Light Emitting Device), and in particular, a red LED, a green LED, and a blue LED It may be a full color lighting module consisting of.
본 발명인 독서 엔터테이닝 장치를 구성하는 조명 디바이스(100)는 책을 읽는 사람이 발화한 음성 내에 포함된 단어를 인식하여 제2 조명 모듈(111)의 색상과 조도를 다양하게 변화시킬 수 있다. 예를 들어, 인식된 단어가 '별'인 경우에 조명 디바이스(100)의 제2 조명 모듈(111)은 반짝반짝 온 오프(on off)되며 빛날 수 있으며, 인식된 단어가 '바다'인 경우에는 파란색으로 색상이 변경될 수 있다. 그리고, 조명 디바이스(100)의 제2 조명 모듈(111)을 동작을 지시하는 제어 데이터(data)는 알지비(RGB) 가중치 포맷으로 구성되어 있을 수 있으며, 이러한 제어 데이터를 통하여 제2 조명 모듈(111)을 이루는 각각의 엘이디의 색상 및 조도를 변화시켜서 전체적으로 목적하는 색상 및 조도로 제2 조명 모듈(111)을 제어할 수 있다.The lighting device 100 constituting the reading entertainment apparatus according to the present invention may recognize a word included in a speech spoken by a person reading a book, and thus may vary the color and illuminance of the second lighting module 111. For example, when the recognized word is a star, the second lighting module 111 of the lighting device 100 may be turned on and shines on the light, and the recognized word is the sea. The color may change to blue. In addition, the control data for instructing the operation of the second lighting module 111 of the lighting device 100 may be configured in an RGB weighting format. By changing the color and illuminance of each LED constituting the 111, it is possible to control the second lighting module 111 to the overall desired color and illuminance.
본 발명인 독서 엔터테이닝 장치(100)는 이렇게 책 모양으로 형성됨으로써 해당 조명이 책과 관련된 것임을 아이들 등이 느낄 수 있도록 한다. 또한, 책이 열리는 부분을 통하여 제2 조명 모듈(111)의 색상이나 밝기가 변화됨으로써, 아이들 등에게 마치 책이 자신에게 말을 하는 듯한 느낌을 제공할 수 있다.The inventors of the present invention reading entertaining device 100 is formed in the shape of a book so that children can feel that the lighting is related to the book. In addition, the color or brightness of the second lighting module 111 is changed through the open portion of the book, thereby providing children with a feeling as if the book is talking to them.
도면 4도는 본 발명인 독서 엔터테이닝 장치를 구성하는 조명 디바이스의 제2 실시 예를 보여주는 도면이다.4 is a view showing a second embodiment of the lighting device constituting the reading entertainment apparatus according to the present invention.
본 발명의 제2 실시 예에 따른 독서 엔터테이닝 장치는 제1 실시 예에 추가로 제2 스피커(speaker) 모듈(112)이 책의 표지에 해당되는 부분에 형성되어 있는 것을 특징으로 한다. 제2 실시 예에 따른 조명 디바이스(100)는 발화된 음성 내 포함된 단어를 인식하여 제2 조명 모듈(111)의 색상 등에 변화를 줌과 함께, 제2 스피커 모듈(112)을 통하여 다양한 소리를 출력할 수 있다. 예를 들어, 인식된 단어가 '바다'인 경우에는 파도소리를 출력할 수 있으며, 인식된 단어가 '소나기'인 경우에는 빗소리를 출력할 수 있다.The reading and entertainment apparatus according to the second embodiment of the present invention is characterized in that, in addition to the first embodiment, a second speaker module 112 is formed at a portion corresponding to the cover of the book. The lighting device 100 according to the second exemplary embodiment recognizes a word included in the spoken voice to change the color of the second lighting module 111 and the like and various sounds through the second speaker module 112. You can print For example, when the recognized word is 'sea', the sound of waves may be output, and when the recognized word is 'shower', the sound of rain may be output.
이러한 조명 디바이스(100)의 밝기 및 색상 변화를 통하여, 본 발명인 독서 엔터테이닝 장치는 주변의 사람들에게 책과 관련하여, 보다 큰 흥미를 제공토록 하는 효과를 달성할 수 있다.Through the brightness and the color change of the lighting device 100, the present inventors entertaining device can achieve the effect of providing a greater interest with respect to the people around the book.
도면 5도는 본 발명인 독서 엔터테이닝 장치를 구성하는 조명 디바이스의 제3 실시 예를 보여주는 도면이다.5 is a view showing a third embodiment of the lighting device constituting the reading entertainment apparatus according to the present invention.
본 발명의 제3 실시 예에 따른 조명 디바이스(100)는 제2 실시 예에 추가로 제2 송풍 모듈(113)이 더 구비되어 있는 것을 특징으로 한다. 제2 송풍 모듈(113)은 내부에 팬(fan)을 구비함으로써 바람을 외부로 출력할 수 있다. 또는, 제2 송풍 모듈(113)은 날개 없는 선풍기에 사용된 제트(jet) 엔진(engine)의 원리를 이용하여 외부로 바람을 내보내는 원리를 이용하여 설계된 것일 수도 있다.The lighting device 100 according to the third embodiment of the present invention is further provided with a second blowing module 113 in addition to the second embodiment. The second blower module 113 may output wind to the outside by providing a fan therein. Alternatively, the second blower module 113 may be designed using the principle of blowing air to the outside using the principle of a jet engine used in a wingless fan.
제3 실시 예에 따른 조명 디바이스(100)는 발화된 음성에 포함된 단어를 인식하여 제2 송풍 모듈(113)을 통하여 바람을 일으킬 수 있다. 예를 들어, 인식된 단어가 '산들바람'인 경우에는 제2 송풍 모듈(113)에서 잔잔한 바람이 출력되고, 인식된 단어가 '강풍'인 경우에는 세찬 바람이 출력될 수 있다. The lighting device 100 according to the third exemplary embodiment may recognize a word included in the spoken voice to generate wind through the second blowing module 113. For example, when the recognized word is 'breeze', the calm wind is output from the second blowing module 113, and when the recognized word is 'strong wind', the strong wind may be output.
조명 디바이스(100)의 제2 조명 모듈(111), 제2 스피커 모듈(112), 제2 송풍 모듈(113)을 통하여 제공되는 효과는 단독으로 제공되는 효과일 수도 있고, 효과 파트(part)(110)를 구성하는 각 모듈의 효과가 서로 조합되어 제공되는 것을 수도 있다. 일 예로, 책을 읽는 사람이 발화한 음성에서 '파도'라는 단어가 인식되는 경우, 제2 조명 모듈(111)의 색상은 파란색으로 변경되고, 제2 스피커 모듈(112)에서는 파도 소리가 출력되며, 제2 송풍 모듈(113)을 통해서는 바람이 출력될 수 있다. The effects provided through the second lighting module 111, the second speaker module 112, and the second blower module 113 of the lighting device 100 may be provided alone, or the effects part ( The effects of each module constituting 110 may be provided in combination with each other. For example, when the word 'wave' is recognized in a voice spoken by a reader, the color of the second lighting module 111 is changed to blue, and the sound of waves is output from the second speaker module 112. Wind may be output through the second blowing module 113.
이러한 다양한 효과의 조합을 통하여 본 발명인 독서 엔터테이닝 장치 및 이의 구동 방법은 보다 흥미 진진한 책 읽기 환경을 제공할 수 있는 효과가 있다.Through the combination of these various effects, the present invention, the reading entertaining device and its driving method have an effect that can provide a more exciting reading environment.
도면 6도는 본 발명인 독서 엔터테이닝 장치를 구성하는 조명 디바이스의 제4 실시 예를 보여주는 도면이다.6 is a view showing a fourth embodiment of the lighting device constituting the present invention reading entertaining device.
본 발명의 제4 실시 예에 따른 독서 엔터테이닝 장치의 조명 디바이스(100)는 제3 실시 예에 추가하여 제2 분무 모듈(114), 제2 향기 모듈(115), 제2 진동 모듈(116)를 추가로 구비할 수 있다. In addition to the third embodiment, the lighting device 100 of the reading entertainment apparatus according to the fourth embodiment of the present invention includes the second spray module 114, the second fragrance module 115, and the second vibration module 116. ) May be further provided.
제4 실시 예에 따른 조명 디바이스(100)에서 제2 분무 모듈(114)은 발화된 음성 중 인식된 단어를 기반으로 외부로 물을 분사하는 역할을 수행할 수 있으며, 제2 향기 모듈(115)은 향수를 이용하여 향기를 분사하는 역할을, 제2 진동 모듈은 진동을 발생시키는 역할을 수행할 수 있다. 즉, 인식된 단어가 '비'인 경우 제2 분무 모듈(114)은 외부로 물을 분사할 수 있으며, 인식된 단어가 "꽃'인 경우 제2 향기 모듈(115)은 외부로 꽃향기가 나는 물질을 분사할 수 있다. 그리고, 제2 진동 모듈은 인식된 단어가 '지진'인 경우 진동을 발생시켜 마치 지진이 일어난 것과 같은 효과를 제공할 수 있다. 이러한 효과는 단독으로 발생되는 것일 수도 있으나, 효과 파트(110)를 구성하는 여러 모듈들의 작동이 서로 조합되어 발생되는 것일 수 있다. 그리고, 본 발명의 설명에서 효과 파트(110)라 함은 제2 조명 모듈(111), 제2 스피커 모듈(112), 제2 송풍 모듈(113), 제2 분무 모듈(114), 제2 향기 모듈(115) 및 제2 진동 모듈을 어느 하나 이상 포함하여 구성되는 조합을 지칭하는 것일 수 있다.In the lighting device 100 according to the fourth embodiment, the second spray module 114 may play a role of spraying water to the outside based on the recognized word among the spoken voices, and the second fragrance module 115. The fragrance may be sprayed using silver perfume, and the second vibration module may serve to generate vibration. That is, when the recognized word is 'rain', the second spray module 114 may spray water to the outside, and when the recognized word is “flower”, the second fragrance module 115 may have a floral fragrance outside. I can spray the material, and the second vibration module can generate an oscillation if the recognized word is an earthquake, providing the same effect as an earthquake. However, the operation of the various modules constituting the effect part 110 may be generated in combination with each other, and in the description of the present invention, the effect part 110 is referred to as the second lighting module 111 and the second speaker. The module 112, the second blowing module 113, the second spray module 114, the second fragrance module 115, and the second vibration module may include a combination that includes any one or more components.
이러한 다양한 효과의 조합을 통하여 본 발명인 독서 엔터테이닝 장치 및 이의 구동 방법은 보다 생동감 있고 흥미진진한 책 읽기 환경을 제공할 수 있는 효과가 있다.Through the combination of these various effects, the present invention, the reading entertaining device and the driving method thereof can provide a more lively and interesting book reading environment.
도면 7도는 본 발명인 독서 엔터테이닝 장치의 단말 디바이스에서 도서의 바코드를 촬영하는 모습을 보여주는 도면이다.Figure 7 is a view showing a state of photographing the barcode of the book in the terminal device of the present invention reading entertainment apparatus.
본 발명인 독서 엔터테이닝 장치 및 이의 구동 방법은 조명 디바이스(100) 단독으로 책을 읽는 사람의 발화되는 음성 속에서 단어를 인식하고 이를 기반으로 조명 디바이스(100)의 효과 파트(110)가 제공하는 효과를 제어할 수도 있으나, 조명 디바이스(100)는 단순히 효과 재현을 위한 역할만 수행하고 그 구체적인 지시는 외부의 단말 디바이스(200)을 통하여 지시받는 형식으로 구현될 수도 있다. 그리고, 이러한 단말 디바이스(200)는 스마트 폰(smart phone)이 될 수 있으며, 구체적으로는 스마트 폰에 설치되어 작동되는 어플을 통하여 조명 디바이스(100)에 지시되는 방식으로 구현될 수도 있다. 이와 같은 방식으로 본 발명인 독서 엔터테이닝 장치 및 이의 구동 방법이 구현되는 경우, 독서 엔터테이닝 장치는 단말 디바이스(200)의 제1 카메라 모듈(280)를 통하여 책(10)의 표지에 기록되어 있는 바코드(barcode) 형태의 국제표준도서번호(isbn; international standard book number)를 촬영함으로써 해당 책에 최적으로 부합된 제어 데이터를 수신하고 이러한 제어 데이터를 이용하여 인식된 단어를 기반으로 조명 디바이스(100)에 명령을 내릴 수 있다. 이와 관련하여서는 이하 도면들을 통하여 보다 더 자세히 살펴보기로 한다.The present invention, the reading entertaining device and its driving method recognizes a word in the spoken voice of a person who reads the book by the lighting device 100 alone, and based on this, the effect part 110 of the lighting device 100 provides the same. Although the effect may be controlled, the lighting device 100 may merely implement a role for reproducing the effect, and the detailed instructions may be implemented in a format instructed through the external terminal device 200. The terminal device 200 may be a smart phone, and specifically, may be implemented in a manner instructed to the lighting device 100 through an application installed and operated on the smart phone. In this manner, when the present invention, the reading entertaining device and the driving method thereof are implemented, the reading entertaining device is recorded on the cover of the book 10 through the first camera module 280 of the terminal device 200. By receiving an international standard book number (isbn) in the form of a barcode (barcode) to receive the control data that best fits the book, and using the control data based on the recognized words based on the lighting device (100) ) Can be issued. In this regard it will be described in more detail through the drawings below.
도면 8도는 본 발명인 독서 엔터테이닝 장치 및 이의 구동 방법이 작동되는 기본적인 과정을 설명해주는 도면이다.8 is a view illustrating a basic process of the present invention, the reading entertaining device and its driving method.
부모가 아이에게 책을 읽어주는 상황이거나 혼자 책을 낭독하는 상황에서, 사용자는 자신이 보유하고 있는 단말 디바이스(200)를 조명 디바이스(100) 근처로 가져갈 수 있다. 그러면, 단말 디바이스(200)와 조명 디바이스(100)는 서로 통신을 하여 연결될 수 있으며, 이는 블루투스(bluetooth) 방식을 이용한 페어링(pairing) 방식일 수도 있고 와이파이(wifi)를 이용한 연결 방식일 수도 있다. 또한, 단말 디바이스(200)와 조명 디바이스(100)의 이러한 연결은 자동으로 서로를 검색하여 이루어지는 것일 수도 있고, 단말 디바이스(200)에서 구동되는 어플을 통하여 조명 디바이스(100)를 검색하여 이루어지는 것일 수도 있다.In a situation where a parent reads a book to a child or reads a book alone, the user may take the terminal device 200 that the user holds near the lighting device 100. Then, the terminal device 200 and the lighting device 100 may be connected in communication with each other, which may be a pairing method using a Bluetooth method or a connection method using a Wi-Fi. In addition, the connection of the terminal device 200 and the lighting device 100 may be made by automatically searching each other, or may be made by searching the lighting device 100 through an application driven in the terminal device 200. have.
이렇게 조명 디바이스(100)와 단말 디바이스(200)가 연동된 이후에 사용자는 책을 소리내어 읽을 수 있다. 그러면, 단말 디바이스(200)는 사용자의 발화된 음성을 인식하고 그 인식된 단어 중에서 단말 디바이스(200)에 이미 저장되어 기록되어 있는 기설정된 단어와 매칭되는 단어가 있는지 여부를 확인할 수 있다. 이 과정에서, 인식된 단어 중에서 기설정된 단어와 일치하는 단어가 있는 경우, 단말 디바이스(200)는 조명 디바이스(100)에게 해당 단어와 관련된 제어 데이터를 송출하게 된다. 그리고, 이러한 신호를 수신한 조명 디바이스(100)는 해당 제어 데이터에 따라 자신의 효과 파트(110)를 구성하는 각각의 모듈을 구성하여 효과를 발생시킴으로써 사용자가 보다 깊이 책의 내용에 빠져들게 하도록 한다. 예를 들어, 단말 디바이스(200)가 인식한 단어가 '파도'인 경우, 단말 디바이스(200)는 내부 저장장치에서 기설정된 단어인 '파도'에 매칭되어 있는 제어 데이터를 추출하고 이를 조명 디바이스(100)에 전송하고, 이를 수신한 조명 디바이스(100)는 제어 데이터에 따라 제2 조명 모듈(111)의 색상을 파란색으로 바꾸고, 제2 스피커 모듈(112)을 통하여 파도 소리를 발생시킨 등의 효과를 발생시켜서 사용자의 보다 흥미진진한 책 읽기를 도와준다.After the lighting device 100 and the terminal device 200 are linked as described above, a user may read a book aloud. Then, the terminal device 200 may recognize the spoken voice of the user and check whether there is a word matching the preset word that is already stored and recorded in the terminal device 200 among the recognized words. In this process, when there is a word that matches the predetermined word among the recognized words, the terminal device 200 transmits control data related to the word to the lighting device 100. In addition, the lighting device 100 having received such a signal configures each module constituting its own effect part 110 according to the control data to generate an effect, thereby allowing the user to immerse in the contents of the book more deeply. For example, when the word recognized by the terminal device 200 is 'wave', the terminal device 200 extracts control data matched to 'wave', which is a preset word, from the internal storage device, and extracts the control data to the lighting device ( 100, the lighting device 100 receives the change, and changes the color of the second lighting module 111 to blue according to the control data, and generates the sound of waves through the second speaker module 112. To help users read more exciting books.
그리고, 본 발명의 설명에서, 제어 데이터라 함은 조명 디바이스(100)의 효과 파트(110)를 구성하는 각 모듈을 제어하기 위한 데이터로서 인식된 단어와 매칭되어 저장되어 있는 데이터를 지칭하는 것일 수 있다.In addition, in the description of the present invention, the control data may refer to data stored in matching with a recognized word as data for controlling each module constituting the effect part 110 of the lighting device 100. have.
도면 9도는 본 발명인 독서 엔터테이닝 장치 및 이의 구동 방법이 책 정보를 서버에 전송하고 해당 책 정보에 최적화된 제어 데이터를 서버로부터 수신하여 작동하는 과정을 보여주는 도면이다.9 is a view illustrating a process in which the present invention, the reading entertainment apparatus and its driving method transmit book information to a server, and receive and operate control data optimized for the book information from the server.
앞서 도면 8도를 통하여 살펴본 작동 방식을 통하여서도 책을 소리 내어 읽는 사용자에게 높은 몰입도와 흥미도를 제공할 수 있으나, 본 발명인 독서 엔터테이닝 장치 및 이의 구동 방법은 더 큰 흥미감 또는 생동감을 전달하기 위하여, 외부로부터 해당 책과 관련된 제어 데이터를 수신하고 이를 기반으로 조명 디바이스(100)를 제어할 수 있다. 예를 들면, 인식된 단어가 '파도'로 동일할 지라도, 책마다 부여되는 느낌이나 이미지가 상이할 수 있다. 즉, 어떤 책에서는 '파도'는 잔잔하게 너울거리는 이미지일 수 있으나, 다른 책에서의 '파도'는 보다 거친 이미지일 수 있다. Even through the operation method described above with reference to FIG. 8, it is possible to provide high immersion and interest to the user who reads the book aloud. However, the present invention can provide greater interest or vitality. In order to receive the control data related to the book from the outside, it is possible to control the lighting device 100 based on this. For example, even though the recognized word is the same as the 'wave', the feeling or image given to each book may be different. That is, in some books, 'wave' may be a calming image, while in other books, 'wave' may be a rougher image.
이러한 각각의 책에 따른 최적의 효과를 부여하기 위하여, 본 발명인 독서 엔터테이닝 장치 및 이의 구동 방법은 책 정보를 수신하고 해당 책의 내용에 대응하여 최적으로 설계된 제어 데이터를 이용하여 책을 낭독하는 사용자에게 보다 깊은 감동을 전달하고자 한다.In order to impart an optimum effect according to each of the books, the present invention, the reading entertaining device and its driving method receives the book information and reads the book using control data optimally designed in correspondence with the contents of the book. We want to convey a deeper impression to the user.
이를 위하여, 스마트 폰 등으로 채용될 수 있는 단말 디바이스(200)는 내부에 구비된 제1 카메라 모듈(280)을 통하여 책의 뒷면 등에 부착되어 있는 바코드 형태의 국제표준도서번호를 획득하여 도서 매칭 제어 데이터 저장 서버(300)로 전송할 수 있다. 그러면 이러한 정보를 수신한 도서 매칭 제어 데이터 저장 서버(300)는 책 정보별로 단어에 관련된 제어 데이터를 저장하고 있는 도서 매칭 제어 데이터베이스(320)에서 수신된 책 정보에 대응되는 제어 데이터를 추출하고 이러한 제어 데이터를 다시 단말 디바이스(200)로 전송할 수 있으며, 이를 수신한 단말 디바이스(200)는 수신된 제어 데이터를 기반으로 내부의 저장 공간인 제1 단어 매칭 제어 데이터베이스(220)를 갱신할 수 있다.To this end, the terminal device 200, which can be employed as a smart phone or the like, acquires an international standard book number in the form of a barcode attached to the back of a book through the first camera module 280 provided therein, and controls book matching. The data storage server 300 may transmit the data. Then, the book matching control data storage server 300 receiving such information extracts control data corresponding to the book information received from the book matching control database 320 which stores control data related to words for each book information. The data may be transmitted back to the terminal device 200, and the terminal device 200 receiving the data may update the first word matching control database 220, which is an internal storage space, based on the received control data.
이러한 방식으로 갱신이 이루어지면, 사용자가 책을 읽고 발화된 음성 중 인식된 단어에 대한 제어 데이터를 갱신된 제1 단어 매칭 제어 데이터베이스(220)에서 검색하여 조명 디바이스(100)로 전달하게 되고, 조명 디바이스(100)는 이러한 제어 데이터에 따라 효과 파트(110)를 제어하게 된다. 예를 들어 정리하면, 책 정보에 따른 제어 데이터가 갱신되기 이전에는 조명 디바이스(100)는 단순히 제2 스피커 모듈(112)만 가동되었는데, 제어 데이터가 갱신되면 제2 스피커 모듈(112)뿐 아니라 제2 조명 모듈(111), 제2 송풍 모듈(113) 등의 여러 모듈도 함께 작동되어 더 큰 몰입감을 사용자에게 제공할 수 있다. 또한, 단어별 디폴트 값으로 전송되던 제어 데이터도 각 책별로 최적화된 효과를 주도록 설계된 제어 데이터로 전송될 수 있다.When the update is made in this manner, the user reads the book and retrieves control data for the recognized word in the spoken voice from the updated first word matching control database 220 and delivers it to the lighting device 100, and the lighting The device 100 controls the effect part 110 according to the control data. For example, before the control data according to the book information is updated, the lighting device 100 merely operates the second speaker module 112. When the control data is updated, not only the second speaker module 112 but also the first Several modules such as the second lighting module 111 and the second blowing module 113 may also be operated together to provide greater immersion to the user. In addition, the control data transmitted as a default value for each word may also be transmitted as control data designed to give an optimized effect for each book.
도면 10도는 본 발명인 독서 엔터테이닝 장치의 단말 디바이스가 음성 중에서 단어를 인식하여 제어 데이터를 외부로 발송하는 과정을 정리하여 보여주는 순서도이다.FIG. 10 is a flowchart summarizing a process in which a terminal device of a reading entertainment apparatus of the present invention recognizes a word in a voice and sends control data to the outside.
먼저, 단말 디바이스(200)는 내부에 구비된 제1 마이크(mike) 모듈(210)을 이용하여 외부로부터 소리 신호를 수신하는 과정을 거칠 수 있으며(S10-1), 제1 음성 신호 추출 모듈(230)을 통하여 이렇게 수신된 소리 신호로부터 음성 신호를 추출하는 과정을 수행할 수 있다.(S10-2)First, the terminal device 200 may go through a process of receiving a sound signal from the outside by using a first mike module 210 provided therein (S10-1), and extracts a first voice signal extraction module ( A process of extracting a voice signal from the received sound signal may be performed through 230. (S10-2)
이렇게 소리 신호로부터 음성 신호가 추출된 이후에, 단말 디바이스(200)는 내부의 제1 인코딩(encoding) 모듈(240)을 통하여 추출된 음성 신호를 문자 인코딩하여 텍스트 스트림(text stream)으로 변환하는 과정을 수행할 수 있다.(S10-3) 즉, 음성 신호를 아스키 코드(ascii code)나 유니코드 포맷(UTF, Unicode Transformation Format) 등의 문자 포맷으로 연속적으로 변환될 수 있다. 그리고, 제1 단어 매칭 모듈(250)은 이렇게 연속적으로 변환되어 큐(gueue) 방식 등의 메모리에 저장된 텍스트 스트림 상에서 기설정된 제1 단어 매칭 제어 데이터베이스(220)에 저장된 단어와 일치되는 단어가 있는지 여부를 확인할 수 있으며(S10-4), 일치되는 단어가 있는 경우 해당 단어와 매칭된 제어 데이터를 제1 송수신 모듈(120)을 통하여 외부로 전송하는 과정이 수행될 수 있다.(S10-5) After the voice signal is extracted from the sound signal, the terminal device 200 characterizes the voice signal extracted through the internal first encoding module 240 and converts the text signal into a text stream. In operation S10-3, the voice signal may be continuously converted into a character format such as an ASCII code or a Unicode Transformation Format (UTF). In addition, the first word matching module 250 is continuously converted in this way and whether there is a word that matches a word stored in the preset first word matching control database 220 on a text stream stored in a memory such as a queue method. In operation S10-4, when there is a matched word, a process of transmitting control data matched with the word to the outside through the first transmission / reception module 120 may be performed.
이렇듯 본 발명인 독서 엔터테이닝 장치는 하나 하나 음성을 입력하고 단말 디바이스(200)가 인식하도록 하는 것이 아니라 음성 신호를 텍스트 스트림으로 변환하고 이를 큐에 저장하면서 해당 텍스트 스트림 상에 기설정된 단어와 일치되는 단어가 있는지 여부를 확인함으로써, 책을 소리내어 읽는 사용자나 책 이야기를 듣는 자가 오로지 책 내용에만 집중할 수 있도록 하는 효과를 제공할 수 있다.As described above, the present invention does not input the voice one by one and allows the terminal device 200 to recognize it, but instead of converting the voice signal into a text stream and storing the same in a queue, the reading entertaining device is matched with a preset word on the text stream. By checking for the presence of words, it is possible to provide an effect of allowing the user who reads the book aloud or the reader to focus on the book content.
도면 11도는 독서 엔터테이닝 장치의 단말 디바이스의 내부에 기록된 제어 데이터가 책 정보에 따라 최신으로 갱신되는 과정을 보여주는 순서도이다.FIG. 11 is a flowchart showing a process in which control data recorded inside the terminal device of the reading entertainment apparatus is updated according to book information.
앞서 살펴본 바와 같이, 본 발명인 독서 엔터테이닝 장치 및 이의 구동 방법은 디폴트(default)로 기저장된 제어 데이터에 의하여 음성을 인식하고 조명 디바이스(100)의 효과를 제어할 수도 있으나, 도서별 최적의 효과를 제공하기 위하여, 도서별 제어 데이터를 수신하고 이에 따라 조명 디바이스(100)를 제어할 수도 있으며, 이를 위하여 단말 디바이스(200)가 제어 데이터를 수신하는 과정은 다음과 같다.As described above, the present invention, the reading entertaining device and its driving method may recognize the voice by the pre-stored control data and control the effect of the lighting device 100, but the optimum effect for each book. In order to provide, the control data for each book may be received and the lighting device 100 may be controlled accordingly. For this purpose, the process of receiving the control data by the terminal device 200 is as follows.
먼저, 단말 디바이스(200)는 제1 송수신 모듈(120)을 통하여 책에 관련된 정보를 도서 매칭 제어 데이터 저장 서버(300)에 전송하는 과정을 수행할 수 있다.(S11-1) 이 과정에서 책에 관련된 정보는 책의 제호, 저자, 출판사 등을 직접 사용자가 입력한 것일 수도 있고 책의 표지를 촬영한 뒤 이를 오씨알(OCR, Optical character reader) 인식한 것일 수도 있으나, 바람직하게는 책의 표지에 바코드 형식으로 부착된 국제표준도서번호가 단말 디바이스(200)의 제1 카메라 모듈(280)을 이용하여 인식된 것일 수 있다. 이러한 책 정보를 수신한 도서 매칭 제어 데이터 저장 서버(300)는 해당 책과 관련된 제어 데이터를 다시 단말 디바이스(200)로 전송하며, 이러한 제어 데이터를 수신한 단말 디바이스(200)는 내부 저장 공간인 제1 단어 매칭 제어 데이터베이스(220)에 저장하는 과정을 수행할 수 있다.(S11-2)First, the terminal device 200 may perform a process of transmitting information related to a book to the book matching control data storage server 300 through the first transmission / reception module 120. (S11-1) In this process, the book may be transmitted. The related information may be directly inputted by the user of the title of the book, the author, or the publisher, or may be an optical character reader (OCR) recognized after photographing the cover of the book, but preferably the cover of the book. The international standard book number attached to the bar code format may be recognized using the first camera module 280 of the terminal device 200. The book matching control data storage server 300 having received the book information transmits control data related to the book back to the terminal device 200, and the terminal device 200 having received the control data has an internal storage space. The process of storing the one word matching control database 220 may be performed. (S11-2)
이러한 갱신을 통하여, 독서 엔터테이닝 장치 및 이의 구동 방법은 같은 단어를 인식하더라도 서로 다른 효과를 사용자에게 제공하게 된다. 즉, 기존에는 디폴트로 저장된 단어를 기반으로 단말 디바이스(200)가 조명 디바이스(100)의 작동을 제어했다면, 제1 단어 매칭 제어 데이터베이스(220)가 갱신된 이후에는 해당 책에 최적화된 단어를 기반으로 조명 디바이스(100)를 제어하여 해당 책과 관련하여 최적의 효과를 사용자에게 제공할 수 있다.Through such an update, the reading entertainment apparatus and its driving method may provide different effects to the user even if the same word is recognized. That is, if the terminal device 200 controls the operation of the lighting device 100 based on the word stored as a default, after the first word matching control database 220 is updated, based on the word optimized for the book By controlling the lighting device 100 to provide the user with an optimal effect in relation to the book.
이를 통하여, 본 발명인 독서 엔터테이닝 장치 및 이의 구동 방법은 더 큰 감동과 몰입감을 책을 읽는 현장 주변의 사람들에게 전달할 수 있다.Through this, the inventors of the present invention reading entertaining device and a driving method thereof can deliver a greater impression and immersion to people around the site reading a book.
도면 12도는 본 발명인 독서 엔터테이닝 장치의 조명 디바이스에서 효과 파트가 제어되는 과정을 순서도로 보여주는 도면이다.FIG. 12 is a flowchart illustrating a process in which an effect part is controlled in the lighting device of the present invention.
먼저, 조명 디바이스(100)는 제2 데이터 송수신 모듈(170)을 통하여 제어 데이터를 수신하는 과정을 거칠 수 있으며(S12-1), 이러한 제어 데이터는 단말 디바이스(200)를 통하여 발송된 것일 수 있다. First, the lighting device 100 may undergo a process of receiving control data through the second data transmission / reception module 170 (S12-1), and the control data may be sent through the terminal device 200. .
이렇게 조명 디바이스(100)가 제어 데이터를 수신한 이후에는, 조명 디바이스(100)는 제어 데이터를 기반으로 제2 조명 모듈(111)을 색상 또는 밝기를 조절하는 과정을 수행할 수 있다(S12-2). 또한, 수신된 제어 데이터를 기초로 제2 스피커 모듈(112), 제2 진동 모듈(116), 제2 송풍 모듈(113), 제2 향기 모듈(115), 제2 진동 모듈(116) 등의 동작을 제어할 수 있다.(S12-3) 여기서, 각각의 모듈들 사이의 작동은 제어 데이터의 지시에 따라 동시에 이루어질 수도 있고, 시간차 간격을 두고 이루어질 수도 있다.After the lighting device 100 receives the control data in this way, the lighting device 100 may perform a process of adjusting the color or brightness of the second lighting module 111 based on the control data (S12-2). ). Also, based on the received control data, the second speaker module 112, the second vibration module 116, the second blowing module 113, the second fragrance module 115, the second vibration module 116, and the like may be used. The operation may be controlled (S12-3). Here, the operation between the respective modules may be performed at the same time or at a time difference interval according to the control data.
도면 13도는 본 발명인 독서 엔터테이닝 장치의 도서 매칭 제어 데이터 저장 서버에서 이루어지는 동작을 순서도로 보여주는 도면이다.FIG. 13 is a flowchart illustrating an operation performed in the book matching control data storage server of the present invention.
먼저, 도서 매칭 제어 데이터 저장 서버(300)는 단말 디바이스(200)로부터 책 정보를 수신하고(S13-1), 수신된 책 정보를 대응되는 제어 데이터를 도서 매칭 제어 데이터베이스(320)에서 검색하는 과정을 거칠 수 있다.(S13-2) 이 과정에서 책 정보는 단말 디바이스(200)에서 전송된 국제표준도서번호일 수 있으나 반드시 이에 한정되는 것은 아니고, 책의 제호, 저자, 출판사, 출판일 등을 사용자가 직접 입력하여 전송하거나 오씨알로 인식되어 전송된 것일 수 있다. 이렇게 도서 매칭 제어 데이터베이스(320)에서 해당 책의 제어 데이터가 검색되어 추출된 다음에는, 도서 매칭 제어 데이터 저장 서버(300)는 다시 단말 디바이스(200)로 그 추출된 제어 데이터를 전송하는 과정을 거칠 수 있다.(S13-3)First, the book matching control data storage server 300 receives book information from the terminal device 200 (S13-1), and retrieves control data corresponding to the received book information from the book matching control database 320. (S13-2) In this process, the book information may be an international standard book number transmitted from the terminal device 200, but is not necessarily limited thereto, and the title of the book, the author, the publisher, the publication date, and the like. The user may directly input and transmit or may be recognized and transmitted as an OSC. After the control data of the book is retrieved and extracted from the book matching control database 320 as described above, the book matching control data storage server 300 undergoes a process of transmitting the extracted control data to the terminal device 200 again. (S13-3)
그리고, 도서 매칭 제어 데이터 저장 서버(300)의 도서 매칭 제어 데이터베이스(320)에 저장되어 있는 도서별 제어 데이터들은 본 발명인 독서 엔터테이닝 장치의 운영자에 의하여 미리 입력된 것일 수도 있으나, 각 도서를 제공하는 출판사 등의 다른 운영 주체에 의하여 업로드(upload)되어 기록된 것일 수도 있다. 또한, 책을 직접 읽어본 사용자가 직접 설계하여 저장한 제어 데이터가 업로드되어 있는 것일 수도 있다.And, the book-specific control data stored in the book matching control database 320 of the book matching control data storage server 300 may be previously input by the operator of the present invention reading entertaining device, but provides each book It may be uploaded and recorded by another operating entity such as a publisher. In addition, the control data stored by the user who directly read the book may be uploaded.
이러한 오픈(open)된 방식의 도서 매칭 제어 데이터 저장 서버(300)의 운영을 통하여, 본 발명인 독서 엔터테이닝 장치 및 이의 구동 방법은 사용자에게 책을 읽는 즐거움을 주는 동시에 자신이 책의 세계를 능동적으로 구축하여 가는 창조자가 된 듯한 느낌을 부여할 수 있으며, 자신이 설계한 이러한 제어 데이터들을 타인과 공유하며 교감을 형성할 수 있는 효과도 달성할 수 있다.Through the operation of the open book matching control data storage server 300 of the open manner, the present invention, the reading entertaining device and the driving method thereof provide the user with pleasure of reading a book, and at the same time, he / she actively reads the book world. It can give you the feeling of becoming a creator, and you can achieve the effect of sharing the control data you design with others and forming a rapport.
도면 14도는 본 발명인 독서 엔터테이닝 장치를 이루는 단말 디바이스의 내부 구성을 블럭으로 보여주는 도면이다.FIG. 14 is a block diagram illustrating an internal configuration of a terminal device constituting the present invention.
독서 엔터테이닝 장치의 단말 디바이스(200)는 제1 마이크 모듈(210), 제1 단어 매칭 제어 데이터베이스(220), 제1 음성 신호 추출 모듈(230), 제1 인코딩 모듈(240), 제1 단어 매칭 모듈(250), 제1 제어 모듈(260), 제1 데이터 송수신 모듈(270)을 포함하여 구성될 수 있다. 그리고, 여기에 더 나아가, 제1 카메라 모듈(280), 도서 정보 획득 모듈(190)을 추가로 더 구비할 수 있다.The terminal device 200 of the reading entertainment apparatus includes a first microphone module 210, a first word matching control database 220, a first speech signal extraction module 230, a first encoding module 240, and a first encoding module 240. The word matching module 250, the first control module 260, and the first data transmission / reception module 270 may be configured to be included. In addition, the camera may further include the first camera module 280 and the book information acquisition module 190.
단말 디바이스(200)의 제1 마이크 모듈(210)은 외부에서 소리를 수신하는 역할을 수행하며, 제1 음성 신호 추출 모듈(230)은 제1 마이크 모듈(210)을 통하여 수신된 소리 신호로부터 사람의 육성과 관련된 음성 신호를 추출하는 역할을 수행할 수 있다. 그리고, 제1 인코딩 모듈(240)은 음성 신호를 문자 인코딩하여 텍스트 스트림으로 변환하여 제1 단어 매칭 모듈(250)로 전달하는 역할을 수행할 수 있으며, 이러한 텍스트 스트림을 전달받은 제1 단어 매칭 모듈(250)은 전달받은 텍스트 스트림을 연속적으로 살펴서 인식된 단어 중에 제1 단어 매칭 제어 데이터베이스(220)에 저장된 단어와 일치하는 단어가 있는지 여부를 확인할 수 있다. 이 과정에서 일치된 단어가 있는 경우 제1 단어 매칭 모듈(250)은 해당 단어를 제1 제어 모듈(260)에 전달하고, 제1 단어 매칭 모듈(250)은 제1 단어 매칭 제어 데이터베이스(220)로부터 해당 단어에 관련된 제어 데이터를 수신하여 제1 데이터 송수신 모듈(270)을 통하여 외부로 전송할 수 있다. The first microphone module 210 of the terminal device 200 serves to receive sound from the outside, and the first voice signal extraction module 230 is a person from the sound signal received through the first microphone module 210. It can play a role of extracting the voice signal related to the nurturing. In addition, the first encoding module 240 may perform a function of encoding a voice signal, converting the voice signal into a text stream, and delivering the converted text stream to the first word matching module 250. The first word matching module receives the text stream. In operation 250, the received text stream may be continuously checked to determine whether there is a word that matches the word stored in the first word matching control database 220. If there is a matched word in this process, the first word matching module 250 transfers the word to the first control module 260, and the first word matching module 250 sends the first word matching control database 220. Control data related to the corresponding word may be received from and transmitted to the outside through the first data transmission / reception module 270.
또한, 단말 디바이스(200)는 제1 카메라 모듈(280)과 도서 정보 획득 모듈(190)을 추가로 구비할 수 있으며, 이러한 구성을 통하여 책에 표기된 바코드를 촬영하고 국제표준도서번호를 획득하여 도서 매칭 제어 데이터 저장 서버(300)로 전송할 수 있다.In addition, the terminal device 200 may further include a first camera module 280 and a book information acquisition module 190. Through this configuration, the terminal device 200 photographs a barcode displayed on a book and obtains an international standard book number. The matching control data storage server 300 may transmit the same.
도면 15도는 본 발명인 독서 엔터테이닝 장치를 구성하는 조명 디바이스의 내부 구성을 블럭도로 보여주는 도면이다.FIG. 15 is a block diagram showing an internal configuration of a lighting device constituting the present reading entertainment apparatus.
조명 디바이스(100)는 제2 데이터 송수신 모듈(170), 제2 제어 모듈(160), 효과 파트(110)을 포함하여 구성될 수 있다. 그리고, 효과 파트(110)는 제2 조명 모듈(111), 제2 스피커 모듈(112), 제2 송풍 모듈(113), 제2 분무 모듈(114), 제2 향기 모듈(115) 및 제2 진동 모듈(116) 중에서 어느 하나 이상을 포함하여 구성될 수 있다. 이러한 구성의 조명 디바이스(100)는 단말 디바이스(200)가 전송하는 제어 데이터를 제2 데이터 송수신 모듈(170)을 통하여 수신하고, 이를 제2 데이터 송수신 모듈(170)을 통하여 전달받은 제2 제어 모듈(160)은 수신된 제어 데이터를 해석하여 효과 파트(110)의 각 모듈의 동작을 지시하게 된다.The lighting device 100 may include a second data transmission / reception module 170, a second control module 160, and an effect part 110. In addition, the effect part 110 includes the second lighting module 111, the second speaker module 112, the second blowing module 113, the second spray module 114, the second fragrance module 115, and the second. It may be configured to include any one or more of the vibration module 116. The lighting device 100 having such a configuration receives the control data transmitted by the terminal device 200 through the second data transmission / reception module 170 and the second control module received through the second data transmission / reception module 170. 160 interprets the received control data to instruct the operation of each module of the effect part 110.
본 발명인 독서 엔터테이닝 장치의 조명 디바이스(100)가 이러한 구성으로 형성되는 경우, 조명 디바이스(100)는 최소한의 간단한 구성만을 가지게 되어 그 제작 비용이 저렴해지는 효과를 달성할 수 있다. 또한, 단말 디바이스(200)가 스마트 폰 상에서 작동되는 어플로 구현되는 경우에는 최소한의 비용으로 단말 디바이스(200)를 공급할 수 있는 효과도 달성할 수 있으며, 무엇보다 어플의 갱신 및 유지 관리가 용이하다는 장점이 있다.When the lighting device 100 of the reading and entertainment apparatus of the present invention is formed in such a configuration, the lighting device 100 may have only a minimal and simple configuration, thereby achieving an effect of low manufacturing cost. In addition, when the terminal device 200 is implemented as an application operating on a smart phone, the effect of supplying the terminal device 200 can be achieved at a minimum cost, and above all, it is easy to update and maintain the application. There is an advantage.
도면 16도는 외부의 단말 디바이스가 없이 단독으로 구동 가능한 조명 디바이스의 내부 구성을 블럭도로 보여주는 도면이다.16 is a block diagram illustrating an internal configuration of a lighting device that can be driven alone without an external terminal device.
단말 디바이스(200)의 도움 없이 단독으로 작동되기 위하여, 조명 디바이스(100)는 제2 마이크 모듈(117), 제2 음성 추출 모듈(130), 제2 인코딩 모듈(140), 제2 단어 매칭 모듈(150), 제2 제어 모듈(160), 제2 데이터 송수신 모듈(170), 제2 카메라 모듈(180), 도서 정보 획득 모듈(190), 제2 단어 매칭 제어 데이터베이스(120), 효과 파트(110)를 포함하여 구성될 수 있다. 즉, 단말 디바이스(200)의 구성요소에 대응되는 구성요소를 모두 포함하여 형성될 수 있으며, 그 작동 방식은 앞서 살펴본 단말 디바이스(200)의 작동 방식과 유사할 수 있다. 다만, 앞서 살펴본 단말 디바이스(200)는 제어 데이터를 외부에 위치한 조명 디바이스(100)로 전송하였으나, 도면 16도의 조명 디바이스(100)는 자체적으로 효과 파트(110)를 구비하고 있기 때문에 외부로 제어 데이터를 전송하지 않고, 직접 효과 파트(110)의 각 모듈의 동작을 제어할 수 있다. 또한, 책 정보를 도서 매칭 제어 데이터 저장 서버(300)로 전송하고 책에 따른 제어 데이터를 수신하여 제2 단어 매칭 제어 데이터베이스(120)에 전달하는 과정도 직접 수행할 수 있다.In order to operate solely without the assistance of the terminal device 200, the lighting device 100 has a second microphone module 117, a second speech extraction module 130, a second encoding module 140, a second word matching module. 150, the second control module 160, the second data transmission / reception module 170, the second camera module 180, the book information acquisition module 190, the second word matching control database 120, and the effect part ( 110 may be configured to include. That is, it may be formed to include all the components corresponding to the components of the terminal device 200, the operation method may be similar to the operation method of the terminal device 200 described above. However, the above-described terminal device 200 transmits control data to the lighting device 100 located outside, but since the lighting device 100 shown in FIG. 16 has an effect part 110 by itself, the control data is transmitted to the outside. It is possible to control the operation of each module of the effect part 110 directly, without transmitting. In addition, a process of transmitting book information to the book matching control data storage server 300 and receiving control data according to the book and transferring the book information to the second word matching control database 120 may also be directly performed.
이러한 방식으로 설계된 조명 디바이스(100)의 경우에는 단말 디바이스(200)의 도움이 없어도 독자적으로 책을 읽는 발화자의 음성 내 단어를 인식하고 해당 단어별로 효과를 발생시킬 수 있기 때문에, 스마트 폰 등이 없는 어린이들의 경우에도 혼자서 쉽게 사용할 수 있다는 장점이 있다.In the case of the lighting device 100 designed in this manner, since the words in the voice of the speaker who reads the book can be recognized and effects can be generated for each word even without the help of the terminal device 200, there is no smart phone or the like. Children also have the advantage of being easy to use alone.
도면 17도는 본 발명인 독서 엔터테이닝 장치의 도서 매칭 제어 데이터 저장 서버의 내부 구성을 블럭도로 보여주는 도면이다.FIG. 17 is a block diagram illustrating an internal configuration of the book matching control data storage server of the present invention.
본 발명인 독서 엔터테이닝 장치의 도서 매칭 제어 데이터 저장 서버(300)는 책 정보별로 단어 관련 제어 데이터를 저장하고 있는 도서 매칭 제어 데이터베이스(320), 단말 디바이스(200) 등이 전송하는 책 정보를 수신하는 수신 모듈(310), 수신 모듈(310)을 통하여 수신된 책 정보에 대응되는 제어 데이터를 도서 매칭 제어 데이터베이스(320)로부터 검색하여 추출하는 중앙 제어 모듈(330), 수신 모듈을 통하여 전송받은 제어 데이터를 다시 단말 디바이스(200) 등의 외부로 전송하는 송신 모듈(340)을 포함하여 형성될 수 있다.The book matching control data storage server 300 of the present invention's reading entertainment apparatus receives book information transmitted from the book matching control database 320, the terminal device 200, and the like, which store word-related control data for each book information. The central control module 330 to retrieve and extract control data corresponding to book information received through the receiving module 310 and the receiving module 310 from the book matching control database 320, and the control received through the receiving module. It may be formed to include a transmission module 340 for transmitting the data back to the outside, such as the terminal device 200.
이러한 도서 매칭 제어 데이터 저장 서버(300)를 통하여, 본 발명은 책 내용의 의미를 최적으로 살릴 수 있는 효과를 사용자에게 제공할 수 있다.Through the book matching control data storage server 300, the present invention can provide the user with an effect that can best utilize the meaning of the book content.
도면 18도는 본 발명인 독서 엔터테이닝 장치의 다른 구동 방법을 보여주는 순서도이다.18 is a flowchart showing another driving method of the present invention.
본 발명인 독서 엔터테이닝 장치의 구동 방법의 다른 실시 예는 먼저, 스마트 폰 등으로 구현된 본 발명인 독서 엔터테이닝 장치에 외부 조명 모듈(400)이 연결되는 과정으로부터 수행될 수 있다.(S18-1) 그리고, 이렇게 스마트 폰 등으로 구현된 독서 엔터테이닝 장치에 외부 조명 모듈(400)이 연결된 이후에는 책 정보가 수신되는 과정이 수행될 수 있으며, 이 과정은 스마트 폰 등에 구비되는 제1 카메라 모듈(280) 등에 의하여 수행될 수 있다.(S18-2) 보다 구체적으로는, 책(10)의 표지에 구비되는 바코드 형식의 국제표준도서번호가 제1 카메라 모듈(280)을 통하여 촬영됨으로써 책(10)에 대한 정보가 수신되는 것일 수도 있다.Another embodiment of the method of driving the reading entertainment apparatus according to the present invention may first be performed from a process in which the external lighting module 400 is connected to the reading entertainment apparatus according to the present invention implemented as a smart phone. 1) And, after the external lighting module 400 is connected to the reading and entertainment apparatus implemented as a smart phone, the book information may be received. This process may include a first camera provided in a smart phone or the like. Module 280 or the like. (S18-2) More specifically, the international standard book number in the form of a barcode provided on the cover of the book 10 is photographed through the first camera module 280, thereby Information about 10 may be received.
이렇게 책(10)에 대한 정보를 수신한 이후에, 독서 엔터테이닝 장치는 수신된 책(10)의 정보에 대응되는 제어 데이터가 기 저장되어 있는지 여부를 확인하고(S18-3), 기 저장되어 있는 경우에는 해당 제어 데이터를 내부 메모리 모듈(221)로 로딩(loading)하는 과정을 수행할 수 있다.(S18-6) 하지만, 수신된 책(10) 정보에 대응되는 제어 데이터가 독서 엔터테이닝 장치의 내부에 기 저장되어 있지 않은 경우에는 독서 엔터테이닝 장치는 수신된 책(10)의 정보를 도서 매칭 제어 데이터 저장 서버(300)로 전송하고(S18-4), 이러한 도서 매칭 제어 데이터 저장 서버(300)로부터 해당 책(10)에 대응되는 제어 데이터를 수신하여 내부에 저장하는 과정을 수행할 수 있다.(S18-5)After receiving the information about the book 10 as described above, the reading entertainment apparatus checks whether control data corresponding to the information of the book 10 is stored in advance (S18-3), and stores the information. In this case, the process of loading the corresponding control data into the internal memory module 221 may be performed (S18-6). However, the control data corresponding to the received book 10 information is read. If not already stored in the inning device, the reading entertainment device transmits the information of the received book 10 to the book matching control data storage server 300 (S18-4), and such book matching control data. A process of receiving control data corresponding to the book 10 from the storage server 300 and storing the control data therein may be performed (S18-5).
제어 데이터가 내부 메모리 모듈(221)로 로딩이 완료된 이후에, 독서 엔터테이닝 장치는 제1 마이크 모듈(210) 등을 이용하여 소리 신호를 수신하는 과정을 수행할 수 있으며(S18-7), 이렇게 수신된 소리 신호에서 잡음을 제거하고 사람의 음성과 관련된 신호를 추출되는 과정이 수행되고(S18-8), 수신된 음성 신호는 제1 인코딩 모듈(240)에 의하여 텍스트 스트림으로 변환되는 과정이 수행될 수 있다(S18-9)After the loading of the control data into the internal memory module 221 is completed, the reading entertainment apparatus may perform a process of receiving a sound signal using the first microphone module 210 or the like (S18-7). The process of removing noise from the received sound signal and extracting a signal related to a human voice is performed (S18-8), and the process of converting the received voice signal into a text stream by the first encoding module 240 is performed. Can be performed (S18-9)
수신된 음성 신호를 순차적으로 텍스트 스트림으로 변환한 이후에는, 본 발명인 독서 엔터테이닝 장치는 변환된 텍스트 스트림에서 제어 데이터에 포함된 싱크(sink) 단어와 일치하는 단어가 있는지 여부를 확인하고(S18-10), 일치되는 싱크 단어가 있는 경우에는 해당 책(10) 정보에 대응되는 제어 데이터에서 싱크 단어의 위치를 가리키도록 포인터(pointer)를 수정하는 과정을 수행하고(S18-11), 싱크 단어와 관련된 제어 데이터가 수행되도록 하는 과정을 진행할 수 있다.(S18-13) 이를 통하여, 본 발명인 독서 엔터테이닝 장치의 다른 구동 방법은 낭독자가 읽는 책의 해당 부분에 대응하여 적절한 효과음과 조명을 제공할 수 있으며, 본 발명에서 사용되는 싱크 단어가 선택되는 기준과 그 역할은 이후 도면을 통하여 더 자세히 살펴보도록 한다.After converting the received speech signal into a text stream sequentially, the reading and entertainment apparatus of the present invention checks whether there is a word matching the sink word included in the control data in the converted text stream (S18). If there is a matching sync word, a process of modifying a pointer to point to the position of the sync word in the control data corresponding to the book 10 information is performed (S18-11). A process of allowing control data related to a word to be performed may be performed. (S18-13) Through this, another driving method of the reading entertainment apparatus according to the present invention provides an appropriate sound effect and lighting corresponding to the corresponding part of the book read by the reader. The criterion and the role of selecting the sync word used in the present invention will be described in more detail with reference to the accompanying drawings.
싱크 단어와 관련된 제어 데이터에 따라 조명 및 스피커의 제어를 수행한 이후에, 본 발명인 독서 엔터테이닝 장치는 제어 데이터의 제어 순서를 가리키는 포인터가 싱크 단어의 끝까지 이동하여 남겨진 싱크 단어 리스트(list)가 있는지 여부를 확인하고(S18-13), 아직 남겨진 싱크 단어가 있는 경우에는 제1 마이크 모듈(210)을 통하여 계속적으로 수신되는 음성 신호가 있는지 여부를 확인하여(S18-14), 수신되는 음성 신호가 아직 있는 경우에는 계속적으로 변환된 텍스트 스트림 내에서 싱크 단어와 일치되는 단어가 있는지 여부를 확인하게 된다. 만일, 싱크 단어 리스트 상에 남겨진 단어가 없거나 제1 마이크 모듈(210)을 통하여 더 이상 수신되는 단어 리스트가 없는 경우에는 본 발명인 독서 엔터테이닝 장치는 제어 데이터에 따른 외부 조명 모듈(400) 또는 스피커 모듈을 제어하는 과정을 종료하게 된다.After performing the control of the lighting and the speaker according to the control data associated with the sync word, the inventors of the present invention read the list of the sync words left by moving the pointer indicating the control order of the control data to the end of the sync word. (S18-13), and if there is a sync word still left, check whether there is a voice signal continuously received through the first microphone module 210 (S18-14), and the received voice signal If is still present, it continuously checks whether there is a word in the converted text stream that matches the sync word. If there is no word left on the sync word list or there is no word list received through the first microphone module 210, the present invention, the reading entertaining device may use the external lighting module 400 or the speaker according to the control data. The process of controlling the module is terminated.
본 발명인 독서 엔터테이닝 장치는 다른 실시 예에 따른 구동 방법을 통하여, 오프 라인(off line)으로 낭독자가 낭독하는 책이 읽히는 부분과 해당 부분에 대응하여 독서 엔터테이닝 장치가 제공하는 조명 효과 또는 소리 효과 사이의 동기를 일치시킬 수 있는 효과가 있다.The present invention, the reading entertaining device is a lighting method provided by the reading entertaining device corresponding to a portion and a corresponding portion of the book read by the reader offline (offline) through a driving method according to another embodiment or There is an effect that can match the synchronization between sound effects.
도면 19도는 본 발명인 독서 엔터테이닝 장치의 또 다른 구동 방법을 보여주는 순서도이다.Figure 19 is a flow chart showing another driving method of the present invention reading entertaining device.
본 발명인 독서 엔터테이닝 장치의 또 다른 구동 방법도 그 시작은 먼저 외부 조명 모듈(400)이 스마트 폰 등의 형식으로 구현되는 독서 엔터테이닝 장치에 연결되는 과정으로부터 시작될 수 있으며(S19-1), 이렇게 외부 조명 모듈(400)이 연결된 이후에는 제1 카메라 모듈(280) 등에 의하여 책(10) 정보가 수신되는 과정이 진행될 수 있다(S19-2) 여기서, 책(10) 정보는 바코드 형식의 국제표준도서번호의 형태로 제공되는 것일 수도 있고, 책(10)의 표지를 그대로 촬영하여 오씨알(OCR) 인식을 통하여 제공되는 것일 수도 있다.Another driving method of the present invention, the reading entertaining device can also be started from the process in which the external lighting module 400 is connected to the reading entertaining device implemented in the form of a smart phone (S19-1). After the external lighting module 400 is connected as described above, a process of receiving book 10 information by the first camera module 280 or the like may be performed (S19-2). It may be provided in the form of an international standard book number, or may be provided through the OCR recognition by photographing the cover of the book 10 as it is.
다음으로, 수신된 책(10)의 정보에 대응되는 제어 데이터가 독서 엔터테이닝 장치의 내부에 기 저장되어 있는지 여부를 확인하고(S19-3), 해당 정보가 기 저장되어 있는 경우에는 제어 데이터를 내부 메모리 모듈(221)로 로딩하는 과정을 수행할 수 있다.(S19-6) 만일, 독서 엔터테이닝 장치의 메모리 등에 제어 데이터가 기 저장되어 있지 않은 경우, 독서 엔터테이닝 장치는 국제표준도서번호 등의 책(10)에 대한 정보를 도서 매칭 제어 데이터 저장 서버(300)로 전송하고(S19-4), 해당 책(10)에 대응되는 제어 데이터를 수신하는 과정을 거칠 수 있다.(S19-5)Next, it is checked whether control data corresponding to the information of the book 10 is received is stored in the reading entertainment apparatus (S19-3), and if the information is already stored, the control data. The process of loading the data into the internal memory module 221 may be performed. (S19-6) If the control data is not pre-stored in the memory of the reading entertaining device, the reading entertaining device is an international standard. Information about the book 10 such as the book number may be transmitted to the book matching control data storage server 300 (S19-4), and the control data corresponding to the book 10 may be received. S19-5)
제어 데이터가 내부 메모리 모듈(221)로 로딩이 완료된 이후에는, 본 발명인 독서 엔터테이닝 장치의 또 다른 구동 방법은 제1 마이크 모듈(210)을 통하여 소리 신호를 수신하고(S19-7), 제1 음성 추출 모듈(230)을 통하여 소리 신호로부터 음성 신호를 추출하고(S19-8), 제1 인코딩 모듈(240)을 통하여 음성 신호를 텍스트 스트림으로 변환하는 과정을 수행할 수 있다.(S19-9) After the control data has been loaded into the internal memory module 221, another driving method of the reading entertainment apparatus according to the present invention receives a sound signal through the first microphone module 210 (S19-7). The voice signal may be extracted from the sound signal through the first voice extraction module 230 (S19-8), and the voice signal may be converted into a text stream through the first encoding module 240. (S19- 9)
제1 인코딩 모듈(240)을 통하여 음성 신호가 텍스트 스트림으로 변환된 이후에는 독서 엔터테이닝 장치는 변환된 텍스트 스트림 중에 제어 데이터에 포함된 싱크 단어와 일치하는 단어가 있는지 여부를 확인하고(S19-10), 일치하는 단어가 있으면 제어 데이터의 재생 또는 제어 순서를 가리키는 포인터를 해당 싱크 단어 위치로 가리키도록 수정하는 과정을 수행할 수 있다.(S19-11) 여기까지의 과정은 앞서 살펴본 도면 18도의 구동 방법과 동일하다.After the voice signal is converted into the text stream through the first encoding module 240, the reading entertainment apparatus checks whether there is a word in the converted text stream that matches the sync word included in the control data (S19-). 10) If there is a matched word, a process of modifying the pointer indicating the reproduction or control order of the control data to point to the corresponding sync word location may be performed. (S19-11) The process up to this point is described with reference to FIG. 18. It is the same as the driving method of FIG.
싱크 단어의 위치를 가리키도록 포인터가 수정된 이후에는, 텍스트 스트림에 포함된 단어 상에 제어 단어와 일치되는 단어가 있는지 여부를 확인하는 과정이 수행될 수 있으며(S19-12), 이 과정에서 음성이 텍스트로 변환된 텍스트 스트림 상에 제어 단어와 일치되는 단어가 있는 경우에는 제어 단어와 관련된 제어 데이터에 따라 독서 엔터테이닝 장치의 외부 조명 모듈(400), 스피커 모듈 등이 구동되는 과정이 수행될 수 있다.(S19-13) 이렇게, 제어 단어와 관련된 제어 데이터에 따라 동작이 수행된 다음에는, 해당 제어 단어의 위치를 가리키도록 포인터가 수정되는 과정이 진행됨으로써 낭독자가 책을 읽는 부분과 빛, 소리 등의 효과를 제공하는 독서 엔터테이닝 장치 사이의 동기가 계속적으로 유지되도록 한다.(S19-14)After the pointer is modified to point to the location of the sync word, a process of checking whether there is a word matching the control word on the word included in the text stream may be performed (S19-12). If there is a word that matches the control word on the text stream in which the voice is converted into text, the process of driving the external lighting module 400 and the speaker module of the reading entertainment apparatus is performed according to the control data related to the control word. (S19-13) As described above, after the operation is performed according to the control data related to the control word, the process of modifying the pointer to indicate the position of the control word is performed so that the reader can read the book and The synchronization between the reading and entertainment apparatus providing the effects of light, sound, etc. is continuously maintained (S19-14).
다음으로, 본 발명의 또 다른 구동 방법에 따른 독서 엔터테이닝 장치는 제어 데이터에 포함된 제어 단어 및 싱크 단어의 리스트가 남아 있는지 여부를 확인하고(S19-15), 단어 리스트가 없는 경우에는 제어 데이터에 따른 독서 엔터테이닝 장치의 구동을 종료하게 된다. 그리고, 제어 단어 및 싱크 단어의 리스트가 남아 있는지 여부는 제어 순서를 가리키는 포인터가 제어 데이터 풀(pool)의 끝까지 이동하였는지 여부로 판단할 수 있다. 만일, 제어 단어 및 싱크 단어의 리스트가 남아 있는 경우에는 음성 신호가 계속적으로 수신되고 있는지 여부를 확인하고(S19-16), 음성 신호가 계속적으로 수신되고 있는 경우에는 음성 신호가 변환된 텍스트 스트림 상에 싱크 단어와 일치되는 단어가 있는지 여부를 확인하는 과정을 수행하고(S19-10), 이후 동작을 계속적으로 반복할 수 있다.Next, the reading entertainment apparatus according to another driving method of the present invention checks whether a list of control words and sync words included in the control data remains (S19-15), and if there is no word list, The driving of the reading entertaining device according to the data is terminated. In addition, whether the list of the control word and the sync word remains may be determined by whether the pointer indicating the control order has moved to the end of the control data pool. If the list of control words and sync words remains, it is checked whether the voice signal is continuously received (S19-16). If the voice signal is continuously received, the voice signal is converted into the converted text stream. The process of checking whether there is a word that matches the sync word may be performed (S19-10), and the subsequent operation may be repeatedly performed.
본 발명인 독서 엔터테이닝 장치의 또 다른 구동 방법을 통하여, 본 발명인 독서 엔터테이닝 장치는 책이 낭독되는 부분과 해당 부분에 대하여 더 박진감 넘치는 흥미를 제공하기 위하여 제공되는 소리 효과, 조명 효과 등 사이의 동기를 더 효과적으로 일치시킬 수 있는 효과가 있다.Through another driving method of the inventors of the reading entertaining device, the inventors of the present invention, the reading entertaining device is provided between the sound reading, the lighting effect, etc. provided to provide a more exciting interest in the part to which the book is read. There is an effect that can more effectively match the motivation of the.
도면 20도는 앞서 살펴본 본 발명의 다른 실시 예에 따른 독서 엔터테이닝 장치에서 사용되는 싱크 단어가 책의 내용에서 선택된 예시를 보여주는 도면이다.20 is a diagram illustrating an example in which a sync word used in a reading entertainment apparatus according to another embodiment of the present invention is selected from the contents of a book.
본 발명인 독서 엔터테이닝 장치의 다른 실시 예는 싱크 단어를 이용하여 독서 엔터테이닝 장치가 외부 조명 모듈(400)을 이용하여 제공하는 빛에 대한 효과나 독서 엔터테이닝 장치가 자체적으로 구비한 스피커 등을 이용하여 제공하는 소리 효과에 대한 싱크를 맞출 수 있는 효과를 제공할 수 있다. 즉, 독서 엔터테이닝 장치의 사용자가 독서 엔터테이닝 장치의 기능을 활성화한 이후에 책(10)을 어린이 등에게 낭독하여 주면, 독서 엔터테이닝 장치는 수신된 음성을 분석하여 변환된 텍스트 스트림 상에 제어 데이터에 포함된 싱크 단어와 일치되는지 여부를 확인하고 싱크 단어와 일치되는 단어가 존재하는 경우에는 해당 싱크 단어와 관련된 제어 데이터에 따라 외부 조명 모듈(400), 스피커 모듈 등을 구동함으로써 낭독자가 책을 읽는 부분과 해당 부분과 동기화되어 제공되어야 할 소리 효과나 조명 효과 사이의 동기를 일치시킬 수 있다. According to another embodiment of the present invention, a reading entertaining device uses a sync word and a speaker provided by the reading entertaining device by itself or an effect on light provided by the external lighting module 400. It is possible to provide an effect that can be synchronized with the sound effect provided by using such as. That is, when the user of the reading entertainment apparatus reads the book 10 to a child after activating the function of the reading entertainment apparatus, the reading entertainment apparatus analyzes the received voice and converts the converted text stream. Check whether the word coincides with the sync word included in the control data, and if there is a word matching the sync word, the reader is driven by driving the external lighting module 400 or the speaker module according to the control data related to the sync word. Can match the motivation between the reading part and the sound or lighting effect that should be provided in sync with that part.
도면 20도를 통하여 싱크 단어가 사각형으로 표시된 '부상', '우주정을', '공기가', '아버지와' 등이 선택되어 있는 확인할 수 있다. 이러한 싱크 단어는 해당 도서에서 노출되는 빈도가 한 두번 정도에 불과한 단어 중에서 선택된 것일 수 있으며, 보다 구체적으로는 해당 도서 전체에서 노출되는 빈도가 기설정된 빈도 이하의 단어가 싱크 단어로서 선택될 수 있다. 또한, 소리 효과나 조명 효과의 제공이 곤란한 의태어 중에서 선택되는 것일 수도 있다. 해당 도서에서 노출 빈도가 적은 단어로 싱크 단어가 선택되는 이유는 해당 단어의 노출 빈도가 적기 때문에 텍스트 스트림 상에 매칭되는 단어가 있는 경우 해당 책이 낭독되는 부분을 쉽게 확인하여 동기화를 맞추기 쉽기 때문이다. 이러한 싱크 단어에 따른 동기화 및 제어 데이터의 동작은 이하 도면을 통하여 좀 더 자세히 살펴보도록 한다.20, it can be seen that the word 'injury', 'spaceship', 'air', 'father', etc., in which the sink word is represented by a rectangle are selected. The sync word may be selected from words that are exposed only once or twice in the book, and more specifically, a word having a frequency less than or equal to a predetermined frequency may be selected as the sync word. Moreover, it may be selected from the terminology which is difficult to provide a sound effect or an illumination effect. The reason why the word is selected as the less frequent word in the book is because the word is less frequently exposed, so if there is a matching word in the text stream, the book is easily read and synchronized. . The operation of the synchronization and control data according to the sync word will be described in more detail with reference to the following drawings.
도면 21도는 앞서 살펴본 본 발명의 또 다른 실시 예에 따른 독서 엔터테이닝 장치에서 책의 내용에서 싱크 단어와 제어 단어가 선택된 예시를 보여주는 도면이다.FIG. 21 is a diagram illustrating an example in which a sync word and a control word are selected from the contents of a book in a reading entertainment apparatus according to another embodiment of the present invention.
본 발명의 또 다른 실시 예에 따른 독서 엔터테이닝 장치는 낭독되는 도서가 읽혀지고 있는 부분과 독서 엔터테이닝 장치가 제공하는 조명 효과, 소리 효과 등을 제공하는 제어 데이터의 제어 순서를 일치시키는 역할을 수행하는 싱크 단어와 함께 음성 신호가 변화된 텍스트 스트림 상의 단어 중에 일치되는 단어로써 해당 단어에 따라 상이한 조명 효과, 소리 효과를 제공하는 제어 단어를 더 포함할 수 있다. 여기서, 싱크 단어는 앞서 살펴본 바와 같이 해당 도서에서 기설정된 빈도 이하로 노출된 단어 중에서 선택된 것일 수 있으며, 또는 소리나 빛으로 표현이 곤란한 의태어 중에서 선택된 것일 수 있다. 그리고, 제어 단어는 소리나 빛으로 적극적으로 표현이 가능한 단어 중에서 선택된 것일 수 있으며, 보다 바람직하게는 의성어인 것이 선택될 수 있다.According to another embodiment of the present invention, a reading entertainment apparatus serves to match a control order of control data for providing a lighting effect, a sound effect, and the like, to which a reading book is read and a reading reading apparatus. The control word may further include a control word that provides a different lighting effect and a sound effect according to the word as a matching word among the words on the text stream in which the voice signal is changed along with the sync word for performing the operation. Here, the sync word may be selected from words exposed below a preset frequency in the book as described above, or may be selected from a metaphor that is difficult to express by sound or light. The control word may be selected from words that can be actively expressed by sound or light, and more preferably, an onomatopoeic word may be selected.
본 발명인 독서 엔터테이닝 장치의 또 다른 구동 방법이 앞서 살펴본 다른 실시 예에 따른 구동 방법과 상이한 점은 싱크 단어 이외에 적극적으로 효과를 부여하기 위하여 인식되는 제어 단어를 구비함으로써 낭독자가 낭독한 단어 인식에 따라 제공되는 효과를 더 적극적으로 부과하여 더 큰 흥미감을 부여할 수 있다는 데에 있다.Another driving method of the present invention, the reading entertaining device is different from the driving method according to the other embodiment described above is to provide a control word that is recognized to give an effect in addition to the sync word to the reader to read the words read It is possible to give more interest by imposing more positive effects.
도면상 제어 단어는 동그라미로 표시된 '무서운', '흔들었습니다', '씨익', '새어', '비명' 등이 선택되어 있는 것을 확인할 수 있으며, 이러한 제어 단어와 일치되는 단어가 있는 경우 독서 엔터테이닝 장치는 해당 제어 단어와 관련된 제어 데이터에 따른 동작을 수행함으로써 책을 낭독하는 자나 낭독되는 책을 듣는 자에게 더 큰 흥미와 재미를 유발토록 할 수 있다. 제어 단어 및 싱크 단어를 포함한 본 발명인 독서 엔터테이닝 장치의 또 다른 구동 방법의 제어 과정의 특이점은 이후 도면을 통하여 더 자세히 살펴보기로 한다.In the drawing, you can see that the control words in the drawing are selected to be 'fear', 'shake', 'sea', 'sour', 'scream', and so on. The entertaining device may cause more interest and fun to the person reading the book or the person reading the book by performing the operation according to the control data related to the corresponding control word. Singularity of the control process of another driving method of the present invention, the reading entertaining device including the control word and the sync word will be described in more detail with reference to the following drawings.
도면 22도와 도면 23도는 본 발명인 독서 엔터테이닝 장치의 다른 실시 예에서 싱크 단어에 따라 제어 데이터가 저장된 형식과 재생 순서를 가리키는 포인터가 수정되어 동기를 유지하는 과정을 보여주는 도면이다.22 and 23 illustrate a process of maintaining synchronization by modifying a pointer indicating a format and a reproduction order in which control data is stored according to a sync word in another embodiment of the present invention.
본 발명인 독서 엔터테이닝 장치의 다른 구동 방법의 제어 데이터에는 싱크 단어가 포함되어 있으며, 각각의 싱크 단어에는 해당 싱크 단어와 연동하여 외부 조명 모듈(400), 스피커 모듈 등을 제어하는 제어 데이터가 부가되어 있을 수 있다. 그리고, 포인터는 싱크 단어의 위치를 가리키며 이동할 수 있다. 보다 구체적으로, 본 발명인 독서 엔터테이닝 장치의 사용자가 낭독할 책에 대한 정보가 제1 카메라 모듈(280)을 통하여 독서 엔터테이닝 장치로 수신된 이후에, 독서 엔터테이닝 장치는 해당 책 정보에 대응되는 제어 데이터를 내부 메모리 모듈(221)로 로딩할 수 있으며, 이러한 제어 데이터는 도면 22도와 같은 형식으로 저장되어 있는 것일 수 있다.The control data of the other driving method of the reading and entertainment apparatus of the present invention includes a sync word, and each sync word includes control data for controlling the external lighting module 400 and the speaker module in association with the corresponding sync word. It may be. The pointer may move to indicate the position of the sync word. More specifically, after the information on the book to be read by the user of the reading entertaining device of the present invention is received by the reading entertaining device through the first camera module 280, the reading entertaining device is the corresponding book information. The control data corresponding to the control data may be loaded into the internal memory module 221, and the control data may be stored in a format as shown in FIG. 22.
이러한 제어 데이터가 로딩된 이후에 낭독자가 책을 읽기 시작하면, 독서 엔터테이닝 장치는 음성 신호를 텍스트 스트림으로 변환하고 변환된 단어 중에서 싱크 단어와 일치되는 단어가 있는지 여부를 확인하게 된다. 여기서는, 텍스트 스트림 상에 '부상'이라는 싱크 단어를 확인하고, '부상'이라는 싱크 단어와 관련된 제어 데이터에 따라 스피커 모듈이나 외부 조명 모듈(400)을 구동하게 된다. 즉, '부상'과 '우주정을' 사이에 제공되어야 할 소리 효과 또는 조명 효과를 제공하게 된다.When the reader starts reading the book after the control data is loaded, the reading entertainment apparatus converts the speech signal into a text stream and checks whether there is a word matching the sync word among the converted words. Here, the word 'injury' is identified on the text stream, and the speaker module or the external lighting module 400 is driven according to control data associated with the word 'injury'. That is, it provides a sound effect or a lighting effect that should be provided between the 'injury' and 'cosmic space'.
본 발명인 독서 엔터테이닝 장치가 낭독자가 발화하는 모든 음성을 정확하게 텍스트 스트림으로 변환하면 싱크 단어 중에서 로스(loss)되어 손실되는 제어 데이터가 발생되지 않겠으나, 발음의 부정확성 또는 음성인식 기술의 한계로 인하여 일부 싱크 데이터는 로스가 발생될 수 있으며, 도면 23도는 이러한 로스가 일어난 상황을 보여주는 도면이다. 즉, 해당 책(10)과 관련하여 독서 엔터테이닝 장치는 '부상'이라는 싱크 단어를 인식하고 해당 싱크 단어와 관련된 제어 데이터에 따라 충격음 등의 효과를 재생한 후 '우주정을'이라는 싱크 단어를 인식한 후 흔들리는 듯한 조명 효과 및 씨익 웃는 효과음 등을 제공하였어야 하나 '우주정을'이라는 싱크 단어를 발음 부정확 또는 음성인식 오류 등으로 인식하지 못하고 '공기가'라는 싱크 단어를 인식할 수 있다. 이 경우, 독서 엔터테이닝 장치의 다른 구동 방법은 재생 순서를 가리키는 포인터를 '공기가'라는 싱크 단어 위치로 이동시키고, '공기가'와 관련된 바람이 새어나가는 소리 등을 재생할 수 있다. 즉, 일부 싱크 단어의 로스가 생기더라도 다른 싱크 단어를 인식하면 해당 싱크 단어로 재생 또는 제어 순서를 가리키도록 포인터를 수정함으로써 전체적인 책의 낭독 과정에서는 책의 내용에 맞추어 적절한 효과음을 제공할 수 있다.If the reading and entertainment apparatus of the present invention converts all the voices spoken by the reader to the text stream correctly, the control data lost and lost in the sync words will not be generated, but due to the inaccuracy of pronunciation or the limitation of the speech recognition technology Some sink data may cause a loss, and FIG. 23 is a diagram illustrating a situation in which such a loss occurs. That is, in relation to the book 10, the reading entertaining device recognizes a sync word of 'injury', plays an effect such as an impact sound according to the control data related to the sync word, and then sinks the word of 'cosmic space'. After the recognition, the lighting effect of shaking and the sound of sound of laughter should be provided, but the word “spaceship” cannot be recognized as a pronunciation inaccuracy or a voice recognition error, but the word “air” can be recognized. In this case, another driving method of the reading and entertainment apparatus may move a pointer indicating the playback order to a sink word position of 'air', and play a sound of wind leaking from the air. That is, even if a loss of some sync words occurs, when the other sync words are recognized, the pointer is modified to point to the playback or control sequence with the corresponding sync words, so that an appropriate sound effect can be provided according to the contents of the book in the reading process of the entire book. .
도면 24도와 도면 25도는 본 발명인 독서 엔터테이닝 장치의 또 다른 실시 예에서 싱크 단어와 제어 단어가 저장된 형식과 재생 순서를 가리키는 포인터가 수정되어 동기가 유지되는 과정을 보여주는 도면이다.24 and 25 illustrate a process in which synchronization is maintained by modifying a pointer indicating a format and a reproduction order in which the sync word and the control word are stored in another embodiment of the present invention.
본 발명인 독서 엔터테이닝 장치의 또 다른 구동 방법은 앞서 살펴본 실시 예에서 더 나아가, 싱크 단어는 책이 읽히는 부분과 효과를 제공하는 제어 데이터의 제어 순서와의 동기를 맞추는 역할을 수행하고, 추가로 구비되는 제어 단어가 각 단어에 따른 상이한 음향 효과 및 조명 효과를 부여할 제어 데이터의 실시 여부를 결정토록 할 수 있다. 즉, 앞선 실시 예는 싱크 단어에 관련하여 곧바로 제어 데이터가 수행되었으나, 본 실시 예는 싱크 단어는 제어 데이터의 제어 순서를 가리키는 포인터의 수정을 주로 담당하고, 음향 또는 조명 효과와 관련된 제어 데이터의 실시 여부의 결정은 제어 단어의 인식에 따라 결정되게 된다.According to another embodiment of the present invention, the driving method of the reading entertainment apparatus further includes the sync word, which synchronizes the reading part of the book with the control order of the control data providing the effect. It is possible to determine whether or not to implement the control data to give a different sound effect and lighting effect according to each word provided in the control word. That is, in the above embodiment, the control data is directly performed in relation to the sync word, but in the present embodiment, the sync word is mainly responsible for modifying a pointer indicating a control order of the control data, and the control data related to the sound or lighting effect is implemented. The determination of whether or not is determined by the recognition of the control word.
도면 24도 및 도면 25도를 통하여 좀 더 자세히 살펴보면, 음성 신호가 변환된 텍스트 스트림 상에서 '부상'이라는 싱크 단어가 인식되게 되면, 독서 엔터테이닝 장치는 포인터가 '부상'이라는 싱크 단어의 위치를 가리키도록 수정하게 된다. 그 이후로, '무서운'이라는 단어가 인식되게 되면, 독서 엔터테이닝 장치는 '무서운'이라는 제어 단어와 관련된 제어 데이터를 수행하게 되고, 포인터도 '무서운'이라는 제어 단어를 가리키도록 수정하게 된다. 즉, 제어 단어는 제어 데이터의 수행 여부의 결정과 함께 동기화를 유지토록 하는 역할을 수행하므로, 단순히 싱크 단어에 의지하여 책의 낭독하는 부분과의 동기화를 유지하는 방법에 비하여 좀 더 정확한 동기를 유지할 수 있는 효과가 있다. 정리하면, 본 발명인 독서 엔터테이닝 장치의 다른 구동 방법은 '우주정을' 부분을 로스하게 되면 다음 싱크 단어를 인식할 때까지의 제어 데이터는 실시되지 않아서 관련 음향 및 조명 효과가 미제공되나, 또 다른 구동 방법은 설사 '우주정을' 부분을 로스하더라도 '흔들었습니다'라는 제어 단어를 인식하면 계속적으로 동기를 유지하면서도 관련 효과를 제공할 수 있다.24 and 25, when the word “injury” is recognized on the text stream to which the speech signal is converted, the reading and entertainment device recognizes the position of the word “injury”. To point to it. After that, when the word 'scary' is recognized, the reading entertainment apparatus performs control data related to the control word 'scary', and the pointer is also modified to point to the control word 'scary'. . In other words, the control word plays a role of maintaining synchronization with the determination of whether or not the control data is performed. Therefore, the control word is more precisely synchronized than the method of simply relying on the sync word to maintain synchronization with the reading part of the book. It can be effective. In summary, in another driving method of the present invention, the reading entertaining device loses the 'space travel' portion, and the control data until the next sync word is recognized is not performed, so that the related sound and lighting effects are not provided. Another driving method, even if the loss of the 'spaceship' part, if you recognize the control word 'shook' can provide a related effect while still maintaining motivation.
도면 26도는 다른 실시 예 또는 또 다른 실시 예에 따른 독서 엔터테이닝 장치의 내부 구성 등을 블럭도로 보여주는 도면이다.FIG. 26 is a block diagram illustrating an internal configuration of a reading and entertainment apparatus according to another embodiment or another embodiment.
다른 실시 예 또는 또 다른 실시 예에 따른 구동 방법을 위한 독서 엔터테이닝 장치는 제1 마이크 모듈(210), 제1 음성 추출 모듈(230), 제1 인코딩 모듈(240), 제1 단어 매칭 모듈(250), 제1 제어 모듈(260), 제1 데이터 송수신 모듈(270), 내부 메모리 모듈(221), 제1 카메라 모듈(280), 도서 정보 획득 모듈(190)을 포함하여 구성될 수 있으며, 추가로 외부 조명 모듈(400)을 더 구비할 수 있다.The reading entertaining apparatus for a driving method according to another embodiment or another embodiment may include a first microphone module 210, a first voice extraction module 230, a first encoding module 240, and a first word matching module. 250, a first control module 260, a first data transmission / reception module 270, an internal memory module 221, a first camera module 280, and a book information acquisition module 190. In addition, the external lighting module 400 may be further provided.
독서 엔터테이닝 장치의 제1 마이크 모듈(210)은 외부에서 소리를 수신하는 역할을 수행할 수 있으며, 제1 음성 추출 모듈(230)은 제1 마이크 모듈(210)을 통하여 수신된 소리 신호로부터 사람의 육성과 관련된 음성 신호를 추출하는 역할을 수행할 수 있다. 그리고, 제1 인코딩 모듈(240)은 음성 신호를 문자 인코딩하여 텍스트 스트림으로 변환하여 제1 단어 매칭 모듈(250)로 전달하는 역할을 수행할 수 있으며, 이러한 텍스트 스트림을 전달받은 제1 단어 매칭 모듈(250)은 전달받은 텍스트 스트림을 연속적으로 살펴서 인식된 단어 중에서 기 저장된 제어 데이터에 포함된 싱크 단어 또는 제어 단어와 일치하는 단어가 있는지 여부를 확인할 수 있다. 이 과정에서 일치된 단어가 있는 경우 제1 단어 매칭 모듈(250)은 해당 단어를 제1 제어 모듈(260)로 전달하고, 제1 제어 모듈(260)은 내부 메모리 모듈(221)로부터 해당 단어와 관련된 제어 데이터를 호출하여 외부 조명 모듈(400) 또는 내부에 구비되는 스피커 모듈의 동작을 제어하게 된다. 또한, 독서 엔터테이닝 장치는 제1 카메라 모듈(280)과 도서 정보 획득 모듈(190)을 통하여 책에 표기된 바코드를 촬영하고 국제표준도서번호를 획득하여 책 정보에 대응되는 제어 데이터를 내부 메모리 모듈(221)로 로딩할 수 있으며, 만일 책 정보에 대응되는 제어 데이터가 독서 엔터테이닝 장치에 기 저장되어있지 않은 경우에는 책(10)에 대한 정보를 제1 데이터 송수신 모듈을 통하여 도서 매칭 제어 데이터 저장 서버(300)로 전송하고, 해당 책(10)에 대한 제어 데이터를 수신하여 저장할 수 있다.The first microphone module 210 of the reading entertaining device may serve to receive a sound from the outside, and the first voice extraction module 230 may receive a sound signal from the sound signal received through the first microphone module 210. It may serve to extract voice signals related to human upbringing. In addition, the first encoding module 240 may perform a function of encoding a voice signal, converting the voice signal into a text stream, and delivering the converted text stream to the first word matching module 250. The first word matching module receives the text stream. In operation 250, the received text stream may be continuously checked to determine whether there is a word corresponding to a sync word or a control word included in prestored control data. In this process, when there is a matched word, the first word matching module 250 transfers the word to the first control module 260, and the first control module 260 matches the word from the internal memory module 221. The control data is called to control the operation of the external lighting module 400 or the speaker module provided therein. In addition, the reading entertaining apparatus photographs a bar code marked on a book through the first camera module 280 and the book information acquisition module 190, obtains an international standard book number, and stores control data corresponding to the book information in an internal memory module. 221. If the control data corresponding to the book information is not stored in the reading entertaining device, the book matching control data is transmitted to the book 10 through the first data transmission / reception module. The storage server 300 may transmit the received control data to the book 10 and store the received data.
본 발명인 도서 엔터테이닝 장치는 시각 효과를 부여하는 조명을 외부 조명 모듈(400)로 구비함으로써, 책(10)을 읽는 동안에 제공되는 빛의 색상 및 밝기를 더욱 자유롭게 조절하여 사용자에게 제공할 수 있는 효과를 달성할 수 있다.The inventors of the present invention is provided with an external lighting module 400 to provide a visual effect, thereby more freely adjusting the color and brightness of the light provided while reading the book 10 can be provided to the user Effect can be achieved.
도면 27도 내지 도면 31도는 독서 엔터테이닝 장치에 외부 조명 모듈이 장착된 모습과 이러한 외부 조명 모듈의 전면, 후면, 측면을 좀 더 자세히 보여주는 도면이다.27 to 31 are views showing the external lighting module mounted on the reading entertainment apparatus and the front, rear, and side surfaces of the external lighting module in more detail.
외부 조명 모듈(400)은 스마트 폰 형식의 단말 디바이스(200) 방식으로 제공되는 독서 엔터테이닝 장치의 이어폰(earphone) 잭(jack) 단자에 장착되는 방식으로 연결될 수 있으며, 이러한 외부 조명 모듈(400)의 전면에는 제어 데이터에 따라 다양한 색상의 빛을 내보내는 면발광부(430)가 구비되어 있을 수 있다. The external lighting module 400 may be connected in a manner of being mounted on an earphone jack terminal of a reading entertainment apparatus provided in a smartphone type terminal device 200, and such an external lighting module 400. ) May be provided with a surface light emitting unit 430 for emitting light of various colors according to the control data.
외부 조명 모듈(400)을 좀 더 자세히 살펴보면, 외부 조명 모듈(400)의 하부에는 이어폰 잭 단자에 연결되며 면발광부(430)의 구동에 필요에 전원을 인가 받는 역할을 수행하는 이어폰 잭(420)이 구비되어 있을 수 있으며, 후면에는 외부 조명 모듈(400)의 온 오프를 제어하는데 사용되는 전원 버튼(410)이 구비되어 있을 수 있다. 그리고, 외부 조명 모듈(400)은 본 발명인 독서 엔터테이닝 장치가 스마트 폰 등의 형식으로 제공되는 경우에 대비하여 스마트 폰 정도의 얇은 두께를 가지도록 제작되어 이어폰 잭(420) 부분에 무리가 안 가도록 제작될 수 있다. 또한, 면발광부(430)의 확산판에는 사용자에게 재미를 부여하기 위한 다양한 그림이나 도형이 부가되어 있을 수 있으며, 그 일 예로써 십이지상의 동물 모양이 면발광부(430)의 확산판에 새겨져 있을 수 있다.Looking at the external lighting module 400 in more detail, the earphone jack 420 is connected to the earphone jack terminal in the lower portion of the external lighting module 400 and performs a role of receiving power to drive the surface light emitting unit 430. It may be provided, the rear may be provided with a power button 410 used to control the on and off of the external lighting module 400. In addition, the external lighting module 400 is manufactured to have a thin thickness of a smart phone in preparation for the case where the present inventors entertaining device such as a smart phone, so that the earphone jack 420 is not overwhelming. It can be made to go. In addition, the diffuser plate of the surface light emitting unit 430 may be added to various pictures or figures to give fun to the user, for example, the animal shape of the duodenum may be engraved on the diffuser plate of the surface light emitting unit 430. Can be.
도면 32도는 본 발명인 독서 엔터테이닝 장치 및 이의 구동 방법이 음성 인식 능력을 개선하기 위하여 작동하는 과정을 과정을 보여주는 도면이다.32 is a view showing a process of the operation of the present invention reading entertaining device and its driving method to improve the speech recognition ability.
본 발명인 독서 엔터테이닝 장치 및 이의 구동 방법은 사용자가 책을 읽고 발화한 음성에 대한 인식율을 높이기 위하여 추가적으로 음성 인식 개선 데이터 저장 서버(500)를 구비할 수 있다. 그리고, 이러한 음성 인식 개선 데이터 저장 서버(500)는 외부 서버(600)로부터 전자적으로 인식할 수 있는 책 전문을 수신하고 해당 책 전문에 포함된 단어들의 빈도수를 누적하여 저장함으로써 사용자가 발화한 음성에 대한 인식율을 높일 수 있는 음성 인식 개선 데이터를 단말 디바이스(200)에 제공할 수 있다. The present invention may further include a voice recognition improvement data storage server 500 in order to increase a recognition rate of a voice that a user reads a book and speaks. In addition, the voice recognition improvement data storage server 500 receives a book text that can be recognized electronically from the external server 600 and accumulates and stores the frequency of words included in the book text. The voice recognition improvement data capable of increasing the recognition rate may be provided to the terminal device 200.
본 발명인 독서 엔터테이닝 장치 및 이의 구동 방법이 사용자가 낭독한 책의 내용에 대한 음성 인식율을 높이는 기본적인 개념은 다음과 같다. The basic concept of improving the speech recognition rate of the contents of the book read by the user according to the present invention is as follows.
사전에 기록되어 있는 무수히 많은 단어들 중에서 실제 생활에서 사용되는 빈번하게 사용되는 단어는 얼마되지 않으며, 이는 책에 기록되어 쓰이는 단어의 경우도 마찬가지이다. 영어권 문서를 분석한 데이터에 의하면, 가장 많이 사용되는 25개의 단어가 모든 인쇄 매체의 30 퍼센트(percent) 이상을 차지하고 있으며, 사용 빈도 상위 100개의 단어는 약 50 퍼센트를 차지하고 있고, 상위 300개의 어휘가 인쇄 매체 전체 어휘의 약 65 퍼센트를 차지하는 것으로 나타나고 있다. 따라서, 전체 단어에 대한 음성 인식율을 높이기 보다는 책에 자주 등장하는 단어에 대하여 집중하여 음성 인식율을 높이는 것이 더 효과적이다. 또한, 책의 장르나 범주에 따라 자주 등장하는 단어가 다르므로 해당 책의 장르나 범주에 집중하여 등장하는 단어를 미리 기억하고 있으면 더 효과적이다. Of the myriad of words written in the dictionary, few are used frequently in real life, as are the words written in books. Data analyzed in English-language documents show that the 25 most used words make up more than 30 percent of all print media, the top 100 words use about 50 percent, and the top 300 vocabularies It accounts for about 65 percent of the overall print media vocabulary. Therefore, it is more effective to increase the speech recognition rate by focusing on the words frequently appearing in the book than the speech recognition rate for the whole word. In addition, since words that appear frequently vary according to the genre or category of the book, it is more effective to memorize the words that appear in the genre or category of the book in advance.
본 발명인 독서 엔터테이닝 장치를 구성하는 음성 인식 개선 데이터 저장 서버(500)는 책 전문을 수신하고 해당 전문에 수록되어 있는 단어들 중 많이 나오는 단어들을 사용자가 책을 읽고 낭독한 내용에 따라 소리, 진동 등의 각종 효과를 제공하는 단말 디바이스(200)에 제공함으로써 단말 디바이스(200)가 사용자가 발화한 단어를 효율적으로 인식토록 한다. 특히, 음성 인식 개선 데이터 저장 서버(500)는 책의 범주 정보별로 정리된 단어들을 단말 디바이스(200)에 제공함으로써 단말 디바이스(200)가 사용자가 발화한 단어를 더 효과적으로 인식토록 한다. 음성 인식율을 높이기 위하여 음성 인식 개선 데이터 저장 서버(500)와 단말 디바이스(200)가 작동하는 과정은 이후 도면을 통하여 더 자세히 살펴보도록 한다.The speech recognition improvement data storage server 500 constituting the present invention reading and receiving device receives a book full text and a word, which comes out of a lot of words contained in the full text, according to the user reads the book and reads the sound, By providing the terminal device 200 that provides various effects such as vibration, the terminal device 200 allows the terminal device 200 to efficiently recognize the words spoken by the user. In particular, the voice recognition improvement data storage server 500 provides the terminal device 200 with words organized according to category information of a book so that the terminal device 200 recognizes the words spoken by the user more effectively. The operation of the voice recognition improvement data storage server 500 and the terminal device 200 to increase the voice recognition rate will be described in more detail with reference to the accompanying drawings.
도면 33도는 본 발명인 독서 엔터테이닝 장치를 구성하는 음성 인식 개선 데이터 저장 서버가 음성 인식 개선 데이터를 산출하는 과정을 보여주는 순서도이다.33 is a flowchart showing a process of calculating the speech recognition improvement data by the speech recognition improvement data storage server constituting the present invention.
먼저, 본 발명인 독서 엔터테이닝 장치를 구성하는 음성 인식 개선 데이터 저장 서버(500)는 전자적으로 인식할 수 있는 책의 전문을 수신하는 과정을 수행할 수 있다.(S33-1) 이러한 책의 전문의 수신은 수동으로 입력되는 것일 수도 있으나, 구글(google) 북스(books)나 구텐베르크(gutenberg) 프로젝트(project)와 같은 사이트(site)에서 제공하는 에이피아이(api, application program interface)를 이용하여 접속하여 주기적으로 자동 수신되는 방식으로 입력되는 것일 수도 있다. 이렇게 전자적으로 인식할 수 있는 책의 전문이 수신된 다음에는, 음성 인식 개선 데이터 저장 서버(500)는 수신된 책 전문의 범주 정보를 결정하는 과정을 수행할 수 있으며(S22-3), 이 과정 역시 에이피아이를 이용하여 자동적으로 이루어질 수 있으나 수동적으로 입력되거나 기입되는 것을 제한하는 것은 아니다. 또한, 음성 인식 개선 데이터 저장 서버(500)가 수신된 책의 전문의 특성의 내용을 분석하여 자동적으로 결정하는 것일 수도 있다.First, the speech recognition improvement data storage server 500 constituting the reading entertainment apparatus of the present invention may perform a process of receiving a full text of an electronically recognizable book. (S33-1) Full text of the book The reception may be manually entered, but may be accessed using an application program interface (api) provided by a site such as a Google book or a Gutenberg project. It may be input in a manner that is automatically received periodically. After the full text of the electronic book can be recognized, the speech recognition improvement data storage server 500 may perform a process of determining the category information of the received full text of the book (S22-3). Again, this can be done automatically using Apia, but this does not limit manual entry or entry. In addition, the voice recognition improvement data storage server 500 may be to automatically determine the content of the full text of the received book.
책 전문의 범주 정보, 즉 카테고리(category) 정보는 책을 내용에 따라 속성을 분류한 것으로서, 본 발명을 구성하는 음성 인식 개선 데이터 저장 서버(500)는 수신된 책 전문에 포함된 단어들의 빈도수는 범주 정보별로 정리된다. 보다 구체적으로 책의 범주는 동화, 아동 도서가 될 수 있으며, 더 나아가 과학, 수학, 컴퓨터(computer), 기술, 소설, 역사, 비즈니스(business), 투자, 문학, 양육, 가족, 여행, 예술, 디자인(design), 외국어, 학습, 요리, 음식, 와인(wine), 자서전, 전기, 정치, 사회 과학, 종교 등이 포함될 수 있다.The category information, that is, the category information of the book full text, is classified into attributes according to the content of the book, and the speech recognition improvement data storage server 500 of the present invention may have a frequency of words included in the received book full text. Organized by category information. More specifically, the categories of books can be fairy tales, children's books, furthermore science, math, computer, technology, fiction, history, business, investment, literature, parenting, family, travel, art, Design, foreign languages, learning, cooking, food, wine, autobiography, biography, politics, social science, religion, and the like can be included.
수신된 책 전문의 범주 정보가 결정된 다음에는, 음성 인식 개선 데이터 저장 서버(500)는 책 전문에 포함된 단어들의 빈도수를 계산하는 과정을 수행할 수 있다.(S33-3) 즉, 책 전문에 포함된 개개의 단어들을 카운트(count)하여 그 숫자를 기억하는 과정을 수행할 수 있으며, 이렇게 카운트된 숫자는 음성 인식 개선 데이터 저장 서버(500)의 범주 정보별 단어 데이터베이스(540)에 범주 정보별로 누적되어 저장될 수 있다.(S33-4) 따라서, 범주 정보별 단어 데이터베이스(540)에는 과거부터 현재까지 계속적으로 수신되어 온 책 전문에 수록된 단어들의 빈도수가 범주 정보별로 구별되어 저장되어 있다.After the received category information of the book text is determined, the speech recognition improvement data storage server 500 may perform a process of calculating a frequency of words included in the book text. The number of individual words included may be counted to store the number, and the counted numbers may be stored in the word database 540 of the category information of the speech recognition improvement data storage server 500 by category information. Therefore, the data may be accumulated and stored (S33-4). Accordingly, the word database 540 for each category of information is classified and stored for each category of the frequencies of words contained in a book text that has been continuously received from the past to the present.
범주 정보별 단어 데이터베이스(540)에는 각 범주별로 현재까지 입력된 책 전문에 수록된 단어들 모두를 카운트하여 누적된 빈도수가 저장되어 있을 수 있다. 그러나, 앞서 살펴본 바와 같이 실제적으로 책에 자주 등장하는 단어는 일정 단어에 불과하다. 따라서, 본 발명에 사용되는 음성 인식 개선 데이터 저장 서버(500)는 범주 정보별 단어 데이터베이스(540)에 저장된 단어들 중에서 빈도수가 높은 단어들을 기설정된 개수만큼 추출하여 범주 정보별 음성 인식 개선 데이터베이스(550)에 저장할 수 있으며(S33-5), 추출되는 개수는 필요에 따라 자유롭게 설정가능하나 상위 300개의 단어가 인쇄 매체에 수록된 전체 단어의 65 퍼센트를 차지한다는 통계를 기초로 300개 정도의 단어가 추출되어 범주 정보별 음성 인식 개선 데이터베이스(550)에 저장될 수 있다.In the word database 540 for each category of information, a cumulative frequency may be stored by counting all of the words included in the full text of the book currently input for each category. However, as mentioned above, the words frequently appearing in books are only certain words. Accordingly, the speech recognition improvement data storage server 500 used in the present invention extracts a number of words having a high frequency from the words stored in the word database 540 for each category information by a preset number, and improves the speech recognition database for each category information 550. (S33-5), the number of extraction can be freely set as needed, but about 300 words are extracted based on the statistics that the top 300 words occupy 65 percent of the total words on the print media. And may be stored in the speech recognition improvement database 550 for each category information.
본 발명인 독서 엔터테이닝 장치 및 이의 구동 방법은 이러한 음성 인식 개선 데이터 저장 서버(500)를 통하여 낭독되는 책의 범주별로 자주 사용되는 단어를 미리 기억할 수 있으므로, 책을 읽는 낭독자가 발화하는 단어에 대한 인식도가 향상되는 효과를 달성할 수 있다.The inventors of the present invention and the driving method thereof may pre-store the words frequently used for each category of the book to be read through the voice recognition improvement data storage server 500, so that the reader who reads the book speaks the words spoken. The effect of improving the recognition can be achieved.
도면 34도는 본 발명인 도서 엔터테이닝 장치를 구성하는 음성 인식 개선 데이터 저장 서버가 단말 디바이스로 음성 인식 개선 데이터를 전송하는 과정을 보여주는 순서도이다.34 is a flowchart illustrating a process of transmitting the speech recognition improvement data to the terminal device by the speech recognition improvement data storage server constituting the book entertainment apparatus.
음성 인식 개선 데이터 저장 서버(500)는 단말 디바이스(200)로부터 범주 정보별 음성 인식 개선 데이터를 요청 받게 되면(S34-1), 범주 정보별 단어 데이터베이스(540)에 기록된 단어들 중에서 빈도수가 높은 기설정된 개수의 단어들이 추출되어 저장된 범주 정보별 음성 인식 개선 데이터베이스(550)에 저장된 단어들을 범주 음성 인식 개선 데이터로 추출하여 단말 디바이스(200)로 전송할 수 있다.(S34-2) 즉, 본 발명에서 책 전문에 수록된 단어들을 인식하여 범주 정보별로 그 빈도수를 계산하여 저장하는 역할은 음성 인식 개선 데이터 저장 서버(500)에서 수행되고, 그 결과인 음성 인식 개선 데이터를 활용하여 낭독된 책의 내용에 대한 인식율을 높이는 역할은 단말 디바이스(200)에서 수행된다. 이렇게, 책 전문에 포함된 단어들을 인식하여 그 빈도수를 저장하는 사전 작업이 음성 인식 개선 데이터 저장 서버(500)에 의해서 수행되고 그 결과만 필요에 따라 단말 디바이스(200)에 전송됨으로써, 단말 디바이스(200)에서는 처리해야 할 부하량이 상당히 줄어드어 낭독되는 책의 단어에 대한 인식과 그에 따른 소리, 조명 등의 효과 제공에만 집중할 수 있는 효과가 있다.When the voice recognition improvement data storage server 500 receives a request for voice recognition improvement data for each category of information from the terminal device 200 (S34-1), a high frequency among words recorded in the word database for each category information 540 is obtained. A predetermined number of words may be extracted and stored in the speech recognition improvement database 550 for each category information, which may be extracted as category speech recognition improvement data, and transmitted to the terminal device 200. (S34-2) That is, the present invention. The role of recognizing the words contained in the full text of the book and calculating and storing the frequency for each category information is performed by the speech recognition improvement data storage server 500, and the contents of the book read using the resulting speech recognition improvement data are stored in the book. The role of increasing the recognition rate is performed in the terminal device 200. In this way, a dictionary operation for recognizing words included in the book full text and storing the frequency thereof is performed by the speech recognition improvement data storage server 500, and only the result is transmitted to the terminal device 200 as necessary, thereby providing the terminal device ( In the case of 200), the load to be processed is considerably reduced, so that it is possible to concentrate only on the recognition of the words of the book to be read and the effects such as sound and lighting.
도면 35도는 음성 인식 개선 데이터를 수신한 본 발명인 도서 엔터테이닝 장치를 구성하는 단말 디바이스가 작동하는 과정을 정리하여 보여주는 순서도이다.35 is a flowchart summarizing the operation of the terminal device constituting the book entertaining device of the present invention that has received the speech recognition improvement data.
먼저, 본 발명을 구성하는 단말 디바이스(200)는 범주 정보를 포함하는 책 정보를 입력 받는 과정을 수행할 수 있다.(S35-1) 여기서, 책의 범주 정보는 사용자에 의해 낭독하고자 하는 책의 범주 정보가 선택되어 직접 입력되는 것일 수도 있으나, 책의 제목, 저자, 출판사, 국제표준도서번호 등을 반영하여 단말 디바이스(200)에 의하여 결정되는 것일 수도 있다. 더 나아가, 단말 디바이스(200)의 첫 사용 과정에서 미리 입력되는 사용자의 나이, 성별, 직업, 취미, 관심사 등을 반영하여 결정되는 것일 수도 있다.First, the terminal device 200 constituting the present invention may perform a process of receiving book information including category information. (S35-1) Here, the category information of the book is to be read by the user. The category information may be selected and directly input, or may be determined by the terminal device 200 by reflecting the title of the book, the author, the publisher, and the international standard book number. Furthermore, it may be determined by reflecting a user's age, gender, occupation, hobbies, interests, etc., which are input in advance in the first use process of the terminal device 200.
이렇게 범주 정보를 포함하는 책의 정보를 입력 받은 이후에는, 단말 디바이스(200)는 소리 신호를 수신하고(S35-2), 이러한 소리 신호에서 음성 신호를 추출하는 과정을 수행할 수 있다.(S35-3) 즉, 단말 디바이스(200)의 제1 마이크 모듈(210)을 통하여 입력되는 소리 중에서 잡음 등의 노이즈(noise)를 제거하여 순수한 사람의 목소리만 추출한 이후에, 이러한 음성 신호는 텍스트 스트림으로 변환되는 과정이 수행되며(S35-1), 단말 장치(3000)는 이러한 텍스트 스트림 상의 단어와 범주 정보별로 저장된 기설정된 단어들 사이에 유사도를 비교하여 유사도가 가장 높은 단어를 인식 단어로서 선택하는 과정을 수행할 수 있다.(S35-5) 여기서, 기설정된 단어들은 음성 인식 개선 데이터 저장 서버(500)가 제공하는 음성 인식 개선 데이터에 포함된 단어들일 수 있다. 단말 디바이스(200)가 텍스트 스트림 상의 단어와 기설정된 단어들 사이의 유사도를 비교하는 과정은 이하 도면을 통하여 더 자세히 살펴보도록 한다.After receiving the book information including the category information as described above, the terminal device 200 may receive a sound signal (S35-2) and perform a process of extracting a voice signal from the sound signal (S35). That is, after removing only noise such as noise from the sound input through the first microphone module 210 of the terminal device 200, only the pure human voice is extracted, and the voice signal is converted into a text stream. The process of converting is performed (S35-1), and the terminal device 3000 compares the similarities between the words on the text stream and preset words stored for each category information to select a word having the highest similarity as the recognition word. Here, the predetermined words may be words included in the speech recognition improvement data provided by the speech recognition improvement data storage server 500. The process of comparing the similarity between the words on the text stream and the preset words by the terminal device 200 will be described in more detail with reference to the following drawings.
범주 정보별로 저장된 단어들과 텍스트 스트림의 단어를 비교하여 가장 유사도가 높은 단어가 인식 단어로 선택된 이후에, 단말 디바이스(200)는 인식 단어의 유사도가 기설정된 유사도 이상인지 여부를 확인하고(S35-6), 유사도가 기설정된 유사도 이상인 경우에는 해당 인식 단어에 매칭된 제어 데이터를 기초로 단말 디바이스(200)에 구비되는 스피커, 진동 소자, 조명 소자 등을 제어할 수 있다.(S35-7) 여기서, 기설정된 유사도는 70 퍼센트 정도로 설정될 수 있다.After the words having the highest similarity are selected as the recognition words by comparing the words stored in the category information with the words in the text stream, the terminal device 200 checks whether the similarity of the recognition words is equal to or greater than the preset similarity (S35-). 6) If the similarity is greater than or equal to a preset similarity, the speaker, the vibration device, the lighting device, and the like included in the terminal device 200 may be controlled based on control data matched with the corresponding recognition word (S35-7). The predetermined similarity may be set to about 70 percent.
이렇듯, 본 발명인 독서 엔터테이닝 장치를 구성하는 단말 디바이스(200)는 음성 인식 개선 데이터 저장 서버(500)가 제공하는 음성 인식 개선 데이터에 포함된 단어들을 기반으로 사용자가 낭독한 단어를 인식하므로 그 인식율이 향상되는 효과가 있다. As such, the terminal device 200 constituting the reading entertainment apparatus of the present invention recognizes a word read by the user based on words included in the speech recognition improvement data provided by the speech recognition improvement data storage server 500. The recognition rate is improved.
도면 36도는 본 발명인 도서 엔터테이닝 장치를 구성하는 단말 디바이스에서 텍스트 스트림 상의 단어와 기설정된 단어들 사이에 유사도를 비교하는 방식을 보여주는 도면이다.36 is a view showing a method of comparing the similarity between a word on a text stream and a predetermined word in a terminal device configuring the book entertainment apparatus according to the present invention.
보다 정확히 예를 들어 설명하면, 본 발명을 구성하는 단말 디바이스(200)는 수신되는 음성 신호를 보다 정확히 텍스트로 변환하려고자 하는 것이 아니라, 부정확하게 변환된 텍스트일지라도 해당 텍스트의 단어가 기설정된 단어들 중에 어느 하나일 것으로 판단하고 해당 단어에 대응되어 단말 디바이스(200)의 스피커, 진동 소자, 조명 소자 등을 제어하는 것이다. 즉, 사용자가 책에 수록된 '아빠'라는 단어를 부정확하게 '아바'라고 발음하더라도, 이러한 '아바'라는 단어를 기설정된 단어들과 대비하여 '아빠'일 것으로 판단하고 '아빠'라는 단어에 매칭된 제어 데이터를 수행하는 것이다. 그리고, 이러한 기설정된 단어들은 책의 범주 정보별로 저장되어 있으므로 사용자가 발음하는 단어를 보다 정확하게 교정할 수 있는 것이다.For example, the terminal device 200 constituting the present invention does not intend to convert the received voice signal to text more accurately, but even if the text is incorrectly converted, the words of the text are preset words. It is determined to be any one of the corresponding to the word to control the speaker, vibration element, lighting element, etc. of the terminal device 200. In other words, even if the user pronounces the word 'Dad' in the book incorrectly as 'Ava', the word 'Ava' is judged to be 'DAD' against the preset words, and the word 'DAD' is matched. To perform the specified control data. In addition, since the preset words are stored for each category of the book, the words that the user pronounces can be corrected more accurately.
이를 위하여, 본 발명을 구성하는 단말 디바이스는 단어간 유사도 판단의 방법으로 서열 정렬 방식을 사용할 수 있으며, 구체적으로는 이러한 서열 정렬 방식 중 전역 정렬 방식이나 지역 정렬 방식을 사용할 수 있다. To this end, the terminal device constituting the present invention may use a sequence alignment method as a method of determining similarity between words, and specifically, a global alignment method or a local alignment method may be used among these sequence alignment methods.
도면 36도는 이러한 두 방식의 유사도 판단 방식을 보여준다. 두 방식 중 전역 정렬 방식은 규모가 유사한 문자열 간의 분석에 유용하고, 지역 정렬 방식은 크기가 다르더라도 한 문자열이 다른 문자열에 속해 있는지 판단하는데 유용한 방식이다.36 shows a similarity determination method of these two methods. Of the two methods, the global sorting method is useful for analyzing strings of similar sizes, and the local sorting method is useful for determining whether one string belongs to another string even if the sizes are different.
서열 정렬 방식을 이용한 유사도 판단의 방식은 다음과 같다. The similarity determination method using the sequence alignment method is as follows.
먼저 기설정된 단어 중 비교 대상 단어가 "REFRIGERATOR"이고 사용자가 발화하여 변환되어 인식된 텍스트 스트림 상의 단어가 "RAFRIGENAPOR"인 경우, 두 단어 사이에는 일치하는 부분은 9개이고 틀린 부분은 3개이다. 따라서, 두 단어 사이의 유사도는 (9/12) * 100 하여 75 퍼센트로 계산될 수 있다. 이는 지역 정렬 방식에도 마찬가지로 이루어질 수 있다. 이러한 비교 과정은 단말 디바이스(200)에 저장된 기설정된 단어들 모두에 대하여 수행될 수 있으며, 그 중에서 가장 유사하다고 판단된 단어가 인식 단어로 선택될 수 있다. 따라서, 사용자가 부정확하게 발음하더라도 본 발명을 구성하는 단말 디바이스(200)는 이를 책의 범주 정보별로 검토하여 가장 유사한 단어로 인식하고 그 유사도가 기설정된 유사도 이상인 경우 이에 따른 효과를 사용자에게 제공하므로써, 음성 인식이 개선된 것과 같은 효과를 사용자에게 제공할 수 있다.First, when a word to be compared among the preset words is "REFRIGERATOR" and a word on the text stream recognized and converted by the user is recognized as "RAFRIGENAPOR", there are nine matching parts and three wrong parts between the two words. Thus, the similarity between two words can be calculated as (9/12) * 100 with 75 percent. The same can be done for local alignment. The comparison process may be performed on all of the preset words stored in the terminal device 200, and the word determined to be the most similar among them may be selected as the recognition word. Therefore, even if the user incorrectly pronounces, the terminal device 200 constituting the present invention examines the information by category information of the book and recognizes it as the most similar word, and provides the user with the corresponding effect when the similarity is equal to or greater than the preset similarity. The user can be provided with the same effect as the speech recognition is improved.
도면 37도는 본 발명을 구성하는 음성 인식 개선 데이터 저장 서버의 내부 구성을 블럭도로 보여주는 도면이다.FIG. 37 is a block diagram illustrating an internal configuration of the speech recognition improvement data storage server of the present invention.
본 발명인 독서 엔터테이닝 장치를 구성하는 음성 인식 개선 데이터 저장 서버(500)는 책 전문 수신 모듈(510), 범주 결정 모듈(520), 단어 빈도수 계산 모듈(530), 범주 정보별 단어 데이터베이스(540), 범주 정보별 음성 인식 개선 데이터베이스(550), 송수신 모듈(560), 제어 모듈(570)을 포함하여 구성될 수 있다. Speech recognition improvement data storage server 500 constituting the present invention reading entertaining device is a book full reception module 510, a category determination module 520, a word frequency calculation module 530, a word database by category information 540 ), A voice recognition improvement database 550 for each category information, a transmission / reception module 560, and a control module 570.
음성 인식 개선 데이터 저장 서버(500)의 책 전문 수신 모듈(510)은 외부로부터 전자적으로 인식할 수 있는 책 전문을 수신하는 역할을 수행하는 부분이며, 보다 구체적으로는 에이피아이를 이용하여 구글 북스, 아마존(amazon) 등이 제공하는 외부 서버에 접속하여 전자적으로 인식할 수 있는 책 전문을 주기적으로 수신하는 역할을 수행할 수 있다. 그리고, 범주 결정 모듈(520)은 책 전문 수신 모듈(510)이 수신한 책 전문의 범주 정보를 결정하는 역할을 수행하며, 이는 외부 서버 등이 정리하여 제공하는 범주 정보나 책 전문에 수록된 단어들을 분석하는 방식 등을 이용하여 결정될 수 있다. 다음으로, 단어 빈도수 계산 모듈(530)은 책 전문 수신 모듈(510)이 수신한 책 전문에 포함된 단어들의 출현하는 빈도수를 계산하는 역할을 수행하는 부분이며, 이렇게 단어 빈도수 계산 모듈(530)이 계산한 단어들의 빈도수는 범주 정보별 단어 데이터베이스(540)에 누적하여 저장되게 된다. 그리고, 범주 정보별 음성 인식 개선 데이터베이스(550)는 이렇게 범주 정보별 단어 데이터베이스(540)에 누적하여 저장된 단어들 중에서 빈도수가 높은 순서대로 기설정된 개수의 단어들을 추출하여 음성 인식 개선 데이터로서 단말 디바이스(200)에 제공하는 역할을 수행하는 부분이며, 송수신 모듈(560)은 단말 디바이스(200) 등의 외부 기기들과 데이터를 주고 받는 역할을 수행하는 부분이다. 마지막으로 제어 모듈(570)은 음성 인식 개선 데이터 저장 서버(500)를 구성하는 각 모듈의 동작을 제어하고, 각 모듈들 사이의 데이터 교환을 중개하는 역할을 수행할 수 있다.The book full text reception module 510 of the voice recognition improvement data storage server 500 is a part for receiving a full text that can be recognized electronically from the outside, and more specifically, using Google Books, It can connect to an external server provided by Amazon, etc., and periodically receive the full text that can be recognized electronically. In addition, the category determination module 520 determines the category information of the book text received by the book text receiving module 510, which includes the words contained in the category information or the book text that are provided by an external server and the like. It may be determined using a method of analysis or the like. Next, the word frequency calculation module 530 is a part that calculates the appearing frequency of words included in the book full text received by the book full text reception module 510, and thus the word frequency count module 530 The frequency of the calculated words is accumulated and stored in the word database 540 for each category of information. The speech recognition improvement database 550 for each category information extracts a predetermined number of words in order of high frequency from the words accumulated in the category information word database 540 in the terminal device as the speech recognition improvement data. The transmission / reception module 560 plays a role of exchanging data with external devices such as the terminal device 200. Finally, the control module 570 may control an operation of each module constituting the voice recognition improvement data storage server 500 and mediate data exchange between the modules.
본 발명인 독서 엔터테이닝 장치 및 이의 구동 방법은 이러한 구성의 음성 인식 개선 데이터 저장 서버(500)를 추가로 구비함으로써, 다양한 책 범주에 따라 자주 사용되는 단어들을 미리 기억하여 해당 단어들에 대한 인식도가 향상되도록 하는 효과를 달성할 수 있다.The present invention, the reading entertaining device and its driving method further includes a speech recognition improvement data storage server 500 of such a configuration, so that the frequently used words according to various book categories are stored in advance so that the recognition degree of the corresponding words is improved. The effect of being improved can be achieved.
도면 38도는 음성 인식 기능이 개선된 단말 디바이스의 내부 구성을 블럭도로 보여주는 도면이다.38 is a block diagram illustrating an internal configuration of a terminal device having an improved speech recognition function.
사용자가 낭독한 책의 내용에 대하여 강화된 음성 인식 기능을 제공하기 위하여, 단말 디바이스(200)는 도면 26도의 실시 예에 따른 단말 디바이스(200)에 추가로 단어 저장 모듈(222)을 더 구비할 수 있다. 그리고, 제1 단어 매칭 모듈(250)은 이러한 단어 저장 모듈(222)에 범주 정보별로 저장된 기설정된 단어들과 텍스트 스트림 상의 단어들을 대비하여 유사도를 판단하고 가장 유사도가 높은 단어를 인식 단어로 선택할 수 있으며, 제1 제어 모듈(260)은 인식 단어의 유사도가 기설정된 유사도 이상인 경우 내부 메모리 모듈(221)로부터 인식 단어와 매칭된 제어 데이터를 전달받아 스피커, 진동 소자, 조명 소자 등의 동작을 제어할 수 있다. 단어 저장 모듈(222)에 저장되는 단어들은 음성 인식 개선 데이터 저장 서버(500)로부터 수신한 음성 인식 개선 데이터에 포함된 단어들로 구성될 수 있으며, 단말 디바이스(200)는 주기적으로 음성 인식 개선 데이터 저장 서버(500)에 음성 인식 개선 데이터를 요청하여 각 범주별로 유사도를 판단하기 위하여 기설정되는 단어들을 최신의 상태로 유지할 수 있다.In order to provide enhanced speech recognition for the contents of the book read by the user, the terminal device 200 may further include a word storage module 222 in addition to the terminal device 200 according to the embodiment of FIG. 26. Can be. In addition, the first word matching module 250 may determine the similarity between the preset words stored in the word storage module 222 according to the category information and the words on the text stream and select the word having the highest similarity as the recognition word. The first control module 260 may control the operation of the speaker, the vibration device, and the lighting device by receiving control data matched with the recognition word from the internal memory module 221 when the similarity of the recognition word is greater than or equal to a preset similarity. Can be. The words stored in the word storage module 222 may be composed of words included in the voice recognition improvement data received from the voice recognition improvement data storage server 500, and the terminal device 200 periodically performs voice recognition improvement data. By requesting the speech recognition improvement data from the storage server 500, the preset words may be kept up to date in order to determine similarity for each category.
본 발명을 구성하는 단말 디바이스(200)는 책의 범주 정보를 제1 카메라 모듈(280) 및 도서 정보 획득 모듈(190)를 포함하여 구성되는 책 정보 획득 모듈(A)를 통하여 획득할 수 있다. 보다 구체적으로는 책의 표지나 바코드를 제1 카메라 모듈(280)을 통하여 촬영하고 획득된 이미지를 도서 정보 획득 모듈(190)이 오씨알(ocr, optical character reader) 처리한 결과를 이용하여 획득될 수 있다. 그러나, 이에 한정되는 것은 아니며, 단말 디바이스(200)에서 사전에 미리 수행되는 설문지 등을 통하여 사용자 등의 나이, 성별, 직업, 취미, 관심사 등을 조사 반영하여 획득될 수도 있다.The terminal device 200 constituting the present invention may obtain book category information through the book information acquisition module A including the first camera module 280 and the book information acquisition module 190. More specifically, a cover or barcode of a book may be photographed through the first camera module 280 and the obtained image may be obtained using the result of the optical information reader (OCR) processing of the book information acquisition module 190. Can be. However, the present invention is not limited thereto, and may be obtained by surveying and reflecting age, gender, occupation, hobbies, interests, etc. of the user through a questionnaire previously performed in the terminal device 200.
본 발명인 독서 엔터테이닝 장치는 이러한 구성의 단말 디바이스(200)를 통하여 책의 낭독자가 다소 부정확하게 발음을 하더라도 책의 범주별로 가장 유사한 단어로 인식하고 그에 따른 효과를 사용자에게 제공함으로써, 책 읽기의 즐거움을 배가 시킬 수 있는 효과를 달성할 수 있다.The inventor of the present invention reads the book through the terminal device 200 having such a configuration, even if the reader of the book is pronounced somewhat inaccurately, by recognizing the most similar words for each category of the book and providing the effect according to the user, Achieve an effect that can double your enjoyment.
상술한 바와 같이, 본 발명의 바람직한 실시예들을 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.As described above, although described with reference to preferred embodiments of the present invention, those skilled in the art will be variously modified without departing from the spirit and scope of the invention described in the claims below. And can be changed.
(부호의 설명)(Explanation of the sign)
10 : 책10: book
20 : 스탠드20: stand
30 : 어플30: application
40 : 색이 변화되는 조명등40: light that changes color
100 : 조명 디바이스100: lighting device
110 : 효과 파트110: effect parts
111 : 제2 조명 모듈111: second lighting module
112 : 제2 스피커 모듈112: second speaker module
113 : 제2 송풍 모듈113: second blowing module
114 : 제2 분무 모듈114: second spray module
115 : 제2 향기 모듈115: second fragrance module
120 : 제2 단어 매칭 제어 데이터베이스120: second word matching control database
130 : 제2 음성 추출 모듈130: second speech extraction module
140 : 제2 인코딩 모듈140: second encoding module
150 : 제2 단어 매칭 모듈150: second word matching module
160 : 제2 제어 모듈160: second control module
170 : 제2 데이터 송수신 모듈170: second data transmission and reception module
180 : 제2 카메라 모듈180: second camera module
190 : 도서 정보 획득 모듈190: book information acquisition module
200 : 단말 디바이스200: terminal device
210 : 제1 마이크 모듈210: first microphone module
220 : 제1 단어 매칭 제어 데이터베이스220: first word matching control database
221 : 내부 메모리 모듈221: internal memory module
222 : 단어 저장 모듈222: word storage module
230 : 제1 음성 신호 추출 모듈230: first voice signal extraction module
240 : 제1 인코딩 모듈240: first encoding module
250 : 제1 단어 매칭 모듈250: first word matching module
260 : 제1 제어 모듈260: first control module
270 : 제1 데이터 송수신 모듈270: first data transmission / reception module
280 : 제1 카메라 모듈280: first camera module
300 : 도서 매칭 제어 데이터 저장 서버300: Book Matching Control Data Storage Server
310 : 수신 모듈310: receiving module
320 : 도서 매칭 제어 데이터베이스320: Book Matching Control Database
330 : 중앙 제어 모듈330: central control module
340 : 송신 모듈340: transmission module
400 : 외부 조명 모듈400: external lighting module
410 : 전원 버튼410: power button
420 : 이어폰 잭420: earphone jack
430 : 면발광부430: surface light emitting unit
500 : 음성 인식 개선 데이터 저장 서버500: Speech Recognition Improvement Data Storage Server
510 : 책 전문 수신 모듈510: Book Professional Receive Module
520 : 범주 결정 모듈520: Category Determination Module
530 : 단어 빈도수 계산 모듈530: word frequency calculation module
540 : 범주 정보별 단어 데이터베이스540: Word database by category information
550 : 범주 정보별 음성 인식 개선 데이터베이스550: Database of speech recognition by category information
560 : 송수신 모듈560: transmission and reception module
570 : 제어 모듈570: control module
600 : 외부 서버600: external server

Claims (23)

  1. 음성 인식 개선 데이터(data) 저장 서버(server)가 전자적으로 인식할 수 있는 책 전문을 수신하는 단계;Receiving a full text book which can be recognized electronically by a speech recognition improvement data storage server;
    상기 음성 인식 개선 데이터 저장 서버가 상기 책 전문의 범주 정보를 결정하는 단계;Determining, by the speech recognition improvement data storage server, category information of the full text of the book;
    상기 음성 인식 개선 데이터 저장 서버가 상기 책 전문에 포함된 단어들의 빈도수가 계산하는 단계;Calculating, by the speech recognition improvement data storage server, a frequency of words included in the full text of the book;
    상기 음성 인식 개선 데이터 저장 서버가 범주 정보별 단어 데이터베이스(database)에 범주 정보별로 상기 단어들의 빈도수가 누적하여 저장하는 단계;가 포함되는 것을 특징으로 하는 독서 엔터테이닝(entertaining) 장치의 구동 방법.And storing, by the voice recognition improvement data storage server, a frequency of the words by category information in a word database of category information.
  2. 제1항에 있어서,The method of claim 1,
    상기 음성 인식 개선 데이터 저장 서버가 범주 정보별 단어 데이터베이스에 범주 정보별로 상기 단어들의 빈도수가 누적하여 저장하는 단계 이후에,After the voice recognition improvement data storage server accumulates and stores the frequency of the words by category information in a word database by category information,
    상기 범주 정보별 단어 데이터베이스에서 빈도수가 높은 기설정된 개수의 단어들이 범주 정보별 음성 인식 개선 데이터베이스에 저장되는 단계;가 더 포함되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법.And storing a predetermined number of words having a high frequency in the word database for each category of information in a speech recognition improvement database for each category of information.
  3. 단말 디바이스가 범주 정보를 포함하는 책 정보를 입력받는 단계;Receiving, by the terminal device, book information including category information;
    상기 단말 디바이스가 소리 신호를 수신하는 단계;Receiving, by the terminal device, a sound signal;
    상기 단말 디바이스가 소리 신호에서 음성 신호를 추출하는 단계;Extracting, by the terminal device, a voice signal from a sound signal;
    상기 단말 디바이스가 음성 신호를 텍스트 스트림으로 변환하는 단계;Converting, by the terminal device, a voice signal into a text stream;
    상기 단말 디바이스가 텍스트 스트림 상의 단어와 범주 정보별로 저장된 기설정된 단어들 사이에 유사도가 가장 높은 단어를 인식 단어로 선택하는 단계;Selecting, by the terminal device, a word having the highest similarity between words on a text stream and preset words stored for each category information as recognition words;
    상기 인식 단어의 유사도가 기설정된 유사도 이상인 경우, 상기 단말 디바이스가 상기 인식 단어에 매칭된 제어 데이터를 기초로 스피커(speaker), 진동 소자, 조명 소자 중 어느 하나 이상을 제어되는 단계;가 포함되는 것을 특징으로 하는 독서 엔터테이닝(entertaining) 장치의 구동 방법.And when the similarity of the recognition word is equal to or greater than a preset similarity, controlling the at least one of a speaker, a vibrating element, and an illumination element based on the control data matched with the recognition word. A method of driving a reading entertaining device.
  4. 제3항에 있어서,The method of claim 3,
    상기 기설정된 단어들은 The preset words
    상기 단말 디바이스가 음성 인식 개선 데이터 저장 서버로부터 수신한 음성 인식 개선 데이터에 포함된 단어들인 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법.And the words included in the speech recognition improvement data received by the terminal device from the speech recognition improvement data storage server.
  5. 제3항에 있어서,The method of claim 3,
    상기 단말 디바이스가 텍스트 스트림 상의 단어와 범주 정보별로 저장된 기설정된 단어들 사이에 유사도가 가장 높은 단어를 인식 단어로 선택하는 단계에서,Selecting, by the terminal device, a word having the highest similarity between words on a text stream and preset words stored for each category information as recognition words,
    상기 단말 디바이스가 텍스트 스트림 상의 단어와 범주 정보별로 저장된 기설정된 단어들 사이의 유사도는 서열 정렬 방식 중 전역 정렬 방식을 통하여 결정되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법.And the similarity between words on a text stream and preset words stored for each category information by the terminal device is determined through a global sorting method among sequence sorting methods.
  6. 제3항에 있어서,The method of claim 3,
    상기 단말 디바이스가 텍스트 스트림 상의 단어와 범주 정보별로 저장된 기설정된 단어들 사이에 유사도가 가장 높은 단어를 인식 단어로 선택하는 단계에서,Selecting, by the terminal device, a word having the highest similarity between words on a text stream and preset words stored for each category information as recognition words,
    상기 단말 디바이스가 텍스트 스트림 상의 단어와 범주 정보별로 저장된 기설정된 단어들 사이의 유사도는 서열 정렬 방식 중 지역 정렬 방식을 통하여 결정되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법.And the similarity between words on a text stream and preset words stored for each category information by the terminal device is determined through a local alignment method among sequence alignment methods.
  7. 제3항에 있어서,The method of claim 3,
    상기 기설정된 유사도는 70 퍼센트(percent)인 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법.And said predetermined similarity is 70 percent.
  8. 제3항에 있어서,The method of claim 3,
    상기 인식 단어에 매칭된 제어 데이터는The control data matched with the recognition word is
    상기 단말 디바이스가 도서 매칭 제어 데이터 저장 서버로부터 수신하여 저장한 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법.And the terminal device receives and stores the book matching control data storage server from the book matching control data storage server.
  9. 제1항 또는 제3항에 있어서,The method according to claim 1 or 3,
    상기 범주 정보에는The above category information
    동화, 아동 도서, 과학, 수학, 컴퓨터(computer), 기술, 소설, 역사, 비즈니스(business), 투자, 문학, 양육, 가족, 여행, 예술, 디자인(design), 외국어, 학습, 요리, 음식, 와인(wine), 자서전, 전기, 정치, 사회 과학, 종교 중 어느 하나 이상이 포함되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법.Fairy tales, children's books, science, math, computer, technology, fiction, history, business, investment, literature, parenting, family, travel, art, design, foreign languages, learning, cooking, food, A method of driving a reading and entertainment apparatus comprising at least one of wine, autobiography, biography, politics, social science, and religion.
  10. 제1항 또는 제3항에 있어서,The method according to claim 1 or 3,
    상기 범주 정보는The category information
    나이, 성별, 직업, 취미, 관심사 중 어느 하나 이상을 반영하여 결정되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법.A method of driving a reading entertainment apparatus, characterized in that determined by reflecting any one or more of age, gender, occupation, hobbies, interests.
  11. 제1항 또는 제3항에 있어서,The method according to claim 1 or 3,
    상기 범주 정보는The category information is
    책의 제목, 저자, 출판사, 국제표준도서번호(isbn; international standard book number) 중 어느 하나 이상을 반영하여 결정되는 것을 특징으로 하는 독서 엔터테이닝 장치의 구동 방법.A method of driving a reading and entertainment apparatus, characterized in that determined by reflecting any one or more of the title, author, publisher, and international standard book number (isbn) of the book.
  12. 외부로부터 데이터를 주고 받는 역할을 수행하는 송수신 모듈(module);Transmitting and receiving module for transmitting and receiving data from the outside;
    전자적으로 인식할 수 있는 책 전문을 수신하는 책 전문 수신 모듈;A book text receiving module for receiving a book text that can be recognized electronically;
    상기 책 전문 수신 모듈을 통하여 수신된 책 전문의 범주 정보를 결정하는 범주 결정 모듈;A category determination module for determining category information of a book text received through the book text receiving module;
    상기 책 전문 수신 모듈을 통하여 수신된 책 전문에 포함된 단어들의 빈도수를 계산하는 단어 빈도수 계산 모듈;A word frequency calculation module for calculating a frequency of words included in a book full text received through the book full text reception module;
    상기 단어 빈도수 계산 모듈이 산출한 단어들의 빈도수를 범주 정보별로 누적하여 저장하는 범주 정보별 단어 데이터베이스;A word database for each category information for accumulating and storing the frequency of words calculated by the word frequency calculating module for each category information;
    상기 범주 정보별 단어 데이터베이스에 저장된 단어들 중 빈도수가 높은 기설정된 개수의 단어들을 추출하여 저장하는 범주 정보별 음성 인식 개선 데이터베이스;A speech recognition improvement database for category information for extracting and storing a predetermined number of words having a high frequency among words stored in the word database for each category information;
    상기 송수신 모듈, 상기 책 전문 수신 모듈, 상기 범주 결정 모듈, 상기 단어 빈도수 계산 모듈, 상기 범주 정보별 단어 데이터베이스, 상기 범주 정보별 음성 인식 개선 데이터베이스 사이의 데이터 교환 또는 동작을 제어하며, 상기 송수신 모듈을 통하여 범주 정보별 음성 인식 개선 데이터를 요청받는 경우 상기 범주 정보별 음성 인식 개선 데이터베이스의 데이터를 음성 인식 개선 데이터로 추출하여 상기 송수신 모듈을 통하여 송신하는 제어 모듈;을 포함하는 것을 특징으로 하는 독서 엔터테이닝 장치.Control the data exchange or operation between the transmission / reception module, the book full text reception module, the category determination module, the word frequency calculation module, the word database for each category information, and the voice recognition improvement database for each category information. And a control module for extracting data of the speech recognition improvement database for each category information as speech recognition improvement data and transmitting the received speech recognition enhancement data through the transmission / reception module when receiving the request for speech recognition improvement data for each category information. Inning device.
  13. 제1 데이터 송수신 모듈;A first data transmission / reception module;
    제1 마이크(mike) 모듈;A first mike module;
    범주 정보별로 기설정된 단어들이 저장된 단어 저장 모듈;A word storage module storing preset words for each category information;
    범주 정보를 포함하는 책 정보를 획득하는 책 정보 획득 모듈;A book information acquisition module for obtaining book information including category information;
    제어 데이터를 저장하고 있는 내부 메모리 모듈;An internal memory module storing control data;
    상기 제1 마이크 모듈이 수신한 소리 신호로부터 음성 신호를 추출하는 제1 음성 추출 모듈;A first voice extraction module for extracting a voice signal from the sound signal received by the first microphone module;
    상기 제1 음성 추출 모듈이 추출한 음성 신호를 문자 인코딩하여 텍스트 스트림으로 변환하는 제1 인코딩 모듈;A first encoding module for character-encoding the speech signal extracted by the first speech extraction module and converting the speech signal into a text stream;
    상기 제1 인코딩 모듈로부터 상기 텍스트 스트림을 전달받아 상기 텍스트 스트림 상의 단어와 상기 단어 저장 모듈에 범주 정보별로 저장된 기설정된 단어들 사이에 유사도가 가장 높은 단어를 인식 단어로 선택하는 제1 단어 매칭 모듈;A first word matching module receiving the text stream from the first encoding module and selecting a word having the highest similarity as a recognition word between a word on the text stream and preset words stored for each category of information in the word storage module;
    상기 제1 단어 매칭 모듈로부터 인식 단어를 전달 받고, 상기 인식 단어의 유사도가 기설정된 유사도 이상인 경우, 상기 내부 메모리 모듈로부터 상기 인식 단어와 매칭된 제어 데이터를 When the recognition word is received from the first word matching module, and the similarity of the recognition word is equal to or greater than a preset similarity, control data matched with the recognition word is received from the internal memory module.
    전달받아 스피커, 진동 소자, 조명 소자 중 어느 하나 이상을 제어하는 제1 제어 모듈;을 포함하는 것을 특징으로 하는 독서 엔터테이닝 장치.And a first control module for receiving any one of a speaker, a vibrating element, and controlling at least one of a lighting element.
  14. 책 정보 획득 모듈은Book information acquisition module
    제1 카메라(camera) 모듈;A first camera module;
    상기 제1 카메라 모듈을 통하여 촬영된 바코드(barcode)를 인식하여 국제표준도서번호로 변환하는 도서 정보 획득 모듈;을 포함하여 구성되는 것을 특징으로 하는 독서 엔터테이닝 장치.And a book information acquisition module for recognizing a barcode photographed through the first camera module and converting the barcode into an international standard book number.
  15. 제14항에 있어서,The method of claim 14,
    별도로 장착되는 외부 조명 모듈;을 더 포함하는 것을 특징으로 하는 독서 엔터테이닝 장치.Reading lighting apparatus further comprises a; external lighting module mounted separately.
  16. 제14항에 있어서,The method of claim 14,
    상기 제1 제어 모듈은The first control module
    상기 책 정보 획득 모듈이 획득한 책 정보에 대응되는 제어 데이터가 상기 내부 메모리 모듈에 기저장되어 있지 않은 경우 상기 책 정보를 상기 제1 송수신 모듈을 통하여 도서 매칭 제어 데이터 저장 서버로 전송하고, 상기 제1 송수신 모듈을 통하여 상기 도서 매칭 제어 데이터 저장 서버로부터 상기 책 정보에 대응되는 제어 데이터를 수신하여 상기 내부 메모리 모듈에 저장하는 것을 특징으로 하는 독서 엔터테이닝 장치.If the control data corresponding to the book information acquired by the book information acquisition module is not pre-stored in the internal memory module, the book information is transmitted to the book matching control data storage server through the first transmission / reception module, 1. The reading entertainment apparatus of claim 1, wherein the control data corresponding to the book information is received from the book matching control data storage server and stored in the internal memory module.
  17. 제14항에 있어서,The method of claim 14,
    상기 단어 저장 모듈에 저장된 상기 기설정된 단어들은 상기 제1 데이터 송수신 모듈을 통하여 음성 인식 개선 데이터 저장 서버로부터 수신한 음성 인식 개선 데이터에 포함된 단어들인 것을 특징으로 하는 독서 엔터테이닝 장치.The preset words stored in the word storage module are words included in the speech recognition improvement data received from the speech recognition improvement data storage server through the first data transmission / reception module.
  18. 제14항에 있어서,The method of claim 14,
    상기 제1 단어 매칭 모듈은 The first word matching module
    서열 정렬 방식 중 전역 정렬 방식을 통하여 유사도를 결정하는 것을 특징으로 하는 독서 엔터테이닝 장치.Read entertaining device, characterized in that for determining the similarity through the global alignment of the sequence alignment method.
  19. 제14항에 있어서,The method of claim 14,
    상기 제1 단어 매칭 모듈은The first word matching module
    서열 정렬 방식 중 지역 정렬 방식을 통하여 유사도를 결정하는 것을 특징으로 하는 독서 엔터테이닝 장치.Read entertaining device, characterized in that for determining the similarity through the local alignment method of the sequence alignment method.
  20. 제14항에 있어서,The method of claim 14,
    상기 기설정된 유사도는 70 퍼센트인 것을 특징으로 하는 독서 엔터테이닝 장치.And said predetermined similarity is 70 percent.
  21. 제12항 또는 제13항에 있어서,The method according to claim 12 or 13,
    상기 범주 정보에는The above category information
    동화, 아동 도서, 과학, 수학, 컴퓨터(computer), 기술, 소설, 역사, 비즈니스(business), 투자, 문학, 양육, 가족, 여행, 예술, 디자인(design), 외국어, 학습, 요리, 음식, 와인(wine), 자서전, 전기, 정치, 사회 과학, 종교 중 어느 하나 이상이 포함되는 것을 특징으로 하는 독서 엔터테이닝 장치.Fairy tales, children's books, science, mathematics, computer, technology, fiction, history, business, investment, literature, parenting, family, travel, art, design, foreign languages, learning, cooking, food, Reading entertaining device comprising any one or more of wine (wine), autobiography, biography, politics, social science, religion.
  22. 제12항 또는 제13항에 있어서,The method according to claim 12 or 13,
    상기 범주 정보는The category information
    나이, 성별, 직업, 취미, 관심사 중 어느 하나 이상을 반영하여 결정되는 것을 특징으로 하는 독서 엔터테이닝 장치.Reading entertaining device, characterized in that determined by reflecting any one or more of age, gender, occupation, hobbies, interests.
  23. 제12항 또는 제13항에 있어서,The method according to claim 12 or 13,
    상기 범주 정보는The category information
    책의 제목, 저자, 출판사, 국제표준도서번호(isbn; international standard book number) 중 어느 하나 이상을 반영하여 결정되는 것을 특징으로 하는 독서 엔터테이닝 장치.Read entertaining device, characterized in that determined by reflecting any one or more of the title, author, publisher, international standard book number (isbn) of the book.
PCT/KR2017/013770 2017-05-29 2017-11-29 Reading entertaining device and driving method therefor WO2018221799A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170065843 2017-05-29
KR10-2017-0065843 2017-05-29

Publications (1)

Publication Number Publication Date
WO2018221799A1 true WO2018221799A1 (en) 2018-12-06

Family

ID=64455950

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/013770 WO2018221799A1 (en) 2017-05-29 2017-11-29 Reading entertaining device and driving method therefor

Country Status (2)

Country Link
KR (2) KR20180130422A (en)
WO (1) WO2018221799A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110534094A (en) * 2019-07-31 2019-12-03 大众问问(北京)信息科技有限公司 A kind of voice interactive method, device and equipment

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024072036A1 (en) * 2022-09-30 2024-04-04 삼성전자 주식회사 Speech recognition apparatus and operating method of speech recognition apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2849504B2 (en) * 1992-05-29 1999-01-20 シャープ株式会社 Automatic reading device
JP2000019941A (en) * 1998-06-30 2000-01-21 Oki Hokuriku System Kaihatsu:Kk Pronunciation learning apparatus
KR100824322B1 (en) * 2007-04-11 2008-04-22 아주대학교산학협력단 A reading comprehension quotient measurement system
KR20100020302A (en) * 2008-08-12 2010-02-22 배진우 Image analysis apparatus and method
KR20160066676A (en) * 2014-12-02 2016-06-13 한밭대학교 산학협력단 System and method for determinating foreign books reading level

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011065322A (en) * 2009-09-16 2011-03-31 Konica Minolta Holdings Inc Character recognition system and character recognition program, and voice recognition system and voice recognition program
KR101294024B1 (en) * 2009-12-18 2013-08-08 한국전자통신연구원 System and method for providing interactive contents in electronic book system
KR20130011749A (en) * 2011-07-22 2013-01-30 전창영 Book purchasing system and method
KR102342571B1 (en) * 2014-11-19 2021-12-22 에스케이텔레콤 주식회사 Method for recognition voice apply to multi voice recognition module and voice recognition apparatus thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2849504B2 (en) * 1992-05-29 1999-01-20 シャープ株式会社 Automatic reading device
JP2000019941A (en) * 1998-06-30 2000-01-21 Oki Hokuriku System Kaihatsu:Kk Pronunciation learning apparatus
KR100824322B1 (en) * 2007-04-11 2008-04-22 아주대학교산학협력단 A reading comprehension quotient measurement system
KR20100020302A (en) * 2008-08-12 2010-02-22 배진우 Image analysis apparatus and method
KR20160066676A (en) * 2014-12-02 2016-06-13 한밭대학교 산학협력단 System and method for determinating foreign books reading level

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110534094A (en) * 2019-07-31 2019-12-03 大众问问(北京)信息科技有限公司 A kind of voice interactive method, device and equipment

Also Published As

Publication number Publication date
KR20180130421A (en) 2018-12-07
KR102126609B1 (en) 2020-06-24
KR20180130422A (en) 2018-12-07

Similar Documents

Publication Publication Date Title
WO2021071115A1 (en) Electronic device for processing user utterance and method of operating same
WO2020246844A1 (en) Device control method, conflict processing method, corresponding apparatus and electronic device
EP3403415A1 (en) Method and device for accelerated playback, transmission and storage of media files
WO2019039834A1 (en) Voice data processing method and electronic device supporting the same
WO2016114428A1 (en) Method and device for performing voice recognition using grammar model
WO2015170945A1 (en) Method of learning english by teaching english word order and system therefor
EP3345379A1 (en) Method for electronic device to control object and electronic device
WO2013168860A1 (en) Method for displaying text associated with audio file and electronic device
WO2014062032A1 (en) Display device, remote control device to control display device, method of controlling display device, method of controlling server and method of controlling remote control device
WO2016099141A2 (en) Method for fabricating and reproducing multimedia contents, electronic device for performing same, and recording medium in which program for executing same is recorded
WO2017142127A1 (en) Method, server, and computer program for setting word/idiom examination questions
WO2013176365A1 (en) Method and electronic device for easily searching for voice record
WO2013176366A1 (en) Method and electronic device for easy search during voice record
WO2018221799A1 (en) Reading entertaining device and driving method therefor
WO2019139301A1 (en) Electronic device and subtitle expression method thereof
WO2016182368A1 (en) Method and device for providing content
WO2021029627A1 (en) Server that supports speech recognition of device, and operation method of the server
EP3259754A1 (en) Method and device for providing information
WO2017082447A1 (en) Foreign language reading aloud and displaying device and method therefor, motor learning device and motor learning method based on foreign language rhythmic action detection sensor, using same, and electronic medium and studying material in which same is recorded
WO2021029497A1 (en) Immersive display system and method thereof
WO2019203421A1 (en) Display device and display device control method
WO2020263016A1 (en) Electronic device for processing user utterance and operation method therefor
WO2020153717A1 (en) Electronic device and controlling method of electronic device
WO2020130498A1 (en) A command based interactive system and a method thereof
WO2023085584A1 (en) Speech synthesis device and speech synthesis method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17911551

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17911551

Country of ref document: EP

Kind code of ref document: A1