WO2019245232A1 - 근육 기억을 이용한 언어 학습 장치 및 언어 학습 방법 - Google Patents

근육 기억을 이용한 언어 학습 장치 및 언어 학습 방법 Download PDF

Info

Publication number
WO2019245232A1
WO2019245232A1 PCT/KR2019/007157 KR2019007157W WO2019245232A1 WO 2019245232 A1 WO2019245232 A1 WO 2019245232A1 KR 2019007157 W KR2019007157 W KR 2019007157W WO 2019245232 A1 WO2019245232 A1 WO 2019245232A1
Authority
WO
WIPO (PCT)
Prior art keywords
muscles
muscle
speech
user
pronounce
Prior art date
Application number
PCT/KR2019/007157
Other languages
English (en)
French (fr)
Inventor
윤영식
윤형석
윤혜원
Original Assignee
윤영식
윤형석
윤혜원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤영식, 윤형석, 윤혜원 filed Critical 윤영식
Publication of WO2019245232A1 publication Critical patent/WO2019245232A1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • G06Q50/2057Career enhancement or continuing education service
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied

Definitions

  • the present invention relates to a learning apparatus and a method for clearly distinguishing and recognizing different speech sounds using muscle memory. More specifically, the electronic learning using the speech recognizer makes it possible to memorize the movements of muscles according to the location of the muscles and the way of using them to pronounce the sounds, so that each phoneme and syllable of vowels and consonants, words, and segmental sounds.
  • the present invention relates to a learning apparatus and method for enabling pronunciation and recognition.
  • phonology says that the vocal cords, such as the vocal cords, make basic noises, and then the articulators, such as the lips and tongue, produce a variety of speech sounds.
  • Learning methods used to learn foreign languages are also based on the characteristics of vowels and consonants described in phonetics.
  • vowels the articulatory organs describe the sounds of each vowel based on the shape of the lips and the position of the tongue.
  • consonants voiced sounds, unvoiced sounds, and nasal sounds are distinguished by using the movement of articulation organs.
  • the movement of the vocal cords depends on the movement of the muscles that can control the vocal cords and the muscles that can control the vocal cords.
  • Representative articulation organs including the movement of the lips and tongue, depend not only on the muscles around the lips and the internal muscles of the lips, but also on the muscles connected to the tongue and the muscles connected to the cervical vertebrae.
  • muscle memory When you learn a movement, such as walking, swimming, cycling, or playing a musical instrument, and then become familiar with the movement through repetitive exercises, the movements of the muscles associated with the movement are stored in the brain in the form of procedural memory, which is called “muscle memory”. It is called. When muscle memory is formed, it can be easily done later without conscious effort. If the muscle movements that give strength to pronounce words are memorized through repetitive exercises, the words can be pronounced without conscious effort.
  • the speech sound learning device may include a speech recognizer capable of informing a correctly pronounced part and a wrongly pronounced part of a speech that the learner pronounces, it will be a great help in learning.
  • a voice recognizer capable of recognizing speech based on the movement of muscles that give power when the speech is pronounced.
  • a speech recognizer has not been found yet.
  • the present invention provides a solution to the above problems that must be solved in order to be able to follow while showing the movement of the muscles that give power when pronounced, and by using the muscle memory
  • a language learning method and apparatus for enabling pronunciation and recognition are provided.
  • Language learning apparatus by using the muscle memory to distinguish and pronounce each segment of the vowels and consonants, syllables, words and pronunciation of the second segment sounds such as stress, tone, pitch, etc. It aims to provide improved language learning effects.
  • the language learning apparatus even the person who can not hear the language can not directly hear the language of the muscles that cause the movement of the pronunciation organ and the movement of the muscles according to the usage method directly to the eye By watching and learning, you can provide the opportunity to learn a language.
  • Language learning apparatus is an input unit for the user to select the information of the speech including at least one of a phoneme, syllables, words and seconds segment sounds, pronunciation of the speech information and the speech sound of the speech selected from the input unit
  • Memory unit for storing information on the position and use of the muscle to give power to the display
  • a display unit for displaying the movement of the muscle according to the position and use of the muscle to give power to pronounce the speech and the muscle It may include a speaker for giving the user the sound of the pronunciation sound pronounced.
  • Language learning apparatus is an input unit for the user to select the information of the speech including at least one of a phoneme, syllables, words and seconds segment sounds, pronounced information of the speech sound selected from the input unit and the speech sound Memory unit for storing information about the position of the muscle to give a force and the manner of use, using the sound wave information by the user pronounced the speech, the position of the muscle that the user applied to pronounce the speech And a voice recognition unit for recognizing the use method and the display unit for displaying the movement of the muscles according to the position and the use of the muscles recognized by the voice recognition unit to the user.
  • Language learning apparatus is an input unit for the user to select the information of the speech including at least one of a phoneme, syllables, words and seconds segment sounds, pronunciation of the speech information and the speech sound of the speech selected from the input unit
  • Memory unit for storing information on the position and use of the muscle to give power to the display, a display unit for displaying the movement of the muscle according to the position and use of the muscle to give power to pronounce the speech and the muscle
  • a speaker for giving the user the sound of the speech to pronounce, and using the sound wave information caused by the user to pronounce the speech, the position and manner of use of the muscle that the user has applied to pronounce the speech
  • a voice recognition unit for recognizing the display unit; The position of the muscle according to the pronunciation of the user recognized by the voice recognition unit, and the position and use of the muscle stored in the memory unit.
  • the evaluator for determining whether or not within a predetermined range with respect to the position and use of the muscle according to the pronunciation of the user in the evaluation unit is within a predetermined range for the position and use of the muscle stored in the memory unit If determined, it may include a learning unit for strengthening muscle memory through repetitive learning.
  • the language learning method includes voice information of a speech sound including at least one of a phoneme, a syllable, a word, and a segmental sound, and information about a location and a usage method of muscles that give power to pronounce the speech.
  • the language learning method stores information on speech sounds including at least one of a phoneme, syllables, words, and segmental sounds, and information on the location and usage of muscles that give power to pronounce the speeches.
  • a language learning method using a device comprising a memory unit comprising: selecting information of the speech by a user, and using sound wave information by the user to pronounce the speech, a force for the user to pronounce the speech Recognizing the position of the muscle and the manner of use, and displaying the movement of the muscle according to the recognized position of the muscle and the manner of use to the user.
  • the language learning method includes voice information of a speech sound including at least one of a phoneme, a syllable, a word, and a segmental sound, and information about a location and a usage method of muscles that give power to pronounce the speech.
  • a language learning method using a device including a memory unit for storing comprising the steps of: a user selecting information of the speech sound, displaying the movement of the muscle according to the position of the muscle that gives force to pronounce the speech and the usage method, and The step of giving a sound to pronounce the sound to the muscle, using the sound wave information by the user to pronounce the speech, to recognize the position of the muscle and the manner of use of the muscle to the user to pronounce the speech Step, the location and use of the recognized muscle location and use of the muscle stored in the memory unit Determining whether the method is within a predetermined range with respect to the method and when the location and use of the muscle according to the pronunciation of the user are determined to be within a predetermined range with respect to the location and use of the muscle stored in the memory unit; Repeated learning may include strengthening muscle memory.
  • Voice recognizer is a memory unit for storing the information of the sound and the position of the muscles and the way to use the force to pronounce the sound, the sound wave information by the user pronounces the sound
  • the voice recognition unit for recognizing the position of the muscles and the manner of use of the force to pronounce the speech by using the user based on the movement of the muscles according to the position and use of the muscles recognized by the speech recognition unit
  • It may include a display unit for displaying to the user what the sound of the user pronounced.
  • the language learning apparatus by using the muscle memory, the phoneme and the syllables of the vowels and consonants, the words and the accents, the tonality, the pitch of the segmental sounds such as the tone and the pitch are distinguished and pronounced, Improve your language learning.
  • the effect of providing the opportunity to learn the language by directly learning the position of the muscles that causes the movement of the pronunciation organs and the movement according to the usage method is achieved. can do.
  • 1 is a view showing the position of the larynx and the internal muscles of the larynx.
  • Figure 2 is a view showing the shield pharyngeal part and the ring shield muscle of the lower pharyngeal myocardium.
  • 3 is a diagram illustrating the palatal pharynx and the palate muscles.
  • FIG. 4 is a diagram showing a muscle used as a vocal muscle when a consonant is pronounced.
  • Figure 5 is a view showing the anterior teeth of the shield pyramidal muscles.
  • FIG. 6 illustrates a language learning apparatus according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a plurality of speech sounds displayed on a screen of a display unit of a language learning apparatus according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a display unit of a language learning apparatus according to an embodiment of the present invention displaying a position and a usage method of muscles that give a force to pronounce a selected speech (vowel).
  • FIG 9 illustrates a language learning apparatus according to another embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a speech recognition unit according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating a language learning apparatus according to another embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a language learning method according to an embodiment of the present invention.
  • FIG. 13 illustrates a language learning method according to another embodiment of the present invention.
  • FIG. 14 is a diagram illustrating a language learning method according to another embodiment of the present invention.
  • 15 is a diagram illustrating a user terminal including a language learning server and a language learning application according to an embodiment of the present invention connected through a network.
  • 16 is a diagram illustrating a hardware configuration of a user terminal including a language learning application according to an embodiment of the present invention.
  • 17 is a diagram illustrating an operation of performing language learning by communicating between a language learning server and a user terminal including a language learning application according to an embodiment of the present invention.
  • FIG. 18 is a diagram illustrating an operation of performing language learning by communicating with a user terminal including a language learning server and a language learning application according to another embodiment of the present invention.
  • 19 is a diagram illustrating an operation of performing language learning by communicating with a user terminal including a language learning server and a language learning application according to another embodiment of the present invention.
  • first, second, first, or second used in various embodiments may modify various components in any order and / or importance, and may modify the components. It is not limited.
  • the first component may be referred to as the second component, and similarly, the second component may be referred to as the first component.
  • the present invention has been devised to solve the above problems, and shows the movement of the muscles according to the position and use of the muscles that give power when the person pronounces the sound of speech, and the pronunciation of the pronunciation of the pronunciation of the learner through the voice recognition It is intended to provide a language learning apparatus and a language learning method capable of judging wrong and pronounced parts. Description of these is described in detail below.
  • Agonistic muscles are those muscles when they can move parts of the body as desired by empowering them.
  • the muscles that act oppositely to allow the main muscles to work stably are called antagonistic muscles, and the muscles that help the main muscles move or stabilize other parts of the muscles are called synergistic muscles.
  • cooperative muscles move together according to the movement of the main root muscles without additional force.
  • you can pronounce the intended speech by emphasizing the psoas muscles that cause the movement of the pronunciation organs, such as the vocal cords, lips, tongue, and soft palate.
  • 1 is a view showing the position of the larynx and the internal muscles of the larynx.
  • the thyroarytenoid muscle of the muscles of the larynx may be divided into three parts, thyrovocalis belly, thyromuscularis belly, and thyroarytenoid ventricular belly.
  • Shield vocal cords are also called vocalis muscles (“vocal cord muscles”), which are the forces connected from the thyroid cartilage to the vocal process of the arytenoid cartilage.
  • vocal cord muscles are also called vocalis muscles (“vocal cord muscles”), which are the forces connected from the thyroid cartilage to the vocal process of the arytenoid cartilage.
  • the length of the muscles varies according to how they are applied, and the length of the vocal cords changes accordingly.
  • the shield horn ventricular tendon of the shield rhizome is the strength of the shield cartilage that connects to the laryngeal ventricle of the shield horn, but is not considered to be directly related to the pronunciation of the vowels.
  • the shield muscle muscles (hereinafter referred to as “shield shield muscles”) of the shield horn muscles are the muscles connected from the shield cartilage to the muscle processes of the chondrocartilage. As the projections turn inward a little, the front gap of the vocal cords becomes narrower.
  • the lateral cricoarytenoid muscles are muscles connected to the muscle cartilage of the chondrocartilage on both sides of the cricoid cartilage. Make it close As a result, the middle portion of the vocal cords becomes narrower.
  • the transverse arytenoid muscle is the muscle that connects the lateral cartilage from the lateral cartilage to the lateral edge of the other cartilage. As a result, the rear gap of the vocal cords becomes narrower.
  • An oblique arytenoid muscle is a muscle that connects from the base of the muscle cartilage of the cartilage to the back of the top of the other cartilage, and when the muscle is shortened, the tops of the two cartilage close together. This narrows the spacing of the posterior part of the vocal cords.
  • the posterior cricoarytenoid muscle is the muscle from the back of the ring cartilage that connects to the muscle cartilage of the chondrocartilage, and when the muscle is shortened, the gap between the vocal cords increases.
  • Figure 2 is a view showing the shield pharyngeal part and the ring shield muscle of the lower pharyngeal myocardium.
  • an inferior pharyngeal constrictor muscle may be divided into a thyropharyngeal part and a cricopharyngeal part.
  • the shield pharyngeal part of the lower pharyngeal contractor muscle (hereinafter referred to as the "shielding pharyngeal muscle”) is a muscle that begins at both sides of the shield cartilage and connects to each other in the pharyngeal raphe, which forces the muscle to shorten.
  • the gap between the shield cartilage and the back wall of the lower pharynx decreases, and the gap between the shield cartilage and the ring cartilage decreases. This reduces the length of the vocal cords.
  • the cricothyroid muscle is a muscle that starts from the front side of the cartilage and connects to the lower horn of the cartilage of the shield and connects to the plate. When the muscle is shortened, the vocal cord increases and the pitch increases.
  • the muscles inside the larynx, the shield pharynx and the ring shield muscle are the main muscles that move the vocal cords.
  • Shield pyramid, lateral ring pyramid, transverse pyramid, and comb pyramid function to narrow the spacing of vocal cords, and vocal cord and shield pharynx to adjust the length of vocal cords.
  • muscles that narrow the vocal cords and muscles that control the vocal cords are used as articulation muscles (described later) and vocal muscles (described later).
  • 3 is a diagram illustrating the palatal pharynx and the palate muscles.
  • the palatine pharyngeal muscle (palatopharyngeus muscle) starts from the soft palate, partly connected to the pharyngeal constrictor muscle, and partly connected to the upper edge of the shield cartilage, When the muscles are shortened, the palate will go down. This opens the passage to the nasal tract. Except in the case of making a sound through the nasal cavity, the levator veli palatinimuscle is used to shorten the sound and block the passage to the nasal cavity.
  • FIG. 4 is a diagram showing a muscle used as a vocal muscle when a consonant is pronounced.
  • the transverse muscle of the tongue is one of the tongue's eigen muscles that make up the body of the tongue, starting from the median fibrous septum of the tongue and into the submucous fibrous tissue on both sides of the tongue.
  • a connecting muscle when the muscle is shortened, the tongue is narrowed and pushed forward. This causes the tip of the tongue to touch the alveolar.
  • the vertical muscle of the tongue is one of the endotracheal muscles that make up the trunk of the tongue and is located in front of the tongue. It connects from the lower part of the tongue to the upper part, and when this muscle is shortened, the front middle part of the tongue goes down. This causes friction of air near the boundary between the hard palate and the alveolar when pronounced.
  • Geniohyoid muscles are muscles that begin at the inferior mental spine of the mandible and connect to the hyoid bone. It is pulled forward and raised up. This places the tongue between the upper and lower teeth.
  • the hyoglossus muscle is a muscle that starts at the vertebra and connects to the sides of the tongue. When the muscle is shortened, the tongue is pulled toward the vertebra. If you apply force to the muscles to pronounce the vowels, and the neck is shortened, the tongue is pulled toward the neck and the tip of the tongue touches the back of the alveolar.
  • Mylohyoid muscle is a muscle that starts from the mylohyoid line of the lower jaw and connects to the body of the hyoid bone and median ridge.
  • the horns and tongue are up. This causes the central portion of the tongue to rise toward the palate.
  • the muscles such as the shield pharyngeal muscles
  • the jawbone shortens the force, causing the central tip of the tongue to rise toward the palate, with the tip of the tongue facing up.
  • the menalis muscle is the muscle that starts from the anterior lower jawbone and connects to the skin at the tip of the jaw. When this muscle is shortened, the jaw's skin is moved upward and inward, so that the middle part of the lower lip moves up. . This causes the lower lip to approach the upper teeth.
  • the styloglossus muscle is a muscle that starts from the styloid process of the temporal bone and connects to the tip and sides of the tongue. Both sides are pulled up. As a result, the posterior tongue area reaches the soft palate.
  • the inferior orbicularis oris muscle wraps around the lips starting at the end of the buccinator.
  • the circumference of the mouth, starting at the center of the root crosses up and down at both ends of the lips, enclosing the lip, and the circumference of the mouth, starting at the top of the root, connects past the top of the mouth, crossing the top, bottom, Starting from the part, the circumference of the mouth is connected past the bottom of the circumference of the mouth, crossing the top and bottom. Applying strength to shorten the deep muscles of the mouth closes the lips.
  • On the outside of the deep mouth muscles are the mouth muscles of the surface area, and when the muscles are shortened, the lips are strongly closed.
  • the superior longitudinal muscle of the tongue is a muscle that starts around the epiglottis and runs down the mucosa of the tongue to the tip of the tongue, which causes the tongue to become shorter and thicker when the muscle is shortened. .
  • the genioglossus muscle is a muscle that starts from the superior mental spine of the lower jaw and connects to the underside of the tongue and the cervical vertebrae, the lower part of the muscle acts as the tongue sticking out, and the middle part presses the tongue. The upper part causes the tip of the tongue to descend back and forth.
  • Figure 5 is a view showing the anterior teeth of the shield pyramidal muscles.
  • the thyrohyoid muscle is a muscle connected from the oblique line of the shield cartilage to the lower boundary of the greater horn, and when the force is applied to shorten the muscle, If the shield cartilage is narrowed, if the shield cartilage is fixed, the cervical vertebrae are pulled down, if the cervical bone is fixed, the shield cartilage is raised, the vocal cords are increased, and the pitch is increased.
  • the anterior belly of the digastric muscle begins at the medial lower boundary of the mandible and crosses the midline of the biceps tendon near the apical horn to the posterior belly of the biceps.
  • the muscles are pulled short and pulled forward, pulling upwards. This, along with the tongue up front, pulls the larynx forward, increasing the vocal cords and raising the pitch.
  • the cervical vertebrae are fixed, the lower jaw is pulled down along with the lateral pterygoid muscles of the jaw lateral pyramidal muscle, the jaw pyramidal muscle and the lateral pterygoid muscle.
  • the shield When the sound of the sound is pronounced while the neck is fixed, the shield is shortened and the front of the biceps muscle is shortened while the neck is not fixed. There is a sound.
  • the method of using the main muscles is i) a method used as an artificial muscle, (ii) a method used as a phonatory muscle, iii) a method used as a standby muscle, iv) as an intervenient muscle, v) as a stressing muscle, vi) as a tonal muscle, vii) as a tuning muscle Divide in such a way.
  • Articulatory muscle refers to a muscle that causes the characteristic of contraction of the muscle to appear in pronounced speech while the muscle is in a contracted state, and vocal muscles create direct sounds such as vocal cords or articulators. Refers to the muscles that cause the vocal cords or articulators to make sounds. Depending on which muscle is used as a vocal muscle, it is distinguished by different speech sounds. For example, the sound of pronunciation using the lateral rhomboid muscle as the vocal muscles and the sound of pronunciation using the lateral rhizomus as the vocal muscles are divided into different speech sounds.
  • the sound is pronounced when the sphincter muscle is shortened as an articulation muscle, and the voice is sounded while the back muscle is shortened as the articulation muscle.
  • the articulation muscle is shortened as the articulation muscle.
  • the voiced sounds are also produced when the atmospheric muscles (described later) to pronounce the vowels are contracted.
  • the same muscles are used, but depending on which of the muscles are used as vocal muscles and the rest of the muscles are articulated muscles, the pronunciation sounds different.
  • the use of the shield pharynx as an articulation muscle and the use of the transverse muscles as vocal muscles and the use of the shield pharynx as vocal muscles use the transverse muscles as articulation muscles.
  • the sound of using the comb muscles and the lateral roots as vocal muscles and the sound of using the lateral muscles as the vocal muscles while using the comb muscles as articulation muscles are also different.
  • Words that use different muscles as vocal muscles are mostly treated as different phonemes. If you use the same vocal muscles but different articulation muscles, they are sometimes treated as different phonemes or as different joints of the same phoneme.
  • the phoneme is the unit of the smallest sound that makes the meaning of words different.
  • “bat” and “cat” have different meanings due to phoneme differences between / b / and / k /
  • “bat” and “bet” The meaning is changed by the phoneme difference between / e / and “bat” and “bad” are changed by the phoneme difference between / t / and / d /.
  • / b /, / k /, , / e /, / t / and / d / are called phonemes.
  • each [p] sound is pronounced a little differently, but in the same / p / phoneme. At this time, each sound may be divided into [p h ] and [p]. Sounds belonging to the same phoneme and pronounced slightly differently are called joints.
  • one muscle is used as an articulatory muscle by giving strength to a long muscle, and one muscle is used as an articulator muscle by giving a force to shorten a muscle.
  • the vocal muscles are divided into a method of using isotonic vocal muscles, a method of using elongated vocal muscles, and a method of using unilateral vocal muscles.
  • the use of the isotonic vocal muscles is to force the vocal muscles so that the vocal cords or articulators are in a position where they can make a sound, and then the vocal cords vibrate while the vocal muscles are isotropically contracted while the vocal cords are vibrated or the articulators are rubbed.
  • the use of elongated vocal muscles means that the vocal muscles are shortened and the articulators are brought into contact with each other. This shortening contraction means that the vocal cords are vibrated or the articulator is rubbed.
  • two vocal muscles may be used simultaneously or sequentially in different ways. For example, English Wow Can be pronounced using the transverse muscles of the tongue as the elongated vocal muscles, while at the same time using the vertical muscles of the tongue as the shortening vocal muscles.
  • articulated muscles and vocal muscles can be divided into muscle uses and contraction types.
  • isometric vocal muscles can be used to describe the muscles as being used for vocal muscles and when they are pronounced, they are isometric contractions.
  • the use of atmospheric muscles means that the two phonemes are followed by sequential pronunciation, and the articulation muscles and the vocal muscles for pronunciation of the back phoneme are contracted before the front phoneme is pronounced and contracted while the front phoneme is pronounced.
  • the articulation muscles and vocal muscles to pronounce the front phoneme means contraction in a range that does not interfere with the pronunciation of the front phoneme.
  • the vocal cord muscles are in a state of contractile contraction during the pronunciation of a syllable, or ii) they are forced to stretch when the vocal cord muscles are relaxed, or iii) Force the contraction to retract as soon as it is forced to contract shortening in the relaxed state, or iv) force shortening contraction with the vocal cord muscle contracting, or v) relax the vocal cord muscles.
  • Vi) means to maintain the pitch of the sound or to vary the pitch by maintaining the state that the vocal cord muscles have contracted shortening.
  • the ring shield muscle and the shield pharynx muscle relaxed, i) the vocal cord muscles being shortened, ii) the vocal cord muscles relaxed, iii) the vocal cord muscles being lengthened.
  • the ring shield and the shield pharynx are all shortened iv) the vocal cord muscles are shortened and the ring shield muscles are shortened and the shield pharynx is relaxed v) the vocal cords
  • the stress muscle, the tone muscle and the pitch control muscle are divided into separate muscles, but not limited thereto.
  • muscles used for regional accents, muscles used for expressing emotions, and the like may be classified in various ways depending on the purpose.
  • the front phoneme is to be pronounced.
  • preparation prepare to pronounce the back phoneme, and then pronounce the front phone and the back phone in order.
  • the phoneme is being pronounced while the phoneme is being pronounced. It is to pronounce the phoneme immediately after the pronunciation.
  • FIG. 6 illustrates a language learning apparatus according to an embodiment of the present invention.
  • the language learning apparatus 100 may include an input unit 110, a memory unit 120, a speaker 130, and a display unit 140.
  • the language learning apparatus 100 may be published in the form of an e-book as well as a portable terminal such as a smartphone or a tablet PC.
  • the input unit 110 may allow the user to select information of speech sounds including at least one of a phoneme, a syllable, a word, and a segmental sound.
  • the input unit 110 may be, for example, a device such as a touch panel, or may be a device such as a mouse or a keyboard.
  • the input unit 110 may be a concept including not only a device for generating a signal indicating a selection from a user, but also a configuration corresponding to an interface for receiving a signal indicating a selection from the user.
  • the user may start learning by selecting one of speech sounds, that is, desired phonemes, syllables, words, and second segment sounds through the input unit 110.
  • the memory unit 120 may store voice information of the voice sound selected by the input unit 110 and information about the location of the muscle that gives power to pronounce the voice and how to use the voice. That is, the memory unit 120 stores information about which muscles are to be used in what manner and when the user pronounces the selected voice.
  • muscles that give power to pronounce words mean muscles that cause movements of pronunciation organs such as vocal cords, lips, tongue, soft palate, etc. Since these muscles have been described in detail with reference to FIGS. 1 to 5, detailed descriptions thereof will be omitted.
  • the speaker 130 may function as a voice output means, and the speaker 130 may speak a spoken sound by using muscles that give power to pronounce the selected voice. That is, the speaker 130 directly listens to the speech selected by the user, so that the user can repeatedly practice the pronunciation.
  • the display unit 140 serves as an image output means including a still image and a moving image.
  • the display unit 140 transmits a muscle movement according to a position and a usage method of a muscle to give a force to pronounce a selected voice in the input unit 110. I can display it. In other words, by visually showing the user the position of the muscles and the movement of the muscles according to the way of using the force to pronounce the speech selected by the user, it is easy to determine which muscle is used in which way and when the user pronounces the specific speech. Make it understandable.
  • the display unit 140 may display one of the sequential pronunciation and the superimposed pronunciation, and display the movement according to the position of the muscle that gives power to the phoneme and the pronunciation. .
  • the display unit 140 may display the position and the use method of the muscles that give power to pronounce the words, in at least one of the shape, color, shape change, or hand gesture expression of the muscles.
  • the movement of muscles that give power to pronounce words may be represented by a change in the shape, color, or shape of specific muscles so that the user can clearly see the movement of muscles that give power to pronounce words that they want to learn. Can be represented by hand gestures.
  • muscles that give strength to pronounce words are represented by the shape, color, or shape of a particular muscle, and when the words are pronounced, the muscle changes are expressed in the shape or size of the muscle or in the shape or size of the figure.
  • the movements of muscles that give power to pronounce words may be expressed in the form of hand gestures, and thus the changes of muscles may be easily expressed as changes in hand gestures when the words are pronounced.
  • this representation is only one example, and the present invention is not limited thereto.
  • the display unit 140 may display a location or use method of muscles that give power to pronounce words as a moving image or a still image for each step. That is, the display 140 displays the movement of the muscles that give power to pronounce the words that the user wants to learn in a video, so that the user can check the continuous movement of the muscles that give the force to pronounce the words. . In addition, the muscles that give power to pronounce the speech is shown in each step of the still image, so that the user can learn step by step the movement of the muscles that you did not see in the video.
  • the display 140 may display the movement of the vocal cords or articulators and the movement of the main root muscle.
  • muscles that give strength to pronounce speech can be used as at least one of vocal muscles, articulation muscles, atmospheric muscles, interstitial muscles, stress muscles, tone muscles, or pitch control muscles.
  • the vocal muscles use one or two vocal muscles in one of isotropic, elongated, or short unilateral, or two or more vocal muscles simultaneously or sequentially.
  • Articulation muscles can be used as renal articulation muscles or shortening articulation muscles.
  • FIG. 7 is a diagram illustrating a plurality of speech sounds displayed on a screen of a display unit of a language learning apparatus according to an embodiment of the present invention.
  • the user selects a speech sound to be learned by the mouse, which is the input unit 110, on the screen of the display 140.
  • the user first selects one of the desired languages (eg, Korean, English, Japanese, Chinese, etc.).
  • the user selects a desired unit of speech in the language (for example, a phoneme such as a consonant or a vowel, a syllable, a word, an accent, a tone, a pitch control, and the like).
  • a desired unit of speech in the language for example, a phoneme such as a consonant or a vowel, a syllable, a word, an accent, a tone, a pitch control, and the like.
  • the shape of the muscle related to uttering the speech may be displayed together on the screen of the display 140.
  • the display and selection method of the screen of the display unit 140 shown in FIG. 7 is merely exemplary, and the present invention is not limited thereto.
  • the information on the speech sounds desired by the user on the display 140 may be displayed only in letters, or may be displayed together with a video regarding the movement of the muscles when the speech is pronounced, instead of the mouse as the input unit 110.
  • a device such as a keyboard or a touch panel may be used.
  • it may be possible to select the use of the muscles and learning according to the contraction type such as the method of using the vocal muscles and the speech sounds according to the contraction type of the articulated muscles. It may be configured as a learning device.
  • FIG. 8 is a diagram illustrating a display unit of a language learning apparatus according to an embodiment of the present invention displaying a user's movement of a muscle according to a position and a usage method of a muscle to give a force to pronounce a selected speech (vowel).
  • the display unit 140 displays a position and a usage method of the muscles that give power to pronounce the speech selected by the user through the screen in the form of muscle movement, so that the user can identify which muscle to pronounce the speech. Make it easy to figure out how to use it.
  • FIG. 8 the movement of the muscles when the words are pronounced is shown in a step-by-step screen, but in practice, the process of moving the muscles may be provided as a video, but is not limited to the embodiment of FIG. 8.
  • FIG 9 illustrates a language learning apparatus according to another embodiment of the present invention.
  • the language learning apparatus 200 may include an input unit 210, a memory unit 220, a display unit 240, and a voice recognition unit 250. Since the input unit 210 and the display unit 240 according to the present exemplary embodiment have the same function and operation as the input unit 110 and the display unit 140 of FIG. 6, a detailed description of the overlapping configuration of FIG. 6 will be omitted. .
  • the memory unit 220 provides information on the combination of the information of the speech, the position of the muscle and the manner of use that gives power to pronounce the speech, and the information on the combination of the information of the speech and the position of the muscle and the manner of use. You can save the corresponding table.
  • the voice recognition unit 250 may recognize the location of the muscle and the manner in which the user has applied the force to pronounce the speech using the sound wave information by the user pronounce the speech.
  • the voice recognition unit 250 may include a microphone (not shown), and the position and method of use of the muscles that the user gives a force to pronounce the speech using a voice file in which the user's pronunciation is recorded. You can also recognize it. That is, when the user pronounces the speech selected by the input unit 210, the speech recognizer 250 may identify the location of the muscle applied by the user to pronounce the speech and how to use the speech through the recognized sound waves. have. At this time, the muscle that the user has given power to pronounce means the muscle causing the movement of the pronunciation organ.
  • the speech recognizer 250 includes a table that maps information of speech sounds and information about a combination of positions and usage methods of muscles that give power to pronounce the speech sounds.
  • the speech recognizer 250 includes a recognized muscle. By using the location and the manner of use of the table, it is possible to determine the information of the user pronounced speech sounds.
  • the voice recognition unit 250 may recognize one of the sequential pronunciation and the superimposed pronunciation.
  • the display unit 240 may display the position and use of the muscles according to the pronunciation of the user recognized by the voice recognition unit 250 in the form of muscle movement. In other words, by visually showing the position and use of the muscles applied to the user to pronounce the selected speech, the user can determine whether the user used the appropriate muscle in order to pronounce the speech. For example, the display unit 240 may show wrongly pronounced parts in separate colors among the movements of the muscles that need to be applied in order to properly pronounce the speech selected by the user, or properly pronounce the movements of the muscles and the actual pronunciation. The movement of the muscles can be compared and shown, and can be displayed to the user in various ways such as simply displaying the position of the wrongly used muscle.
  • the display unit 240 may display the movement of the vocal cords or articulators and the movement of the main root muscle.
  • muscles that give strength to pronounce speech can be used as at least one of vocal muscles, articulation muscles, atmospheric muscles, interstitial muscles, stress muscles, tonal muscles, or pitch control muscles, and vocal muscles are one or two vocal muscles. Is used in any one of isometric, renal, or shortening, or two or more different muscles are used simultaneously or in succession. Can be used as a shortening articulation muscle.
  • the display unit 240 may display one of the sequential pronunciation and the superimposed pronunciation to display the movement of the muscle according to the position of the muscle that gives power to the phoneme and the pronunciation. Can be.
  • FIG. 10 is a diagram illustrating a speech recognition unit according to an embodiment of the present invention.
  • the speech recognizer 250 may include a phoneme recognizer 251, a syllable recognizer 252, and a word recognizer 253.
  • the phoneme recognizer 251 may recognize the phoneme through the location and use of the muscles that the user has given power to pronounce words.
  • the phoneme recognizer 251 may include a phoneme pronunciation pattern recognizer 251a, a phoneme change recognizer 251b, and a phoneme pronunciation change recognizer 251c.
  • the phoneme pronunciation pattern recognizer 251a may recognize a location and a usage method of muscles that give power when the user starts to pronounce the phoneme. In this case, the phoneme pronunciation pattern recognizer 251a may recognize the location of the articulation muscle and the manner of use of the muscle used as the vocal muscle and the vocal muscle and the muscle to give the user a pronounced consonant or vowel.
  • the change recognizer 251 b of phoneme pronunciation may recognize a location and a usage method of muscles used while a user is pronounced a phoneme. At this time, the change recognizer 251b of the phonetic pronunciation may recognize a location of a vowel and a consonant, or a muscle to pronounce another consonant or a vowel while the consonant is pronounced. have.
  • the phonetic pronunciation change recognizer 251c may recognize the position and the method of use of the muscle used after the user pronounces the phoneme and before the next phoneme is pronounced. At this time, the phoneme pronunciation change recognizer 251c recognizes whether another consonant or vowel is pronounced or stopped following the pronunciation of the consonant, or whether another vowel or consonant is pronounced or stops following the pronunciation of the vowel. Recognizing the presence of a consonant or vowel followed by the movement of the muscle used to pronounce the consonant and vowel that were pronounced before the other consonants and vowels
  • the syllable recognizer 252 may recognize syllables by dividing consonants or vowels pronounced by a user into syllable heads, syllable nucleus, and syllable tails. Specifically, the syllable recognizer 252 pronounces consonants and vowels sequentially, or pronounces two consonants sequentially or overlaps before pronunciation of the vowels, or overlaps three consonants before pronunciation of the vowels and then pronounces them sequentially. If the consonant or consonants are recognized as syllable heads, one vowel followed by syllable heads or pronounced without syllable heads, or two sequential or overlapping vowels are recognized as syllable nuclei.
  • the consonants that are pronounced and the consonants that are sequentially pronounced subsequent to the consonants may be recognized as syllable tails.
  • the syllable recognizer 252 may further include a function of recognizing whether the stressed muscle, the tonal muscle, the pitch control muscle is used for the syllable, and if so, how the syllable is used.
  • the word recognizer 253 may recognize a word based on the connection state between the recognized syllables, the second segmental sound, and the grammatical elements.
  • the word recognizer 253 recognizes the syllables continuously recognized through the syllable recognizer 252 and the connection state between the syllables and the syllables recognized through the phoneme pronunciation change recognizer 251c and the syllable recognizer 252. It is a composition that recognizes each word considering grammatical factors based on stress, tone, pitch, etc.
  • the memory unit 220 may further include a database (not shown) including the existing words, so that the word recognizer 253 may recognize the word quickly and easily.
  • the phonetic pronunciation pattern recognizer 251a starts to make sounds when the transverse of the tongue contracts shortly and starts to make sounds, and from the beginning of pronunciation.
  • the posterior paraspinal muscles maintain shortened contraction, and the atmospheric muscles are also constricted.
  • the phoneme pronunciation pattern recognizer 251a is configured to transverse the tongue. It is recognized that the muscle was used as the renal vocal muscle, the posterior ring muscle was used as the shortening articulation muscle, and the atmospheric muscle was used as the muscle to pronounce the vowel.
  • the phoneme recognizer 251 Based on the recognition result of the phoneme pattern recognizer 251a, the phoneme recognizer 251 recognizes that / t / is pronounced using the transverse muscle of the tongue as the elongated vocal muscle while using the posterior ring muscle as a shortening articulation muscle.
  • the syllable recognizer 252 recognizes that / t / is pronounced as a syllable head preceding the vowel in sequential pronunciation based on the use of the atmospheric muscle for pronunciation of the vowel.
  • the phoneme recognizer 251 may confirm that the previously recognized consonant is an unvoiced consonant.
  • the phoneme pronunciation pattern recognizer 251a recognized that the transverse muscle of the tongue was used as the vocal muscle, it was difficult to determine which of the rump and comb muscles was used as the articulation muscle. ) Recognizes the relaxation of the hindlimb pyramidal muscle, the phoneme recognizer 251 may recognize that / t / is pronounced based on the recognition results.
  • the phonetic pronunciation pattern recognizer (251a) recognizes the sound produced by the isotropic contraction of the shield pyramid, and the vocal cord muscle has contracted its contraction during pronunciation from the beginning of pronunciation. If it is recognized that the phoneme pronunciation pattern recognizer 251a recognizes that the shield rhizome is used as the isometric isotonic muscle and the vocal cord muscle is used as the renal articulation muscle.
  • the phoneme recognizer 251 Based on the recognition result of the phoneme pattern recognizer 251a, the phoneme recognizer 251 recognizes that / i / using the vocal cord muscle as the isometric vocal muscle is pronounced while using the vocal cord muscle as the renal articulation muscle, and the syllable recognizer (252) recognizes that / i / is pronounced syllable nucleus based on the vowel pronunciation followed by syllable head / t / through sequential pronunciation.
  • the phoneme pronunciation change recognizer 251b recognizes that the transverse muscles of the tongue are shortening contractions and recognizes that the hindlimb is shortening contractions
  • the change recognizer during phoneme pronunciation (251b) recognizes that the posterior biceps and the transverse muscles of the tongue are used as interposition muscles
  • the phoneme recognizer 251 indicates that the unvoiced consonants pronounced after the shortening of the transverse muscles of the tongue will be pronounced as the next phoneme.
  • the syllable recognizer 252 predicts that the syllable nucleus is pronounced as the syllable tail after the systolic nucleus undergoes a shortening contraction following the syllable nucleus through overlapping pronunciation.
  • the phoneme pronunciation pattern recognizer 251a falls when the transverse of the tongue contracts shortly, resulting in a drop in the articulator.
  • the phoneme pronunciation pattern recognizer 251a is pronounced as the transverse muscles of the tongue are used as the elongated vocal muscles, while the vertical muscles of the tongue are used as the unilateral vocal muscles. Recognize that it was used.
  • the phoneme recognizer 251 Based on the recognition result of the phonetic pronunciation pattern recognizer 251a, the phoneme recognizer 251 shortens the vertical muscle of the tongue while using the transverse muscle of the tongue as the shortening articulation muscle and the transverse muscle of the tongue. Used as a sexual vocal muscle
  • the syllable recognizer 252 is based on the syllable nucleus / i / followed by the consonant Recognize that is pronounced as a syllable tail.
  • the phonetic pronunciation pattern recognizer (251a) has a syllable tail
  • the phoneme recognizer 251 changes the phoneme pronunciation of the preceding syllable nucleus / i /. Recognition result of unvoiced consonant based on the use of posterior pyramidal muscle as intervening muscle To be recognized.
  • the syllable recognizer 252 is / t / is pronounced as a syllable head, / i / is pronounced as a syllable nucleus, and as a syllable tail Synthesized by Recognizes that the syllable is pronounced.
  • the word recognizer 253 is recognized through the syllable recognizer 252. Check whether the word corresponding to the syllable is in the database, and if there is a word, the word is stored as a preliminary recognition result, and the syllable recognizer 252 waits for the recognition result of the next syllable.
  • the recognition result is provided as a recognition result, and if there is a word including the next recognition result, the word is stored as a preliminary recognition result and the recognition result of the next syllable is waited.
  • the word recognizer 253 may provide “teach” as the recognition result. If “teach” is recognized as a preliminary recognition result, the recognition result of the next syllable On the word database If the word "teacher” corresponds to the word "teacher”, it recognizes "teacher” as a preliminary recognition result and waits for the recognition result of the next syllable. If there is no word including the recognition result of the next syllable, the word recognizer 253 "teacher" can be provided as a recognition result.
  • the syllable recognizer 252 When the syllable is pronounced, the accented muscle is used, the pitch control muscle is used, and if the pitch control muscle is used, how the word recognizer is used, and the word recognizer 253 is required if additional information is required for the syllable recognizer (252). ) To use the recognition result.
  • FIG. 11 is a diagram illustrating a language learning apparatus according to another embodiment of the present invention.
  • the language learning apparatus 300 includes an input unit 310, a memory unit 320, a speaker 330, a display unit 340, a voice recognition unit 350, an evaluation unit 360, and a learning unit. 370 may include.
  • the input unit 310, the memory unit 320, the speaker 330, and the voice recognition unit 350 may include the input unit 110, the memory unit 120, and the speaker 130 of FIGS. 6 and 7.
  • the voice recognition unit 250 have the same function and operation, and thus descriptions of the overlapping configuration of FIGS. 6 and 7 will be omitted.
  • the display unit 340 in addition to the movement of the muscles according to the position and use of the muscles to give a force to pronounce the speech selected by the user, the position of the muscles according to the pronunciation of the user recognized by the speech recognition unit 350 and The usage may be displayed to the user in the form of muscle movement.
  • the display unit 340 may also display the movement of the vocal cords or articulators and the movement of the main root muscle.
  • muscles that give strength to pronounce speech can be used as at least one of vocal muscles, articulation muscles, atmospheric muscles, interstitial muscles, stress muscles, tonal muscles, or pitch control muscles, and vocal muscles are one or two vocal muscles. Is used in any one of isometric, renal, or shortening, or two or more different muscles are used simultaneously or in succession. Can be used as a shortening articulation muscle.
  • the evaluation unit 360 may determine whether the location and use of the muscles according to the pronunciation of the user recognized by the voice recognition unit 350 are within a predetermined range of the location and use of the muscles stored in the memory unit 320. have.
  • the predetermined range may be set in advance in the language learning apparatus 300, or may be set arbitrarily by the user. That is, the evaluator 360 determines whether the user correctly uses muscles related to the pronunciation of speech to be learned.
  • the muscle associated with the pronunciation of speech may include muscles that cause movement of the pronunciation organs.
  • the learner 370 may provide repetitive learning or supplementary learning to the user according to the determination result of the evaluator 360. That is, when it is determined by the evaluator 360 that the position and use of the muscle according to the user's pronunciation are within a predetermined range with respect to the position and use of the muscle stored in the memory 320, the learning unit 370 Repeated learning can strengthen muscle memory.
  • the learning unit 370 may be used. Speech recognition recognition evaluation may be further performed to evaluate whether the user can distinguish between words that have different consonants or vowels but are similarly pronounced. At this time, the speech recognition evaluation can distinguish words that have different vowels or consonants but are actually pronounced similarly, for example, “and” and “end”, “pet” and “fat”, “day” and “they”. It is to evaluate whether there is.
  • the learning unit 370 determines whether the position and use of the muscles according to the user's pronunciation is not within a predetermined range for the position and use of the muscles stored in the memory 320.
  • the display unit 340 to provide a supplementary learning to the user by displaying the position and the use of the muscle to give a force to pronounce the speech sound at least one of the shape or color of the muscle, the shape change, or the expression of the hand gesture. Can be.
  • supplementary learning through a change in the shape, color, or shape of a muscle or a hand gesture may be performed by the display unit 140 in the manner described with reference to FIG. 6.
  • FIG. 12 is a diagram illustrating a language learning method according to an embodiment of the present invention.
  • the language learning method of FIG. 12 may use an apparatus including a memory unit configured to store voice information of speech sounds and information about a location of muscles and a method of using muscles to pronounce speech sounds.
  • the language learning method according to the present embodiment may use the language learning apparatus 100 according to FIG. 6, and hereinafter, it is assumed that the language learning apparatus 100 according to FIG. 6 is used. It demonstrates concretely.
  • information of speech sounds including at least one of a phoneme, a syllable, a word, and a second segment sound that can be selected by a user is displayed on the display 140 of the language learning apparatus 100. Thereafter, any speech information is selected by the user through the input unit 110 (S110).
  • Control means such as the CPU of the language learning apparatus 100 according to the signal input through the input unit 110 by the user, according to the position and use of the muscle to give a force to pronounce the speech selected by the user
  • the movement of the muscles may be displayed and the spoken words may be spoken by giving power to the muscles (S120). That is, the user can easily determine which muscle is used in which way by directly speaking the words that the user wants to learn by voice and visually displaying the movements of the muscles that give power to pronounce the words. To be able.
  • FIG. 13 illustrates a language learning method according to another embodiment of the present invention.
  • the language learning method of FIG. 13 stores information of speech sounds (for example, may include speech information of speech sounds, visual information, etc.) and information on the location and usage of muscles that give power to pronounce speech sounds.
  • a device including a memory unit can be used.
  • the language learning method according to the present embodiment may use the language learning apparatus 200 according to FIG. 9, and hereinafter, assumes that the language learning apparatus 200 according to FIG. 9 is used. It demonstrates concretely.
  • information of speech sounds including at least one of a phoneme, a syllable, a word, and a second segment sound that can be selected by a user is displayed on the display 240 of the language learning apparatus 200. Thereafter, any speech information is selected by the user through the input unit 210 (S210).
  • the language learning apparatus 200 may recognize the user's pronunciation.
  • the recognition of the user's pronunciation may be performed by the voice recognition unit 250 described above. That is, when the user directly pronounces the selected speech, the user may recognize the location of the muscle applied by the user to pronounce the speech and the manner of use using the sound wave information by the user pronounce the speech (S220).
  • the position and the use method of the muscles according to the user's pronunciation recognized by the voice recognition unit may be displayed to the user (S230).
  • the position and usage of the muscles according to the pronunciation of the user recognized by the voice recognition unit 250 may be directly displayed to the user through the aforementioned display unit 240 in the form of muscle movement. This allows the user to visually show the location and use of the muscles that the user has applied to pronounce the speech selected by the user so that the user can determine whether he has used the appropriate muscle in order to pronounce the speech. Can be.
  • FIG. 14 is a diagram illustrating a language learning method according to another embodiment of the present invention.
  • the language learning method of FIG. 14 may use an apparatus including a memory unit configured to store voice information of speech sounds and information regarding a location of muscles and a method of using muscles to pronounce speech sounds.
  • the language learning method according to the present embodiment may use the language learning apparatus 300 according to FIG. 11, and hereinafter, it is assumed that the language learning apparatus 300 according to FIG. 11 is used. It demonstrates concretely.
  • information of speech sounds including at least one of a phoneme, a syllable, a word, and a second segment sound that can be selected by a user is displayed on the display 340 of the language learning apparatus 300. Thereafter, any speech information is selected by the user through the input unit 310 (S310).
  • Control means such as a CPU of the language learning apparatus 300 displays the movement of the muscles according to the position and use of the muscles associated with the pronunciation of the words according to a signal input by the user through the input unit 310. And, using the muscle can tell the sound of the pronunciation sound (S320).
  • the detailed scheme is the same as that of step S120 of FIG.
  • the language learning apparatus 300 may recognize the user's pronunciation.
  • the recognition of the user's pronunciation may be performed by the voice recognition unit 350 described above. That is, when the user directly pronounces the selected speech, the user may recognize the location of the muscle applied by the user to pronounce the speech and the manner of use using the sound wave information by the user pronounce the speech (S330). The detailed manner is the same as step S220 of FIG.
  • the language learning apparatus 300 may determine whether the location and use of the muscles according to the recognized pronunciation of the user are within a predetermined range with respect to the location and use of the muscles stored in the memory unit (S340).
  • the predetermined range may be set in advance in the language learning apparatus or may be arbitrarily set by the user.
  • step S350 if it is determined that the position and use of the muscle according to the pronunciation of the user is within a predetermined range with respect to the position and use of the muscle stored in the memory unit (YES), the process proceeds to step S350 and the muscle through repeated learning.
  • Can enhance memory For example, repetitive learning may be performed by going back to step S320 or step S330 of FIG. 14.
  • the method may further include a step (not shown) of evaluating whether the user can distinguish between words having different consonants or vowels.
  • step S360 for example, speech sounds.
  • Supplementary learning may be provided to the user by displaying the position and the use of the muscles that give power to pronounce the muscles in the form or color of a muscle, a change in a figure, or a hand gesture.
  • muscles that give power to pronounce speech may include the apical muscles that move the vocal cords or articulators, and the apical muscles that move the vocal cords or articulators may include vocal muscles, articulation muscles, atmospheric muscles, interstitial muscles, It may be used as at least one of tonal muscle or pitch control muscle.
  • the vocal muscles may be used by using one or two vocal muscles in the manner of isometric vocal muscles, elongated vocal muscles, or uniaxial vocal muscles, or by using two vocal muscles simultaneously or sequentially in different ways.
  • the articulation muscles can be used as renal articulation muscles or shortening articulation muscles.
  • 15 is a diagram illustrating a user terminal including a language learning server and a language learning application according to an embodiment of the present invention connected through a network.
  • the language learning server 300 may have at least some of the functions of the language learning apparatus according to an embodiment of the present invention, and the present disclosure is not limited thereto.
  • the language of the user terminal 500 may be defined according to an embodiment of the present invention. It may also include at least some of the functions of the learning apparatus.
  • the user terminal 500 may include, for example, a mobile terminal such as a smartphone or a tablet, but is not limited thereto and may include a device such as a PC.
  • the speech sounds for example, phonemes, syllables, words, second segment sounds, etc.
  • the language learning server 300 displays the movement of the muscles according to the position and use of the muscles to give power to pronounce the speech to the speech sound selected by the user, the voice of the speech sound pronounced using the muscle Information may be transmitted to the user terminal 500 through the network 400.
  • the language learning server 300 uses the sound wave information according to the pronunciation of the user recognized by the voice recognizer of the user terminal 500 to provide information about the location and usage of muscles that the user has given power to pronounce words. By transmitting to the user terminal 500 through the network 400 may be displayed on the display to the user. In this case, the sound wave information recognized by the user terminal 500 is transmitted to the language learning server 300 so as to recognize a location and a usage method of a muscle applied by the user to pronounce a speech sound, but the present invention is not limited thereto. Using the sound wave information in the terminal 500 to recognize the location and use of the muscles that the user has given power to pronounce the speech, and transmits the recognition result to the language learning server 300 through the network 400 It is possible.
  • the language learning server 300 uses the sound wave information by the user pronounced, the position and use of the muscles recognized after the user recognizes the position and use of the muscles that gave the force to pronounce words
  • the location of the muscle stored in the memory unit and the manner of use may be determined within a predetermined range. At this time, if it is determined that it is within a predetermined range, it is possible to reinforce the muscle memory through repetitive learning, and if it is determined that it is not within the predetermined range, supplementary learning (for example, of the muscle used to pronounce a speech sound) is performed. Location and mode of use may be provided as a form of muscle, a change in color, shape, or a hand gesture.
  • 16 is a diagram illustrating a hardware configuration of a user terminal including a language learning application according to an embodiment of the present invention.
  • the user terminal 500 may include a CPU 510, a memory 520, a display unit 530, an I / F unit 540, and a communication module 550.
  • the CPU 510 executes a language learning application stored in the user terminal 500.
  • the memory 520 includes a language learning application, sound wave information according to a user's pronunciation, and a muscle for a user's pronunciation received from a server. Information regarding the location and the manner of use may be stored.
  • the display unit 530 is information on the location and use of the muscles to give a force to pronounce the speech selected by the user received from the server, information on the location and use of the muscle according to the recognized user pronunciation, pronunciation of the speech In order to display the muscle shape, color, figure change, or hand movement, etc., about the location and use of muscles to give strength to the user as a movement of the muscle, or to change the shape, color, shape, or hand movement of the muscle. I can display it. To this end, the CPU 510 may display a GUI on the display unit 530 by executing a language learning application, and the user may input a desired instruction through the GUI.
  • the I / F unit 540 may perform an interface function between an input from a user and an output signal of the user terminal 500.
  • the I / F unit 540 may be an input device such as a touch panel.
  • the I / F unit 540 may provide an instruction (for example, speech information to be learned) based on a GUI displayed on the display unit 530. The instruction to select) may be input through the I / F unit 540.
  • the communication module 550 is connected to the language learning server 300 through the network 400, the information on the location of the muscles and the manner of use to give power to pronounce the speech selected by the user, the recognized user's pronunciation To communicate various information such as the shape of the muscle, the change in the color, the shape, or the expression of the hand gesture for the position of the muscle and the way of using the voice, and the position of the muscle used for pronunciation Can be.
  • 17 is a diagram illustrating an operation of performing language learning by communicating between a language learning server and a user terminal including a language learning application according to an embodiment of the present invention.
  • an application for language learning may be provided to a user terminal that communicates with a server that stores voice information of speech sounds and information about a location and usage method of muscles that give power to pronounce speech sounds. It may be a stored language learning application.
  • a user selects information of a speech sound including at least one of a phoneme, a syllable, a word, and a second segment sound through the user terminal 500 (S11). Then, the user terminal 500 transmits the speech information selected by the user through the network 400 to the language learning server 300 (S12).
  • the language learning server 300 transmits the information on the position and the use method of the muscles that give power to pronounce the selected speech and the voice data pronounced through the muscles to the user terminal 500 (S13).
  • the user terminal 500 displays the information on the position and the use of the muscles to give power to pronounce the speech received from the server in the form of muscle movement on the display unit, and the speech sounds to be pronounced using the corresponding muscle (voice information) ) To the user through the speaker (S14).
  • the user can directly see and determine which muscle should be moved in what way to pronounce the speech selected by the user.
  • FIG. 18 is a diagram illustrating an operation of performing language learning by communicating with a user terminal including a language learning server and a language learning application according to another embodiment of the present invention.
  • an application for language learning may be provided to a user terminal that communicates with a server that stores voice information of speech sounds and information about a location and usage method of muscles that give power to pronounce speech sounds. It may be a stored language learning application.
  • a user selects information of a speech sound including at least one of a phoneme, a syllable, a word, and a second segment sound through the user terminal 500 (S21).
  • the user terminal 500 recognizes the sound wave according to the user's pronunciation (S22).
  • the user terminal 500 may further include a microphone (not shown) for recognizing a sound wave according to a user's pronunciation.
  • the user terminal 500 transmits the sound wave information on the recognized pronunciation of the user's speech to the language learning server 300 (S23).
  • the language learning server 300 recognizes the position of the muscle according to the pronunciation of the user and the method of use based on the sound wave information regarding the recognized pronunciation of the user (S24). That is, by using sound wave information by the user pronouncing the speech, it is determined which muscle the user pronounced and how.
  • the language learning server 300 transmits the information about the location and use of the muscles according to the determined pronunciation of the user to the user terminal 500 (S25).
  • the user terminal 500 displays the information on the position and use of the muscle received from the language learning server 300 on the display in the form of muscle movement (S26).
  • the user can directly determine which muscle is used and how to pronounce the speech selected by the user, and directly determine, and compare the position of the muscle to be used to pronounce the speech and the method of use. .
  • 19 is a diagram illustrating an operation of performing language learning by communicating with a user terminal including a language learning server and a language learning application according to another embodiment of the present invention.
  • an application for language learning may be provided to a user terminal that communicates with a server that stores voice information of a voice and information about a location and usage of muscles that give power to pronounce the voice. It may be a stored language learning application.
  • a user selects information of a speech sound including at least one of a phoneme, a syllable, a word, and a second segment sound through the user terminal 500 (S31). Then, the user terminal 500 transmits the speech information selected by the user through the network 400 to the language learning server 300 (S32).
  • the language learning server 300 transmits the information on the position and the use method of the muscles that give power to pronounce the selected speech and the voice data pronounced through the muscle to the user terminal 500 (S33).
  • the user terminal 500 is displayed on the display unit in the form of muscle movement information on the position and use of the muscle to give a force to pronounce the speech received from the server, the speech sound using the muscle To the user through the speaker (S34).
  • the user terminal 500 recognizes the sound wave according to the user's pronunciation (S35).
  • the user terminal 500 may further include a microphone (not shown) for recognizing a sound wave according to a user's pronunciation.
  • the user terminal 500 transmits sound wave information on the recognized pronunciation of the user's speech to the language learning server 300.
  • the language learning server 300 recognizes the location and use of muscles that the user has given power to pronounce the words by using sound wave information by the user pronounce the words, and recognizes the muscles according to the pronunciation of the user. It is determined whether the position and the usage manner are within a predetermined range with respect to the position and the usage manner of the muscles stored in the server 300 (S37).
  • the predetermined range may be set in the server 300 itself, or may be configured to be set directly by the user through the language learning application on the user terminal 500.
  • step S37 if it is determined that the position and use of the muscle according to the pronunciation of the user are within a predetermined range with respect to the position and use of the muscle stored in the server 300 (YES), repeat memory is provided to provide the muscle memory. Strengthen. In other words, the process may return to step S34 to allow the user to pronounce the speech repeatedly and to receive feedback from the language learning server 300 (S38).
  • step S37 when it is determined that the position and use of the muscles according to the pronunciation of the user are not within a predetermined range with respect to the position and use of the muscles stored in the server (NO), the language learning server 300 moves to the user terminal.
  • Supplementary learning may be provided (S39).
  • the supplementary learning may be to display the position and use of the muscle used to pronounce the speech in the form, color, figure of the muscle, or hand gesture representation (S40).
  • the related data is transmitted to the server 300 and the data is received from the server 300.
  • the plurality of user terminals 500 directly download a language learning application from the server 300, and store the same in a memory 520, and thereafter, without a separate communication with the server 300.
  • the application stored in the terminal 500 may be configured to operate on the language learning itself.
  • the language learning application may perform the operation by directly executing the steps illustrated in FIGS. 12 to 14 on the user terminal 500.
  • the language learning apparatus by using the muscle memory, the pronunciation of each segment of vowels and consonants, syllables, words, and accents such as stress, tone, pitch control, etc.
  • the effect of language learning can be improved.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명의 일 실시예에 따른 언어 학습 장치는 음소, 음절, 단어 및 초분절음 중 적어도 하나를 포함하는 말소리의 정보를 사용자가 선택하는 입력부, 상기 입력부에서 선택된 상기 말소리의 음성 정보와 상기 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 저장하는 메모리부, 상기 말소리를 발음하기 위해 힘을 주는 상기 근육의 위치 및 사용 방식에 따른 근육의 움직임을 표시하는 디스플레이부 및 상기 근육에 힘을 주어 발음하는 상기 말소리를 상기 사용자에게 들려주는 스피커를 포함할 수 있다.

Description

근육 기억을 이용한 언어 학습 장치 및 언어 학습 방법
본 발명은 근육 기억(muscle memory)을 이용하여 서로 다른 말소리를 명확하게 구분하여 발음하고 인식할 수 있게 하는 학습 장치 및 그 방법에 관한 것이다. 보다 상세하게는, 음성 인식기를 활용한 전자 학습을 통해 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 따른 근육의 움직임을 기억하게 하여 모음과 자음의 각 음소와 음절, 단어 및 초분절음을 발음하고 인식할 수 있게 하는 학습 장치 및 그 방법에 관한 것이다.
지금까지 음성학에 따르면 성대 등의 발성 기관을 움직여 기본적인 소음을 만든 후 입술과 혀와 같은 조음 기관을 움직여 다양한 말소리를 만들어 낸다고 한다. 외국어를 배울 때 사용되는 학습 방법도 음성학에서 기술하는 모음과 자음의 특징을 기반으로 하고 있다. 모음의 경우 대부분 조음 기관인 입술의 모양과 혀의 위치를 기준으로 각 모음의 소리를 설명하면서 말소리를 들려주고 따라 하게 한다. 자음의 경우도 유성음, 무성음, 비음을 구분하면서 조음 기관의 움직임을 이용하여 각 자음을 발음하기 위한 조음 위치와 조음 방법을 설명하고 말소리를 들려주면서 따라하게 한다.
하지만, 실제로 모음을 발음할 때 자신의 혀가 정확히 어디에 있는지는 음성학자도 표현하기 어렵다. 뿐만 아니라 입술의 모양이나 혀의 위치를 말의 속도에 맞추어 의식적으로 조정하는 것은 불가능에 가깝다. 자음도 유성음은 성대가 진동하는 소리라고 설명할 뿐 어떻게 하면 성대가 진동하는지에 대한 설명은 없고, 조음 위치도 말하는 사람에 따라 조금씩 다른 문제점이 있다.
음성 인식 분야의 경우 음성학에 따른 모음과 자음의 특징을 기준으로 말소리를 인식하려는 다양한 시도가 있었으나, 그 결과는 성공적이지 못하였다. 최근 심층학습을 이용하여 해당 언어를 모국어로 사용하는 사람들의 음파를 확률과 통계 기반으로 분석하여 각 음소와 이음을 인식하게 하고, 이를 조합하여 각각의 단어를 구분하는 방법 등이 실용화되고 있다.
그러나 이와 같은 음성 인식기는 해당 언어를 모국어로 사용하는 사람들의 말소리 패턴에서 벗어나면 제대로 인식하지 못하기 때문에 해당 언어의 말소리와 발음 패턴에 차이가 많은 외국인이 해당 언어의 말소리를 익히는 과정에 활용하기에는 문제점이 있다.
대표적 발성 기관인 성대의 움직임은 성대의 길이를 조절할 수 있는 근육들 및 성대의 간격을 조절할 수 있는 근육들의 움직임에 따라 달라진다. 대표적 조음 기관인 입술과 혀의 움직임도 입술 주위의 근육들과 혀 내부 근육들뿐만 아니라 혀와 연결된 근육들 및 목뿔뼈와 연결된 근육들의 움직임에 따라서도 달라진다.
발음 기관에 속하는 발성 기관이나 조음 기관의 움직임을 설명하면서 따라 하게 하면 쉽게 따라 하지 못하더라도, 발음 기관의 움직임을 야기하는 근육의 움직임을 보여주면서 그 근육의 움직임을 따라 하게 하면 어렵지 않게 따라 할 수 있다. 특정 말소리를 들려주는 것과 함께 말소리를 발음하기 위해 힘을 주어 발음 기관의 움직임을 야기하는 근육의 움직임을 보여주면서 따라 하게 하면 동일한 근육을 동일한 방법으로 움직여 해당 말소리를 발음할 수 있다.
걷기, 수영, 자전거 타기, 악기 연주와 같은 동작을 배운 후 반복적인 연습을 통해 그 동작에 익숙해지면, 그 동작과 관련된 근육의 움직임이 절차적인 기억의 형태로 뇌에 저장되는데, 이를 “근육 기억”이라고 한다. 근육 기억이 형성되면 이후에는 의식적인 노력 없이도 쉽게 그 동작을 할 수 있게 된다. 말소리를 발음하기 위해 힘을 주는 근육의 움직임도 반복적인 연습을 통해 근육 기억화 하면 이후 의식적인 노력 없이도 해당 말소리를 발음할 수 있을 것이다.
새로운 말소리를 발음하기 위해 힘을 주는 근육의 움직임에 익숙해져 기존 말소리와 구분하여 새로운 말소리를 발음할 수 있게 되면, 말소리를 인식할 때에도 새로운 말소리가 기존 말소리와 구분되어 인식되는 것을 알 수 있다.
이러한 사실은 사람이 다른 사람의 말을 알아듣는 것은 그 말의 소리 패턴을 인식해서 알아듣는 것이 아니라, 말하는 사람이 발음 기관을 어떻게 움직였는지 알아챔으로써 그 말을 알아듣는다는 견해(motor theory of speech perception)에서 비롯된다. 예를 들면, [i]와 [u] 앞에서 [p] 소리가 나기 시작할 때의 주파수는 [a] 앞에서 [k] 소리가 나기 시작할 때의 주파수와 비슷하지만, 사람은 각각의 주파수를 [p]와 [k]로 다르게 듣는다. [di]와 [du]에서 [d] 소리가 나기 시작해서 [i]나 [u] 소리가 날 때까지 [d]의 주파수는 서로 다르게 변하지만, 사람은 동일하게 [d]로 듣는다. 이 외에도 말소리를 알아듣는 대상이 소리 패턴이 아니라 발음 기관의 움직임이라는 것을 뒷받침하는 여러 현상들이 있다.
한편, 이탈리아의 신경과학자 지아코모 리졸라티(Giacomo Rizzolatti)와 그의 동료들이 원숭이에게서 거울신경을 발견하여 1992년에 발표한 이후, 원숭이와 사람을 대상으로 거울신경과 관련된 수많은 연구 성과들이 발표되었다. 그러한 성과들 중 사람이 말을 할 때 사용하는 뇌부위가 말소리를 들을 때에도 활성화된 다는 것이 확인되었다. 거울신경과 관련된 이러한 발견은 말소리를 알아듣는 대상이 발음 기관의 움직임이라는 상기 견해와도 연결된다. 즉, 사람이 어떤 근육들을 사용하여 특정 말소리를 발음할 수 있게 되면 그 말소리와 유사한 패턴의 음파를 들을 때 거울신경을 통해 그 음파를 발음하기 위해 사용한 근육들이 어떤 것인지 알 수 있게 되고, 이를 통해 다른 사람의 말소리를 인식할 수 있다고 볼 수 있을 것이다.
그러나, 문제는 현재까지 어떤 근육을 어떻게 움직여 어느 말소리를 발음할 수 있는지를 정리한 연구는 찾아볼 수 없다는 것이다. 그 동안 말소리의 발음과 관련된 근육에 대한 연구는 말소리가 발음될 때 수축될 것으로 예상되는 근육들을 열거하는 수준에 머물러 있다. 기존 연구에서 열거된 근육들을 움직여 말소리를 따라 하기는 불가능하다. 이러한 과제를 해결하기 위해서는 말소리를 발음할 때 실제로 힘을 주는 근육들의 움직임을 보여주면서 따라할 수 있게 하고, 말소리의 발음 및 인식과 근육 기억을 연결시킬 수 있는 방안을 강구할 필요가 있다.
또한, 말소리 학습 장치에 학습자가 발음하는 말소리 중 제대로 발음된 부분과 잘못 발음된 부분을 알려줄 수 있는 음성 인식기가 포함될 수 있다면 학습에 큰 도움이 될 것이다. 이와 같은 기능을 하기 위해서는 말소리를 발음할 때 힘을 주는 근육의 움직임을 기준으로 말소리를 인식할 수 있는 음성 인식기가 있어야 하나, 아직까지 이와 같은 음성 인식기는 찾아볼 수 없는 문제가 있다.
이와 같은 이유로, 본 발명에서는 말소리를 발음할 때 힘을 주는 근육의 움직임을 보여주면서 따라할 수 있게 하기 위해 반드시 해결해야 할 상기 문제점들에 대한 해결책을 제시하는 것과 함께, 근육 기억을 이용하여 말소리를 발음하고 인식할 수 있게 하는 언어 학습 방법 및 그 장치를 제시하고자 한다.
본 발명의 일 실시예에 따른 언어 학습 장치는 근육 기억을 이용하여 모음 및 자음의 각 음소와 음절, 단어 및 발음의 강세, 성조, 음높이 등의 초분절음을 정확하게 구분하여 발음하고 인식할 수 있게 함으로써, 언어 학습 효과를 향상시키는 것을 제공하는 것을 목적으로 한다. 또한, 본 발명의 일 실시예에 따른 언어 학습 장치에 따르면, 말소리를 들을 수 없어 언어를 배우지 못한 사람에게도 발음 기관의 움직임을 야기하는 근육의 위치 및 사용 방식에 따른 근육의 움직임 등을 직접 눈으로 보면서 학습하도록 함으로써 언어를 배울 수 있는 기회를 제공할 수 있다.
본 발명의 일 실시예에 따른 언어 학습 장치는 음소, 음절, 단어 및 초분절음 중 적어도 하나를 포함하는 말소리의 정보를 사용자가 선택하는 입력부, 상기 입력부에서 선택된 상기 말소리의 음성 정보와 상기 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 저장하는 메모리부, 상기 말소리를 발음하기 위해 힘을 주는 상기 근육의 위치 및 사용 방식에 따른 근육의 움직임을 표시하는 디스플레이부 및 상기 근육에 힘을 주어 발음하는 상기 말소리를 상기 사용자에게 들려주는 스피커를 포함할 수 있다.
본 발명의 일 실시예에 따른 언어 학습 장치는 음소, 음절, 단어 및 초분절음 중 적어도 하나를 포함하는 말소리의 정보를 사용자가 선택하는 입력부, 상기 입력부에서 선택된 상기 말소리의 정보와 상기 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 저장하는 메모리부, 상기 사용자가 상기 말소리를 발음하는 것에 의한 음파 정보를 이용하여, 상기 사용자가 상기 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식을 인식하는 음성 인식부 및 상기 음성 인식부에서 인식된 상기 근육의 위치 및 사용 방식에 따른 근육의 움직임을 상기 사용자에게 표시하는 디스플레이부를 포함할 수 있다.
본 발명의 일 실시예에 따른 언어 학습 장치는 음소, 음절, 단어 및 초분절음 중 적어도 하나를 포함하는 말소리의 정보를 사용자가 선택하는 입력부, 상기 입력부에서 선택된 상기 말소리의 음성 정보와 상기 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 저장하는 메모리부, 상기 말소리를 발음하기 위해 힘을 주는 상기 근육의 위치 및 사용 방식에 따른 근육의 움직임을 표시하는 디스플레이부 및 상기 근육에 힘을 주어 발음하는 상기 말소리를 상기 사용자에게 들려 주는 스피커, 상기 사용자가 상기 말소리를 발음하는 것에 의한 음파 정보를 이용하여, 상기 사용자가 상기 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식을 인식하는 음성 인식부를 포함하고, 상기 디스플레이부는 상기 음성 인식부에서 인식된 상기 근육의 위치 및 사용 방식에 따른 근육의 움직임을 표시하며, 상기 음성 인식부에서 인식된 상기 사용자의 발음에 따른 상기 근육의 위치 및 사용 방식이 상기 메모리부에 저장된 상기 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있는지 여부를 판단하는 평가부 및 상기 평가부에서 상기 사용자의 발음에 따른 상기 근육의 위치 및 사용 방식이 상기 메모리부에 저장된 상기 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있는 것으로 판단된 경우, 반복 학습을 통해 근육 기억을 강화하는 학습부를 포함할 수 있다.
본 발명의 일 실시예에 따른 언어 학습 방법은 음소, 음절, 단어 및 초분절음 중 적어도 하나를 포함하는 말소리의 음성 정보와 상기 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 저장하는 메모리부를 포함하는 장치를 이용한 언어 학습 방법으로서, 사용자가 상기 말소리의 정보를 선택하는 단계 및 상기 사용자가 선택한 상기 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 따른 근육의 움직임을 표시하고, 상기 근육에 힘을 주어 발음하는 상기 말소리를 들려주는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 언어 학습 방법은 음소, 음절, 단어 및 초분절음 중 적어도 하나를 포함하는 말소리의 정보와 상기 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 저장하는 메모리부를 포함하는 장치를 이용한 언어 학습 방법으로서, 사용자가 상기 말소리의 정보를 선택하는 단계, 상기 사용자가 상기 말소리를 발음하는 것에 의한 음파 정보를 이용하여, 상기 사용자가 상기 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식을 인식하는 단계 및 상기 인식된 상기 근육의 위치 및 사용 방식에 따른 근육의 움직임을 상기 사용자에게 표시하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 언어 학습 방법은 음소, 음절, 단어 및 초분절음 중 적어도 하나를 포함하는 말소리의 음성 정보와 상기 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 저장하는 메모리부를 포함하는 장치를 이용한 언어 학습 방법으로서, 사용자가 상기 말소리의 정보를 선택하는 단계, 상기 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 따른 근육의 움직임을 표시하고, 상기 근육에 힘을 주어 발음하는 말소리를 들려주는 단계, 상기 사용자가 상기 말소리를 발음하는 것에 의한 음파 정보를 이용하여, 상기 사용자가 상기 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식을 인식하는 단계, 인식된 상기 근육의 위치 및 사용 방식이 상기 메모리부에 저장된 상기 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있는지 여부를 판단하는 단계 및 상기 사용자의 발음에 따른 상기 근육의 위치 및 사용 방식이 상기 메모리부에 저장된 상기 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있는 것으로 판단된 경우, 반복 학습을 통해 근육 기억을 강화하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 음성 인식기는 말소리의 정보와 상기 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 저장하는 메모리부, 사용자가 말소리를 발음하는 것에 의한 음파 정보를 이용하여, 상기 사용자가 상기 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식을 인식하는 음성 인식부 및 상기 음성 인식부에서 인식된 상기 근육의 위치 및 사용 방식에 따른 근육의 움직임을 기준으로 상기 사용자가 어떤 말소리를 발음하였는지를 상기 사용자에게 표시하는 디스플레이부를 포함할 수 있다.
본 발명의 일 실시예에 따른 언어 학습 장치에 의하면, 근육 기억을 이용하여 모음 및 자음의 각 음소와 음절, 단어 및 발음의 강세, 성조, 음높이 등의 초분절음을 정확하게 구분하여 발음하고 인식함으로써, 언어 학습 효과를 향상시킬 수 있다. 또한, 말소리를 들을 수 없어 언어를 배우지 못한 사람에게도 발음 기관의 움직임을 야기하는 근육의 위치 및 사용 방식에 따른 움직임 등을 직접 눈으로 보면서 학습하도록 함으로써 언어를 배울 수 있는 기회를 제공하는 효과를 달성할 수 있다.
도 1은 후두의 위치 및 후두 내부 근육의 모습을 나타내는 도면이다.
도 2는 아래인두수축근의 방패인두 부분과 반지방패근을 나타내는 도면이다.
도 3은 입천장인두근 및 입천장올림근을 나타내는 도면이다.
도 4는 자음을 발음할 때 발성 근육으로 사용하는 근육을 나타내는 도면이다.
도 5는 방패목뿔근과 턱두힘살근의 앞힘살을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 언어 학습 장치를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 언어 학습 장치의 디스플레이부 화면 내에 복수의 말소리가 표시되어 있는 것을 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 언어 학습 장치의 디스플레이부가 선택된 말소리(모음)를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식을 사용자에게 표시하는 것을 나타내는 도면이다.
도 9는 본 발명의 다른 실시예에 따른 언어 학습 장치를 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 음성 인식부를 나타내는 도면이다.
도 11은 본 발명의 또 다른 실시예에 따른 언어 학습 장치를 나타내는 도면이다.
도 12는 본 발명의 일 실시예에 따른 언어 학습 방법을 나타내는 도면이다.
도 13은 본 발명의 다른 실시예에 따른 언어 학습 방법을 나타내는 도면이다.
도 14는 본 발명의 또 다른 실시예에 따른 언어 학습 방법을 나타내는 도면이다.
도 15는 언어 학습용 서버와 본 발명의 일 실시예에 따른 언어 학습용 애플리케이션을 포함하는 사용자 단말이 네트워크를 통해 연결된 것을 나타내는 도면이다.
도 16은 본 발명의 일 실시예에 따른 언어 학습용 애플리케이션을 포함하는 사용자 단말의 하드웨어 구성을 나타내는 도면이다.
도 17은 언어 학습용 서버와 본 발명의 일 실시예에 따른 언어 학습용 애플리케이션을 포함하는 사용자 단말이 통신하여 언어 학습을 수행하는 동작을 나타내는 도면이다.
도 18은 언어 학습용 서버와 본 발명의 다른 실시예에 따른 언어 학습용 애플리케이션을 포함하는 사용자 단말이 통신하여 언어 학습을 수행하는 동작을 나타내는 도면이다.
도 19는 언어 학습용 서버와 본 발명의 또 다른 실시예에 따른 언어 학습용 애플리케이션을 포함하는 사용자 단말이 통신하여 언어 학습을 수행하는 동작을 나타내는 도면이다.
이하, 첨부한 도면을 참조하여 본 발명의 다양한 실시 예들에 대해 상세히 설명하고자 한다. 본 문서에서 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 문서에 개시되어 있는 본 발명의 다양한 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 다양한 실시 예들은 여러 가지 형태로 실시될 수 있으며 본 문서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
다양한 실시 예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성 요소들을 한정하지 않는다. 예를 들면, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성 요소로 바꾸어 명명될 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미를 가지는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 발명의 실시 예들을 배제하도록 해석될 수 없다.
이상에서 설명한 바와 같이, 사람이 말소리를 발음할 때 힘을 주는 근육들의 움직임을 보여주기 위해서는 많은 난관들을 극복하여야 한다. 말소리를 발음하고 있는 동안 입술이나 혀, 목뿔뼈, 후두와 연결된 근육들과 혀 근육들, 후두 내부의 근육들이 지속적으로 움직인다. 이들 중에는 힘을 주어 움직이는 근육도 있지만, 다른 근육의 움직임 때문에 함께 움직이는 근육들도 많다. 말소리를 발음할 때 함께 움직이는 많은 근육들 중에서 어떤 근육에 힘을 주어 움직였을 때 원하는 말소리를 발음할 수 있는지 찾아내야 한다.
하나의 근육을 여러 방식으로 움직일 수 있는 경우 어떠한 방식으로 움직이는지에 따라서 말소리의 발음이 달라진다. 따라서 말소리를 발음하기 위해 힘을 주는 근육을 어느 방식으로 움직여야 하는지도 찾아내야 한다.
본 발명은 상술한 문제점들을 해결하기 위해서 고안된 것으로서, 사람이 말소리를 발음할 때 힘을 주는 근육들의 위치 및 사용 방식에 따른 근육의 움직임을 보여주고, 음성 인식을 통해 학습자가 발음하는 말소리 중 제대로 발음된 부분과 잘못 발음된 부분을 판단할 수 있는 언어 학습 장치 및 언어 학습 방법을 제공하고자 한다. 이들에 대한 설명은 이하에 상세하게 기재되어 있다.
주동근(主動筋, agonistic muscle)이란 어떤 근육에 힘을 줌으로써 신체 부위를 원하는 대로 움직일 수 있을 때 그러한 근육을 말한다. 주동근이 안정적인 동작을 할 수 있도록 반대로 작용하는 근육을 길항근(拮抗筋, antagonistic muscle)이라고 하고, 주동근의 동작을 돕거나 다른 부위를 안정화시키는 근육을 협력근(協力筋, synergistic muscle)이라고 하는데, 길항근과 협력근은 따로 힘을 주지 않아도 주동근의 움직임에 따라 함께 움직인다. 말소리를 발음할 때 함께 움직이는 많은 근육들 중에서 성대, 입술, 혀, 연구개 등과 같은 발음 기관의 움직임을 야기하는 주동근에 힘을 줌으로써 의도한 말소리를 발음할 수 있다.
다음은 말소리를 발음하기 위해 힘을 주는 근육 중 모음이나 자음의 각 음소를 구분하여 발음하기 위해 사용하는 근육과, 강세, 성조, 음높이 등 초분절음을 발음하기 위해 사용하는 근육들에 대한 설명이다. 각 근육의 움직임을 보여줄 때 그 근육이 어디에 위치해 있는지 보여주거나 가리킴으로써 어떤 근육을 움직여야 하는지 알려줄 수 있다. 근육의 위치를 보여주거나 가리키는 대신에 근육의 명칭을 알려주거나, 근육이 연결된 부위들을 알려주어 어떤 근육을 움직여야 하는지 알려줄 수도 있다
도 1은 후두의 위치 및 후두 내부 근육의 모습을 나타내는 도면이다.
도 1을 참조하면, 후두 내부의 근육 중 방패모뿔근(thyroarytenoid muscle)은 방패성대힘살(thyrovocalis belly), 방패근육힘살(thyromuscularis belly), 방패모뿔심실힘살(thyroarytenoid ventricular belly)의 세 부분으로 구분할 수 있다. 방패모뿔근의 방패성대힘살은 성대근(vocalis muscle)이라고도 하는데(이하, “성대근”), 방패연골(thyroid cartilage)에서 모뿔연골(arytenoid cartilage)의 성대 돌기(vocal process)로 연결되는 힘살로서, 어떻게 힘을 주는지에 따라 근육의 길이가 다양하게 변하고, 그에 따라 성대의 길이 또한 함께 변한다.
방패모뿔근의 방패모뿔심실힘살은 방패연골에서 방패모뿔근 중 후두 심실(laryngeal ventricle)로 연결되는 힘살로서, 다만, 모음의 발음과는 직접적인 관련이 없다고 보여져 여기서는 고려하지 않기로 한다. 한편, 방패모뿔근의 방패근육힘살(이하에서는, “방패모뿔근”이라 함)은 방패연골에서 모뿔연골의 근육돌기(muscular process)로 연결되는 힘살로서, 이 근육에 힘을 주면 모뿔연골의 성대돌기가 안쪽으로 조금 돌면서, 성대의 앞부분 간격이 좁아지게 된다. 가쪽반지모뿔근(lateral cricoarytenoid muscle)은 반지연골(cricoid cartilage)의 양 옆에서 모뿔연골의 근육돌기로 연결된 근육으로서, 이 근육이 짧아지게 힘을 주면 양쪽 모뿔연골의 성대돌기를 안쪽으로 회전시켜 서로 근접하게 만든다. 이로 인해, 성대의 중간 부분 간격이 좁아지게 된다.
가로모뿔근(transverse arytenoid muscle)은 모뿔연골의 옆쪽 가장자리에서 다른 쪽 모뿔연골의 옆쪽 가장자리로 연결되는 근육으로서, 이 근육이 짧아지게 힘을 주면 양쪽 모뿔연골이 서로 가까워지게 만든다. 이로 인해, 성대의 뒷부분 간격이 좁아지게 된다. 빗모뿔근(oblique arytenoid muscle)은 모뿔연골의 근육돌기 밑면에서 다른 쪽 모뿔연골 꼭대기의 뒷면으로 연결되는 근육으로서, 이 근육이 짧아지게 힘을 주면 양쪽 모뿔연골의 꼭대기가 서로 가까워지게 만든다. 이로 인해, 성대의 뒤쪽 윗부분 간격이 좁아지게 된다.
뒤반지모뿔근(posterior cricoarytenoid muscle)은 반지연골의 뒷부분에서 모뿔연골의 근육돌기로 연결되는 근육으로서, 이 근육이 짧아지게 힘을 주면 성대 사이의 간격이 벌어지게 만든다.
도 2는 아래인두수축근의 방패인두 부분과 반지방패근을 나타내는 도면이다.
도 2를 참조하면, 아래인두수축근(inferior pharyngeal constrictor muscle)은 방패인두 부분(thyropharyngeal part)과 반지인두 부분(cricopharyngeal part)으로 나눌 수 있다. 아래인두수축근의 방패인두 부분(이하에서는, “방패인두근”이라 함)은 방패연골의 양 옆쪽에서 시작하여 인두솔기(pharyngeal raphe) 부분에서 서로 연결되는 근육으로서, 이 근육이 짧아지게 힘을 주면 방패연골과 아래인두의 뒷벽 사이의 간격이 좁아지면서, 방패연골과 반지연골 사이의 간격도 줄어든다. 이로 인해, 성대의 길이가 줄어든다. 반지방패근(cricothyroid muscle)은 반지연골의 앞쪽 양 옆에서 시작하여 방패연골의 아래뿔과 판으로 연결된 근육으로서, 이 근육이 짧아지게 힘을 주면 성대의 길이가 늘어나 음높이가 높아지게 된다.
후두 내부의 근육들과 방패인두근 및 반지방패근은 성대를 움직이게 하는 주동근이다. 방패모뿔근, 가쪽반지모뿔근, 가로모뿔근, 빗모뿔근은 성대의 간격이 좁아지게 하는 기능을 하고, 성대근과 방패인두근은 성대의 길이를 조절하는 기능을 한다. 모음을 발음하는 경우, 성대의 간격이 좁아지게 하는 근육들과 성대의 길이를 조절하는 근육들을 조음 근육(후술함)과 발성 근육(후술함)으로 사용한다.
도 3은 입천장인두근 및 입천장올림근을 나타내는 도면이다.
도 3을 참조하면, 입천장인두근(palatopharyngeus muscle)은 물렁입천장(soft palate)에서 시작하여 일부는 인두수축근(pharyngeal constrictor muscle)과 연결되고, 일부는 방패연골의 위쪽 가장자리와 연결되는 근육으로서, 이 근육이 짧아지게 힘을 주면 물렁입천장이 아래로 내려가게 된다. 이로 인해 비강(nasal tract)으로 향하는 통로가 열린다. 비강을 통해 소리를 내는 경우 이외에는 입천장올림근(levator veli palatinimuscle)이 짧아지게 힘을 주어 비강으로 향하는 통로를 막은 상태로 말소리를 발음한다.
도 4는 자음을 발음할 때 발성 근육으로 사용하는 근육을 나타내는 도면이다.
도 4를 참조하면, 자음을 발음하는 경우 주로 입술 주위의 근육, 혀 내부 근육, 혀와 연결된 근육, 목뿔뼈와 연결된 근육들을 발성 근육(후술함)으로 사용한다. 구체적인 근육의 종류와 동작에 관해서는 이하에서 설명한다.
혀의 가로근(transverse muscle of tongue)은 혀의 몸통을 구성하는 혀 고유근의 하나로서, 혀의 중앙섬유 격막(median fibrous septum)에서 시작하여 혀 양쪽의 점막밑 섬유 조직(submucous fibrous tissue)으로 연결되는 근육으로서, 이 근육이 짧아지게 힘을 주면 혀의 몸통이 좁아지면서 앞으로 내밀어지게 된다. 이로 인해, 혀 끝이 치경(alveolar) 부분에 닿게 된다.
혀의 수직근(vertical muscle of tongue)은 혀의 몸통을 구성하는 혀 고유근의 하나로서, 혀의 앞부분에 위치한다. 혀의 아랫부분에서 윗부분으로 연결되어 있으며, 이 근육이 짧아지게 힘을 주면 혀의 앞쪽 가운데 부분이 아래로 내려가게 된다. 이로 인해, 발음할 때 경구개(hard palate)와 치경의 경계 부근에서 공기의 마찰이 발생한다.
혀의 수직근과 혀의 가로근이 함께 짧아지게 힘을 주면 혀의 앞쪽 가운데 부분이 아래로 내려가면서 혀의 몸통이 좁아져 앞으로 내밀어지게 된다. 이로 인해, 발음할 때 치경 바로 뒷부분에서 공기의 마찰이 발생한다.
턱끝목뿔근(geniohyoid muscles)은 아래턱뼈(mandible)의 아래턱끝가시(inferior mental spine)에서 시작하여 목뿔뼈(hyoid bone)로 연결되는 근육으로서, 이 근육이 짧아지게 힘을 주면 목뿔뼈와 혀가 앞쪽으로 당겨지면서 위로 올라가게 된다. 이로 인해, 혀가 윗니와 아랫니 사이에 위치하게 된다. 목뿔혀근(hyoglossus muscle)은 목뿔뼈에서 시작하여 혀의 양 옆으로 연결되는 근육으로서, 이 근육이 짧아지게 힘을 주면 혀가 목뿔뼈쪽으로 당겨진다. 모음을 발음하기 위한 근육에 힘을 준 상태에서 목뿔혀근이 짧아지게 힘을 주면 혀가 목뿔뼈쪽으로 당겨지면서 혀 끝이 치경 뒤쪽에 닿게 된다. 턱목뿔근(mylohyoid muscle)은 아래턱뼈의 턱목뿔근선(mylohyoid line)에서 시작하여 목뿔뼈 몸통과 정중능선(body of hyoid bone and median ridge)으로 연결되는 근육으로서, 이 근육이 짧아지게 힘을 주면 목뿔뼈와 혀가 위로 올라가게 된다. 이로 인해, 혀의 중앙 부분이 입천장 쪽으로 올라가게 된다. 방패인두근과 같은 근육을 수축한 상태에서 턱목뿔근이 짧아지게 힘을 주면 혀의 중앙 부분이 입천장 쪽으로 올라가면서 혀 끝이 위로 향하게 된다.
턱끝근(mentalis muscle)은 앞쪽 아래턱뼈에서 시작하여 턱끝 피부조직으로 연결된 근육으로서, 이 근육이 짧아지게 힘을 주면 턱의 피부조직이 위의 안쪽 방향으로 움직여서 아랫입술의 가운데 부분이 위로 올라가게 된다. 이로 인해, 아랫입술이 윗니에 근접하게 된다. 붓혀근(styloglossus muscle)은 관자뼈(temporal bone)의 붓돌기(styloid process)에서 시작하여 혀의 옆쪽과 끝(tip and sides of tongue)으로 연결된 근육으로서, 이 근육이 짧아지게 힘을 주면 혀의 양 옆쪽이 위로 당겨진다. 이로 인해, 후설 부위가 연구개에 닿게 된다.
깊은 쪽 입둘레근(inferior orbicularis oris muscle)은 볼근(buccinator)의 끝부분에서 시작하여 입술 주위를 감싼다. 볼근의 가운데 부분에서 시작한 입둘레근은 입술의 양쪽 끝에서 아래 위로 교차하여 입술을 둘러싸고, 볼근의 윗부분에서 시작한 입둘레근은 아래 위를 교차한 입둘레근의 위를 지나서 연결되고, 볼근의 아래부분에서 시작한 입둘레근은 아래 위를 교차한 입둘레근의 아래를 지나서 연결된다. 깊은 쪽 입둘레근이 짧아지게 힘을 주면 입술이 다물어진다. 깊은 쪽 입둘레근의 겉쪽에는 표면 부위의 입둘레근이 있는데, 이 근육이 짧아지게 힘을 주면 입술이 강하게 오므라진다.
혀의 위세로근(superior longitudinal muscle of tongue)은 후두덮개(epiglottis) 주위에서 시작하여 혀끝까지 혀의 점막 아래에서 길게 이어지는 근육으로서, 이 근육이 짧아지게 힘을 주면 혀가 짧고 두터워져 움츠러들게 된다.
턱끝혀근(genioglossus muscle)은 아래턱뼈의 위턱끝가시(superior mental spine)에서 시작하여 혀의 밑쪽과 목뿔뼈로 연결된 근육으로서, 근육의 아랫부분은 혀를 내미는 역할을 하고, 중간 부분은 혀를 누르는 역할을 하고, 윗부분은 혀끝을 뒤쪽 아래로 내리게 한다.
도 5는 방패목뿔근과 턱두힘살근의 앞힘살을 나타낸 도면이다.
도 5를 참조하면, 방패목뿔근(thyrohyoid muscle)은 방패연골의 빗선(oblique line)에서 목뿔뼈 큰뿔(greater horn)의 아래쪽 경계면으로 연결되는 근육으로서, 이 근육이 짧아지게 힘을 주면 목뿔뼈와 방패연골의 거리가 좁혀지는데, 방패연골이 고정되어 있으면 목뿔뼈가 아래로 당겨지게 되고, 목뿔뼈가 고정되어 있으면 방패연골이 올라가게 되어 성대도 늘어나게 되고, 이로 인해 음높이도 올라가게 된다.
턱두힘살근(digastric muscle)의 앞힘살(anterior belly)은 아래턱뼈의 안쪽 아래쪽 경계면에서 시작하여 목뿔뼈 작은뿔 부근의 두힘살근 중간힘줄을 지나 턱두힘살근의 뒤힘살(posterior belly)로 연결되는 근육으로서, 이 근육이 짧아지게 힘을 주면 목뿔뼈가 앞쪽으로 당겨지면서 위로 올라가게 된다. 이는 혀를 앞쪽 위로 올리는 것과 함께 후두를 앞으로 당겨 성대가 늘어나게 되어 음높이가 올라가게 된다. 목뿔뼈가 고정되어 있으면, 턱끝목뿔근, 턱목뿔근, 가쪽날개근(lateral pterygoid muscle)과 함께 아래턱을 아래로 당기는 역할을 한다.
목뿔뼈가 고정된 상태에서 방패목뿔근이 짧아지게 힘을 주거나 목뿔뼈가 고정되지 않은 상태에서 턱두힘살근의 앞힘살이 짧아지게 힘을 준 상태에서 말소리를 발음하면 그 말소리의 음높이가 올라가면서 강세가 있는 말소리가 된다.
본 발명에 따른, 주동근의 사용 방식은 i) 조음 근육(articulatory muscle)으로 사용하는 방식과, ii) 발성 근육(phonatory muscle)으로 사용하는 방식, iii) 대기 근육(standby muscle)으로 사용하는 방식, iv) 개재 근육(intervenient muscle)으로 사용하는 방식, v) 강세 근육(stressing muscle)으로 사용하는 방식, vi) 성조 근육(tonal muscle)으로 사용하는 방식, vii) 음높이 조절 근육(tuning muscle)으로 사용하는 방식으로 나눈다.
조음(調音) 근육이란 그 근육의 수축에 따른 특징이 그 근육을 수축한 상태에서 발음하는 말소리에 나타나게 하는 근육을 의미하고, 발성(發聲) 근육이란 성대나 조음자(articulators) 등 직접 소리를 만드는 부위가 소리를 내도록 성대나 조음자의 움직임을 야기하는 근육을 의미한다. 어떤 근육을 발성 근육으로 사용하여 발음하는지에 따라 서로 다른 말소리로 구분된다. 예를 들어, 가쪽반지모뿔근을 발성 근육으로 사용하여 발음하는 소리와 가로모뿔근을 발성 근육으로 사용하여 발음하는 소리는 서로 다른 말소리로 구분된다.
조음 근육의 경우, 같은 근육을 발성 근육으로 사용하더라도 어떤 근육을 조음 근육으로 사용하는지에 따라서 말소리가 달라진다. 예를 들어 똑같이 가쪽반지모뿔근을 발성 근육으로 사용하더라도 성대근만 조음 근육으로 사용하여 발음하는 소리와 성대근과 가로모뿔근을 조음 근육으로 사용하는 소리는 서로 구분된다.
자음을 발음하는 경우, 똑같은 근육을 발성 근육으로 사용하더라도 조음 근육으로서 빗모뿔근이 짧아지게 힘을 준 상태에서 발음하면 유성음이 되고, 조음 근육으로서 뒤반지모뿔근이 짧아지게 힘을 준 상태에서 발음하면 무성음이 되고, 조음 근육으로서 입천장인두근이 짧아지게 힘을 준 상태에서 발음하면 비음이 된다. 조음 근육으로서 빗모뿔근이 짧아지게 힘을 준 상태에서 발음하는 대신, 모음을 발음하기 위한 대기 근육(뒤에서 설명한다)을 수축한 상태에서 발음하는 경우에도 유성음이 된다.
똑같은 근육들을 사용하지만 그 중 어떤 근육을 발성 근육으로 사용하고 나머지 근육을 조음 근육으로 사용하는지에 따라서도 발음하는 소리가 달라진다. 예를 들어 방패인두근을 조음 근육으로 사용하면서 가로모뿔근을 발성 근육으로 사용하는 말소리와 방패인두근을 발성 근육으로 사용하면서 가로모뿔근을 조음 근육으로 사용하는 말소리가 달라진다.
또한, 빗모뿔근과 가로모뿔근을 발성 근육으로 사용하는 말소리와 빗모뿔근을 조음 근육으로 사용하면서 가로모뿔근을 발성 근육으로 사용하는 말소리도 달라진다.
서로 다른 근육을 발성 근육으로 사용하는 말소리는 대부분 다른 음소로 취급된다. 같은 발성 근육을 사용하지만 서로 다른 조음 근육을 사용하는 경우, 경우에 따라 다른 음소로 취급되기도 하고, 같은 음소의 서로 다른 이음으로 취급되기도 한다.
여기서, 음소란 말의 의미를 달라지게 하는 가장 작은 소리의 단위이다. 예를 들면, "bat"와 "cat"는 /b/와 /k/의 음소 차이로 의미가 달라지며, "bat"와 "bet"은
Figure PCTKR2019007157-appb-I000001
와 /e/의 음소 차이로 의미가 달라지고, "bat"와"bad"는 /t/와 /d/의 음소 차이로 의미가 달라진다. 이와 같이, 의미의 차이를 가져오는 /b/, /k/,
Figure PCTKR2019007157-appb-I000002
, /e/, /t/, /d/ 등을 음소라고 한다. 반면, "pit"와 "spit"에서 각각의 [p] 소리는 조금 다르게 발음되지만 동일한 /p/ 음소이다. 이 때, 각각의 소리를 [ph], [p]로 구분하여 표시하기도 한다. 동일한 음소에 속하면서 조금씩 다르게 발음되는 소리를 이음이라 한다.
똑같은 조음 근육과 발성 근육을 사용하더라도, 조음 근육의 사용 방식에 따라서도 발음하는 소리가 달라지게 된다. 예를 들어, 똑같이 성대근을 조음 근육으로 사용하고 방패모뿔근을 발성 근육으로 사용하여 발음하지만, 성대근이 길어지게 힘을 주어 성대근을 조음 근육으로 사용하는 것과 성대근이 짧아지게 힘을 주어 성대근을 조음 근육으로 사용하는 것은 발음할 때 나는 소리가 서로 달라지게 된다.
본 발명에서는, 어떤 근육이 길어지게 힘을 주어 조음 근육으로 사용하는 것을 신장성 조음근육으로 사용한다고 하고, 어떤 근육이 짧아지게 힘을 주어 조음 근육으로 사용하는 것을 단축성 조음근육으로 사용한다고 한다.
발성 근육은 등척성 발성 근육으로 사용하는 방식과, 신장성 발성 근육으로 사용하는 방식, 단축성 발성 근육으로 사용하는 방식으로 나눈다.
본 발명에서, 등척성 발성 근육으로 사용한다는 것은 발성 근육에 힘을 주어 성대나 조음자가 소리를 낼 수 있는 위치에 있게 한 후 발음하는 동안 발성 근육이 등척성 수축을 하면서 성대가 진동하거나 조음자가 마찰되도록 하는 것을 의미하고, 신장성 발성 근육으로 사용한다는 것은 발성 근육이 짧아지게 힘을 주어 조음자가 맞닿게 한 후 맞닿은 조음자가 떨어지면서 발음하는 것을 의미하고, 단축성 발성 근육으로 사용한다는 것은 발음하는 동안 발성 근육이 단축성 수축을 하면서 성대가 진동되거나 조음자가 마찰되도록 하는 것을 의미한다.
하나의 음소를 발음하기 위해서는 하나 또는 두 개의 발성 근육을 사용한다. 경우에 따라서는 두 개의 발성 근육을 각기 다른 방식으로 동시에 또는 연이어 사용하기도 한다. 예를 들어 영어
Figure PCTKR2019007157-appb-I000003
Figure PCTKR2019007157-appb-I000004
는 혀의 가로근을 신장성 발성 근육으로 사용하면서 동시에 혀의 수직근을 단축성 발성 근육으로 사용하여 발음할 수 있다.
조음 근육과 발성 근육의 사용 방식은 근육의 용도와 수축 유형으로 구분하여 표현할 수도 있다. 예를 들어 등척성 발성 근육으로 사용한다는 것은 그 근육을 발성 근육의 용도로 사용하고, 발음할 때 그 근육이 등척성 수축을 한다고 표현할 수도 있다.
한편, 대기(待機) 근육으로 사용한다는 것은 두 음소를 순차 발음으로 이어 발음할 때 뒤 음소를 발음하기 위한 조음 근육과 발성 근육을 앞 음소를 발음하기 전에 수축하여 앞 음소를 발음하는 동안 수축된 상태를 유지하되, 앞 음소를 발음하기 위한 조음 근육과 발성 근육을 사용하여 앞 음소를 발음하는 것을 방해하지 않는 범위에서 수축하는 것을 의미한다.
개재(介在) 근육으로 사용한다는 것은 두 음소를 중첩 발음으로 이어 발음할 때 앞 음소를 발음하는 도중에 뒤 음소를 발음하기 위한 조음 근육과 발성 근육을 수축하는 것을 의미한다. 언어에 따라서는 앞 음소를 발음하는 도중에 뒤 음소를 발음하기 위한 발성 근육만 수축하는 경우도 있다.
강세 근육으로 사용한다는 것은 그 근육을 수축한 상태에서 발음하는 말소리가 그 근육을 수축하지 않은 상태에서 발음하는 말소리보다 강조되게 들리게 하는 것을 의미한다.
성조 근육으로 사용한다는 것은 한 음절을 발음하는 동안 i) 성대근이 신장성 수축을 한 상태를 유지하거나, ii) 성대근이 이완된 상태에서 신장성 수축을 하도록 힘을 주거나, iii) 성대근이 이완된 상태에서 단축성 수축을 하도록 힘을 주는 즉시 다시 신장성 수축을 하도록 힘을 주거나, iv) 성대근이 신장성 수축을 한 상태에서 단축성 수축을 하도록 힘을 주거나, v) 성대근이 이완된 상태를 유지하거나, vi) 성대근이 단축성 수축을 한 상태를 유지함으로써 그 소리의 음높이를 유지하거나, 음높이가 달라지도록 하는 것을 의미한다.
음높이 조절 근육으로 사용한다는 것은, 반지방패근과 방패인두근이 이완된 상태에서 i) 성대근이 짧아지게 힘을 준 상태, ii) 성대근이 이완된 상태, iii) 성대근이 길어지게 힘을 준 상태, 반지방패근과 방패인두근 모두 짧아지게 힘을 준 상태에서 iv) 성대근이 짧아지게 힘을 준 상태, 반지방패근이 짧아지게 힘을 주면서 방패인두근이 이완된 상태에서 v) 성대근이 짧아지게 힘을 준 상태, vi) 성대근이 이완된 상태, vii) 성대근이 길어지게 힘을 준 상태 순으로 점점 소리가 높아지도록 음높이를 조절하는 것을 의미한다.
여기서는 주동근의 사용 방식에 있어서 강세 근육, 성조 근육 및 음높이 조절 근육을 별도의 근육으로 구분하였으나, 이에 한정되는 것은 아니며, 조음 근육을 다시 음소를 구분하여 발음하기 위한 조음 근육, 강세 근육, 성조 근육, 음높이 조절 근육으로 나눌 수도 있을 것이다. 이와 같이 세분한 근육들 모두 '그 근육의 수축에 따른 특징이 그 근육을 수축한 상태에서 발음하는 말소리에 나타나게 하는 근육'에 해당되기 때문이다.
또한, 이상에서 설명한 근육 외에도 지역별 액센트를 위해 사용되는 근육, 감정 표현을 위해 사용되는 근육 등 용도에 따라 다양한 방식으로 근육을 분류할 수도 있을 것이다.
본 발명에 따른 순차(循次) 발음 또는 중첩(重疊) 발음에 있어서, 자음과 모음, 모음과 자음, 자음과 자음, 모음과 모음을 이어 발음할 때 “순차 발음”의 경우 앞 음소를 발음할 준비와 함께 뒤 음소를 발음하기 위한 준비까지 한 다음 앞 음소와 뒤 음소를 순차적으로 이어 발음하고, “중첩 발음”의 경우 앞 음소를 발음하고 있는 중에 뒤 음소를 발음할 준비를 한 후 앞 음소의 발음에 이어 바로 뒤 음소를 발음하는 것이다.
순차 발음의 경우, i) 뒤 음소를 발음하기 위한 조음 근육과 발성 근육을 대기 근육으로 사용하는 것과 함께 앞 음소를 발음하기 위한 조음 근육과 발성 근육을 수축하는 단계, ii) 뒤 음소를 발음하기 위한 대기 근육과 앞 음소를 발음하기 위한 조음 근육의 수축을 유지하면서 앞 음소를 발음하기 위한 발성 근육을 사용하여 앞 음소를 발음하는 단계, iii) 앞 음소의 발음과 함께 앞 음소 발음만을 위한 조음 근육과 발성 근육을 이완하면서 뒤 음소를 발음하기 위해 수축했던 대기 근육을 조음 근육과 발성 근육으로 수축하는 단계, iv) 뒤 음소를 발음하기 위한 조음 근육을 수축한 상태에서 발성 근육을 사용하여 뒤 음소를 발음하는 단계를 거쳐 발음한다.
중첩 발음의 경우, i) 앞 음소를 발음하는 도중에 뒤 음소를 발음하기 위한 조음 근육과 발성 근육을 수축하여 개재 근육으로 사용하는 단계, ii) 뒤 음소를 발음할 것인지에 따라 ii-1) 앞 음소 발음만을 위한 조음 근육과 발성 근육을 이완하면서 수축한 개재 근육 중 조음 근육의 수축을 유지하면서 발성 근육을 사용하여 뒤 음소를 발음하거나, ii-2) 개재 근육을 수축한 상태에서 뒤 음소의 발음 없이 앞 음소의 발음을 종료하는 단계를 거쳐 발음한다. better, water와 같이 ‘-er’로 끝나는 단어의
Figure PCTKR2019007157-appb-I000005
부분은 다음에 모음으로 이어질 경우 /r/을 발음하고, 그렇지 않은 겨우 schwa 음으로 발음하는 대신에,
Figure PCTKR2019007157-appb-I000006
와 /r/을 이어서 중첩 발음으로 발음하되 다음에 모음으로 이어질 경우 ii-1)과 같이 /r/을 발음하고, 그렇지 않은 경우 ii-2)와 같이 /r/을 발음하지 않고 종료하여 발음할 수 있다.
도 6은 본 발명의 일 실시예에 따른 언어 학습 장치를 나타내는 도면이다.
도 6을 참조하면, 언어 학습 장치(100)는 입력부(110), 메모리부(120), 스피커(130) 및 디스플레이부(140)를 포함할 수 있다. 예를 들면, 언어 학습 장치(100)는 스마트폰, 태블릿 PC 등의 휴대용 단말뿐 아니라, e-book 형태로 출간될 수도 있을 것이다.
입력부(110)는 사용자가 음소, 음절, 단어 및 초분절음 중 적어도 하나를 포함하는 말소리의 정보를 선택하도록 할 수 있다. 입력부(110)는, 예를 들어 터치 패널 등의 장치일 수 있으며, 그 외에 마우스, 키보드 등의 장치일 수 있다. 혹은 입력부(110)는 사용자로부터의 선택을 나타내는 신호를 작성하는 장치뿐만 아니라, 이들로부터 선택을 나타내는 신호를 받아들이는 인터페이스에 해당하는 구성을 포함하는 개념일 수 있다. 사용자는 입력부(110)를 통해 자신이 학습하고자 하는 말소리, 즉 원하는 음소, 음절, 단어 및 초분절음 중 하나를 선택하여 학습을 시작할 수 있다.
메모리부(120)는 입력부(110)에서 선택된 말소리의 음성 정보와 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 저장할 수 있다. 즉, 메모리부(120)는 사용자가 선택한 말소리를 발음할 때 어느 근육을 어떠한 방식으로 사용해야 하는지에 관한 정보 등을 저장하고 있다. 여기서, 말소리를 발음하기 위해 힘을 주는 근육이란 그 근육에 힘을 줄 때 성대, 입술, 혀, 연구개 등과 같은 발음 기관의 움직임을 야기하는 근육을 의미한다. 이들 근육에 대하여는 도 1 내지 도 5을 통하여 자세하게 설명하였으므로 여기서는 구체적인 설명은 생략한다.
스피커(130)는 음성 출력 수단으로서 기능하는 부분으로, 입력부(110)에서 선택된 말소리를 발음하기 위해 힘을 주는 근육을 이용하여 발음하는 말소리를 들려줄 수 있다. 즉, 스피커(130)는 사용자가 선택한 말소리를 직접 들려줌으로써, 사용자가 반복적으로 발음 연습을 할 수 있도록 한다.
디스플레이부(140)는 정지 영상 및 동영상을 포함하는 영상 출력 수단으로서 기능하는 부분으로, 입력부(110)에서 선택된 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 따른 근육의 움직임을 사용자에게 표시할 수 있다. 즉, 사용자가 선택한 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 따른 근육의 움직임을 사용자에게 시각적으로 보여줌으로써, 사용자가 특정 말소리를 발음할 때 어느 근육을 어떠한 방식으로 사용해야 하는지를 용이하게 파악할 수 있도록 한다. 특히, 디스플레이부(140)는 사용자가 음소를 이어서 발음하는 경우에 순차 발음 및 중첩 발음 중 어느 하나로 구분하여 음소를 이어 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 따른 움직임을 표시할 수 있다.
또한, 디스플레이부(140)는 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식을 근육의 형태나 색, 도형의 변화, 또는 손동작 표현 중 적어도 어느 하나로 표시할 수 있다. 즉, 사용자가 학습하고자 하는 말소리를 발음하기 위해 힘을 주는 근육의 움직임을 보다 명료하게 확인할 수 있도록 말소리를 발음하기 위해 힘을 주는 근육의 움직임을 특정 근육의 형태나 색 또는 도형의 변화로 나타내거나 손동작 표현으로 나타낼 수 있다.
예를 들면, 말소리를 발음하기 위해 힘을 주는 근육을 특정 근육의 형태, 색 또는 도형으로 나타내고, 해당 말소리를 발음할 때 근육의 변화를 근육의 형태나 색의 변화 또는 도형의 형태나 크기의 변화 등으로 표현함으로써 사용자가 선택한 말소리를 발음하기 위해 어느 근육을 어떻게 사용해야 하는지 쉽게 판단할 수 있도록 한다. 또는 말소리를 발음하기 위해 힘을 주는 근육의 움직임을 사람의 손동작의 형태로 나타내어, 해당 말소리를 발음할 때 근육의 변화를 이해하기 쉽게 손동작의 변화로 표시할 수도 있다. 그러나, 이러한 표현 방법은 하나의 예시일 뿐, 본 발명이 이에 한정되는 것은 아니다.
디스플레이부(140)는 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식을 동영상 또는 각 단계별 정지 화면으로 표시할 수도 있다. 즉, 디스플레이부(140)는 사용자가 학습하고자 하는 말소리를 발음하기 위해 힘을 주는 근육의 움직임을 동영상으로 나타내어, 사용자가 해당 말소리를 발음하기 위해 힘을 주는 근육의 연속적인 움직임을 확인할 수 있게 한다. 또한, 해당 말소리를 발음하기 위해 힘을 주는 근육을 각 단계별 정지 화면으로 나타내어, 사용자가 동영상으로 미처 확인하지 못한 근육의 움직임을 단계별로 학습할 수 있게 한다.
또한, 말소리를 발음하기 위해 힘을 주는 근육은 성대 또는 조음자를 움직이게 한다. 이 경우, 디스플레이부(140)는 성대 또는 조음자의 움직임과, 주동근의 움직임도 표시할 수 있다.
특히, 말소리를 발음하기 위해 힘을 주는 근육은 발성 근육, 조음 근육, 대기 근육, 개재 근육, 강세 근육, 성조 근육 또는 음높이 조절 근육 중 적어도 하나로서 사용될 수 있다. 발성 근육은 하나 또는 두 개의 발성 근육을 등척성 발성 근육, 신장성 발성 근육, 단축성 발성 근육 중 어느 하나의 방식으로 사용하거나, 두 개의 발성 근육을 각기 다른 방식으로 동시에 또는 연이어 사용하는 방식으로 사용하며, 조음 근육은 신장성 조음 근육 또는 단축성 조음 근육으로 사용할 수 있다.
도 7은 본 발명의 일 실시예에 따른 언어 학습 장치의 디스플레이부 화면 내에 복수의 말소리가 표시되어 있는 것을 나타내는 도면이다.
도 7에 나타낸 예시를 참조하면, 사용자는 디스플레이부(140)의 화면 상에서 입력부(110)인 마우스를 통해 자신이 학습하고자 하는 말소리를 선택하고 있다. 구체적으로, 사용자는 먼저 자신이 원하는 언어(예를 들면, 한국어, 영어, 일본어, 중국어 등) 중 하나를 선택한다. 다음으로, 사용자는 해당 언어에서 원하는 말소리의 단위(예를 들면, 자음, 모음 등의 음소, 음절, 단어, 강세, 성조, 음높이 조절 등)를 선택한다. 이 때, 도 7에 나타낸 바와 같이, 사용자가 말소리 단위를 선택하면, 디스플레이부(140)의 화면 상에는 해당 말소리를 발성하는 것과 관련된 근육의 모양이 함께 표시되도록 할 수 있다.
그러나, 도 7에서 나타낸 디스플레이부(140) 화면의 표시 및 선택 방식은 단지 예시적인 것일 뿐이며, 본 발명이 이에 한정되는 것은 아니다. 예를 들면, 디스플레이부(140) 상에서 사용자가 원하는 말소리에 대한 정보는 문자로만 표시되거나, 해당 말소리를 발음할 때의 근육의 움직임에 관한 동영상과 함께 표시될 수도 있으며, 입력부(110)로서 마우스 대신 키보드나 터치 패널 등의 장치가 사용될 수도 있을 것이다. 또한, 말소리의 단위 외에 발성 근육의 사용방법, 조음 근육의 수축 유형에 따른 말소리 구분 등과 같이 근육의 용도와 수축 유형별 학습을 선택하도록 할 수도 있을 것이며, 사용자가 말소리를 선택할 필요 없이 음소나 음절 등에 특화된 학습 장치로 구성될 수도 있을 것이다.
도 8은 본 발명의 일 실시예에 따른 언어 학습 장치의 디스플레이부가 선택된 말소리(모음)를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 따른 근육의 움직임을 사용자에게 표시하는 것을 나타내는 도면이다.
도 8의 a) 내지 e)를 참조하면, 말소리 정보의 예시로서, 한국어의 기초 모음인 [아], [에], [이], [오], [우]를 발음할 때의 근육의 위치 및 사용 방식을 나타내고 있다. 도 8의 예시에서는 각 음소를 발음하기 위해 힘이 들어가는 근육에 대해서는 음영으로 표시를 하였다.
도 8의 a)에서, 모음 [아]를 발음할 때는 가로모뿔근이 짧아지도록 힘을 주어 성대의 뒷부분 간격이 좁아지게 하여 발음을 하고 있다. 또한, 도 8의 b)를 참조하면, 모음 [에]를 발음할 때는 성대가 좁아지면서, 가쪽모뿔근이 짧아지도록 힘을 주면서 발음하고 있다.
도 8의 c)에 나타낸 바와 같이, 모음 [이]를 발음할 때는 방패모뿔근에 힘을 주어 성대의 앞부분 간격이 좁아지게 하여 발음하고 있다. 도 8의 d)에서, 모음 [오]를 발음할 때는 가로모뿔근과 빗모뿔근이 짧아지도록 힘을 주어 성대의 뒷부분 간격과 뒤쪽 윗부분 간격이 좁아지게 하여 발음하고 있다. 도 8의 e)에서는, 모음 [우]를 발음할 때, 빗모뿔근이 짧아지게 힘을 주어 성대의 뒤쪽 윗부분 간격이 좁아지게 하여 발음하고 있다.
이와 같이, 디스플레이부(140)는 사용자가 선택한 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식을 근육의 움직임 형태로 화면을 통해 표시함으로써, 사용자가 해당 말소리를 발음하기 위해 어느 근육을 어떠한 방식으로 사용해야 하는지 용이하게 파악할 수 있도록 한다.
한편, 도 8에서는 말소리를 발음할 때의 근육의 움직임을 단계별 화면으로 나타내었으나, 실제로는 근육이 움직이는 과정을 동영상 등으로 제공할 수도 있을 것이며, 도 8의 실시예에 한정되는 것이 아니다.
도 9는 본 발명의 다른 실시예에 따른 언어 학습 장치를 나타내는 도면이다.
도 9를 참조하면, 언어 학습 장치(200)는 입력부(210), 메모리부(220), 디스플레이부(240) 및 음성 인식부(250)를 포함할 수 있다. 본 실시예에 따른 입력부(210) 및 디스플레이부(240)는 도 6의 입력부(110) 및 디스플레이부(140)와 기능 및 동작이 동일하므로, 도 6과 중복되는 구성에 대해서는 자세한 설명은 생략한다.
메모리부(220)는 말소리의 정보와, 그 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식의 조합에 관한 정보 및 상기 말소리의 정보와 상기 근육의 위치 및 사용 방식의 조합에 관한 정보를 대응시킨 테이블을 저장할 수 있다.
음성 인식부(250)는 사용자가 말소리를 발음하는 것에 의한 음파 정보를 이용하여, 사용자가 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식을 인식할 수 있다. 이 때, 음성 인식부(250)는 마이크(미도시)를 포함할 수 있으며, 사용자의 발음이 녹음되어 있는 음성 파일을 이용하여 사용자가 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식을 인식할 수도 있다. 즉, 입력부(210)에서 선택한 말소리를 사용자가 발음하면, 음성 인식부(250)는 인식된 발음의 음파를 통해 사용자가 해당 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식을 식별할 수 있다. 이 때, 사용자가 발음을 하기 위해 힘을 준 근육은 발음 기관의 움직임을 야기하는 근육을 의미한다.
음성 인식부(250)는 말소리의 정보와, 그 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식의 조합에 관한 정보를 대응시킨 테이블을 포함하며, 음성 인식부(250)는 인식된 근육의 위치 및 사용 방식과 상기 테이블을 이용하여, 사용자가 발음한 말소리의 정보를 판단할 수 있다. 또한, 음성 인식부(250)는 사용자가 음소를 이어서 발음하는 경우에 순차 발음 및 중첩 발음 중 어느 하나로 구분하여 인식할 수도 있다.
디스플레이부(240)는 음성 인식부(250)에서 인식된 사용자의 발음에 따른 근육의 위치 및 사용 방식을 근육의 움직임 형태로 사용자에게 표시할 수 있다. 즉, 사용자가 선택한 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식을 시각적으로 보여줌으로써, 사용자로 하여금 자신이 해당 말소리를 발음하기 위해 적합한 근육을 적절한 방식으로 사용하였는지를 판단하도록 할 수 있다. 예를 들면, 디스플레이부(240)는 사용자가 선택한 말소리를 제대로 발음하기 위해 힘을 주어야 할 근육의 움직임 중에서 잘못 발음된 부분을 별도의 색상으로 보여줄 수도 있고, 제대로 발음하는 근육의 움직임과 실제 발음한 근육의 움직임을 비교하여 보여줄 수도 있으며, 단순하게 잘못 사용된 근육의 위치만을 표시하도록 하는 등 다양한 방식으로 사용자에게 표시할 수 있다.
또한, 도 6에서와 마찬가지로, 말소리를 발음하기 위해 힘을 주는 근육은 성대 또는 조음자를 움직이게 한다. 이 경우, 디스플레이부(240)는 성대 또는 조음자의 움직임과, 주동근의 움직임도 표시할 수 있다.
특히, 말소리를 발음하기 위해 힘을 주는 근육은 발성 근육, 조음 근육, 대기 근육, 개재 근육, 강세 근육, 성조 근육 또는 음높이 조절 근육 중 적어도 하나로서 사용될 수 있으며, 발성 근육은 하나 또는 두 개의 발성 근육을 등척성 발성 근육, 신장성 발성 근육, 단축성 발성 근육 중 어느 하나의 방식으로 사용하거나, 두 개의 발성 근육을 각기 다른 방식으로 동시에 또는 연이어 사용하는 방식으로 사용하며, 조음 근육은 신장성 조음 근육 또는 단축성 조음 근육으로 사용할 수 있다.
또한, 디스플레이부(240)는 사용자가 음소를 이어서 발음하는 경우에 순차 발음 및 중첩 발음 중 어느 하나로 구분하여 음소를 이어 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 따른 근육의 움직임을 표시할 수 있다.
도 10은 본 발명의 일 실시예에 따른 음성 인식부를 나타내는 도면이다.
도 10을 참조하면, 음성 인식부(250)는 음소 인식기(251), 음절 인식기(252) 및 단어 인식기(253)를 포함할 수 있다.
음소 인식기(251)는 사용자가 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식을 통해 음소를 인식할 수 있다. 구체적으로, 음소 인식기(251)는 음소 발음 패턴 인식기(251a), 음소 발음중 변화 인식기(251b) 및 음소 발음후 변화 인식기(251c)를 포함할 수 있다.
음소 발음 패턴 인식기(251a)는 사용자가 음소를 발음하기 시작할 때 힘을 주는 근육의 위치 및 사용 방식을 인식할 수 있다. 이 때, 음소 발음 패턴 인식기(251a)는 사용자가 자음 또는 모음을 발음하기 위해 힘을 주는 조음 근육과 발성 근육 및 대기 근육으로 사용되는 근육의 위치 및 사용 방식을 구분하여 인식할 수 있다.
음소 발음중 변화 인식기(251b)는 사용자가 음소를 발음하고 있는 동안에 사용되는 근육의 위치 및 사용 방식을 인식할 수 있다. 이 때, 음소 발음중 변화 인식기(251b)는 모음을 발음하는 도중에 다른 모음이나 자음을 발음하기 위한 근육 또는 자음을 발음하는 도중에 다른 자음이나 모음을 발음하기 위한 근육의 위치 및 사용 방식을 인식할 수 있다.
음소 발음후 변화 인식기(251c)는 사용자가 음소를 발음한 후부터 다음 음소의 발음 전까지 사용되는 근육의 위치 및 사용 방식을 인식할 수 있다. 이 때, 음소 발음후 변화 인식기(251c)는 자음의 발음에 이어서 다른 자음 또는 모음이 발음되는지 또는 발음의 중단이 있는지 인식하거나, 모음의 발음에 이어서 다른 모음 또는 자음이 발음되는지 또는 발음의 중단이 있는지를 인식하며, 또는 자음과 모음의 발음에 이어서 다른 자음과 모음을 발음하기 이전에 발음이 완료된 자음과 모음을 발음하기 위해 사용했던 근육의 움직임을 인식할 수 있다
음절 인식기(252)는 사용자가 발음하는 자음 또는 모음을 각각 음절 머리(onset), 음절 핵(nucleus) 및 음절 꼬리(coda)로 구분함으로써 음절을 인식할 수 있다. 구체적으로, 음절 인식기(252)는 자음과 모음을 순차적으로 발음하거나, 모음의 발음에 앞서 두 개의 자음을 순차적으로 또는 중첩하여 발음하거나, 모음의 발음에 앞서 세 개의 자음을 중첩하고 이어서 순차적으로 발음할 경우 그 자음 또는 자음들을 음절 머리로 인식하고, 음절 머리에 이어 발음되거나 음절머리 없이 발음되는 하나의 모음, 또는 순차적 또는 중첩하여 발음하는 두 개의 모음을 음절핵으로 인식하며, 중첩적으로 모음에 이어 발음되는 자음 및 순차적이고 중첩적으로 그 자음에 계속 이어 발음되는 자음들을 음절 꼬리로 인식할 수 있다. 또한, 음절 인식기(252)는 음절을 인식하는 동안 해당 음절에 강세 근육, 성조 근육, 음높이 조절 근육이 사용되었는지, 사용되었다면 어떻게 사용되었는지를 인식하는 기능을 추가로 구비할 수 있다.
단어 인식기(253)는 인식된 음절 간의 연결 상태와 초분절음 및 문법적 요소에 기초하여 단어를 인식할 수 있다. 구체적으로, 단어 인식기(253)는 음절 인식기(252)를 통해 연속적으로 인식되는 음절들과 음소 발음후 변화 인식기(251c)를 통해 인식한 음절과 음절간의 연결 상태와 음절 인식기(252)를 통해 인식한 강세, 성조, 음높이 등을 기준으로 문법적 요소들을 고려하여 각각의 단어들로 인식하는 구성이다. 이 때, 메모리부(220)에 기존의 단어들을 포함하고 있는 데이터베이스(미도시)를 추가로 구비함으로써, 단어 인식기(253)가 단어를 신속하고 용이하게 인식하도록 할 수 있다.
하나의 예시로서, 본 실시예의 음성 인식부(250)가 영어의 “teach”라는 단어를 인식하기 위한 동작에 대해서 설명한다. “teach”의 음절 머리인 /t/가 발음될 때 음소 발음 패턴 인식기(251a)가 혀의 가로근이 단축성 수축을 하면 맞닿게 되는 조음자가 떨어지면서 소리를 내기 시작하는 것과 발음의 시작 시점부터 발음하는 동안 뒤반지모뿔근이 단축성 수축을 한 상태가 유지되면서 대기 근육 또한 수축한 상태가 유지되는데, 대기 근육은 모음을 발음하기 위한 것임을 인식하였다면, 음소 발음 패턴 인식기(251a)는 혀의 가로근이 신장성 발성근육으로 사용되었고, 뒤반지모뿔근이 단축성 조음근육으로 사용되었고, 모음을 발음하기 위한 근육으로 대기 근육이 사용되었다고 인식한다.
음소 발음 패턴 인식기(251a)의 인식 결과를 바탕으로 음소 인식기(251)는 뒤반지모뿔근을 단축성 조음 근육으로 사용하면서 혀의 가로근을 신장성 발성 근육으로 사용하여 /t/가 발음되었다고 인식하고, 음절 인식기(252)는 모음을 발음하기 위한 대기 근육이 사용되었음을 근거로 /t/가 순차 발음에서 모음에 앞선 음절 머리로 발음되었다고 인식한다. 음소 발음후 변화 인식기(251c)가 /t/ 발음 후 모음을 발음하기 전에 뒤반지모뿔근의 이완을 인식하였다면 음소 인식기(251)는 앞서 인식한 자음이 무성자음임을 확인할 수 있다. 만약 앞에서 음소 발음 패턴 인식기(251a)가 발성근육으로 혀의 가로근이 사용되는 것은 인식하였지만 조음근육으로 뒤반지모뿔근과 빗모뿔근 중 어떤 근육이 사용되는지 정하기 힘들었는데 음소 발음 후 변화 인식기(251c)가 뒤반지모뿔근의 이완을 인식하였다면 음소 인식기(251)는 이 인식 결과들을 바탕으로 /t/가 발음되었음을 인식할 수 있다.
/t/의 발음에 이어 음소 발음 패턴 인식기(251a)가 방패모뿔근이 등척성 수축을 한 상태에서 나는 소리를 인식하는 것과 함께 발음의 시작 시점부터 발음하는 동안 성대근이 신장성 수축을 한 상태가 유지되는 것을 인식하였다면, 음소 발음 패턴 인식기(251a)는 방패모뿔근이 등척성 발성 근육으로 사용되었고, 성대근이 신장성 조음근육으로 사용되었다고 인식한다. 음소 발음 패턴 인식기(251a)의 인식 결과를 바탕으로 음소 인식기(251)는 성대근을 신장성 조음 근육으로 사용하면서 방패모뿔근을 등척성 발성 근육으로 사용하는 /i/가 발음되었다고 인식하고, 음절 인식기(252)는 순차 발음을 통해 음절머리 /t/에 이어 모음이 발음되었음을 근거로 /i/가 음절핵으로 발음되었다고 인식한다.
만약, /i/가 발음되는 동안 음소 발음중 변화 인식기(251b)가 혀의 가로근이 단축성 수축을 하는 것을 인식하면서 뒤반지모뿔근이 단축성 수축을 하는 것을 인식하였다면, 음소 발음중 변화 인식기(251b)는 뒤반지모뿔근과 혀의 가로근이 개재 근육으로 사용되었다고 인식하고, 음소 인식기(251)는 혀의 가로근이 단축성 수축을 한 후 발음하는 무성 자음이 다음 음소로 발음될 것으로 예상하고, 음절 인식기(252)는 중첩 발음을 통해 음절핵에 이어 혀의 가로근이 단축성 수축을 한 후 발음하는 무성 자음이 음절 꼬리로 발음될 것으로 예상한다.
음소 발음후 변화 인식기(251c)가 /i/의 발음에 이어 뒤 음소가 발음되는 것을 인식하고, 음소 발음 패턴 인식기(251a)가 혀의 가로근이 단축성 수축을 하면 맞닿게 되는 조음자가 떨어지면서 소리를 내기 시작하는 것과 동시에, 혀의 수직근이 단축성 수축을 하면서 마찰되는 소리를 인식하면서, 발음의 시작 시점부터 발음하는 동안 뒤반지모뿔근이 단축성 수축을 한 상태가 유지되는 것을 인식하였다면, 음소 발음 패턴 인식기(251a)는 혀의 가로근이 신장성 발성 근육으로 사용되면서 발음을 함과 동시에 혀의 수직근이 단축성 발성 근육으로 사용되면서 발음을 하였고, 뒤반지모뿔근이 조음 근육으로 사용되었다고 인식한다. 음소 발음 패턴 인식기(251a)의 인식 결과를 바탕으로 음소 인식기(251)는 뒤반지모뿔근을 단축성 조음 근육으로 사용하면서 혀의 가로근을 신장성 발성 근육으로 사용함과 동시에 혀의 수직근을 단축성 발성 근육으로 사용하는
Figure PCTKR2019007157-appb-I000007
가 발음되었다고 인식하고, 음절 인식기(252)는 중첩 발음을 통해 음절핵 /i/에 이어 자음이 발음되었음을 근거로
Figure PCTKR2019007157-appb-I000008
가 음절 꼬리로 발음되었다고 인식한다.
음소 발음 패턴 인식기(251a)가 음절 꼬리
Figure PCTKR2019007157-appb-I000009
의 음소 발음 패턴을 인식할 때 조음 근육으로 뒤반지모뿔근과 빗모뿔근 중 어떤 근육이 사용되는지 인식하지 못한 경우 음소 인식기(251)는 앞선 음절핵 /i/의 음소 발음중 변화 인식기(251b)의 인식 결과 뒤반지모뿔근이 개재 근육으로 사용된 것을 근거로 무성 자음인
Figure PCTKR2019007157-appb-I000010
로 인식한다.
음절 인식기(252)는 지금까지 음절 머리로 /t/가 발음되고, 음절핵으로 /i/가 발음되고, 음절 꼬리로
Figure PCTKR2019007157-appb-I000011
가 발음된 것을 종합하여,
Figure PCTKR2019007157-appb-I000012
라는 음절이 발음된 것을 인식한다.
단어 인식기(253)는 음절 인식기(252)를 통해 인식된
Figure PCTKR2019007157-appb-I000013
라는 음절에 해당하는 단어가 데이터베이스에 있는지 확인하여 해당하는 단어가 있으면 그 단어를 예비 인식 결과로 저장하면서 음절 인식기(252)의 다음 음절의 인식 결과를 기다려, 다음 인식 결과를 포함하는 단어가 없으면 예비 인식 결과를 인식 결과로 제공하고, 다음 인식 결과를 포함하는 단어가 있으면 그 단어를 예비 인식 결과로 저장하면서 그 다음 음절의 인식 결과를 기다린다. 예를 들면,
Figure PCTKR2019007157-appb-I000014
의 경우 단어 데이터베이스 상에 “teach”라는 단어가 있고, 그 다음 음절의 인식 결과를 포함하는 단어가 없다면, 단어 인식기(253)는 “teach”를 인식 결과로서 제공할 수 있다. 만약 "teach"를 예비 인식 결과로 인식한 후 다음 음절의 인식 결과가
Figure PCTKR2019007157-appb-I000015
이고 단어 데이터베이스 상에
Figure PCTKR2019007157-appb-I000016
에 해당하는 “teacher”라는 단어가 있는 경우, "teacher"를 예비 인식 결과로 인식한 후 그 다음 음절의 인식 결과를 기다리고, 그 다음 음절의 인식 결과를 포함하는 단어가 없다면 단어 인식기(253)는 "teacher"를 인식 결과로서 제공할 수 있다.
음절 인식기(252)는
Figure PCTKR2019007157-appb-I000017
라는 음절이 발음될 때 강세 근육이 사용되었는지, 음높이 조절 근육이 사용되었는지, 음높이 조절 근육이 사용되었다면 어떻게 사용되었는지를 인식하고, 단어 인식기(253)는 단어 인식에 추가 정보가 필요할 경우 음절 인식기(252)의 인식 결과를 활용한다.
도 11은 본 발명의 또 다른 실시예에 따른 언어 학습 장치를 나타내는 도면이다.
도 11을 참조하면, 언어 학습 장치(300)는 입력부(310), 메모리부(320), 스피커(330), 디스플레이부(340), 음성 인식부(350), 평가부(360) 및 학습부(370)를 포함할 수 있다. 마찬가지로, 본 실시예에 따른 입력부(310), 메모리부(320), 스피커(330) 및 음성 인식부(350)는 도 6 및 도 7의 입력부(110), 메모리부(120), 스피커(130) 및 음성 인식부(250)와 기능 및 동작이 동일하므로, 도 6 및 도 7과 중복되는 구성에 관한 설명은 생략한다.
디스플레이부(340)는 사용자가 선택한 말소리를 발음하기 위해 힘을 주는 상기 근육의 위치 및 사용 방식에 따른 근육의 움직임에 더하여, 음성 인식부(350)에서 인식된 사용자의 발음에 따른 근육의 위치 및 사용 방식을 근육의 움직임 형태로 사용자에게 표시할 수 있다.
또한, 도 6에서와 마찬가지로, 말소리를 발음하기 위해 힘을 주는 근육은 성대 또는 조음자를 움직이게 한다. 이 경우, 디스플레이부(340)는 성대 또는 조음자의 움직임과, 주동근의 움직임도 표시할 수 있다.
특히, 말소리를 발음하기 위해 힘을 주는 근육은 발성 근육, 조음 근육, 대기 근육, 개재 근육, 강세 근육, 성조 근육 또는 음높이 조절 근육 중 적어도 하나로서 사용될 수 있으며, 발성 근육은 하나 또는 두 개의 발성 근육을 등척성 발성 근육, 신장성 발성 근육, 단축성 발성 근육 중 어느 하나의 방식으로 사용하거나, 두 개의 발성 근육을 각기 다른 방식으로 동시에 또는 연이어 사용하는 방식으로 사용하며, 조음 근육은 신장성 조음 근육 또는 단축성 조음 근육으로 사용할 수 있다.
평가부(360)는 음성 인식부(350)에서 인식된 사용자의 발음에 따른 근육의 위치 및 사용 방식이 메모리부(320)에 저장된 근육의 위치 및 사용 방식과 소정 범위 내에 있는지 여부를 판단할 수 있다. 이 때, 소정 범위는 언어 학습 장치(300)에 미리 설정되어 있을 수도 있고, 사용자가 임의로 설정할 수도 있다. 즉, 평가부(360)는 사용자가 학습하고자 하는 말소리의 발음과 관련된 근육을 올바르게 사용했는지 여부를 판단하는 기능을 한다. 이 때, 말소리를 발음하는 것과 관련된 근육은 발음 기관의 움직임을 야기하는 근육을 포함할 수 있다.
학습부(370)는 평가부(360)에서의 판단 결과에 따라 사용자에게 반복 학습 또는 보충 학습을 제공할 수 있다. 즉, 평가부(360)에서 사용자의 발음에 따른 근육의 위치 및 사용 방식이 메모리부(320)에 저장된 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있는 것으로 판단된 경우, 학습부(370)는 반복 학습을 통해 근육 기억을 강화할 수 있다.
또한, 평가부(360)에서 사용자의 발음에 따른 근육의 위치 및 사용 방식이 메모리부(320)에 저장된 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있는 것으로 판단된 경우, 학습부(370)는 자음 또는 모음이 상이하지만 유사하게 발음되는 단어를 사용자가 구분할 수 있는지를 평가하기 위한 말소리 인식 평가를 추가로 실시할 수 있다. 이 때, 말소리 인식 평가는, 예를 들면 “and”와 “end”, “pet”과 “fat”, “day”와 “they” 등과 같이 모음 또는 자음이 상이하지만 실제로 비슷하게 발음되는 단어를 구분할 수 있는지를 평가하기 위한 것이다.
한편, 평가부(360)에서 사용자의 발음에 따른 근육의 위치 및 사용 방식이 메모리부(320)에 저장된 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있지 않는 것으로 판단된 경우, 학습부(370)는 디스플레이부(340) 상에 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식을 근육의 형태나 색, 도형의 변화, 또는 손동작 표현 중 적어도 어느 하나로 표시하도록 하여 사용자에게 보충 학습을 제공할 수 있다. 이 때, 근육의 형태나 색, 도형의 변화 또는 손동작 표현을 통한 보충 학습은 도 6에서 설명한 방식으로 디스플레이부(140)에 의해 이루어질 수 있다.
도 12는 본 발명의 일 실시예에 따른 언어 학습 방법을 나타내는 도면이다.
도 12의 언어 학습 방법은 말소리의 음성 정보와 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 저장하는 메모리부를 포함하는 장치를 이용할 수 있다. 예를 들어, 본 실시예에 따른 언어 학습 방법은 도 6에 따른 언어 학습 장치(100)를 이용할 수 있을 것이며, 이하에서는 도 6에 따른 언어 학습 장치(100)를 이용한 것으로 가정하여 언어 학습 방법에 대해서 구체적으로 설명한다.
우선, 언어 학습 장치(100)의 디스플레이(140)부에 사용자에 의하여 선택 가능한 음소, 음절, 단어 및 초분절음 중 적어도 하나를 포함하는 말소리의 정보를 표시한다. 그 후 사용자에 의하여 입력부(110)를 통해 어느 말소리 정보가 선택된다(S110).
언어 학습 장치(100)의 CPU 등의 도시하지 않은 제어수단은 사용자에 의하여 입력부(110)를 통해 입력된 신호에 따라, 사용자가 선택한 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 따른 근육의 움직임을 표시하고, 해당 근육에 힘을 주어 발음하는 말소리를 들려줄 수 있다(S120). 즉, 사용자가 학습하고자 하는 말소리를 직접 음성으로 들려주고, 해당 말소리를 발음하기 위해 힘을 주는 근육의 움직임을 디스플레이부 상에 시각적으로 표시함으로써 사용자가 어느 근육을 어떠한 방식으로 사용해야 하는지를 용이하게 판단할 수 있게 한다.
도 13은 본 발명의 다른 실시예에 따른 언어 학습 방법을 나타내는 도면이다.
도 13의 언어 학습 방법은 말소리의 정보(예를 들면, 말소리의 음성 정보, 시각 정보 등을 포함할 수 있다)와 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 저장하는 메모리부를 포함하는 장치를 이용할 수 있다. 예를 들어, 본 실시예에 따른 언어 학습 방법은 도 9에 따른 언어 학습 장치(200)를 이용할 수 있을 것이며, 이하에서는 도 9에 따른 언어 학습 장치(200)를 이용한 것으로 가정하여 언어 학습 방법에 대해서 구체적으로 설명한다.
우선, 언어 학습 장치(200)의 디스플레이(240)부에 사용자에 의하여 선택 가능한 음소, 음절, 단어 및 초분절음 중 적어도 하나를 포함하는 말소리의 정보를 표시한다. 그 후 사용자에 의하여 입력부(210)를 통해 어느 말소리 정보가 선택된다(S210).
사용자가 선택한 말소리를 발음하면, 언어 학습 장치(200)는 사용자의 발음을 인식할 수 있다. 이 때, 사용자의 발음에 대한 인식은 전술한 음성 인식부(250)에서 수행될 수 있다. 즉, 사용자가 선택한 말소리를 직접 발음하면, 사용자가 말소리를 발음하는 것에 의한 음파 정보를 이용하여, 사용자가 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식을 인식할 수 있다(S220).
다음으로, 언어 학습 장치(200)의 CPU 등의 도시하지 않은 제어수단의 신호에 따라, 음성 인식부에서 인식된 사용자의 발음에 따른 근육의 위치 및 사용 방식을 사용자에게 표시할 수 있다(S230). 즉, 음성 인식부(250)에서 인식된 사용자의 발음에 따른 근육의 위치 및 사용 방식을 근육의 움직임 형태로 전술한 디스플레이부(240)를 통해 사용자에게 직접 나타낼 수 있다. 이를 통해, 사용자가 선택한 말소리를 발음하기 위해 사용자가 힘을 준 근육의 위치 및 사용 방식을 시각적으로 보여줌으로써, 사용자로 하여금 자신이 해당 말소리를 발음하기 위해 적합한 근육을 적절한 방식으로 사용하였는지를 판단하도록 할 수 있다.
도 14는 본 발명의 또 다른 실시예에 따른 언어 학습 방법을 나타내는 도면이다.
도 14의 언어 학습 방법은 말소리의 음성 정보와 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 저장하는 메모리부를 포함하는 장치를 이용할 수 있다. 예를 들어, 본 실시예에 따른 언어 학습 방법은 도 11에 따른 언어 학습 장치(300)를 이용할 수 있을 것이며, 이하에서는 도 11에 따른 언어 학습 장치(300)를 이용한 것으로 가정하여 언어 학습 방법에 대해서 구체적으로 설명한다.
우선, 언어 학습 장치(300)의 디스플레이(340)부에 사용자에 의하여 선택 가능한 음소, 음절, 단어 및 초분절음 중 적어도 하나를 포함하는 말소리의 정보를 표시한다. 그 후 사용자에 의하여 입력부(310)를 통해 어느 말소리 정보가 선택된다(S310).
언어 학습 장치(300)의 CPU 등의 도시하지 않은 제어수단은 사용자에 의하여 입력부(310)를 통해 입력된 신호에 따라, 말소리를 발음하는 것과 관련된 근육의 위치 및 사용 방식에 따른 근육의 움직임을 표시하고, 해당 근육을 이용하여 발음하는 말소리를 들려줄 수 있다(S320). 구체적인 방식은 도 12의 단계 S120과 동일하다.
사용자가 선택한 말소리를 발음하면, 언어 학습 장치(300)는 사용자의 발음을 인식할 수 있다. 이 때, 사용자의 발음에 대한 인식은 전술한 음성 인식부(350)에서 수행될 수 있다. 즉, 사용자가 선택한 말소리를 직접 발음하면, 사용자가 말소리를 발음하는 것에 의한 음파 정보를 이용하여, 사용자가 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식을 인식할 수 있다(S330). 구체적인 방식은 도 13의 단계 S220과 동일하다.
언어 학습 장치(300)에서는 인식된 사용자의 발음에 따른 근육의 위치 및 사용 방식이 메모리부에 저장된 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있는지 여부를 판단할 수 있다(S340). 여기서, 소정 범위는 언어 학습 장치에 미리 설정되어 있을 수도 있고, 사용자가 임의로 설정할 수도 있다.
이 때, 사용자의 발음에 따른 근육의 위치 및 사용 방식이 메모리부에 저장된 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있는 것으로 판단된 경우(YES), 단계 S350으로 진행하여, 반복 학습을 통해 근육 기억을 강화할 수 있다. 예를 들면, 반복 학습은 도 14의 단계 S320 또는 단계 S330으로 다시 진행하는 것에 의해 수행될 수 있다. 또한, 반복 학습 이후에는 전술한 바와 같이, 자음 또는 모음이 상이하지만 유사하게 발음되는 단어를 사용자가 구분할 수 있는지를 평가하는 단계(미도시)를 추가적으로 포함할 수도 있다.
한편, 사용자의 발음에 따른 근육의 위치 및 사용 방식이 메모리부에 저장된 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있지 않는 것으로 판단된 경우(NO), 단계 S360으로 진행하여, 예를 들면, 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식을 근육의 형태나 색, 도형의 변화, 또는 손동작 표현으로 표시하도록 함으로써 사용자에게 보충 학습을 제공할 수 있다.
또한, 전술한 바와 같이, 말소리를 발음하기 위해 힘을 주는 근육은 성대 또는 조음자를 움직이게 하는 주동근을 포함할 수 있으며, 성대 또는 조음자를 움직이게 하는 주동근은 발성 근육, 조음 근육, 대기 근육, 개재 근육, 성조 근육 또는 음높이 조절 근육 중 적어도 하나로서 사용될 수도 있다. 한편, 발성 근육은 하나 또는 두 개의 발성 근육을 등척성 발성 근육, 신장성 발성 근육, 단축성 발성 근육 중 어느 하나의 방식으로 사용하거나, 두 개의 발성 근육을 각기 다른 방식으로 동시에 또는 연이어 사용하는 방식으로 사용하며, 조음 근육은 신장성 조음 근육 또는 단축성 조음 근육으로 사용할 수 있다.
도 15는 언어 학습용 서버와 본 발명의 일 실시예에 따른 언어 학습용 애플리케이션을 포함하는 사용자 단말이 네트워크를 통해 연결된 것을 나타내는 도면이다.
여기서, 언어 학습용 서버(300)는 본 발명의 일 실시예에 따른 언어 학습 장치의 기능 중 적어도 일부를 가질 수 있으며, 이에 한정되는 것은 아니고 사용자 단말(500)이 본 발명의 일 실시예에 따른 언어 학습 장치의 기능 중 적어도 일부를 포함하도록 할 수도 있다. 또한, 사용자 단말(500)은, 예를 들면, 스마트폰, 태블릿 등의 모바일 단말을 포함할 수 있으며, 이에 한정되는 것은 아니고 PC 등의 장치도 포함할 수 있다. 사용자가 사용자 단말(500)을 통해, 학습하고자 하는 말소리(예를 들면, 음소, 음절, 단어, 초분절음 등)를 선택하면, 선택한 말소리 정보가 네트워크(400)를 통해 언어 학습용 서버(300)로 전송될 수 있다.
이 때, 언어 학습용 서버(300)는 사용자가 선택한 말소리에 대하여, 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 따른 근육의 움직임을 표시하고, 근육을 이용하여 발음하는 말소리에 관한 음성 정보를 네트워크(400)를 통해 사용자 단말(500)로 전송할 수 있다.
언어 학습용 서버(300)는 사용자 단말(500)의 음성 인식기를 통해 인식된 사용자의 발음에 따른 음파 정보를 이용하여, 사용자가 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식에 대한 정보를 네트워크(400)를 통해 사용자 단말(500)로 전송하여 사용자에게 디스플레이부 상에 표시하도록 할 수 있다. 여기서는, 사용자 단말(500)에서 인식된 음파 정보를 언어 학습용 서버(300)에 전송하여 사용자가 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식을 인식하도록 하였으나, 이에 한정되는 것은 아니며, 사용자 단말(500)에서 음파 정보를 이용하여 사용자가 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식을 인식하고, 그 인식 결과를 네트워크(400)를 통해 언어 학습용 서버(300)에 전송하는 것도 가능하다.
또한, 언어 학습용 서버(300)는 사용자가 발음한 것에 의한 음파 정보를 이용하여, 사용자가 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식을 인식한 후 인식한 근육의 위치 및 사용 방식이 메모리부에 저장된 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있는지 여부를 판단할 수 있다. 이 때, 소정 범위 내에 있다고 판단된 경우에는 반복 학습을 통해 근육 기억을 강화할 수 있고, 소정 범위 내에 있지 않는 것으로 판단된 경우에는 사용자에게 보충 학습(예를 들면, 말소리를 발음하기 위해 사용되는 근육의 위치 및 사용 방식을 근육의 형태나, 색, 도형의 변화, 또는 손동작 표현으로 표시)을 제공할 수도 있다.
도 16은 본 발명의 일 실시예에 따른 언어 학습용 애플리케이션을 포함하는 사용자 단말의 하드웨어 구성을 나타내는 도면이다.
도 16을 참조하면, 사용자 단말(500)은 CPU(510), 메모리(520), 디스플레이부(530), I/F부(540) 및 통신 모듈(550)을 포함할 수 있다.
CPU(510)는 사용자 단말(500)에 저장된 언어 학습용 애플리케이션을 실행하는 기능을 하며, 메모리(520)에는 언어 학습용 애플리케이션, 사용자의 발음에 따른 음파 정보, 서버로부터 수신된 사용자의 발음에 대한 근육의 위치 및 사용 방식에 관한 정보 등이 저장될 수 있다.
디스플레이부(530)는 서버로부터 수신된 사용자가 선택한 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보, 인식된 사용자의 발음에 따른 근육의 위치 및 사용 방식에 정보, 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 대한 근육의 형태나 색, 도형의 변화, 또는 손동작 표현 등을 유저에게 근육의 움직임으로 표시하거나 근육의 형태나 색, 도형의 변화 또는 손동작 표현 등으로 표시할 수 있다. 이를 위하여, CPU(510)는 언어 학습용 애플리케이션을 실행함으로써, GUI 등을 디스플레이부(530)에 표시하도록 할 수 있으며, 사용자는 GUI를 통하여 원하는 지시를 입력할 수 있다.
I/F부(540)는 사용자로부터의 입력과 사용자 단말(500)의 출력 신호에 대한 인터페이스 기능을 수행할 수 있다. 예를 들어, I/F부(540)는 터치 패널 등의 입력 장치일 수도 있으며, 디스플레이부(530) 상에 표시된 GUI 등에 기초하여 사용자가 수행하는 지시(예를 들면, 학습하고자 하는 말소리 정보를 선택하는 지시)가 I/F부(540)를 통하여 입력될 수 있을 것이다.
또한, 통신 모듈(550)은 네트워크(400)를 통해 언어 학습용 서버(300)와 연결되어, 사용자가 선택한 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보, 인식된 사용자의 발음에 따른 근육의 위치 및 사용 방식에 관한 정보, 말소리를 발음하기 위해 사용되는 근육의 위치 및 사용 방식에 대한 근육의 형태나, 색, 도형의 변화, 또는 손동작 표현 등의 각종 정보의 통신을 수행할 수 있다.
도 17은 언어 학습용 서버와 본 발명의 일 실시예에 따른 언어 학습용 애플리케이션을 포함하는 사용자 단말이 통신하여 언어 학습을 수행하는 동작을 나타내는 도면이다.
도 17을 참조하면, 본 발명의 일 실시예에 따른 언어 학습용 애플리케이션은 말소리의 음성 정보와 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 저장하는 서버와 통신하는 사용자 단말에 저장된 언어 학습용 애플리케이션일 수 있다.
먼저, 사용자는 사용자 단말(500)을 통해 음소, 음절, 단어 및 초분절음 중 적어도 하나를 포함하는 말소리의 정보를 사용자가 선택한다(S11). 그 다음, 사용자 단말(500)은 네트워크(400)를 통해 사용자가 선택한 말소리 정보를 언어 학습용 서버(300)로 송신한다(S12).
언어 학습용 서버(300)에서는 사용자가 선택한 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보와 해당 근육을 통해 발음하는 음성 데이터를 사용자 단말(500)로 전송한다(S13).
사용자 단말(500)은 서버로부터 수신한 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 정보를 디스플레이부 상에 근육의 움직임 형태로 표시하고, 해당 근육을 이용하여 발음하는 말소리(음성 정보)를 스피커를 통해 사용자에게 들려준다(S14).
이를 통해, 사용자는 자신이 선택한 말소리를 발음하기 위해 어느 근육을 어떠한 방식으로 움직여야 하는지를 직접 보고 판단할 수 있다.
도 18은 언어 학습용 서버와 본 발명의 다른 실시예에 따른 언어 학습용 애플리케이션을 포함하는 사용자 단말이 통신하여 언어 학습을 수행하는 동작을 나타내는 도면이다.
도 18을 참조하면, 본 발명의 일 실시예에 따른 언어 학습용 애플리케이션은 말소리의 음성 정보와 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 저장하는 서버와 통신하는 사용자 단말에 저장된 언어 학습용 애플리케이션일 수 있다.
먼저, 사용자는 사용자 단말(500)을 통해 음소, 음절, 단어 및 초분절음 중 적어도 하나를 포함하는 말소리의 정보를 사용자가 선택한다(S21).
다음으로, 사용자가 선택한 말소리를 발음하면, 사용자 단말(500)은 사용자의 발음에 따른 음파를 인식한다(S22). 이 때, 사용자 단말(500)은 사용자의 발음에 따른 음파를 인식하기 위한 마이크(미도시) 등을 추가로 포함할 수 있다.
사용자 단말(500)은 인식된 사용자의 말소리의 발음에 관한 음파 정보를 언어 학습용 서버(300)로 전송한다(S23).
언어 학습용 서버(300)는 인식된 사용자의 발음에 관한 음파 정보에 기초하여, 사용자의 발음에 따른 근육의 위치 및 사용 방식을 인식한다(S24). 즉, 사용자가 말소리를 발음하는 것에 의한 음파 정보를 이용하여, 사용자가 어느 근육을 어떠한 방식으로 사용하여 발음하였는지를 판단한다.
언어 학습용 서버(300)는 결정된 사용자의 발음에 따른 근육의 위치 및 사용 방식에 관한 정보를 사용자 단말(500)로 전송한다(S25). 다음으로, 사용자 단말(500)에서는 언어 학습용 서버(300)로부터 수신한 근육의 위치 및 사용 방식에 관한 정보를 근육의 움직임 형태로 디스플레이 상에 표시한다(S26).
이를 통해, 사용자는 자신이 선택한 말소리를 발음하기 위해 어느 근육을 어떠한 방식으로 사용하여 발음하였는지를 보고 직접 판단할 수 있으며, 원래 해당 말소리를 발음하기 위해 사용해야 하는 근육의 위치 및 사용 방식과 비교해볼 수 있다.
도 19는 언어 학습용 서버와 본 발명의 또 다른 실시예에 따른 언어 학습용 애플리케이션을 포함하는 사용자 단말이 통신하여 언어 학습을 수행하는 동작을 나타내는 도면이다.
도 19를 참조하면, 본 발명의 일 실시예에 따른 언어 학습용 애플리케이션은 말소리의 음성 정보와 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 저장하는 서버와 통신하는 사용자 단말에 저장된 언어 학습용 애플리케이션일 수 있다.
먼저, 사용자는 사용자 단말(500)을 통해 음소, 음절, 단어 및 초분절음 중 적어도 하나를 포함하는 말소리의 정보를 사용자가 선택한다(S31). 그 다음, 사용자 단말(500)은 네트워크(400)를 통해 사용자가 선택한 말소리 정보를 언어 학습용 서버(300)로 송신한다(S32).
언어 학습용 서버(300)에서는 사용자가 선택한 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보와 해당 근육을 통해 발음하는 음성 데이터를 사용자 단말(500)로 전송한다(S33).
또한, 사용자 단말(500)은 서버로부터 수신한 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 근육의 움직임 형태로 디스플레이부 상에 표시하고, 해당 근육을 이용하여 발음하는 말소리를 스피커를 통해 사용자에게 들려준다(S34).
다음으로, 사용자가 선택한 말소리를 발음하면, 사용자 단말(500)은 사용자의 발음에 따른 음파를 인식한다(S35). 이 때, 사용자 단말(500)은 사용자의 발음에 따른 음파를 인식하기 위한 마이크(미도시)를 추가로 포함할 수 있다. 그리고 사용자 단말(500)은 인식된 사용자의 말소리의 발음에 관한 음파 정보를 언어 학습용 서버(300)로 전송한다(S36).
언어 학습용 서버(300)는 사용자가 말소리를 발음하는 것에 의한 음파 정보를 이용하여, 사용자가 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식을 인식하며, 인식된 사용자의 발음에 따른 근육의 위치 및 사용 방식이 서버(300)에 저장된 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있는지 여부를 판단한다(S37). 이 때, 소정 범위는 서버(300)에 자체적으로 설정되어 있을 수 있으며, 사용자가 사용자 단말(500) 상의 언어 학습용 애플리케이션을 통해 직접 설정하도록 구성될 수도 있다.
단계 S37에서, 사용자의 발음에 따른 근육의 위치 및 사용 방식이 서버(300)에 저장된 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있는 것으로 판단된 경우(YES), 반복 학습을 제공하여 근육 기억을 강화한다. 즉, 단계 S34로 돌아가 사용자로 하여금 해당 말소리를 반복적으로 발음하고, 언어 학습용 서버(300)로부터 피드백을 제공받을 수 있도록 할 수 있다(S38).
단계 S37에서, 사용자의 발음에 따른 근육의 위치 및 사용 방식이 서버에 저장된 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있지 않는 것으로 판단된 경우(NO), 언어 학습용 서버(300)는 사용자 단말로 보충 학습을 제공할 수 있다(S39). 예를 들면, 보충 학습은 해당 말소리를 발음하기 위해 사용되는 근육의 위치 및 사용 방식을 근육의 형태나 색, 도형의 변화, 또는 손동작 표현으로 표시하도록 할 수 있다(S40).
도 17 내지 도 19에서는 복수의 사용자 단말(500)에 의하여 사용자가 원하는 말소리 정보를 선택하면 관련 데이터를 서버(300)로 전송하고, 서버(300)로부터 데이터를 수신하는 실시예로 기재하였으나, 본 발명이 이에 한정되는 것은 아니다. 예를 들면, 다른 실시예에서는 복수의 사용자 단말(500)이 각각 서버(300)로부터 언어 학습용 애플리케이션을 직접 다운로드 받아서 메모리(520)에 저장하고, 그 후에는 서버(300)와의 별도의 통신 없이도 사용자 단말(500)에 저장된 애플리케이션을 통해 자체적으로 언어 학습에 대한 동작이 이루어지도록 구성될 수도 있을 것이다. 이 때, 언어 학습용 애플리케이션은 사용자 단말(500) 상에서 도 12 내지 도 14에 나타낸 단계들을 직접 실행함으로써 상기 동작을 수행할 수 있을 것이다.
이와 같이, 본 발명의 일 실시예에 따른 언어 학습 장치에 의하면, 근육 기억을 이용하여 모음 및 자음의 각 음소, 음절, 단어 및 발음의 강세, 성조, 음높이 조절 등의 초분절음을 정확하게 구분하여 발음하고 인식함으로써, 언어 학습 효과를 향상시킬 수 있다. 또한, 말소리를 들을 수 없어 언어를 배우지 못한 사람에게도 발음 기관의 움직임을 야기하는 근육의 위치 및 사용 방식에 따른 근육의 움직임 등을 직접 눈으로 보면서 학습하도록 함으로써 언어를 배울 수 있는 기회를 제공하는 효과를 달성할 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (30)

  1. 음소, 음절, 단어 및 초분절음 중 적어도 하나를 포함하는 말소리의 정보를 사용자가 선택하는 입력부;
    상기 입력부에서 선택된 상기 말소리의 음성 정보와 상기 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 저장하는 메모리부;
    상기 말소리를 발음하기 위해 힘을 주는 상기 근육의 위치 및 사용 방식에 따른 근육의 움직임을 표시하는 디스플레이부; 및
    상기 근육에 힘을 주어 발음하는 상기 말소리를 상기 사용자에게 들려주는 스피커를 포함하는 언어 학습 장치.
  2. 청구항 1에 있어서,
    상기 디스플레이부는 상기 말소리를 발음하기 위해 힘을 주는 상기 근육의 위치 및 사용 방식에 따른 근육의 움직임을 근육의 형태나 색, 도형의 변화, 또는 손동작 표현 중 적어도 어느 하나로 표시하는 언어 학습 장치.
  3. 청구항 1에 있어서,
    상기 디스플레이부는 상기 사용자가 상기 음소를 이어서 발음하는 경우에 순차 발음 또는 중첩 발음으로 구분하여 상기 말소리를 발음하기 위해 힘을 주는 상기 근육의 위치 및 사용 방식에 따른 근육의 움직임을 표시하는 언어 학습 장치.
  4. 음소, 음절, 단어 및 초분절음 중 적어도 하나를 포함하는 말소리의 정보를 사용자가 선택하는 입력부;
    상기 입력부에서 선택된 상기 말소리의 정보와 상기 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 저장하는 메모리부;
    상기 사용자가 상기 말소리를 발음하는 것에 의한 음파 정보를 이용하여, 상기 사용자가 상기 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식을 인식하는 음성 인식부; 및
    상기 음성 인식부에서 인식된 상기 근육의 위치 및 사용 방식에 따른 근육의 움직임을 상기 사용자에게 표시하는 디스플레이부를 포함하는 언어 학습 장치.
  5. 청구항 4에 있어서,
    상기 음성 인식부는 상기 말소리의 정보와, 상기 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식의 조합에 관한 정보를 대응시킨 테이블을 포함하며,
    상기 음성 인식부는 인식된 상기 근육의 위치 및 사용 방식과 상기 테이블을 이용하여, 상기 사용자가 발음한 상기 말소리의 정보를 판단하는 언어 학습 장치.
  6. 청구항 4에 있어서,
    상기 음성 인식부는 상기 사용자가 상기 음소를 이어서 발음하는 경우에 순차 발음 또는 중첩 발음으로 구분하여 인식하며,
    상기 디스플레이부는 상기 사용자가 상기 음소를 이어서 발음하는 경우에 순차 발음 또는 중첩 발음으로 구분하여 상기 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식에 따른 움직임을 표시하는 언어 학습 장치.
  7. 청구항 4에 있어서,
    상기 음성 인식부는,
    상기 사용자의 발음에 사용되는 상기 말소리를 발음하기 위해 힘을 주는 상기 근육의 위치 및 사용 방식을 통해 음소를 인식하는 음소 인식기;
    상기 사용자가 발음하는 자음 또는 모음을 각각 음절 머리(onset), 음절 핵(nucleus) 및 음절 꼬리(coda)로 구분함으로써 음절을 인식하는 음절 인식기; 및
    상기 인식된 음절 간의 연결 상태와 문법적 요소에 기초하여 단어를 인식하는 단어 인식기를 포함하는 언어 학습 장치.
  8. 청구항 4에 있어서,
    상기 근육에 힘을 주어 발음하는 상기 말소리를 들려주는 스피커;
    상기 음성 인식부에서 인식된 상기 사용자의 발음에 따른 상기 근육의 위치 및 사용 방식이 상기 메모리부에 저장된 상기 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있는지 여부를 판단하는 평가부; 및
    상기 평가부에서 상기 사용자의 발음에 따른 상기 근육의 위치 및 사용 방식이 상기 메모리부에 저장된 상기 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있는 것으로 판단된 경우, 반복 학습을 통해 근육 기억을 강화하는 학습부를 더 포함하며,
    상기 디스플레이부는 상기 스피커를 통해 들려주는 말소리를 발음하기 위해 힘을 주는 상기 근육의 위치 및 사용 방식에 따른 근육의 움직임을 표시하는 언어 학습 장치.
  9. 청구항 8에 있어서,
    상기 평가부에서 상기 사용자의 발음에 따른 상기 근육의 위치 및 사용 방식이 상기 메모리부에 저장된 상기 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있지 않는 것으로 판단된 경우, 상기 학습부는 상기 디스플레이부 상에 상기 말소리를 발음하기 위해 힘을 주는 상기 근육의 위치 및 사용 방식에 따른 근육의 움직임을 근육의 형태나 색, 도형의 변화, 또는 손동작 표현 중 적어도 어느 하나로 표시하도록 하여 상기 사용자에게 보충 학습을 제공하는 언어 학습 장치.
  10. 청구항 8에 있어서,
    상기 평가부에서 상기 사용자의 발음에 따른 상기 근육의 위치 및 사용 방식이 상기 메모리부에 저장된 상기 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있는 것으로 판단된 경우, 상기 학습부는 자음 또는 모음이 상이하지만 유사하게 발음되는 단어를 상기 사용자가 구분할 수 있는지를 평가하기 위한 말소리 인식 평가를 추가로 실시하는 언어 학습 장치.
  11. 청구항 1, 청구항 4 또는 청구항 8에 있어서,
    상기 말소리를 발음하기 위해 힘을 주는 근육은 성대 또는 조음자를 움직이게 하는 주동근을 포함하며,
    상기 디스플레이부는 상기 성대 또는 상기 조음자의 움직임과, 상기 주동근의 움직임을 표시하는 언어 학습 장치.
  12. 청구항 11에 있어서,
    상기 말소리를 발음하기 위해 상기 성대 또는 상기 조음자를 움직이게 하는 상기 주동근은 발성 근육, 조음 근육, 대기 근육, 개재 근육, 성조 근육, 강세 근육 및 음높이 조절 근육 중 적어도 하나로서 사용되는 언어 학습 장치.
  13. 청구항 12에 있어서,
    상기 말소리가 모음인 경우,
    상기 메모리부는, 상기 모음을 발음하기 위해 힘을 주는 근육으로서, 성대의 간격이 좁아지게 하는 근육들과 성대의 길이를 조절하는 근육들의 위치 및 사용 방식에 관한 정보를 저장하고,
    상기 디스플레이부는, 상기 성대의 간격을 좁아지게 하는 근육들과 상기 성대의 길이를 조절하는 근육들의 위치 및 사용 방식에 따른 근육의 움직임을 표시하는 언어 학습 장치.
  14. 청구항 12에 있어서,
    상기 말소리가 자음인 경우,
    상기 메모리부는, 상기 자음을 발음하기 위해 힘을 주는 근육으로서, 입술 주위의 근육, 혀 내부 근육, 혀와 연결된 근육 및 목뿔뼈와 연결된 근육을 상기 발성 근육으로 사용하고, 빗모뿔근, 뒤반지모뿔근 및 입천장인두근을 상기 조음 근육으로 사용하는 방식에 관한 정보를 저장하고,
    상기 디스플레이부는, 상기 입술 주위의 근육, 상기 혀 내부 근육, 상기 혀와 연결된 근육 및 상기 목뿔뼈와 연결된 근육을 상기 발성 근육으로 사용하고, 상기 빗모뿔근, 상기 뒤반지모뿔근 및 상기 입천장인두근을 상기 조음 근육으로 사용하는 방식에 따른 근육의 움직임을 표시하는 언어 학습 장치.
  15. 청구항 12에 있어서,
    상기 성조 근육으로 사용하는 경우,
    상기 메모리부는, 상기 성조 근육의 사용 방식으로서, 한 음절을 발음하는 동안 i) 성대근이 신장성 수축을 한 상태를 유지하거나, ii) 성대근이 이완된 상태에서 신장성 수축을 하도록 힘을 주거나, iii) 성대근이 이완된 상태에서 단축성 수축을 하도록 힘을 주는 즉시 다시 신장성 수축을 하도록 힘을 주거나, iv) 성대근이 신장성 수축을 한 상태에서 단축성 수축을 하도록 힘을 주거나, v) 성대근이 이완된 상태를 유지하거나, vi) 성대근이 단축성 수축을 한 상태를 유지함으로써, 그 소리의 음높이를 유지하거나, 음높이가 달라지도록 하는 사용 방식에 관한 정보 중 적어도 일부를 저장하고,
    상기 디스플레이부는, 상기 성조 근육의 사용 방식에 따른 근육의 움직임을 표시하는 언어 학습 장치.
  16. 청구항 12에 있어서,
    상기 음높이 조절 근육으로 사용하는 경우,
    상기 메모리부는, 상기 음높이 조절 근육의 사용 방식으로서, 반지방패근과 방패인두근이 이완된 상태에서 i) 성대근이 짧아지게 힘을 준 상태, ii) 성대근이 이완된 상태, iii) 성대근이 길어지게 힘을 준 상태, 반지방패근과 방패인두근 모두 짧아지게 힘을 준 상태에서 iv) 성대근이 짧아지게 힘을 준 상태, 반지방패근이 짧아지게 힘을 주면서 방패인두근이 이완된 상태에서 v) 성대근이 짧아지게 힘을 준 상태, vi) 성대근이 이완된 상태, vii) 성대근이 길어지게 힘을 준 상태 순으로 점점 소리가 높아지도록 음높이를 조절하는 사용 방식에 관한 정보 중 적어도 일부를 저장하고,
    상기 디스플레이부는, 상기 음높이 조절 근육의 사용 방식에 따른 근육의 움직임을 표시하는 언어 학습 장치.
  17. 청구항 12에 있어서,
    상기 강세 근육으로 사용하는 경우,
    상기 메모리부는, 상기 말소리에 강세를 주어 발음하기 위해, 목뿔뼈가 고정된 상태에서 방패목뿔근이 짧아지게 힘을 주거나, 상기 목뿔뼈가 고정되지 않은 상태에서 턱두힘살근의 앞힘살이 짧아지게 힘을 준 상태에서 상기 말소리를 발음하는 강세 근육의 사용 방식에 관한 정보를 저장하고,
    상기 디스플레이부는, 상기 강세 근육의 사용 방식에 따른 근육의 움직임을 표시하는 언어 학습 장치.
  18. 청구항 12에 있어서,
    상기 발성 근육으로 사용하는 경우,
    상기 메모리부는, 하나 또는 두 개의 발성 근육을 등척성 발성 근육으로 사용하는 방식, 신장성 발성 근육으로 사용하는 방식, 단축성 발성 근육으로 사용하는 방식 중 어느 하나의 방식으로 사용하거나, 두 개의 발성 근육을 서로 다른 방식으로 동시에 또는 연이어 사용하는 방식에 관한 정보를 저장하고,
    상기 디스플레이부는, 상기 발성 근육의 사용 방식에 따른 근육의 움직임을 표시하는 언어 학습 장치.
  19. 청구항 12에 있어서,
    상기 조음 근육으로 사용하는 경우,
    상기 메모리부는, 신장성 조음 근육 또는 단축성 조음 근육으로 사용하는 방식에 관한 정보를 저장하고,
    상기 디스플레이부는, 상기 조음 근육의 사용 방식에 따른 근육의 움직임을 표시하는 언어 학습 장치.
  20. 청구항 12에 있어서,
    상기 대기 근육으로 사용하는 경우,
    상기 메모리부는, 두 음소를 순차 발음으로 이어 발음할 때 앞 음소를 발음하기 전에 수축하여 앞 음소를 발음하는 동안 수축된 상태를 유지하는, 뒤 음소를 발음하기 위한 조음 근육 및 발성 근육에 관한 정보를 저장하고,
    상기 디스플레이부는, 상기 대기 근육의 사용 방식에 따른 근육의 움직임을 표시하는 언어 학습 장치.
  21. 청구항 12에 있어서,
    상기 개재 근육으로 사용하는 경우,
    상기 메모리부는, 두 음소를 중첩 발음으로 이어 발음할 때 앞 음소를 발음하는 도중에 수축하는, 뒤 음소를 발음하기 위한 조음 근육 및 발성 근육에 관한 정보를 저장하고,
    상기 디스플레이부는, 상기 개재 근육의 사용 방식에 따른 근육의 움직임을 표시하는 언어 학습 장치.
  22. 말소리의 정보와 상기 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 저장하는 메모리부;
    사용자가 말소리를 발음하는 것에 의한 음파 정보를 이용하여, 상기 사용자가 상기 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식을 인식하는 음성 인식부; 및
    상기 음성 인식부에서 인식된 상기 근육의 위치 및 사용 방식에 따른 근육의 움직임을 기준으로 상기 사용자가 어떤 말소리를 발음하였는지를 상기 사용자에게 표시하는 디스플레이부를 포함하는 음성 인식기.
  23. 음소, 음절, 단어 및 초분절음 중 적어도 하나를 포함하는 말소리의 음성 정보와 상기 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 저장하는 메모리부를 포함하는 장치를 이용한 언어 학습 방법으로서,
    사용자가 상기 말소리의 정보를 선택하는 단계; 및
    상기 사용자가 선택한 상기 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 따른 근육의 움직임을 표시하고, 상기 근육에 힘을 주어 발음하는 상기 말소리를 들려주는 단계를 포함하는 언어 학습 방법.
  24. 음소, 음절, 단어 및 초분절음 중 적어도 하나를 포함하는 말소리의 정보와 상기 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 저장하는 메모리부를 포함하는 장치를 이용한 언어 학습 방법으로서,
    사용자가 상기 말소리의 정보를 선택하는 단계;
    상기 사용자가 상기 말소리를 발음하는 것에 의한 음파 정보를 이용하여, 상기 사용자가 상기 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식을 인식하는 단계; 및
    상기 인식된 상기 근육의 위치 및 사용 방식에 따른 근육의 움직임을 상기 사용자에게 표시하는 단계를 포함하는 언어 학습 방법.
  25. 음소, 음절, 단어 및 초분절음 중 적어도 하나를 포함하는 말소리의 음성 정보와 상기 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 관한 정보를 저장하는 메모리부를 포함하는 장치를 이용한 언어 학습 방법으로서,
    사용자가 상기 말소리의 정보를 선택하는 단계;
    상기 말소리를 발음하기 위해 힘을 주는 근육의 위치 및 사용 방식에 따른 근육의 움직임을 표시하고, 상기 근육에 힘을 주어 발음하는 말소리를 들려주는 단계;
    상기 사용자가 상기 말소리를 발음하는 것에 의한 음파 정보를 이용하여, 상기 사용자가 상기 말소리를 발음하기 위해 힘을 준 근육의 위치 및 사용 방식을 인식하는 단계;
    인식된 상기 근육의 위치 및 사용 방식이 상기 메모리부에 저장된 상기 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있는지 여부를 판단하는 단계; 및
    상기 사용자의 발음에 따른 상기 근육의 위치 및 사용 방식이 상기 메모리부에 저장된 상기 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있는 것으로 판단된 경우, 반복 학습을 통해 근육 기억을 강화하는 단계를 포함하는 언어 학습 방법.
  26. 청구항 25에 있어서,
    상기 사용자의 발음에 따른 상기 근육의 위치 및 사용 방식이 상기 메모리부에 저장된 상기 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있지 않는 것으로 판단된 경우, 상기 말소리를 발음하기 위해 힘을 주는 상기 근육의 위치 및 사용 방식에 따른 근육의 움직임을 근육의 형태나 색, 도형의 변화, 또는 손동작 표현 중 적어도 어느 하나로 표시하도록 하여 상기 사용자에게 보충 학습을 제공하는 단계를 더 포함하는 언어 학습 방법.
  27. 청구항 25에 있어서,
    상기 사용자의 발음에 따른 상기 근육의 위치 및 사용 방식이 상기 메모리부에 저장된 상기 근육의 위치 및 사용 방식에 대해 소정 범위 내에 있는 것으로 판단된 경우, 자음 또는 모음이 상이하지만 유사하게 발음되는 단어를 상기 사용자가 구분할 수 있는지를 평가하는 단계를 더 포함하는 언어 학습 방법.
  28. 청구항 23 내지 청구항 25 중 어느 한 항에 있어서,
    상기 말소리를 발음하기 위해 힘을 주는 근육은 성대 또는 조음자를 움직이게 하는 주동근을 포함하며,
    상기 근육의 움직임을 상기 사용자에게 표시하는 단계는 상기 성대 또는 상기 조음자의 움직임과, 상기 주동근의 움직임을 함께 표시하는 언어 학습 방법.
  29. 청구항 28에 있어서,
    상기 성대 또는 상기 조음자를 움직이게 하는 상기 주동근은 발성 근육, 조음 근육, 대기 근육, 개재 근육, 성조 근육, 강세 근육 및 음높이 조절 근육 중 적어도 하나로서 사용되는 언어 학습 방법.
  30. 청구항 29에 있어서,
    상기 발성 근육은, 하나 또는 두 개의 발성 근육을 등척성 발성 근육, 신장성 발성 근육, 단축성 발성 근육 중 어느 하나의 방식으로 사용하거나, 두 개의 발성 근육을 각기 다른 방식으로 동시에 또는 연이어 사용하는 방식으로 사용하며,
    상기 조음 근육은, 신장성 조음 근육 또는 단축성 조음 근육으로 사용하는 언어 학습 방법.
PCT/KR2019/007157 2018-06-20 2019-06-13 근육 기억을 이용한 언어 학습 장치 및 언어 학습 방법 WO2019245232A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180071108A KR102077735B1 (ko) 2018-06-20 2018-06-20 근육 기억을 이용한 언어 학습 장치 및 언어 학습 방법
KR10-2018-0071108 2018-06-20

Publications (1)

Publication Number Publication Date
WO2019245232A1 true WO2019245232A1 (ko) 2019-12-26

Family

ID=68983008

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/007157 WO2019245232A1 (ko) 2018-06-20 2019-06-13 근육 기억을 이용한 언어 학습 장치 및 언어 학습 방법

Country Status (2)

Country Link
KR (1) KR102077735B1 (ko)
WO (1) WO2019245232A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102434912B1 (ko) * 2022-01-24 2022-08-23 주식회사 하이 신경언어장애를 개선하는 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250402A (ja) * 1999-03-01 2000-09-14 Kono Biru Kk 外国語の発音学習装置及び外国語発音学習用データを記録した記録媒体
JP2003255994A (ja) * 2002-02-28 2003-09-10 Ntt Docomo Inc 音声認識装置及び音声認識方法
KR200347142Y1 (ko) * 2004-01-07 2004-04-08 최영미 휴대용 발음 훈련기
KR20120097906A (ko) * 2011-02-25 2012-09-05 이성엽 유사한 발음 청취 훈련법 및 장치
KR20150075502A (ko) * 2013-12-26 2015-07-06 강진호 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법
KR20170059665A (ko) * 2015-11-23 2017-05-31 주식회사 엠글리쉬 외국어 리듬 동작 감지 센서 기반의 운동 학습 장치, 그리고 이를 이용한 운동 학습 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150024295A (ko) * 2014-10-28 2015-03-06 주식회사 셀리이노베이션스 발음 교정 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250402A (ja) * 1999-03-01 2000-09-14 Kono Biru Kk 外国語の発音学習装置及び外国語発音学習用データを記録した記録媒体
JP2003255994A (ja) * 2002-02-28 2003-09-10 Ntt Docomo Inc 音声認識装置及び音声認識方法
KR200347142Y1 (ko) * 2004-01-07 2004-04-08 최영미 휴대용 발음 훈련기
KR20120097906A (ko) * 2011-02-25 2012-09-05 이성엽 유사한 발음 청취 훈련법 및 장치
KR20150075502A (ko) * 2013-12-26 2015-07-06 강진호 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법
KR20170059665A (ko) * 2015-11-23 2017-05-31 주식회사 엠글리쉬 외국어 리듬 동작 감지 센서 기반의 운동 학습 장치, 그리고 이를 이용한 운동 학습 방법

Also Published As

Publication number Publication date
KR20190143319A (ko) 2019-12-30
KR102077735B1 (ko) 2020-02-17

Similar Documents

Publication Publication Date Title
WO2020190050A1 (ko) 음성 합성 장치 및 그 방법
US10490181B2 (en) Technology for responding to remarks using speech synthesis
WO2015099464A1 (ko) 3차원 멀티미디어 활용 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법
WO2020189850A1 (en) Electronic device and method of controlling speech recognition by electronic device
WO2020145439A1 (ko) 감정 정보 기반의 음성 합성 방법 및 장치
WO2019139430A1 (ko) 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체
WO2020231181A1 (en) Method and device for providing voice recognition service
WO2020027619A1 (ko) 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체
US9747892B1 (en) Method and apparatus for electronically sythesizing acoustic waveforms representing a series of words based on syllable-defining beats
WO2022260432A1 (ko) 자연어로 표현된 스타일 태그를 이용한 합성 음성 생성 방법 및 시스템
CN108520650A (zh) 一种智能语言训练系统和方法
JPH04501617A (ja) 言語練習
JP4687936B2 (ja) 音声出力装置および音声出力方法、並びにプログラムおよび記録媒体
WO2020027394A1 (ko) 음소 단위 발음 정확성 평가 장치 및 평가 방법
WO2017082447A1 (ko) 외국어 독음 및 표시장치와 그 방법, 및 이를 이용한 외국어 리듬 동작 감지 센서 기반의 운동학습장치와 운동학습방법, 이를 기록한 전자매체 및 학습교재
WO2019245232A1 (ko) 근육 기억을 이용한 언어 학습 장치 및 언어 학습 방법
WO2022080774A1 (ko) 말 장애 평가 장치, 방법 및 프로그램
WO2019054618A1 (ko) 섀도윙과 속청을 결합시켜 모국어 습득과정을 모사한 외국어 학습 방법, 장치 및 프로그램 기록매체
van Maastricht et al. Do gestures during training facilitate L2 lexical stress acquisition by Dutch learners of Spanish?
CA2433440A1 (en) Tactile communication system
US20220148570A1 (en) Speech interpretation device and system
WO2018190668A1 (ko) 두경부 조음기관의 물리 특성을 이용한 발화 의도 표현 시스템
Nara Acoustic and Electroglottographic Study of Breathy and Modal Vowels as Produced by Heritage and Native Gujarati Speakers.
WO2022102987A1 (ko) 전자 장치 및 그의 제어 방법
WO2022231126A1 (ko) 전자 장치 및 전자 장치의 프로소디 제어를 위한 tts 모델 생성 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19822862

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19822862

Country of ref document: EP

Kind code of ref document: A1