KR20030039019A

KR20030039019A - Medium storing a Computer Program with a Function of Lip-sync and Emotional Expression on 3D Scanned Real Facial Image during Realtime Text to Speech Conversion, and Online Game, Email, Chatting, Broadcasting and Foreign Language Learning Method using the Same

Info

Publication number: KR20030039019A
Application number: KR1020010069819A
Authority: KR
Inventors: 신선혜
Original assignee: 신선혜
Priority date: 2001-11-09
Filing date: 2001-11-09
Publication date: 2003-05-17

Abstract

PURPOSE: A recording medium storing a computer program realizing lip-sync and expression, and a method for an online game, e-mail, chatting and foreign language learning by using the same are provided to realize the lip shape of a speaking shape by detecting a vowel of each character in the text and applying a lip-sync program to the 3D(Dimensional) scanned real face image. CONSTITUTION: The voice data matched with each character is stored in a T2S(Text-to-Speech) database. A formula for modifying a position, a size and an angle of important elements in the image data is stored in an expression database. The formula for modifying a position, a size and an angle of important elements during the lip-sync is stored in a lip-sync database. The 3D image and the sampled voice of a member are stored in a basic database. The text for the voice output and the expression is stored. The text is loaded on a memory(S301) and it is decided whether the first character is a functional character or not(S302). If the character is the functional character, the process is branched to an expression program(S304). If not, a T2S program and the lip-sync program are operated(S310).

Description

Record media storing computer programs for lip syncing and emotion expression by applying voice-sampled voices to 3D scanned real-face images while converting sentence text into speech in real time, and online games, emails, chats, broadcasts, and foreign languages. {Medium storing a Computer Program with a Function of Lip-sync and Emotional Expression on 3D Scanned Real Facial Image during Realtime Text to Speech Conversion, and Online Game, Email, Chatting, Broadcasting and Foreign Language Learning Method using the Same}

본 발명은 문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 립싱크 및 감정표현을 구현하는 컴퓨터 프로그램이 기록된 매체와, 이를 이용한 온라인 게임, 이메일, 채팅, 방송 및 외국어 학습방법에 관한 것으로서, 보다 상세하게는 송신자측에서 미리 저장하거나 실시간으로 타이핑하는 텍스트를 사운드 스피치로 실시간으로 변환하면서 이와 동시에 미리 3D로 스캔하여 저장해 둔 실제 얼굴의 이미지에 상기 스피치시의 입모양을 립싱크할 뿐만 아니라 희노애락 등 감정표현까지 구현함에 의하여 보다 현실감을 더해주는 기능을 가진 온라인 게임, 이메일, 채팅, 방송 및 외국어 학습방법에 관한 것이다.The present invention relates to a medium in which a computer program for implementing lip sync and emotion expression is recorded on a 3D scanned real face image while converting sentence text into speech in real time, and an online game, e-mail, chat, broadcast, and foreign language learning method using the same. More specifically, the sender side not only lip-syncs the mouth of the speech during the image of the actual face that has been scanned and stored in 3D in advance, but also converts text that is stored in advance or typed in real time into sound speech in real time. The present invention relates to an online game, email, chat, broadcast, and foreign language learning method that has a function of adding realism by implementing emotion expressions.

일반적으로 온라인(Online) 게임이란 과거의 스탠드얼론(Stand-alone) 게임과 대비되는 개념으로서, 네트워크를 통하여 상대방과 겨루는 게임을 말한다. 특히 최근에는 인터넷의 발전 및 보급과 함께 이러한 온라인 게임이 많이 서비스되고 있다.In general, an online game is a concept as opposed to a stand-alone game of the past, and refers to a game in which a player competes with an opponent through a network. In particular, with the development and dissemination of the Internet, many of these online games are being serviced.

종래에는 도 1에 도시된 바와 같이 미도시된 게임 메이커에서 게임을 만들어서 공급자에게 보급하면, 상기 공급자(100)는 온라인 또는 오프라인으로 이를 각 지역 총판 서버(110∼113)에게 보급하고, 상기 각 지역 총판(110∼113)은 여러 단계의 도소매 과정을 거쳐서 온라인 또는 오프라인으로 이를 그 지역의 최종 이용자에게 보급한다. 이때 오프라인 판매의 경우에는 인증키가 포함된 씨디(131)를 판매하는 형태가 보통이고, 온라인 판매의 경우에는 인증키를 이메일 등으로 전송하여주는 것이 보통이다.Conventionally, as shown in FIG. 1, when a game maker makes a game and distributes the game to a supplier, the supplier 100 distributes the game online or offline to the local distributor servers 110 to 113, respectively. Distributors 110-113 distribute the product online or offline to end users in the area through several stages of wholesale and retail. In this case, in the case of offline sales, it is common to sell the CD 131 including the authentication key, and in the case of online sales, it is common to transmit the authentication key by e-mail.

또한 상기 최종 이용자는 회원가입을 함으로써 회원이 되는 것이 보통이고, 이러한 회원이 게임을 하기 위해서 가정 또는 피씨방 등의 회원 컴퓨터(130)로 인터넷 등의 네트워크를 이용하여 온라인으로 서버(120)에 접속한 후, 게임 씨디(131) 등의 인증키를 확인받고, 그 후 그 서버(120) 내에서 게임의 상대방을 골라서 실제로 게임을 하도록 되어 있다. 여기서 게임의 상대방은 그 서버에 접속한 다른 회원들이다.In addition, the end user is generally a member by joining a member, and such a member accesses the server 120 online using a network such as the Internet with a member computer 130 such as a home or a PC room to play a game. After that, the authentication key such as the game CD 131 is confirmed, and then, the server 120 selects the opponent of the game to actually play the game. The opponents of the game here are other members who connect to the server.

그런데 여기서 상기 공급자(100)나 각 지역 총판(110∼113)의 컴퓨터는 상기 각 서버(120)의 인증키 확인과정이나 기타의 관리를 위하여서만 온라인으로 상기 서버(120)들에 접속되어 있을 뿐이고, 실제 회원들이 게임을 함에 있어서는 타지역의 서버, 예컨대 서버(122) 또는 서버(125)에 접속한 회원의 프로파일을 보여주지는 않도록 구성되어 있었다. 따라서 하나의 특정 서버(120)에 접속한 회원은 다른 서버(121∼125)에 접속한 회원을 상대방으로 지정할 수 없었다는 문제점이 있었다.By the way, the computer of the supplier 100 or the regional distributors 110 to 113 are only connected to the servers 120 online only for the authentication key verification process or other management of each server 120. In fact, in the case of the actual members playing the game, it is configured not to show the profile of the member connected to the server of another region, for example, the server 122 or the server 125. Therefore, there is a problem that a member connected to one specific server 120 could not designate a member connected to another server 121 to 125 as a counterpart.

한편, 이러한 온라인 게임을 함에 있어서는 회원을 대신해서 화면상에 나타나서 회원의 명령에 따라 동작을 하는 캐릭터 이미지가 있다. 이 캐릭터 이미지는 게임 메이커나 게임 사이트에서 기본적으로 제공하는 기본 이미지이거나 또는 회원이 선택을 한다고 하더라도 아바타를 이용하는 경우가 보통이다.On the other hand, in playing such an online game, there is a character image that appears on the screen in place of the member and operates according to the member's command. This character image is a basic image provided by a game maker or a game site, or an avatar is used even if a member selects it.

여기서 아바타는 분신(分身) 또는 화신(化身)을 뜻하는 말로서, 사이버공간에서 사용자의 역할을 대신하는 애니메이션 캐릭터이다. 원래 아바타는 "내려오다, 통과하다"라는 의미의 산스크리트어 "Ava"와 아래, 땅이란 뜻인 "Terr"의 합성어이며, 원래는 고대 인도에선 땅으로 내려온 신의 화신을 지칭하는 말이었으나, 인터넷시대가 열리면서 3차원이나 가상현실게임 또는 웹에서의 채팅 등에서 자기 자신을 나타내는 그래픽 아이콘을 가리키는 용어로 사용되고 있다.Here, the avatar is a word meaning an alter ego or an incarnation, and is an animation character that replaces the user's role in cyberspace. Originally, Avatar was a combination of the Sanskrit "Ava" meaning "come down, pass through" and "Terr" which means "under" and "earth". It was originally used to refer to the incarnation of the god who descended to the land in ancient India. It is a term used to refer to a graphic icon representing oneself in 3D, virtual reality games, or chatting on the web.

아바타는 그래픽 위주의 가상사회에서 자신을 대표하는 가상육체라고 할 수 있다. 현재 아바타가 이용되는 분야는 채팅이나 온라인게임 외에도 사이버 쇼핑몰, 가상교육, 가상오피스 등으로 확대되고 있다. 최근 가장 각광받는 분야는 온라인채팅서비스로서, 아이콘채팅, 3차원 그래픽채팅 등의 아바타를 이용한 채팅서비스가 도입되고 있다.An avatar is a virtual body that represents itself in a graphic-oriented virtual society. Currently, avatars are being used for cyber shopping malls, virtual education, and virtual offices as well as chatting and online games. Recently, the most popular field is an online chat service, and chat services using avatars such as icon chat and 3D graphic chat have been introduced.

기존의 아바타는 2차원으로 된 그림이 대부분이었다. 머드게임이나 온라인채팅에 등장하는 아바타는 가장 초보적인 수준이었고, 이러한 현실감이 떨어지는 문제점을 보완하여 등장한 것이 3차원 아바타이다. 3차원 캐릭터는 입체감과 현실감을 함께 지닌 것이 장점이라고 할 수 있다.Most of the conventional avatars were two-dimensional drawings. The avatars appearing in mud games and online chats were at the most elementary level, and the three-dimensional avatars appeared to complement the problem of falling reality. Three-dimensional characters can be said to have a sense of three-dimensional and realistic.

아바타는 현실세계와 가상공간을 이어주며, 익명과 실명의 중간 정도에 존재한다. 과거 네티즌들은 사이버공간의 익명성에 매료되었지만, 이제는 자신을 표현하려는 욕구를 느끼게 되어, 이 두 가지를 모두 충족시켜주는 아바타가 생기게 된 것이다. 즉, 상기 게임 메이커의 기성품 캐릭터 이미지를 지정하여 게임을 하는 경우에는 익명성이 너무 강하여 사실성 및 현실성이 결여되는 문제점이 있었다. 특히 게임의 화면 중에는 게임 도중에 주인공의 얼굴 모양이 클로즈업되어 말을 하거나 얼굴 표정에 의하여 의미를 전달하여야 하는 경우가 있는데, 이러한 경우에 있어서 상기 익명성이 강한 아바타 또는 캐릭터 이미지가 가지는 문제점은 더욱 커진다.Avatars connect the virtual world with the real world and exist somewhere between anonymous and blindness. In the past, netizens were fascinated by the anonymity of cyberspace, but now they have a desire to express themselves, creating an avatar that satisfies both. That is, in the case of playing the game by designating the ready-made character image of the game maker, there was a problem that the anonymity was so strong that the reality and reality were lacking. In particular, the screen of the game in the middle of the game, the face of the main character is close-up to talk or convey meaning by facial expression, in this case the problem of having a strong avatar or a character image is increased.

한편, 대부분의 게임이나 채팅서비스에는 주로 몇 가지의 캐릭터를 조합하거나 이미 완성된 아바타를 제공하지만, 그래픽기술이 향상되면서 서비스 제공자가 이미 만들어놓은 기성품(Ready-made)을 이용하는 것이 아니라, 문자ID처럼 사용자가 자신만의 개성있는 아바타를 직접 만들 수 있는 "나만의 아바타"도 등장하고 있다. 그러나 이렇게 종래의 아바타로 구현되는 캐릭터 이미지 중에서 가장 자유도가 높다고 인정되는 "나만의 아바타"에 있어서도 회원 자신이 직접 3차원 그래픽 툴을 이용하여 커리컬쳐 또는 일러스트로 자신의 3차원 얼굴을 그리거나, 자신의 평면적 실물 사진을 여러 각도에서 찍어서 이를 그래픽 툴을 이용하여 입체로 합성하여 저장한 후 이를 이용하도록 기술적 구성을 하는 것이 대부분이었다. 그리고 이러한 개성 있는 아바타 또는 캐릭터 이미지의 경우에는 기성품 캐릭터 이미지와 달리 회원이 직접 스캐닝하여 저장한 이미지만을 이용하는 것이므로 말할 때의 입모양, 화났을 때의 표정 등의 세부적인 감정표현 처리를 할 수 없었으므로 익명성의 배제라는 문제점은 해소될 수 있지만, 그 표정이 너무 딱딱하여 현실감의 충족이라는 문제는 해소시킬 수 없었다. 따라서 종래의 아바타 또는 캐릭터 이미지를 이용한 주인공의 대역 표현에 있어서는 결국 현실감이나 사실감 충족과 익명성 배제의 2가지 측면에서 보면 어느 한 측면 이상이 매우 미흡하였다는 문제점이 있었다.On the other hand, most games or chat services usually combine some characters or provide already completed avatars, but as the technology improves, they don't use ready-made services made by service providers. There are also "my avatars" that allow users to create their own unique avatars. However, even in "My Avatar", which is recognized as the highest degree of freedom among the character images embodied by conventional avatars, the member himself draws his or her own 3D face with curriculum or illustration using 3D graphic tools, Most of the technical configuration was to take a real picture of the plane from various angles, synthesize it in three dimensions using graphic tools, and store it. In addition, unlike the ready-made character image, such an avatar or character image uses only images stored and scanned by the member directly. Therefore, detailed expression of emotions such as mouth shape and angry expression cannot be performed. The problem of the exclusion of anonymity can be solved, but the facial expression is so hard that the problem of fulfillment of reality cannot be solved. Therefore, in the expression of the band of the main character using a conventional avatar or a character image, there was a problem that at least one aspect was very insufficient in the two aspects of realism, fulfillment of reality and exclusion of anonymity.

한편, 이러한 온라인 게임은 발전을 거듭하여 현재는 그 게임의 도중에 기능키에 의하여, 또는 게임의 종료 후에 게임 메뉴와 별도의 메뉴에 의하여 여러가지 많은 종류의 부수적인 서비스를 함께 제공하고 있다. 특히 이러한 서비스 중의 중요한 것으로서 게임 화면의 방송, 이메일, 채팅, 게임상의 무기 등의 판매, 게임요령 전수 등의 서비스를 들 수 있다.On the other hand, these online games have evolved and are currently providing various kinds of additional services together by function keys in the middle of the game, or by game menus and separate menus after the end of the game. In particular, among such services, services such as broadcasting of game screens, e-mails, chats, sales of game weapons, and the like for game tips are mentioned.

종래에 있어서 상기 방송 서비스는 게임 서버(120∼125) 또는 그 상위의 각 지역 총판(110∼113) 등이 그 게임의 상위 등급자들끼리의 시합, 또는 중요한 의미를 가지는 타이틀 매치 등을 선정하여 공중파 또는 케이블 TV를 통하여 전송하는 것을 말한다. 따라서 상기 종래의 방송 서비스에 있어서는 게임 서버(120∼125) 또는 그 상위의 각 지역 총판(110∼113) 등이 정하여 행하는 단방향 방송밖에 없었으며, 어느 회원이 비록 중요한 시합은 아니더라도 꼭 시청하고자 하는 경우에는 이를 시청의 신청을 할 수 있는 방법이 없었다는 문제점이 있었다.In the conventional broadcasting service, the game server 120 to 125 or the regional distributors 110 to 113 of the upper level select a match between upper graders of the game, or a title match having an important meaning. Transmission over the air or cable TV. Therefore, in the conventional broadcasting service, there was only one-way broadcasting determined by the game servers 120 to 125 or the regional distributors 110 to 113 above, and any member wanted to watch it even if it was not an important game. There was a problem that there was no way to apply for this.

또한 상기 채팅 서비스는 문자 채팅의 경우에는 문자 메시지만 서로 주고 받을 수 있었으므로 얼굴 표정이나 말투 등을 알 수 없어서 현실감이 떨어진다는 문제점이 있었고, 화상 채팅의 경우에는 양측에 설치되어 있는 카메라와 마이크, 스피커를 통하여 서로 보면서 말을 하게 되는데, 특히 상대방이 외국인이고, 히어링이 안되는 경우에는 주고 받는 말만 가지고 초보자가 그 의미를 알기 매우 어렵고, 따라서 그 외국인 측에서 먼저 접속을 끊어버리게 된다는 문제점이 있었다.In addition, in the case of text chat, only the text message could be exchanged with each other, so there was a problem that the facial expression or speech could not be known and the reality fell. In the case of video chat, cameras and microphones installed at both sides, They talk while looking at each other through the speaker. Especially, when the other party is a foreigner and can't hear, there is a problem that it is very difficult for a beginner to know the meaning only by giving and receiving words, and therefore the foreigner first disconnects.

그리고 상기 이메일 서비스는 문자 이메일의 경우에는 역시 채팅의 경우와 같은 문제점이 있었고, 그 이메일에 동영상 화일을 첨부하여 보낼 수 있다면 이러한 문제점은 해소될 수도 있으나, 이 경우에도 발신자측에 이러한 동영상을 캡쳐할 장비, 즉 카메라 등이 구비되어 있어야 하므로, 이러한 장비가 없는 장소에서 이메일을 보내야 하는 경우에는 동영상 화일을 만들 수가 없으므로 단순한 문자 이메일만 보낼 수 있게 되어 현실감이 떨어지게 된다는 문제점이 있었다.And the email service had the same problem as in the case of text email, and if you can send a video file attached to the email, this problem may be solved, but in this case also capture the video on the sender side Since the equipment, that is, the camera should be provided, there is a problem in that if the e-mail is to be sent from a place without such a device, a video file can not be created and only a simple text e-mail can be sent, thereby reducing the reality.

또한 상기 게임상의 무기 등의 판매 서비스는 그 게임에서 사용할 무기, 갑옷, 액세서리 등을 구매하여 무장하고 코디하는 장면의 화면인데, 이에는 단순히 그 상점의 점원과 그 무기 등의 이미지만이 화면에 등장하므로 회원 자신이 직접 그 상점에 들어가서 물건을 고른다는 현실감이 부족하게 된다는 문제점이 있었다.In addition, the sales service such as weapons in the game is a scene of buying and arming and coordinating weapons, armor, accessories, etc. to be used in the game, and only the images of the clerks of the store and the weapons appear on the screen. Therefore, there was a problem that the members themselves go directly to the store to select the reality lacks the reality.

그리고 상기 게임 요령 전수 서비스는 그 사이트의 도움말 화면에 텍스트로 기재되어 제공되는 글을 읽도록 되어 있거나, 전화 상담을 하거나, 게시판 등에 글을 남긴 후 나중에 이에 대하여 답변한 글을 읽거나 하도록 되어 있어서 실제로 누군가 친한 사람과 직접 마주대고 서로 대화하면서 어려운 부분을 풀어 나가는 현실감이 전혀 없었다는 문제점이 있었다.In addition, the game tips transfer service is to read the text provided in the text of the help screen of the site, or to provide a telephone consultation, or to leave a bulletin board, and then later to read the answer to this There was a problem in that there was no realism that somebody faced each other face to face with each other and face each other.

즉, 상기와 같은 각종 서비스의 문제점들은 게임 도중 또는 게임과 별도의 메뉴로 제공되는 각종 커뮤니케이션에 있어서 단순한 텍스트의 교환만이 가능하기 때문에 발생하는 현실감의 결여의 문제들이라고 정의할 수 있다.That is, the problems of the various services as described above may be defined as problems of lack of realism that occur because only simple text exchange is possible in the game or in various communication provided as a separate menu from the game.

한편 상기 대부분의 문제점들이 텍스트 위주의 커뮤니케이션 환경에서 발생하는 문제점들이므로, 이를 마이크와 스피커에 의한 소리의 전달에 의하여 해소하려는 시도도 있을 수 있다. 즉, 이는 종래에 편지를 전화에 의하여 대체하려는 의도와 유사하다. 이러한 시도가 이루어지는 배경에는 사운드카드의 보급에 의하여 스피커나 마이크가 없는 컴퓨터가 거의 없다는 점에 근거하는 것이다. 그리고 이미 이러한 서비스는 음성메일 등의 형태로 상용화되고 있다.On the other hand, since most of the problems are problems occurring in a text-oriented communication environment, there may be an attempt to solve them by transmitting sound by a microphone and a speaker. In other words, this is similar to the conventional intention to replace a letter by telephone. This is based on the fact that there are very few computers without speakers or microphones due to the spread of sound cards. And these services are already commercialized in the form of voice mail.

그러나 전화의 단점은 역시 눈으로 상대를 볼 수 없다는 점이다. 이와 마찬가지로 마이크와 스피커에 의한 소리의 전달에 의하여 현실감을 전달하려는 시도역시 눈으로 상대를 볼 수 없고, 따라서 상대방의 표정, 입모양 등을 볼 수 없으므로 한계가 있다는 것은 당연하다. 이러한 한계는 특히 상대방이 외국인인 경우에는 더욱 명확해지는데, 이는 서로 상대방의 언어에 대하여 히어링이 불완전한 경우에 서로 의사소통이 불가능해지기 때문이다.The downside of the phone, however, is that you can't see the other. Similarly, attempts to deliver realism by the sound of the microphone and the speaker also cannot be seen by the eye, and therefore, it is natural that there is a limit because the other person cannot see his / her face or mouth. This limitation becomes clearer, especially when the other party is a foreigner, because communication with each other becomes impossible when the other party's language is incomplete.

따라서 최근에는 컴퓨터에 연결되어 있는 카메라를 통하여 서로 화면을 주고 받으면서 대화를 하는 서비스까지 등장하고 있다. 이는 컴퓨터에 설치되어 있는 카메라, 마이크를 통하여 이미지와 음성을 전송하고, 상대방은 모니터와 스피커를 통하여 그 이미지와 음성을 전달받도록 구성되어 있는 것이다. 그런데, 이 경우에 있어서도 상대방이 외국인이고 상대방의 언어에 익숙하지 않다면 역시 실시간의 대화만으로는 의사소통이 원활하게 이루어지지 않을 수 있다는 문제점이 있었다.Therefore, recently, a service of having a conversation while exchanging screens with each other through a camera connected to a computer has appeared. It transmits the image and voice through the camera and microphone installed in the computer, and the other party is configured to receive the image and the voice through the monitor and the speaker. However, even in this case, if the other party is a foreigner and is not familiar with the language of the other party, there is a problem that communication may not be performed smoothly only by real time conversation.

한편, 최근에는 외국어 습득을 위한 학습 사이트도 많이 출현하고 있는데, 대부분의 경우에 있어서는 텍스트를 서버에 업로드시켜 놓고 이를 회원이 화면에서 읽을 수 있도록 하고, 몇 군데에 하이퍼텍스트를 마련하여 이를 클릭하면 그 문장 또는 단어를 청취할 수 있도록 하고 있다. 물론 이보다 더욱 높은 수준의 정보를 제공하는 사이트도 있는데, 이러한 경우에는 외국인이 대화하는 동영상을 올려 놓은 경우가 대부분이고, 이보다 더욱 발전된 경우에는 양측에 카메라를 설치하여 인터넷 화상전화 시스템을 구축하여, 실시간으로 상대방을 보면서 대화할 수 있도록 구성하고 있다.On the other hand, there are also many learning sites for learning foreign languages in recent years. In most cases, the text is uploaded to the server and the members can read it on the screen. Listen to a sentence or word. Of course, there are also sites that provide a higher level of information. In this case, most of them have uploaded a video of foreigners talking, and if it is more advanced, cameras are installed on both sides to build an internet videophone system. It is configured to talk to each other while watching.

그러나 이렇게 동영상이나 화상전화를 이용한 외국어 습득의 경우에도 결국 문자 텍스트를 제공하지 않는 경우가 많고, 문자 텍스트를 제공하더라도 이와는 별도로 음성 대화가 진행되므로, 역시 그 외국어의 초보자에게는 대화가 곤란해진다는 문제점이 있었다.However, even in the case of acquiring a foreign language using a video or a video phone, there are many cases in which textual text is not provided eventually, and even if the textual text is provided, a voice conversation is carried out separately. there was.

또한 외국어 습득만을 목적으로 하는 사이트의 경우에는 매우 다양한 주제, 예컨대 여행, 취업, 사교 등의 주제를 정하여 놓고 대화를 이어가게 되는데, 컴퓨터 게임을 좋아하는 사람들의 경우에는 자기가 좋아하는 주제, 즉 컴퓨터 게임에 대하여 질문하고 대답하는 사이에 자기도 모르게 외국어를 습득하게 되는 경우가 많은데, 종래의 외국어 학습 사이트의 경우에는 이러한 욕구를 충족시켜주지 못한다는 문제점이 있었다.In addition, in the case of a site for the sole purpose of learning a foreign language, a variety of topics such as travel, employment, socializing, etc. are established and the conversation continues. For those who like computer games, their favorite topic is computer. There are many cases of learning a foreign language unknowingly while answering a question about a game. However, in the case of a conventional foreign language learning site, there is a problem in that such a desire cannot be satisfied.

따라서 본 발명은 상기와 같은 문제점을 해소하기 위하여 안출된 것으로서, 회원의 캐릭터 이미지의 얼굴이 모니터에 식별가능할 정도로 표시되고, 이와 동시에 미리 입력해 놓은 텍스트나 현재 입력하고 있는 텍스트를 스피치로 실제 회원의 목소리로 실시간 변환하는 경우에는 이와 동시에 상기 텍스트의 각 문자의 모음을 감지하여 이에 따라 미리 3D 스캔하여 저장되어 있는 실제 얼굴 이미지에 립싱크 프로그램을 적용하여 실제로 말하는 입모양을 그대로 구현하고, 또한 상기 문장 텍스트에 미리 정해져 있는 기쁨, 슬픔, 분노 등의 감정을 표현하는 기능문자를 삽입한 경우에는 이들 기능문자를 감지하여 이에 대응되는 감정에 해당되는 이미지를 상기 실제 얼굴 이미지에 표현할 수 있는 기능을 가진 온라인 게임, 이메일, 채팅, 방송 및 외국어 학습방법을 제공하고자 하는 것이다.Accordingly, the present invention has been made to solve the above problems, the face of the character image of the member is displayed to the extent that can be identified on the monitor, and at the same time the actual text to the actual input text or the text that is currently input In the case of real-time conversion to voice, at the same time, the collection of each character of the text is detected, and accordingly, the lip sync program is applied to the actual face image stored in advance by 3D scanning, and the actual shape of the spoken language is realized as it is, and the sentence text is also provided. In the case of inserting function characters expressing predetermined emotions such as joy, sadness, anger, etc., an online game having a function of detecting these function characters and expressing the images corresponding to the emotions on the real face image. , Email, chat, broadcast and foreign languages It intended to provide a way.

본 발명의 또다른 기술적 과제는 게임의 상대방을 정함에 있어서 다른 서버에 접속된 회원끼리 대결을 용이하게 할 수 있도록 전체 네트워크에 접속한 모든 회원의 프로파일을 체계적으로 화면에 표시하고, 이렇게 표시된 회원을 상대방으로 지정할 수 있도록 구성된 온라인 게임, 이메일, 채팅, 방송 및 외국어 학습방법을 제공하고자 하는 것이다.Another technical problem of the present invention is to systematically display the profiles of all members connected to the whole network on the screen so as to facilitate confrontation between members connected to other servers in determining the opponent of the game, and displays the displayed members It is intended to provide an online game, e-mail, chat, broadcast, and foreign language learning method configured to be designated as the other party.

본 발명의 또다른 기술적 과제는 게임의 내용을 방송함에 있어서, 방송 수신 매체로서 컴퓨터, 개인용 디지털 보조기(PDA; Personal Digital Assistants), 피씨에스(PCS; Personal Communication Services), 휴대폰 등 양방향 통신이 가능한 기기가 지정된 경우에는 회원의 명령에 따라 시청할 채널, 즉 지역 및 랭킹을 변경할 수 있도록 함으로써 인터랙티브 방송을 하도록 구성된 온라인 게임, 이메일, 채팅, 방송 및 외국어 학습방법을 제공하고자 하는 것이다.Another technical problem of the present invention is a device capable of bidirectional communication such as a computer, a personal digital assistant (PDA), a personal communication services (PCS), a mobile phone, etc. as a broadcast receiving medium in broadcasting contents of a game. If is specified, it is to provide an online game, e-mail, chat, broadcast, and foreign language learning method configured for interactive broadcasting by changing a channel to be watched according to a member's order, that is, region and ranking.

도 1은 종래의 하드웨어 구성도,1 is a conventional hardware configuration diagram,

도 2는 본 발명의 방법이 구현되는 하드웨어 구성도,2 is a hardware configuration diagram in which the method of the present invention is implemented;

도 3은 본 발명의 컴퓨터 프로그램의 순서도,3 is a flowchart of a computer program of the present invention;

도 4는 본 발명의 게임의 전체 플로우챠트,4 is an overall flowchart of the game of the present invention,

도 5는 본 발명의 게임의 회원가입 단계의 플로우챠트,5 is a flow chart of the registration step of the game of the present invention,

도 6은 본 발명의 게임의 방송국 단계의 플로우챠트,6 is a flowchart of a broadcasting station stage of the game of the present invention;

도 7은 본 발명의 게임의 광장 단계의 플로우챠트,7 is a flowchart of a square step of the game of the present invention,

도 8은 본 발명의 게임의 주점 단계의 플로우챠트,8 is a flowchart of the pub stage of the game of the present invention,

도 9는 본 발명의 게임의 상점 단계의 플로우챠트,9 is a flowchart of a store phase of the game of the present invention,

도 10은 본 발명의 게임의 수련원 단계의 플로우챠트,10 is a flowchart of a training center stage of the game of the present invention,

도 11은 본 발명의 게임의 유학원 단계의 플로우챠트,11 is a flowchart of the agent stage of the game of the present invention,

도 12는은 본 발명의 게임의 전시관 단계의 플로우챠트,12 is a flowchart of the pavilion stages of the game of the present invention,

도 13은 본 발명의 게임의 광장 단계의 실시예를 설명하는 설명도로서, 도 13a는 프로파일의 예시도, 도 13b는 인사말 클릭시 실시간으로 텍스트가 스피치로 변환되면서 기능문자에 따라 얼굴 표정이 바뀌는 모습의 예시도,FIG. 13 is an explanatory diagram illustrating an embodiment of a square step of a game of the present invention, FIG. 13A is an exemplary diagram of a profile, and FIG. 13B is a facial expression changed according to a function character while text is converted to speech in real time when a greeting is clicked. Illustration of the state,

도 14는 본 발명의 게임의 주점 단계의 실시예를 설명하는 설명도로서, 도 14a는 주점의 화면 예시도, 도 14b는 채팅시 화면 예시도, 도 14c는 음성 및 화상 이메일을 받은 경우의 수신자측이 재생시 화면 예시도,14 is an explanatory diagram illustrating an embodiment of a tavern step of the game of the present invention, FIG. 14A is an example of a tavern screen, FIG. 14B is an example of a screen during a chat, and FIG. 14C is a receiver when a voice and video email is received. Example of the screen when the side is playing,

도 15는 본 발명의 컴퓨터 프로그램의 감정 표현의 예를 나타낸 설명도로서, 도 15a는 기능문자가 '무표정'일 때, 도 15b는 기능문자가 '화났다'일 때, 도 15c는 기능문자가 '즐겁다'일 때, 도 15d는 기능문자가 '슬프다'일 때의 예시도,FIG. 15 is an explanatory diagram showing an example of an emotional expression of a computer program of the present invention, FIG. 15A is when the function character is 'no expression', FIG. 15B is when the function character is 'angry', and FIG. 15D is an example when the function character is 'sad',

도 16은 본 발명의 컴퓨터 프로그램의 립싱크의 예를 나타낸 설명도이다.16 is an explanatory diagram showing an example of a lip sync of a computer program of the present invention.

< 도면의 주요부분에 대한 부호의 설명 ><Description of Symbols for Major Parts of Drawings>

100 : 공급자110∼113 : 지역 총판100: supplier 110-113: local distributor

120∼125 : 서버130 : 회원 컴퓨터120-125 server 130 member computer

131 : 시디(CD)131 CD

200 : 공급자 컴퓨터210∼213 : 지역 총판 컴퓨터200: supplier computer 210 to 213: local distributor computer

220∼225 : 서버 230 : 회원 컴퓨터220 to 225: server 230: member computer

241, 242 : 회원가입서버250 : 방송국241, 242: membership server 250: broadcasting station

상기와 같은 기술적 과제를 달성하기 위하여 본 발명의 제1 발명은 중앙처리장치, 메모리, 저장장치, 입출력을 위한 키보드, 모니터, 마우스 등을 기본적으로 구비하고, 이에 더하여 영상획득 수단과 음성획득 수단을 가진 컴퓨터에서 작동되는 방법으로서,In order to achieve the above technical problem, the first invention of the present invention basically includes a central processing unit, a memory, a storage device, a keyboard for input / output, a monitor, a mouse, and the like, and in addition, an image acquisition means and an audio acquisition means. How it works on your computer,

모든 문자에 대하여 문자별로 일대일로 대응하여 해당 음성 데이터를 T2S 데이터베이스로 저장하는 제1단계와,A first step of corresponding one-to-one correspondence for every character and storing the corresponding voice data in a T2S database;

미리 정해진 감정표현을 나타내는 기능문자에 일대일로 대응하여 해당 감정표현시 영상 데이터의 주요 요소의 위치, 크기, 각도를 변형할 공식을 감정표현 데이터베이스로 저장하는 제2단계와,A second step of storing a formula for modifying the position, size, and angle of the main elements of the image data when expressing the emotions in a emotion expression database in a one-to-one correspondence with a function character indicating a predetermined emotion expression;

미리 정해진 모음에 대하여 립싱크시 입 모양의 위치, 크기, 각도를 변형할 공식을 립싱크 데이터베이스로 저장하는 제3단계와,A third step of storing a formula for changing the position, size, and angle of the shape of the mouth shape during the lip syncing with the lip syncing database for a predetermined collection;

회원의 입체적 영상을 획득하여 저장하고, 회원의 음성을 샘플링하여 획득하여 기본 데이터베이스로 저장하는 제4단계와,A fourth step of acquiring and storing the three-dimensional image of the member, sampling and acquiring the member's voice, and storing it in the basic database;

상기 영상 데이터에 있어서 감정표현의 특성을 결정하는 위치, 크기, 각도 등의 주요 요소를 추출하여 저장하고, 상기 음성 데이터에 있어서 음성의 특성을 결정하는 주파수, 거칠기, 음색 등의 주요 요소를 미리 정해진 기준치와 비교하여 증감분을 결정하여 기본 데이터베이스로 저장하는 제5단계와,Extracting and storing the main elements such as the position, the size, the angle, etc., which determine the characteristics of the emotion expression in the image data, and predetermine the main elements such as the frequency, the roughness, the tone, etc., which determine the characteristics of the voice in the voice data. A fifth step of comparing the reference value to determine the increment and store it as a basic database;

음성출력 및 감정표현을 위한 텍스트를 저장하는 제6단계와,A sixth step of storing text for voice output and emotion expression;

상기 텍스트를 메모리에 로드(S301)하여 첫 문자를 획득(S302)하여 기능문자인지 여부를 판단(S303)하고, 상기 문자가 기능문자이면 얼굴 이미지에 감정을 표현하기 위한 감정표현 프로그램으로 분기(S304)하고, 기능문자가 아니면 텍스트를 스피치로 변환하기 위한 T2S 프로그램(S308) 및 얼굴 이미지에 현재 발음되는 모음과 동일한 입모양을 표현하기 위한 립싱크 프로그램(S310)을 구동하는 제7단계와,The text is loaded into the memory (S301), the first character is acquired (S302), it is determined whether it is a functional character (S303), and if the character is a functional character, the branching to an emotion expression program for expressing emotions on the face image (S304). A seventh step of driving the T2S program S308 for converting the text into speech and the lip-sync program S310 for expressing the same mouth shape as the vowel currently pronounced in the face image,

텍스트의 끝(S314)까지 상기 제7단계를 반복하도록 구성됨을 특징으로 하는Characterized in that it is configured to repeat the seventh step until the end of the text (S314)

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법이다.It is a method to realize lip sync and emotion expression by applying voice-sampled voice to 3D scanned real face image while converting sentence text into speech in real time.

이때 상기 감정표현 프로그램(S304)은 감정표현 데이터베이스로부터 그 기능문자를 검색(S305)하는 제1단계와,At this time, the emotion expression program (S304) is a first step of searching for the function character from the emotion expression database (S305),

상기 검색 결과에 따라 영상 데이터의 주요 요소의 위치, 크기, 각도를 변형할 공식을 메모리에 로드(S305)하는 제2단계와,A second step of loading a formula for modifying the position, size, and angle of the main elements of the image data into the memory according to the search result (S305);

상기 공식에 의하여 실제로 상기 영상 데이터에 있어서 감정표현의 특성을 결정하는 주요 요소의 위치, 크기, 각도 등을 변형(S306)시키는 제3단계와,A third step of modifying (S306) the position, size, angle, etc. of a main element which actually determines the characteristic of the emotion expression in the image data by the formula;

상기 변형된 영상 데이터를 모니터에 표시(S307)하는 제4단계로 구성될 수 있다.In operation S307, the modified image data may be displayed on a monitor.

또한 상기 T2S 프로그램(S308)은 T2S 데이터베이스로부터 그 문자를 검색(S309)하는 제1단계와,In addition, the T2S program (S308) is a first step of retrieving the character from the T2S database (S309),

상기 검색 결과에 따라 음성 데이터를 메모리에 로드(S309)하는 제2단계와,A second step of loading voice data into a memory according to the search result (S309);

기본 데이터베이스로부터 그 회원의 음성의 특성을 결정하는 주파수, 거칠기, 음색 등의 주요 요소의 증감분을 메모리에 로드하는 제3단계와,A third step of loading into the memory an incremental increase or decrease of the main factors such as frequency, roughness, tone, etc., which determine the characteristics of the voice of the member from the basic database;

상기 제2단계의 음성 데이터를 상기 제3단계의 증감분에 의하여 변형시켜서 최종 음성 데이터를 만드는 제4단계와,A fourth step of transforming the voice data of the second step by the increment or decrement of the third step to produce final voice data;

상기 최종 음성 데이터를 스피커를 통하여 출력(S12)하는 제5단계로 구성될 수 있다.The final voice data may be output through a speaker (S12).

그리고 상기 립싱크 프로그램(S310)은 립싱크 데이터베이스로부터 그 문자의 모음을 검색(S310)하는 제1단계와,And the lip sync program (S310) is the first step of retrieving (S310) a collection of characters from the lip sync database,

상기 검색 결과에 따라 영상 데이터의 입 모양의 위치, 크기, 각도를 변형할 공식을 메모리에 로드(S310)하는 제2단계와,A second step of loading (S310) a formula for modifying the position, size, and angle of the mouth shape of the image data according to the search result;

상기 공식에 의하여 실제로 상기 영상 데이터의 입 모양에 있어서 위치, 크기, 각도 등을 변형(S311)시키는 제3단계와,A third step of actually modifying the position, size, angle, etc. in the shape of the mouth of the image data by the formula (S311);

상기 변형된 영상 데이터를 모니터에 표시(S312)하는 제4단계로 구성될 수 있다.In operation S312, the modified image data may be displayed on the monitor.

또한, 상기의 제1 발명은 중앙처리장치, 메모리, 저장장치, 입출력을 위한 키보드, 모니터, 마우스 등을 기본적으로 구비하고, 이에 더하여 영상획득 수단과 음성획득 수단을 가진 컴퓨터에서 작동되는 컴퓨터 프로그램으로서,In addition, the first invention is a computer program which is basically provided with a central processing unit, a memory, a storage device, a keyboard for input and output, a monitor, a mouse, and the like, in addition to a computer having an image acquisition means and an audio acquisition means. ,

문자별로 일대일로 대응하여 해당 음성 데이터를 T2S 데이터베이스로 저장하는 제1단계와,A first step of storing corresponding voice data in a T2S database in a one-to-one correspondence for each character;

텍스트를 저장하는 제6단계와,A sixth step of storing the text,

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 컴퓨터 프로그램이 저장되는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.It can be implemented as a computer-readable recording medium storing computer programs for lip syncing and emotion expression by applying voice-sampled voice to 3D scanned real face images while converting sentence text into speech in real time.

그리고 본 발명의 제2 발명은 적어도 각 지역별로 분할된 서버(220∼225)들을 총괄하는 공급자의 컴퓨터(200)와, 상기 공급자의 컴퓨터(200) 산하의 어느 부분에 연결되어 게임 내용을 각종 유무선 경로를 통하여 수신 매체에 보낼 수 있는 방송국(250)과, 상기 서버(220∼225)에 연결되는 회원 컴퓨터(230)와, 회원의 얼굴의 입체 영상을 취득할 수 있는 영상획득 수단과, 회원의 음성 데이터를 취득할 수 있는 음성획득 수단으로 구성된 하드웨어에서 동작하는 이메일 방법에 있어서,The second invention of the present invention is connected to a computer 200 of a supplier who manages at least servers 220 to 225 divided by regions, and any part of the computer 200 of the supplier to connect game contents to various wired and wireless devices. A broadcasting station 250 capable of transmitting to a receiving medium via a path, a member computer 230 connected to the servers 220 to 225, image acquisition means for acquiring a stereoscopic image of a member's face, and In an e-mail method operating in hardware composed of a voice acquisition means capable of acquiring voice data,

먼저 회원인 송신자측에서 다른 회원인 수신자측으로 이메일 텍스트 데이터를 보내는 제1단계와,A first step of sending e-mail text data from a sender of a member to a receiver of another member;

수신자측에서 이메일을 여는 제2단계와,The second step of opening the email on the recipient side;

동영상 프레임이 표시되는 제3단계와,The third step of displaying a video frame,

상기 이메일 텍스트 데이터를 대상으로 하여 제1항에 기재된 방법이 적용되어 T2S 프로그램이 문자별로 추출하면서 처리하는 동안 기능문자에 대해서는 감정표현 프로그램이 작동하고, 기타의 일반문자의 경우에는 회원 자신의 음성으로 립싱크가 되면서 상기 동영상 프레임 내의 동영상이 움직이면서 음성을 출력하고, 이런 과정을 반복하면서 그 텍스트의 끝까지 처리되는 제4단계로 구성됨을 특징으로 하는The method described in claim 1 is applied to the e-mail text data so that the T2S program extracts and processes the characters by character, and the emotion expression program operates on the functional characters. It is characterized in that it comprises a fourth step that the lip sync and the video in the video frame is moving and outputs the voice, and repeats this process to the end of the text

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법을 이용하는 이메일 방법이다.It is an email method using lip sync and emotion expression by applying voice-sampled voice to 3D scanned real face image while converting sentence text into speech in real time.

또한 본 발명의 제3 발명은 상기 제2 발명의 하드웨어 구성에서 동작하는 채팅 방법에 있어서,In addition, the third invention of the present invention is a chat method that operates in the hardware configuration of the second invention,

송신측과 수신측의 이미지를 각각 표시하기 위한 동영상 프레임이 2개 표시되고, 이와는 별도로 채팅창이 표시되는 제1단계와,A first step in which two video frames for displaying an image of a transmitting side and a receiving side are displayed, and a chat window is displayed separately;

상기 채팅창에 입력되어 전송되는 각각의 텍스트 데이터를 대상으로 하여 제1항에 기재된 방법이 적용되어 T2S 프로그램이 문자별로 추출하면서 처리하는 동안 기능문자에 대해서는 상대방의 컴퓨터에 감정표현 프로그램이 작동하고, 기타의 일반문자의 경우에는 회원 자신의 음성으로 립싱크가 되면서 상기 동영상 프레임 내의 동영상이 움직이면서 음성을 출력하고, 이런 과정을 반복하면서 그 텍스트의 끝까지 처리되는 제2단계와,The method described in claim 1 is applied to each text data input and transmitted to the chat window, and the emotion expression program is operated on the counterpart's computer for the function text while the T2S program extracts and processes each character. In the case of other general characters, the second step of lip-syncing with the member's own voice and outputting the voice while moving the video in the video frame is repeated, and repeating this process until the end of the text;

송신측과 수신측의 채팅이 종료될 때까지 상기 제2단계가 반복되도록 구성됨을 특징으로 하는And the second step is repeated until the chatting between the transmitting side and the receiving side ends.

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법을 이용하는 채팅 방법이다.It is a chat method using lip sync and emotion expression by applying voice-sampled voice to 3D scanned real face image while converting sentence text into speech in real time.

그리고 본 발명의 제4 발명은 상기 제2 발명의 하드웨어 구성에서 동작하는 외국어 학습 방법에 있어서,And the fourth invention of the present invention is a foreign language learning method that operates in the hardware configuration of the second invention,

송신측과 수신측의 이미지를 각각 표시하기 위한 동영상 프레임이 2개 표시되고, 이와는 별도로 외국어 입력이 가능한 대화창이 표시되는 제1단계와,A first step of displaying two moving picture frames for displaying an image of a transmitting side and a receiving side, and a dialogue window for inputting a foreign language separately;

상기 대화창에 입력되어 전송되는 각각의 텍스트 데이터를 대상으로 하여 제1항에 기재된 방법이 적용되어 외국어용 T2S 프로그램이 문자별로 추출하면서 처리하는 동안 기능문자에 대해서는 상대방의 컴퓨터에 감정표현 프로그램이 작동하고, 기타의 일반문자의 경우에는 회원 자신의 음성으로 립싱크가 되면서 상기 동영상 프레임 내의 동영상이 움직이면서 음성을 출력하고, 이런 과정을 반복하면서 그 텍스트의 끝까지 처리되는 제2단계와,The method described in claim 1 is applied to each text data input and transmitted to the chat window, and the emotion expression program is operated on the counterpart's computer for the function text while the foreign language T2S program extracts and processes each character. In the case of other general characters, the second step of lip-syncing with the member's own voice and outputting the voice while moving the video in the video frame, repeating this process and processing to the end of the text,

송신측과 수신측의 대화가 종료될 때까지 상기 제2단계가 반복되도록 구성됨을 특징으로 하는And the second step is repeated until the conversation between the sender and the receiver ends.

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법을 이용하는 외국어 학습 방법이다.This is a foreign language learning method using lip sync and emotion expression by applying voice-sampled voice to 3D scanned real face image while converting sentence text into speech in real time.

그리고 본 발명의 제5 발명은 상기 제2 발명의 하드웨어 구성에서 동작하는 온라인 게임 방법에 있어서,And the fifth invention of the present invention is an online game method operating in the hardware configuration of the second invention,

먼저 회원인지 확인(S401)하고 회원이 아닌 것으로 확인되면 회원가입(S402)프로그램을 구동시키는 제1단계와,First check whether the member (S401) and if it is determined that the member is not the first step of driving the membership (S402) program,

회원으로 확인되면 게임 내용을 방송하는 방송국, 프로파일을 보고 게임 상대방을 결정하는 광장, 시합을 하거나 이메일 등의 부수 서비스를 제공하는 주점, 무기 구입이나 패션쇼 등의 서비스를 제공하는 상점, 게임 지식을 배우는 수련원, 게임 지식과 외국어를 배우는 유학원, 상위 등급자들의 프로파일을 보여주는 전시관 중의 어느 하나 이상의 서브 메뉴를 가지는 메인 메뉴(S403)로 들어가는 제2단계와,Once you are confirmed as a member, you can watch the broadcasting stations that broadcast the contents of the game, the square where you can see the profile of the game, determine the opponents of the game, taverns that provide additional services such as competitions or e-mails, shops that provide services such as buying weapons or fashion shows, and learn game knowledge. A second step of entering the main menu (S403) having one or more submenus of a training center, an agent learning game knowledge and foreign languages, and an exhibition hall showing profiles of upper graders;

상기 메인 메뉴에서 방송국(S404), 광장(S406), 주점(S408), 상점(S410), 수련원(S412), 유학원(S414), 전시관(S416)의 서브 메뉴 중의 하나를 선택하면 그 하부 구동 프로그램(S405, S407, S409, S411, S413, S415, S417)으로 분기하는 제3단계와,If one of the submenus of the broadcasting station (S404), plaza (S406), tavern (S408), shop (S410), training center (S412), agent (S414), exhibition hall (S416) in the main menu is selected, the lower driving program A third step of branching to (S405, S407, S409, S411, S413, S415, S417),

상기 하부 구동 프로그램에서는 회원의 캐릭터 이미지의 얼굴이 모니터에 식별가능할 정도로 표시되어야 하는 서비스에 있어서는 제1항의 방법이 적용되어 그 회원의 목소리로 립싱크되면서 감정표현된 이미지가 표시되는 제4단계로 구성됨을 특징으로 하는In the lower driving program, a method in which the face of a member's character image is to be displayed on the monitor so that the face can be identified is applied, and the method of claim 1 is applied. Characterized

문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법을 이용하는 온라인 게임 방법이다.It is an online game method using lip sync and emotion expression by applying voice-sampled voice to 3D scanned real face image while converting sentence text into speech in real time.

여기서 상기 회원가입(S401) 프로그램은 적어도Wherein the membership (S401) program is at least

영상획득 수단에 의하여 얼굴 이미지를 획득하고, 음성획득 수단에 의하여음성 샘플을 획득(S501)하는 제1단계와,A first step of acquiring a face image by the image acquiring means and acquiring a voice sample by the voice acquiring means (S501);

상기 영상 및 음성 데이터를 아이디와 함께 공급자 컴퓨터(200)에 마련되어 있는 기본 데이터베이스에 저장(S502)하는 제2단계로 구성됨이 바람직하다.Preferably, the video and audio data are stored together with the ID in a basic database provided in the provider computer 200 (S502).

또한 상기 방송국(S404) 메뉴에 해당하는 하부 구동 프로그램은In addition, the lower driving program corresponding to the menu of the broadcasting station (S404)

수신 매체 및 채널을 선택(S601)하는 제1단계와,A first step of selecting a reception medium and a channel (S601);

현재 수신(S602)하고자 하는 매체가 단방향 매체(S603)가 아닌 경우에는 채널의 변경(S607) 여부를 지속적으로 감시하면서 게임 내용 화면을 송신(S606)하는 제2단계로 구성됨이 바람직하다.If the medium to be received (S602) is not the one-way medium (S603), it is preferable that the second step is to transmit the game contents screen (S606) while continuously monitoring whether the channel is changed (S607).

그리고 상기 광장(S406) 메뉴에 해당하는 하부 구동 프로그램은And the lower driving program corresponding to the square (S406) menu

공급자 컴퓨터(200)에 연결되어 있는 모든 서버(220∼225)와 상기 서버에 접속되어 있는 모든 회원들에 대하여 얼굴 이미지와 인사말 텍스트를 포함하는 프로파일을 상위 노드부터 하위 노드에 이르기까지 일목요연하게 보여(S701)주는 제1단계와,For all servers 220 to 225 connected to the provider computer 200 and all members connected to the server, a profile including a face image and a greeting text from the top node to the bottom node is clearly shown ( S701) the first step and

상기 프로파일 중의 인사말 텍스트를 듣도록 선택하면 제1항의 방법이 적용되어 동영상과 음성이 출력(S702)되는 제2단계와,If the user selects to listen to the greeting text in the profile, the second step of applying the method of claim 1 to output a video and audio (S702),

상대방을 최종적으로 선택(S703)하면 시합(S704) 화면으로 진입하는 제3단계로 구성됨이 바람직하다.If the opponent is finally selected (S703) it is preferably configured as a third step to enter the game (S704) screen.

또한 상기 주점(S408) 메뉴에 해당하는 하부 구동 프로그램은In addition, the lower driving program corresponding to the main menu (S408)

1층부터 3층(S802, S805, S809)까지 구분하여 하부 메뉴를 구성하되,From the first floor to the third floor (S802, S805, S809) to organize the lower menu,

1층(S802)을 선택한 경우에는 시합(S804)을 하기 위하여 등급을 노출하지 않는(S803) 상대방을 선택하도록 하고,If the first floor (S802) is selected to select the other party that does not expose the rating (S803) for the game (S804),

2층(S805)을 선택한 경우에는 시합(S807)을 하기 위하여 등급이 알려진(S806) 상대방을 선택하되, 시합 후에는 자신의 등급이 그 시합의 결과에 따라 조정(S808)되도록 하며,If the second floor (S805) is selected, the opponent is known (S806) to select the match (S807) to play, but after the match so that the grade is adjusted according to the result of the match (S808),

3층(S809)을 선택한 경우에는 다시 서브 메뉴로서 채팅(S810), 동아리(S812), 토론(S814), 정보검색, 도박, 카드게임 중의 어느 하나 이상을 구비하고, 상기 서브 메뉴가 선택되면 제1항의 방법이 적용되어 동영상 및 음성이 출력되도록 구성됨이 바람직하다.If the third floor (S809) is selected, any one or more of chat (S810), club (S812), discussion (S814), information search, gambling, and a card game are again provided as submenus. Preferably, the method of claim 1 is applied to output a video and audio.

그리고 상기 상점(S410) 메뉴에 해당하는 하부 구동 프로그램은And the lower driving program corresponding to the shop (S410) menu

1층부터 3층(S901, S903, S905)까지 구분하여 하부 메뉴를 구성하되,From the first floor to the third floor (S901, S903, S905) to organize the lower menu,

1층(S901)을 선택한 경우에는 시합에 필요한 무기, 에네르기, 소도구, 액세서리 등을 구매하는 가게(S902) 프로그램을 구동하고,If the first floor (S901) is selected, the shop (S902) program for purchasing weapons, energies, props, accessories, etc. necessary for the game is driven,

2층(S903)을 선택한 경우에는 회원의 패션, 무기 등을 공개하는 패션쇼(S904) 프로그램을 구동하며,If the second floor (S903) is selected to drive a fashion show (S904) program that reveals the members' fashion, weapons, etc.,

3층(S905)을 선택한 경우에는 패션이나 무기를 회원끼리 사고 팔 수 있는 시장(S906) 프로그램을 구동하되,If you choose the 3rd floor (S905), you will run a market (S906) program to buy and sell fashion or weapons among members,

상기 각 층의 하부 메뉴에서 상대방과의 대화시에는 제1항의 방법이 적용되어 동영상 및 음성이 출력되도록 구성됨이 바람직하다.In the lower menu of each floor, the method of claim 1 is preferably applied so as to output video and audio.

또한 상기 수련원(S412) 메뉴에 해당하는 하부 구동 프로그램은In addition, the lower driving program corresponding to the training center (S412) menu

1실(S1001)과 2실(S1006)로 구분하여 하부 메뉴를 구성하되,The lower menu is divided into 1 room (S1001) and 2 room (S1006),

1실(S1001)을 선택한 경우에는 컴퓨터 프로그램에 의하여 자동으로 구동되는 프로그램 훈련(S1002)과정이나 사이트의 직원이 교육하는 교육자 훈련(S1004)과정 중에서 택일하도록 하는 제1단계와,In the case where one room (S1001) is selected, the first step of selecting one of the program training (S1002) course which is automatically driven by a computer program or the educator training (S1004) course which is trained by the staff of the site;

프로그램 훈련과정인 경우에는 컴퓨터 프로그램에 의한 진행(S1003)에 의하여, 교육자 훈련과정인 경우에는 그 교육자와의 상호 대화에 의하여 질문과 대답을 하면서 교육을 진행(S1005)하는 제2단계로 구성하고,In the case of the program training process, the second step of conducting the education (S1005) is performed by the computer program (S1003).

2실(S1006)을 선택한 경우에는 회원 중의 게임 실력 우수자 중에서 신청을 받아 프로파일 및 등급, 보수 정보를 제공(S1007)하는 제1단계와,If the second room (S1006) is selected, the first step of receiving an application from among the game proficiency among the members (S1007) to provide a profile, rating, and reward information (S1007),

상기 명단의 회원 중 1인을 선택(S1008)하는 제2단계와,A second step of selecting one of the members of the list (S1008);

그 교육자와의 상호 대화에 의하여 질문과 대답을 하면서 교육을 진행(S1009)하는 제3단계로 구성하되,Consists of the third step of proceeding the education (S1009) while giving questions and answers by mutual dialogue with the educator,

상기 1실의 제2단계와 2실의 제3단계에서 상대방과의 대화시에는 제1항의 방법이 적용(S1005, S1009)되어 동영상 및 음성이 출력되도록 구성됨이 바람직하다.In the second step of the first room and the third step of the second room, the method of claim 1 is preferably applied (S1005, S1009) so that the video and audio are output.

그리고 상기 유학원(S414) 메뉴에 해당하는 하부 구동 프로그램은 언어를 선택(S1101)한 후And the lower driving program corresponding to the agent (S414) menu after selecting a language (S1101)

1실(S1102)과 2실(S1107)로 구분하여 하부 메뉴를 구성하되,The lower menu is divided into one room (S1102) and two rooms (S1107),

1실(S1102)을 선택한 경우에는 컴퓨터 프로그램에 의하여 자동으로 구동되는 프로그램 유학(S1103)과정이나 사이트의 직원이 교육하는 교육자 유학(S1105)과정 중에서 택일하도록 하는 제1단계와,In the case where one room (S1102) is selected, the first step of selecting one of the program study (S1103) courses that are automatically driven by a computer program, or the study of educators (S1105) courses by the staff of the site,

프로그램 훈련과정인 경우에는 언어 학습 컴퓨터 프로그램에 의한진행(S1104)에 의하여, 교육자 훈련과정인 경우에는 그 교육자와의 상호 대화에 의하여 질문과 대답을 하면서 교육을 진행(S1106)하는 제2단계로 구성하고,In the case of the program training process, the second step of conducting the education (S1106) while answering questions and answers by means of progress by the language learning computer program (S1104), and in the case of the educator training process by mutual dialogue with the educator (S1106) and,

2실(S1107)을 선택한 경우에는 회원 중의 게임 및 어학 실력 우수자 중에서 신청을 받아 프로파일 및 등급, 보수 정보를 제공(S1108)하는 제1단계와,If the second room (S1107) is selected, the first step of receiving an application from among the game and language proficiency among the members (S1108) to provide a profile, grade, and reward information, and

상기 명단의 회원 중 1인을 선택(S1109)하는 제2단계와,A second step of selecting one of the members of the list (S1109);

그 교육자와의 상호 대화에 의하여 질문과 대답을 하면서 교육을 진행(S1110)하는 제3단계로 구성하되,Consists of the third step to proceed with the education (S1110) while answering questions and answers by mutual dialogue with the educator,

상기 1실의 제2단계와 2실의 제3단계에서 상대방과의 대화시에는 외국어의 입출력이 가능한 제1항의 방법이 적용(S1104, S1110)되어 동영상 및 음성이 출력되도록 구성됨이 바람직하다.In the second step of the first room and the third step of the second room, the method of claim 1, which is capable of inputting and outputting a foreign language, is applied (S1104, S1110) so that video and audio are output.

또한 상기 전시관(S416) 메뉴에 해당하는 하부 구동 프로그램은In addition, the lower drive program corresponding to the exhibition hall (S416) menu

미리 정해진 기준에 의하여 회원을 영웅, 챔피언으로 분류하여 일반적인 프로파일 외에 게임 기록까지 표시(S1201)하는 제1단계와,A first step of classifying members into heroes and champions based on a predetermined criterion and displaying game records in addition to the general profile (S1201);

그 후 데모(S1202), 영웅지정 시합(S1204) 및 챔피언급 재시청(S1206)의 3가지 중 하나 이상으로 하부 메뉴를 구성하는 제2단계로 구성하되,After that, the second step of configuring the sub-menu in at least one of the demo (S1202), hero designation game (S1204) and champion-class re-view (S1206),

상기 프로파일에서 선택된 사람에 대하여 데모(S1202) 메뉴를 선택한 경우에는 미리 정해진 시간 동안의 짧은 게임 데모를 동영상으로 표시(S1203)하고,When the demo (S1202) menu is selected for the person selected in the profile, a short game demo for a predetermined time is displayed as a video (S1203),

상기 프로파일에서 선택된 영웅에 대하여 영웅지정 시합(S1204) 메뉴를 선택한 경우에는 시합(S1205) 화면으로 변환하며,When the hero designated game (S1204) menu is selected for the hero selected in the profile, the screen is converted to the game (S1205).

상기 프로파일에서 선택된 챔피언에 대하여 챔피언급 재시청(S1206) 메뉴를선택한 경우에는 과거의 시합을 재시청(S1207)할 수 있는 화면으로 변환하되,When the champion-level re-watching (S1206) menu is selected for the selected champion in the profile, the previous game is converted into a screen for re-watching (S1207),

상기 프로파일의 표시에 있어서는 제1항의 방법이 적용(S1201)되어 동영상 및 음성이 출력되도록 구성됨이 바람직하다.In the display of the profile, it is preferable that the method of claim 1 is applied (S1201) so that a video and an audio are output.

이하 상기와 같은 본 발명의 제1 내지 제5 발명의 구성에 대하여 보다 상세히 설명한다.Hereinafter, the configuration of the first to fifth invention of the present invention as described above will be described in more detail.

본 발명의 제1 발명은 중앙처리장치, 메모리, 저장장치, 입출력을 위한 키보드, 모니터, 마우스 등을 기본적으로 구비하고, 이에 더하여 영상획득 수단과 음성획득 수단을 가진 컴퓨터에서 작동되며, 온라인임을 필요로 하지 않는다. 반면에 본 발명의 제2 내지 제5 발명은 온라인임을 필요로 하므로 도 2에 도시된 바와 같이 적어도 각 지역별로 분할된 서버(220∼225)들을 총괄하는 공급자의 컴퓨터(200)와, 상기 공급자의 컴퓨터(200) 산하의 어느 부분에 연결되어 게임 내용을 각종 유무선 경로를 통하여 수신 매체에 보낼 수 있는 방송국(250)과, 상기 서버(220∼225)에 연결되는 회원 컴퓨터(230)와, 회원의 얼굴의 입체 영상을 취득할 수 있는 영상획득 수단과, 회원의 음성 데이터를 취득할 수 있는 음성획득 수단으로 구성된 하드웨어에서 동작한다.The first invention of the present invention basically includes a central processing unit, a memory, a storage device, a keyboard for input / output, a monitor, a mouse, and the like, and is operated on a computer having an image acquisition means and an audio acquisition means, and needs to be online. Do not On the other hand, since the second to fifth inventions of the present invention need to be online, the supplier's computer 200 which manages the servers 220 to 225 divided by at least each region as shown in FIG. A broadcasting station 250 connected to any part of the computer 200 and transmitting game contents to a receiving medium through various wired and wireless paths, a member computer 230 connected to the servers 220 to 225, and It operates in hardware consisting of image acquisition means capable of acquiring a stereoscopic image of a face and voice acquisition means capable of acquiring voice data of a member.

이를 상세히 설명하면, 상기 공급자의 컴퓨터(200)에 각 지역 총판 컴퓨터(210∼213)가 네트워크로 연결되고, 상기 각 지역 총판 컴퓨터(210∼213)에 그 각 지역의 서버(220∼225)가 네트워크로 연결되며, 상기 각 지역의 서버(220∼225)에 인터넷 등의 네트워크를 통하여 각 회원 컴퓨터(230)가 연결되는 구조의 하드웨어적 통신망 구성을 통하여 구현된다. 상기 각 컴퓨터는 최소한 데이터를 처리할 수 있는 중앙처리장치(CPU)와, 프로그램 및 데이터가 로드 및 저장되어 실행되고 검색될 수 있는 메모리 또는 저장장치와, 데이터 및 프로그램의 입출력을 위한 모니터와 키보드, 마우스 입력장치를 가지고 있다. 그리고 회원 컴퓨터(230)에는 이에 더하여 사운드 카드 및 스피커를 추가로 구비하여야 한다.In detail, the local distributor computers 210 to 213 are networked to the supplier's computer 200, and the servers 220 to 225 for each region are connected to the local distributor computers 210 to 213. It is connected to a network, and is implemented through a hardware communication network structure in which each member computer 230 is connected to a server 220 to 225 in each region through a network such as the Internet. Each computer may include at least a central processing unit (CPU) capable of processing data, a memory or storage device in which programs and data may be loaded, stored, executed and retrieved, monitors and keyboards for input and output of data and programs, It has a mouse input device. In addition to the member computer 230, a sound card and a speaker should be additionally provided.

상기와 같은 기본적인 하드웨어 구성에 더하여 회원 가입을 위해서는 추가적으로 회원가입 서버(241, 242)가 네트워크를 통하여 연결되어 있어야 한다. 상기 회원가입 서버(241, 242)는 회원의 얼굴 이미지를 3차원으로 입력할 수 있는 3D 스캐너와, 회원의 음성 표본을 추출하여 저장하기 위한 음성 샘플링 기기를 구비하고 있어야 한다. 여기서 상기 3D 스캐너와 음성 샘플링 기기는 공지의 기술이므로 이에 대한 상세한 설명은 생략한다.In addition to the basic hardware configuration as described above, in order to register, additional membership servers 241 and 242 must be connected through a network. The membership servers 241 and 242 should be provided with a 3D scanner capable of inputting a member's face image in three dimensions and a voice sampling device for extracting and storing a voice sample of the member. Here, since the 3D scanner and the voice sampling device are well known technologies, detailed description thereof will be omitted.

도 2에 있어서는 상기 회원가입 서버(241, 242)를 각 지역 총판 컴퓨터(210∼213)의 산하에 1개씩 도시하였으나, 여러개가 연결될 수도 있고, 각 서버(220∼225)마다 연결되도록 구성할 수도 있다. 또한 기술의 발전과 장비의 저가화에 힘입어 상기 3D 스캐너와 음성 샘플링 기기의 보급이 개인 사용자들의 수준까지 이루어지게 되면 상기 기기는 회원 컴퓨터(230)에 연결되도록 구성될 수도 있고, 이때는 상기 회원가입 서버(241, 242)는 불필요하게 된다.In FIG. 2, although one member server 241 or 242 is shown under each of the local distributor computers 210 to 213, several may be connected or may be configured to be connected to each server 220 to 225. have. In addition, when the spread of the 3D scanner and the voice sampling device reaches the level of individual users due to the development of technology and the low price of the equipment, the device may be configured to be connected to the member computer 230, in which case the subscription server 241 and 242 become unnecessary.

또한 상기와 같은 기본적인 하드웨어 구성에 더하여 게임 내용의 방송을 위해서는 추가적으로 방송국(250)이 네트워크를 통하여 연결되어 있어야 한다. 상기 방송국(250)은 동영상으로 이미 저장되어 있는 게임 데이터 또는 현재 진행중인 게임 화면을 동영상화하여 유무선 방송 및 전송 경로를 통하여 공중파TV, 케이블TV등의 단방향 수신 매체 또는 컴퓨터, PCS, 핸드폰, PDA 등의 양방향 수신 매체에 데이터를 보낼 수 있는 장비이다. 그리고 상기 방송국(250)의 구체적인 구성은 종래의 유무선 공중파 방송국이나 인터넷 방송국의 구성과 동일하므로 상세한 설명은 생략한다.In addition to the basic hardware configuration as described above, in addition to broadcasting the game content, the broadcast station 250 must be connected through a network. The broadcasting station 250 converts game data that is already stored as a video or a game screen that is currently in progress into a video, and transmits a unidirectional receiving medium such as an over-the-air TV or a cable TV or a computer, PCS, mobile phone, PDA, etc. A device that can send data to a two-way receiving medium. Since the detailed configuration of the broadcasting station 250 is the same as that of a conventional wired / wireless airwave broadcasting station or an internet broadcasting station, detailed description thereof will be omitted.

그리고 도 2에서는 상기 방송국(250)이 공급자(200)의 산하에 하나만 설치되어 있는 것으로 도시되어 있으나, 그 갯수는 여러개일 수 있고, 각 나라와 지역마다 방송방식이 다를 수도 있으므로 각 지역 총판 컴퓨터(210∼213)의 산하에 1개씩 설치할 수도 있고, 또는 서비스의 단위를 더욱 세분화하여 서버(220∼225)마다 연결되도록 구성할 수도 있다. 이렇게 어느 곳에 방송국(250)을 설치하더라도 무방한 것은 이들 각 컴퓨터의 데이터를 취합하여 체계적으로 정리하여 저장하는 게임 동영상의 데이터베이스가 공급자(200)의 컴퓨터에 저장된다고 한다면, 네트워크의 어느 곳에서도 일목요연하게 억세스할 수 있기 때문이다.In FIG. 2, only one broadcasting station 250 is installed under the supplier 200, but the number of the broadcasting stations 250 may be several, and the broadcasting method may be different in each country and region, so that each regional distributor computer ( It may be provided one by one under 210-213, or it may be comprised so that the service unit may be further subdivided and connected to every server 220-225. In this way, if the broadcasting station 250 is installed in any place, a database of game videos that collects and systematically organizes and stores the data of each computer is stored in the computer of the provider 200. Because it can be accessed.

상기와 같은 하드웨어 구성을 이용한 본 발명 중 먼저 컴퓨터 프로그램을 이용하여 문장 텍스트를 스피치로 실시간 변환하면서 3D 스캔한 실제 얼굴 이미지에 음성 샘플링된 목소리를 적용하여 립싱크 및 감정표현을 구현하는 방법에 관한 제1 발명에 대한 상세한 구성 및 동작을 도 3의 순서도를 참조하여 먼저 설명하기로 한다.First of the present invention using the hardware configuration as described above, a method of implementing lip sync and emotion expression by applying a voice sampled voice to a 3D scanned real face image while real-time converting sentence text into speech using a computer program. Detailed configuration and operation of the invention will be described first with reference to the flowchart of FIG.

우선 종래부터 컴퓨터의 게임 분야와는 별도로 독자적으로 발전하여 온 분야로서 컴퓨터에 저장되어 있는 텍스트를 스피치로 변환하는 프로그램의 분야가 있다. 이런 프로그램은 도스 시절부터 개발되어 출현하기 시작하여 지금은 이러한종류의 프로그램은 텍스트 투 스피치(Text to Speech) 프로그램(이하 'T2S 프로그램')으로 널리 알려져 있다.First of all, there is a field of a program for converting text stored in a computer into speech, which has been developed independently of the computer game field. This program was developed and appeared since the DOS era, and now this kind of program is widely known as a text to speech program (T2S program).

이러한 T2S 프로그램은 기본적으로 텍스트로부터 한 문자, 음절 또는 한 어절을 추출하여 내고, 이 문자, 음절 또는 어절에 해당되는 소리 데이터를 미리 저장되어 있는 T2S 데이터베이스로부터 추출하여 그 음성 데이터를 스피커를 통하여 발성하게 하는 것이다. 이하 상기 추출 및 처리의 단위가 문자, 음절 또는 어절이라도 모두 기본적인 처리의 플로우는 동일하므로, 설명의 편의를 위하여 추출 및 처리의 기본 단위가 문자인 경우로 한정하여 설명하기로 한다.The T2S program basically extracts a character, syllable or a word from the text, extracts sound data corresponding to the character, syllable or word from a prestored T2S database, and generates the voice data through a speaker. It is. Hereinafter, even if the units of extraction and processing are characters, syllables, or words, the flow of basic processing is the same. Therefore, for convenience of description, the description will be made only when the basic units of extraction and processing are characters.

여기서 상기 T2S 데이터베이스의 구성에 있어서 필수 필드는 적어도,Here, the essential field in the configuration of the T2S database is at least,

기본적 처리단위(문자단위로 처리되는 경우에는 문자);The default processing unit (or character if processed in characters);

이에 해당하는 음성 데이터;Voice data corresponding thereto;

등을 포함하도록 구성함이 바람직하다.It is preferable to comprise such as.

이러한 T2S 프로그램의 처리 순서를 보면, 먼저 텍스트를 메모리 또는 저장장치에 저장한다. 상기 저장은 회원 가입시에 미리 저장시키는 텍스트나 게임 프로그램 등에서 나레이션을 위한 데이터의 하나로서 게임 프로그램과 합체되어 저장시키는 경우, 또는 이메일을 위하여 저장시키는 경우 등을 상정하는 것이지만, 이 외에도 채팅시와 같이 실시간으로 텍스트를 작성한 후 전송하기 위하여 순간적으로 저장하는 경우도 포함하는 개념이다.Looking at the processing sequence of such a T2S program, first, text is stored in a memory or a storage device. The above storage is one of data for narration in a text or game program that is stored in advance at the time of membership registration, and is assumed to be combined with the game program or stored for e-mail. This is a concept that includes a case of instantaneously storing text for transmission after writing the text.

그 후 T2S 프로그램에서 처리하기 위하여 상기 저장되어 있는 텍스트를 메모리에 로드한다. 그리고 그 텍스트 중의 첫 문자를 검출한 후 이 문자를 키워드로하여 T2S 데이터베이스를 검색한다. 물론 각 문자와 이에 대응되는 음성 데이터는 미리 T2S 데이터베이스에 체계적으로 저장되어 있어야 한다. 그 검색 결과에 따라 해당 음성 데이터를 메모리에 로드하여 그대로 스피커를 통하여 출력한다. 그 후 다음 문자를 검출하면서 텍스트의 끝까지 상기 과정을 반복하는 것이다.The stored text is then loaded into memory for processing in the T2S program. After detecting the first character of the text, the character is searched in the T2S database. Of course, each character and the corresponding voice data should be systematically stored in the T2S database in advance. According to the search result, the voice data is loaded into the memory and output through the speaker as it is. The process is then repeated until the end of the text while detecting the next character.

그런데, 본 발명에 있어서는 상기와 같은 종래의 T2S 프로그램의 음성 데이터에 자신의 음성 데이터의 특징을 결합하여 출력하도록 구성되어 있다. 상기 결합 과정은 다음과 같다.In the present invention, however, the audio data of the conventional T2S program as described above is combined with the characteristics of the own voice data and output. The binding process is as follows.

사람의 음성 데이터는 사람마다 독특한 성문을 가지고 있고, 기타 전체적인 주파수와 음색, 거칠기 등도 다르다. 이러한 각 사람의 고유의 음성 데이터의 특징을 구성하는 요소는 디지털화되면서 수치로 데이터화할 수 있음은 공지의 사실이다.Human voice data has unique voices, and the overall frequency, timbre, and roughness are different. It is well known that elements constituting the characteristics of voice data unique to each person can be digitalized while being digitalized.

따라서 먼저 본 발명의 제1 발명 프로그램의 기동시 또는 회원 가입시에 음성을 샘플링한 후 저장한다. 만일 이 프로그램의 사용자가 여러 사람일 경우에는 이 샘플링 데이터들을 각 사람마다 저장함으로써 기본 데이터베이스를 구축할 수 있다. 이하 사용자가 여러 사람인 경우를 가정하여 기본 데이터베이스에 음성 샘플 데이터가 저장된 것으로 하여 설명한다. 상기 기본 데이터베이스의 필수 필드는 적어도,Therefore, first, the voice is sampled and stored when the first invention program of the present invention is started or a member is registered. If you have multiple users of this program, you can build a basic database by storing this sampling data for each person. In the following description, it is assumed that voice sample data is stored in a basic database on the assumption that there are several users. Required fields of the primary database are at least,

아이디;ID;

음성 데이터(바이너리);Voice data (binary);

성문 증감분;Glottic increments;

음색 증감분;Tone increments;

거칠기 증감분;Roughness increment;

평균 주파수 증감분;Average frequency increment;

그 후 상기 기본 데이터베이스에서 자기 음성 데이터의 성문, 전체적 평균 주파수, 음색, 거칠기 등의 요소, 즉 자신의 음성 특색에 대한 데이터를 미리 정해져 있는 기준치와 대비하여 증감분을 구한 후 이 증감분도 또한 상기 기본 데이터베이스에 저장한다. 상기에서 말하는 기준치는 T2S 데이터베이스에 저장되어 있는 각 문자에 해당하는 음성 데이터의 성문, 전체적 주파수, 음색, 거칠기 등의 요소의 수치가 될 수 있다.Thereafter, the basic database obtains an incremental and decrement against a predetermined reference value, such as a voiceprint, an overall average frequency, a tone, a roughness, and the like of the voice data of the self-voice data. Store in The reference value described above may be a numerical value of an element such as a voiceprint, an overall frequency, a tone, a roughness of voice data corresponding to each character stored in the T2S database.

그 후 T2S 프로그램이 작동하면 상기 회원의 음성 데이터의 각 요소의 증감분의 수치를 음성의 기본 데이터베이스로부터 추출하여 메모리에 로드한다. 그 후 T2S 프로그램에서 어떤 특정의 문자에 대하여 스피커를 통하여 발음을 하게 될 때 상기 증감분을 고려하여 각 요소의 수치를 조정함으로써 회원 본인의 목소리가 스피커를 통하여 시뮬레이션되어 출력되는 것이다.After that, when the T2S program is operated, the numerical value of the increment of each element of the member's voice data is extracted from the basic database of the voice and loaded into the memory. After that, when a specific character is pronounced through the speaker in the T2S program, the voice of the member himself is simulated and output through the speaker by adjusting the numerical value of each element in consideration of the increment.

한편, 본 발명은 상기의 T2S 프로그램을 포함하여 구성될 뿐만 아니라, 이에 더하여 립싱크 프로그램 및 감정표현 프로그램을 함께 구비하고 있다.Meanwhile, the present invention is not only configured to include the T2S program, but also includes a lip sync program and an emotion expression program.

상기 립싱크 프로그램은 상기 T2S 프로그램에 의하여 각 문자가 추출된 경우에 이 각 문자의 모음을 조사함으로써 용이하게 구현될 수 있다. 즉 모음별로 입 모양의 이미지 또는 그 변형 공식을 모아 놓음으로써 립싱크 데이터베이스를 구축할 수 있다. 그런데 입 모양의 이미지를 그대로 비트맵으로 모아서 데이터베이스를 구축한 경우에는 실제로 사람마다 입 크기 등이 다르기 때문에 적용하기 매우 곤란하다. 따라서 기본 데이터의 입 모양을 변형하기 위한 공식만을 립싱크 데이터베이스로 저장하는 방법이 더욱 바람직하다.The lip sync program can be easily implemented by examining the vowels of each character when each character is extracted by the T2S program. In other words, it is possible to build a lip-sync database by collecting a mouth-shaped image or its transformation formula by collection. However, in the case of building a database by collecting bite-shaped images as bitmaps, it is very difficult to apply them because the size of mouth is different for each person. Therefore, it is more preferable to store only the formula for modifying the shape of the mouth of the basic data in the lip sync database.

상기 립싱크 데이터베이스를 구성함에 있어서 필수 필드는 적어도,The essential field in configuring the lip sync database is at least:

모음(입 모양을 변경할 필요가 있는 모음의 종류);Vowels (types of vowels that need to change the shape of the mouth);

그 모음에서의 입 모양 변형에 필요한 입술의 간격, 두께, 가로길이, 세로길이, 상향 볼록 정도, 하향 볼록 정도, 입가의 주름, 턱 위치 등의 공식;Formulas such as lip spacing, thickness, width, length, length of upward convexity, degree of downward convexity, wrinkles in the corners of the mouth, chin position, etc., required for mouth shape deformation in the vowel;

등을 포함하도록 구성할 필요가 있다.It is necessary to configure to include such.

예컨대 도 16에 도시된 바와 같이 모음을 아, 에, 이, 오, 우로 크게 5가지로 분류하였다면, 모든 기타의 모음도 이 5가지의 데이터 범주 중의 하나로 통일시킴으로써, 립싱크 데이터베이스를 간략히 만들 수도 있다. 즉 이 경우에는 예컨대 "위"는 "이" 모음의 입모양을 따르도록 지정해두면 된다. 도 16에 의하면 각 모음에 있어서 입 모양을 어떻게 수치화하여 변형할 것인가에 관하여 많은 알고리즘이 있을 수 있다는 것을 알 수 있다.For example, as shown in FIG. 16, if the vowels are largely classified into five categories such as a, e, e, o, and right, all other vowels may be unified into one of these five data categories, thereby simplifying the lip sync database. In this case, for example, "above" should be specified to follow the mouth of "this" vowel. According to FIG. 16, it can be seen that there are many algorithms regarding how to modify and shape the shape of the mouth in each vowel.

또한 상기 각종 공식의 예를 들면,Also, for example, the above various formulas

'아' 모음의 경우에는 입술의 간격 = 100, 두께 = 90, 가로 = 90, 세로 = 100, 상향 볼록 = 100, 하향 볼록 = 20, 주름 = 0, 턱 = 100으로 설정하고,For the 'Ah' vowel, set Lip spacing = 100, Thickness = 90, Horizontal = 90, Vertical = 100, Upward convex = 100, Downward convex = 20, Wrinkles = 0, Jaw = 100,

'이' 모음의 경우에는 입술의 간격 = 70, 두께 = 80, 가로 = 98, 세로 = 20, 상향 볼록 = 20, 하향 볼록 = 10, 주름 = 10, 턱 = 20으로 설정하였다고 가정하자.For this vowel, assume that the lip spacing = 70, thickness = 80, width = 98, length = 20, upward convex = 20, downward convex = 10, wrinkles = 10, jaw = 20.

그 후 실제로 각 문자를 T2S 프로그램에 의하여 발음할 때 그 모음에 해당되는 입모양 이미지 데이터를 로드하여 이를 얼굴 이미지 데이터와 합성함으로써, 또는 기본 입 모양을 변형시키는 공식을 로드하여 이를 기본 얼굴 이미지 데이터에 적용하여 변형시킴으로써 용이하게 립싱크 기능을 구현할 수 있다.Then, when each character is actually pronounced by the T2S program, it loads the shape image data corresponding to the vowel and synthesizes it with the face image data, or loads a formula that transforms the basic mouth shape and loads it into the basic face image data. By applying and modifying, the lip synch function can be easily implemented.

이하 예컨대 텍스트가 '하이'인 경우를 예로서 상세히 설명하기로 한다.For example, the case where the text is 'high' will be described in detail as an example.

이때 각 문자는 '하'와 '이'가 될 것이고, 이는 각각 '아' 모음과 '이' 모음에 해당되므로 상기 립싱크 데이터베이스가 검색되면 상기 예로 든 변경 공식이 메모리에 로드된다.At this time, each character will be 'ha' and 'yi', which corresponds to 'ah' and 'yi', respectively, so when the lip-sync database is searched, the example change formula is loaded into memory.

한편 기본 얼굴 이미지 데이터의 입 모양 부분의 이미지만을 따로 분리하여 메모리에 로드한 후, 먼저 '아' 모음 모양을 만든다. 이때, 입술의 간격 = 100이므로 입 모양의 입술의 내측 테두리 내부의 세로 길이를 내부 가로 길이와 동일한 길이, 즉 100%로 만들고, 입술의 두께 = 90이므로 기본 입술 이미지의 입술 두께의 90% 두께로 조정하며, 가로 = 90, 세로 = 100이므로 입술의 전체적인 가로길이, 세로길이를 기본 입술 이미지의 가로길이, 세로길이의 각각 90%, 100%로 조정하고, 상향 볼록 = 100, 하향 볼록 = 20이므로 입술 내측 테수리의 윤곽이 위로는 전체적으로 큰 아치모양, 아래로는 작은 아치모양을 이루도록 변형하고, 주름 = 0이므로 입술 가장자리 끝의 주름 이미지는 생성하지 않도록 하고, 턱 = 100이므로 입 모양이 벌어짐에 의하여 턱 선이 아래로 더욱 크게 이동하도록 조정한다. 그리고 끝으로 상기 각 이미지의 경계선과 그 내부의 색깔은 기본 얼굴 이미지에서 원래 입술 이미지가 있던 부근에 대응하여 비례적으로 크기 및 색깔의 전이를 자연스럽게 하여 부드럽게 처리하여야 한다. 이렇게 변형된 입술 이미지가 완성되면 기본 얼굴 이미지에 합성한다. 그 후 모니터에 표시하면 된다. 이때 T2S 프로그램에 의하여 '아'라는 음성 데이터도 스피커를 통하여 출력된다.Meanwhile, only the image of the mouth shape of the basic face image data is separated and loaded into the memory, and first, a 'h' collection shape is created. At this time, the lip spacing = 100 makes the vertical length inside the inner rim of the mouth-shaped lip the same length as the inner lateral length, that is, 100%, and since the lip thickness = 90, 90% of the lip thickness of the base lip image. Adjust the overall width and height of the lips to 90% and 100% of the width and height of the base lip image, so that upward convex = 100 and downward convex = 20. The contour of the inner lip of the lip is deformed to form a large arch shape at the top and a small arch shape at the bottom, and since wrinkles = 0, do not generate an image of wrinkles at the edge of the lip. By adjusting the jaw line to move further down. And finally, the boundary line of each image and the color inside thereof should be smoothed by smoothing the size and color transition in proportion to the vicinity of the original lip image in the basic face image. When the deformed lip image is completed, it is synthesized with the basic face image. Then display it on the monitor. At this time, the voice data 'A' is also output through the speaker by the T2S program.

그리고 감정표현 프로그램은 미리 정해진 기능문자에 의하여 자기의 감정을 기본 얼굴 이미지에 나타내는 프로그램이다.The emotion expression program is a program for expressing one's emotion on a basic face image by a predetermined function character.

먼저 미리 선정된 기쁨, 슬픔, 화남, 용서, 즐거움, 슬픔 등 희노애락의 감정을 선정하고, 이들을 대표하는 기능문자를 정의하여 감정표현 데이터베이스에 저장한다. 그리고 이들 각각의 감정을 표현할 때 가장 감정 표현이 잘 나타나는 인체의 부위, 즉 예컨대 눈섭, 눈, 입 등의 각도와 위치, 굵기 등의 변형 공식을 저장함으로써 감정표현 데이터베이스를 만들 수 있다.First of all, the emotions of joy, sadness, anger, forgiveness, joy, sadness, etc. are selected in advance, and the functional characters representing them are defined and stored in the emotion expression database. When expressing each of these emotions, an emotion expression database can be created by storing deformation parts such as angles, positions, and thicknesses of the human body where the most emotional expressions are expressed, for example, eyebrows, eyes, and mouths.

여기서 상기 감정표현 데이터베이스를 구성함에 있어서 필수 필드는 적어도,Here, the essential field in configuring the emotion expression database is at least,

기능문자(예컨대 기쁜 감정을 대표하기 위하여 '기쁘다'라는 문자열 또는 특정 컨트롤 문자를 할당할 수 있다);Function letters (eg, a string of 'happy' or a specific control character can be assigned to represent happy emotions);

이 기능문자에 해당되는 적어도 눈썹, 눈, 입 모양의 크기, 위치, 각도 등의 변형 공식;Transformation formulas for at least the size, position, and angle of the shape of the eyebrows, eyes, and mouth corresponding to this function character;

을 포함하여 구성함이 바람직하다.It is preferable to comprise a.

또한 상기 각종 변형의 기준이 되는 데이터는 회원가입시 입력하여 저장되어 있는 기본 얼굴 이미지 데이터의 각 요소의 위치 및 크기 등이 되는 것이 바람직하다.In addition, the reference data of the various modifications are preferably the position and size of each element of the basic face image data that is input and stored at the time of membership registration.

상기 감정을 대표하는 기능문자가 텍스트에서 검출된 경우에는 그 기능문자를 감정표현 데이터베이스에서 검색한다. 그리고 그 검색 결과에 따라 감정표현을 위한 얼굴 변형 공식을 추출하여 메모리에 로드한다. 그 후 상기 공식을 얼굴 이미지 데이터에 적용하여 변형된 얼굴 이미지를 만들고, 이를 모니터에 출력함으로써 감정표현을 할 수 있다. 이러한 과정은 상기 립싱크 프로그램의 과정과 매우 유사하므로 상세한 실시예나 설명을 생략한다.If a function character representing the emotion is detected in the text, the function character is searched in the emotion expression database. Then, based on the search result, the facial expression for emotion expression is extracted and loaded into memory. Thereafter, the formula may be applied to the face image data to create a modified face image, and the emotion expression may be performed by outputting it to the monitor. Since this process is very similar to that of the lip sync program, detailed embodiments or explanations are omitted.

다만 예컨대, 도 15a에 도시된 바와 같이 자신의 얼굴 이미지가 '무표정'일 때 입력되어 기본 데이터베이스에 저장되어 있는 경우에, 이와 대비하여 화가 났을 경우('화났다')에는 도 15b에 도시된 바와 같이 양측 눈섭이 중심위치를 기준으로 회전하여 외측 부분이 더 높게 치켜 올라가도록 표현하여야 하므로 양측 눈섭의 외측 선단의 좌표를 예컨대 20% 증가시키고, 이와 반대로 내측 선단의 좌표는 예컨대 20% 감소시키면서, 눈섭의 굵기를 10% 감소시키는 공식을 저장하게 되는 것이다. 상기와 같은 감정의 표현은 도 15c의 즐거움('즐겁다'), 도 15d의 슬픔('슬프다') 등에 있어서도 동일한 요령으로 적용된다. 즉 기본 이미지를 기준으로 얼굴 이미지의 각 중요 부위(눈썹, 눈, 입 등)를 얼마 만큼 변형할 것인가를 수치화하여 저장하고 이를 적용하면 되는 것이다.However, for example, when the image of one's face is input when it is 'expressionless' and is stored in the basic database, as shown in FIG. 15A, when the user is angry ('angry') as shown in FIG. 15B Since both brows should be rotated relative to the center position so that the outer part is raised higher, the coordinates of the outer leading edge of both brows are increased by, for example, 20%, while the coordinates of the inner leading edge are reduced by 20%, for example, You will save a formula that reduces the thickness by 10%. The above expression of emotion is applied in the same way to the joy ('happy') of FIG. 15C, the sadness ('sad') of FIG. 15D, and the like. In other words, how much to transform each important area (eyebrows, eyes, mouth, etc.) of the face image on the basis of the basic image is stored by applying a number.

상기와 같은 T2S, 립싱크, 감정표현 등의 각종 프로그램은 각각 독립적으로 작용하게 되지만, 전체로서는 결국 하나의 동영상과 하나의 음성 데이터를 출력하기 위한 것이므로 모두 종합적으로 작용한다. 그리고 상기 T2S, 립싱크, 감정표현 등의 각종 프로그램은 그 실시예를 나타낸 것에 불과하므로 이에 본 발명의 기술적 사상이 한정되는 것은 아니라고 해석되어야 한다. 따라서 본 발명의 기술적 사상을유지하는 상태에서도 얼마든지 동일성의 범위 내에서 변형 실시가 가능하며, 이러한 실시는 본 발명의 범위에 속하는 것으로 해석되어야 한다.The various programs such as T2S, lip sync, emotion expression, etc. act independently of each other, but all of them work collectively because they are for outputting one video and one audio data. In addition, the various programs such as T2S, lip sync, and emotional expressions are merely examples of the embodiments, and thus, the technical concept of the present invention is not limited thereto. Therefore, modifications can be made within the scope of the same as much as possible while maintaining the technical spirit of the present invention, and such implementations should be construed as falling within the scope of the present invention.

상기와 같은 제1 발명의 방법은 이메일, 채팅, 외국어 학습 및 온라인 게임에도 응용될 수 있다.The method of the first invention as described above can be applied to e-mail, chat, foreign language learning and online games.

그런데, 상기 제1 발명의 방법을 적용하는 경우에 있어서, 일단 저장된 텍스트를 대상으로 하고, 그 저장시킨 사람은 통신상에서 배제되어 일방향성 통신이 되는 경우와, 실시간으로 계속적으로 텍스트를 주고 받는 상황에서 양측 사람이 모두 현시점에서 통신라인상에 존재하는 경우의 양방향성 통신이 되는 경우로 구분할 수 있다. 이는 동영상 화면의 창의 갯수와, 채팅 창이 열리는지 여부와 관계가 있으며, 전자의 경우에 대표적인 것으로는 이메일의 경우를 들 수 있고, 후자의 경우에 대표적인 것으로는 채팅을 들 수 있다.By the way, in the case of applying the method of the first invention, the stored text is targeted, and the stored person is excluded from the communication and becomes one-way communication, and in the situation of continuously exchanging text in real time. It can be classified into two-way communication where both people are present on the communication line at this time. This is related to the number of windows of the video screen and whether or not a chat window is opened. In the former case, e-mail is typical, and in the latter case, chat is representative.

먼저 본 발명의 제2 발명인 이메일의 경우에 본 발명의 제1 발명의 방법을 적용하면 송신자측에서 이메일 데이터를 보내면 수신자측에서 이를 열어볼 경우에 수신자측에서만 액션이 발생하는 단방향 구조의 서비스이다. 따라서 수신자측에서 이메일을 열게 되면 먼저 동영상 프레임이 표시된다. 그리고 텍스트 프레임도 따로 표시되도록 구성할 수 있다.First, in the case of the email of the second invention of the present invention, when the method of the first invention of the present invention is applied, the sender side sends the e-mail data, and when the receiver side opens it, the action occurs only in the receiver side. Therefore, when the e-mail is opened at the receiver side, the video frame is displayed first. You can also configure text frames to be displayed separately.

상기 동영상 프레임이 표시된 후에는 텍스트를 T2S 프로그램이 문자별로 추출하면서 처리하는 동안 기능문자에 대해서는 감정표현 프로그램이 작동하고, 기타의 일반문자의 경우에는 회원 자신의 음성으로 립싱크가 되면서 동영상이 움직이면서 음성을 출력하고, 이런 과정을 반복하면서 그 텍스트의 끝까지 처리된다.After the video frame is displayed, the T2S program extracts the text for each character and processes the emotion expression program for the functional characters, and in the case of other general characters, the video is moved while lip syncing with the member's own voice. Print and repeat this process until the end of the text is processed.

다음으로 본 발명의 제3 발명인 채팅의 경우에 본 발명의 제1 발명의 방법을 적용하면 도 14b에 도시된 바와 같이 동영상 프레임이 2개 표시되고, 이와는 별도로 필수적으로 채팅창이 표시되어야 한다. 즉 채팅의 경우는 양방향 통신의 구조이다.Next, in the case of chat, which is the third invention of the present invention, when the method of the first invention of the present invention is applied, two video frames are displayed as shown in FIG. 14B, and a chat window must be displayed separately from the chat window. In other words, the chat is a structure of two-way communication.

상기 채팅창에 텍스트를 입력하고 전송을 하면 상대방의 모니터에는 제1 발명의 방법이 구동되면서 동영상이 립싱크, 감정표현하면서 움직이면서 음성을 출력하고, 이를 반복하면서 텍스트 끝까지 처리한다. 그 후 상대방이 다시 텍스트를 응답하면 이번에는 회원의 모니터에 상기와 같은 수순을 거쳐 처리가 되고, 표시된다. 이러한 과정이 서로 계속되면서 채팅이 이루어진다.When text is input and transmitted to the chat window, the other party's monitor is driven while the video is lip-synced while expressing the emotions while the method of the first invention is driven. Then, when the other party responds to the text again, this time, the process is processed and displayed on the member's monitor as described above. This process continues with each other and chat takes place.

그리고 본 발명의 제4 발명인 외국어 학습에 있어서는 본 발명의 제1 발명의 방법을 적용하면 상기 채팅의 경우와 유사하게 구성할 수 있으므로 상세한 설명은 생략한다. 다만, 상기 T2S 데이터베이스나 대화창, 립싱크 데이터베이스, 감정표현 데이터베이스 등의 구성에 있어서 외국어로 입출력이 가능하고, 그 입출력된 데이터의 처리가 가능하도록 구성하여야 한다는 점이 다를 뿐이다.In the foreign language learning, which is the fourth invention of the present invention, if the method of the first invention of the present invention is applied, it can be configured similarly to the above-described chat, and thus the detailed description thereof will be omitted. However, the configuration of the T2S database, the chat window, the lip sync database, the emotion expression database, etc. is different only in that the input and output can be performed in a foreign language and the data can be processed.

한편 본 발명의 제5 발명으로서 본 발명의 제1 발명의 방법을 적용하면서 상기 각 구성요소들을 종합하여 온라인 게임 사이트를 구성하는 것도 가능하다. 이 경우에는 도 4에 도시된 바와 같이 회원인지를 판단한 후 회원이면 서버(220∼225)의 메모리에 로드되어 구동되고 있는 프로그램에 의하여 메인 메뉴로 들어가게 되는데, 상기 화면에는 총 7개의 하부 메뉴를 예시하고 있다. 여기서 실시예에 있어서는 그 중 일부만 구비하여도 무방하다.On the other hand, while applying the method of the first invention of the present invention as the fifth invention of the present invention, it is also possible to construct an online game site by combining the above components. In this case, as shown in FIG. 4, after determining whether the member is a member, the member enters the main menu by a program that is loaded and driven in the memory of the servers 220 to 225. Doing. In this embodiment, only some of them may be provided.

이때 상기 회원 가입을 위해서는 도5에 도시된 바와 같이 먼저 3D 스캔 및 음성 샘플링을 행하고, 가입비를 납부하면 공급자의 컴퓨터(200)의 저장장치에 마련되는 데이터베이스에 등록이 된다. 이때 상기 영상 및 음성은 물론이고, 상기 영상의 중요한 인체 부분, 예컨대 눈섭, 눈, 입 등의 위치, 크기, 각도 등의 데이터가 추출되어 함께 저장되고, 음성의 경우에는 톤, 주파수, 음색, 거칠기 등의 데이터가 기본값과 비교되어 저장된다. 상기 회원 가입 단계는 회원가입 서버(241, 242)를 이용하도록 구성하고 있으나, 이는 3D 스캔 및 음성 샘플링을 위한 장비가 널리 보급되면 회원의 컴퓨터(230)에서 실행할 수도 있다.In this case, as shown in FIG. 5, 3D scanning and voice sampling are performed first, and when the subscription fee is paid, registration is made in a database provided in the storage device of the provider's computer 200. At this time, as well as the image and sound, data such as the position, size, angle, etc. of important human parts of the image, such as eyebrows, eyes, and mouth, are extracted and stored together, and in the case of voice, tone, frequency, tone, roughness Etc. data is stored compared to the default value. The membership registration step is configured to use the membership server (241, 242), but may be executed in the member's computer 230 if the equipment for 3D scanning and voice sampling is widely distributed.

상기 회원가입시의 등록 데이터베이스에는 상기의 사항 이외에도 출신지, 아이디, 이름, 이메일주소, 상기 얼굴 이미지 데이터가 결합할 기성품 3D 몸체, 자기소개용 텍스트, 등급획득날짜, 데모시합 데이터, 방송 수신채널 및 수신매체 등의 데이터도 함께 저장되고 관리되어야 한다.In addition to the above matters, the registration database at the time of membership registration includes a place of origin, ID, name, e-mail address, ready-made 3D body to which the face image data is combined, text for self introduction, rating acquisition date, demonstration game data, broadcast reception channel and reception medium. Data must also be stored and managed together.

만일 게임 내용의 방송 메뉴가 선택되면 도 6에 도시된 바와 같이 먼저 수신 매체 및 채널을 선택하여 입력하고 다음으로 넘어가면 지금 수신할지 여부를 선택하게 된다. 여기서 수신을 선택하면 상기 매체가 유무선 공중파 매체인 단방향 매체인지 여부를 판단하고, 단방향 매체라면 단순히 송신하기만 하면 된다. 그러나 단방향 매체가 아니라 컴퓨터, PCS, PDA 등의 양방향 매체라면 수신 도중에 채널을 변경할 수 있으므로 채널 변경에 관한 정보가 입력되는지 여부를 계속 추적하면서 송신하게 된다.If the broadcast menu of the game contents is selected, as shown in FIG. 6, the reception medium and the channel are first selected and inputted, and when the next time, the reception menu is selected. In this case, if reception is selected, it is determined whether the medium is a unidirectional medium that is a wired or wireless airwave medium, and if it is a unidirectional medium, it is simply transmitted. However, if the medium is not a unidirectional medium, but a bidirectional medium such as a computer, a PCS, a PDA, and the like, the channel can be changed during reception, so that the information regarding the channel change is continuously tracked and transmitted.

한편 게임의 상대방을 선택하고 시합을 직접 하게 되는 화면은 도 7에 도시된 바와 같이 먼저 공급자 컴퓨터(200) 이하에 접속되어 있는 모든 단계의 접속 서버(220∼225) 및 그 서버에 접속되어 있는 각 회원의 컴퓨터(230)와 그 회원의 프로파일을 일목요연하게 표시한다. 그 표시 방법은 상위 노드부터 하위 노드의 순으로 계속 클릭하여 들어가서 선택할 수 있도록 함이 바람직하다.On the other hand, the screen to select the opponent of the game and play the game directly, as shown in Fig. 7, the connection server (220 to 225) of all stages connected to the supplier computer 200 or less first, and each connected to the server The member's computer 230 and the member's profile are displayed at a glance. It is preferable that the display method can be clicked on to select from the upper node to the lower node in order.

그리고 도 13은 상기 단계의 실시예를 나타내는 도면인데, 도 13a는 모니터에 나타나는 프로파일의 내용의 예시도이고, 도 13b는 상기 예시 프로파일 중의 1인의 인사말을 클릭한 경우에 나타나는 화면의 예시이다. 여기서 "날 건드리지..."에는 "화났다"라는 기능문자가 있어서, 이를 감정표현 프로그램이 감지하여 얼굴 이미지의 눈섭, 눈 및 입 모양 등이 적절히 변형되었고, 그 후 "랄랄라"에는 "즐겁다"라는 기능문자가 있어서, 이에 의하여 다시 얼굴 이미지의 각 요소가 변형됨을 알 수 있다.FIG. 13 is a diagram showing an embodiment of the above step, and FIG. 13A is an exemplary view of the contents of a profile displayed on a monitor, and FIG. 13B is an example of a screen displayed when one person's greeting in the exemplary profile is clicked. Here, "Don't touch me ..." has the function character "Angry", which is detected by the emotion expression program, and the brows, eyes and mouth shapes of the face image are appropriately modified. There is a function letter, whereby it can be seen that each element of the face image is deformed again.

즉, 최종적으로 선택하는 화면이 나타나면 그 화면은 그 서버에 접속하고 있는 각 회원의 3D 얼굴 스캔 이미지와, 자기소개의 텍스트, 채팅 가능 여부 등의 프로파일이 상세히 열거된다. 여기서 어느 특정인의 자기소개 텍스트를 클릭 등의 방법으로 지정하면 그 회원의 3D 얼굴 스캔 이미지에 감정표현, 립싱크가 되면서 그 회원의 목소리로 실시간으로 모니터에 음성 및 동영상 출력된다. 따라서 감정적 교류가 원활해진다. 상기와 같은 동작은 이메일에 본 발명의 제1 발명의 방법을 적용한 경우와 동일하므로 상세한 설명은 생략한다.That is, when the screen to be finally selected appears, the screen details the 3D face scan image of each member who is connected to the server, the profile of the text of self-introduction and the availability of a chat. Here, if a specific person's self-introduction text is designated by clicking or the like, the 3D face scan image of the member is expressed and lip-synced, and the voice and video are output to the monitor in real time with the member's voice. Therefore, the emotional exchange is smooth. Since the above operation is the same as the case where the method of the first invention of the present invention is applied to an e-mail, a detailed description thereof will be omitted.

여기서 시합의 결과 점수가 어느 정도 이상이 되어야 챔피언 또는 톱10에 속하는 상대방과 시합을 할 수 있도록 설정할 수도 있다. 이와 반대로 자기가 챔피언또는 톱10에 속하는 경우에는 자기보다 하위의 상대방을 선택하여 시합을 할 수 있도록 설정할 수도 있다. 그리고 챔피언 또는 톱10에 속하는 회원은 시합 중이 아니라면 시간을 지체하는 만큼 감점시키도록 구성할 수도 있다.Here, if the result of the match is a certain degree or more, it may be set to compete with the champion or the opponent in the top ten. On the contrary, if he belongs to the champion or the top 10, he may select a lower opponent than himself to play. And the champion or the top 10 members can be configured to deduct as much time as possible if not in a match.

이렇게 여러 사람의 소개를 시청한 후에 실제 게임을 할 상대방을 선정한 경우에 클릭 등의 방법으로 최종 선택을 하면, 게임의 화면으로 전환된다. 이때 게임의 종류나 방법은 어떠한 것이 되어도 무방하며, 게임 도중의 채팅에 있어서는 상기 채팅에 관한 내용에서 설명한 바와 같이 처리되고, 게임 도중의 회원의 얼굴이 클로즈업되면서 미리 정해진 텍스트를 음성출력하는 화면이 있는 경우에도 제1 발명의 방법이 이메일의 경우와 마찬가지로 적용될 수 있다.After viewing the introductions of several people, when the opponent is selected to play the game, the final selection is made by clicking or the like. At this time, the type and method of the game may be any type, and in the chat during the game, the screen is processed as described in the above-mentioned chat, and the screen of the predetermined text is output as the face of the member closes in the game. In this case, the method of the first invention can be applied as in the case of e-mail.

상기 게임의 결과 승급을 하기 위해서는 컴퓨터 프로그램에 의하여 동작하도록 구성되어 있는 상대방과 반드시 시합을 하여 등급을 결정하도록 구성할 수도 있다. 그리고 상기 게임의 도중에도 다른 메뉴로 옮기지 않은 상태에서 이메일이나 메신저 프로그램에 의한 메시지를 송신할 수 있도록 구성할 수 있다.In order to promote the result of the game, the game may be configured to compete with an opponent configured to operate by a computer program to determine a grade. And it can be configured to transmit a message by an e-mail or a messenger program without moving to another menu in the middle of the game.

또한 상기 게임 도중에 휴식을 위하여 도 8에 도시된 바와 같이 채팅, 동아리, 토론, 정보검색, 도박, 카드게임 등의 서비스를 제공할 수 있는데, 여기에도 상기 제1 발명의 방법이 이용될 수 있다. 이들은 모두 양방향성 통신이라는 점에서 공통점이 있고, 그 구현 방법은 채팅의 방법으로 통일적으로 구현될 수 있으며, 이러한 구성 및 동작에 대해서는 상기 채팅에 관한 설명에서 이미 설명되었으므로 반복을 피하기로 한다.Also, as shown in FIG. 8, a service such as chat, club, discussion, information search, gambling, and card game may be provided for rest during the game. The method of the first invention may be used here. All of them are common in that they are two-way communication, and the method of implementation may be uniformly implemented by the method of chat, and the configuration and operation thereof are already described in the description of the chat, and thus repetition is avoided.

상기 메뉴의 구성은 도 14a에 도시된 바와 같이 주점과 같은 모양의 3층 건물을 모니터에 표시하고, 각 층별로 예컨대 1층에는 신분 또는 등급이 노출되지 않는 회원들의 캐릭터를 표시하고, 2층에는 신분 또는 등급이 노출된 회원들의 캐릭터를 표시한 후, 이들 중의 아무나와 시합을 할 수 있도록 하고, 1층의 회원과 시합을 하는 경우에는 자신의 등급에 영향을 미치지 않도록 하고, 2층의 회원과 시합을 하는 경우에는 자신의 등급에 영향을 미치도록 구성할 수도 있다.The configuration of the menu, as shown in Figure 14a displays a three-storey building shaped like a tavern on the monitor, each character, for example, on the first floor displays the characters of members who are not exposed to status or grade, on the second floor After displaying the characters of members whose status or level is exposed, you can play with any of them, and if you are playing with the members on the first floor, do not affect your rank. If you are playing, you can configure it to affect your rating.

또한 3층에는 채팅, 동아리, 토론, 정보검색, 도박, 카드게임 등의 메뉴를 구성할 수도 있고, 이들 메뉴를 클릭 등의 방법으로 선택하면 상기 각 해당 프로그램이 구동되어 해당 서비스를 제공할 수 있도록 구성할 수 있다. 상기 각 프로그램은 공지의 프로그램이므로 상세한 설명을 생략한다.In addition, on the 3rd floor, you can configure menus such as chat, clubs, discussion, information search, gambling, and card games.If you select these menus by clicking, the corresponding programs will be operated to provide the corresponding services. Can be configured. Since each program is a known program, detailed description thereof will be omitted.

그리고 상기 게임 도중에 도 9에 도시된 바와 같이 각종 도구의 구매, 패션쇼, 매수, 매도의 시장 등의 서비스를 제공할 수 있는데, 여기에도 상기 제1 발명의 방법이 이용될 수 있다. 이들도 모두 양방향성 통신이라는 점에서 공통점이 있고, 그 구현 방법은 채팅의 방법으로 통일적으로 구현될 수 있으며, 이러한 구성 및 동작에 대해서는 상기 채팅에 관한 설명에서 이미 설명되었으므로 반복을 피하기로 한다.During the game, as shown in FIG. 9, a service such as a purchase of various tools, a fashion show, a buy, a sell market, etc. may be provided, and the method of the first invention may be used here. All of them are common in that they are two-way communication, and a method of implementing the same can be implemented uniformly by the method of chat, and the configuration and operation thereof are already described in the description of the chat, and thus repetition will be avoided.

상기 메뉴의 구성은 상점과 같은 모양의 3층 건물을 모니터에 표시하고, 각 층별로 예컨대 1층에는 무기, 에네르기, 소도구, 갑옷, 헤어, 액세서리 등을 구매할 수 있는 가게를 표시하고, 2층에는 각 회원이 자신의 패션이나 무기를 공개하는 패션쇼를 표시하며, 3층에는 상기 패션이나 무기를 사거나 팔 회원들이 모여서 거래를 할 수 있는 시장을 표시한 후, 상기 각 층을 클릭 등의 방법으로 선택하면 다시 화면이 변경되어 상점의 내부, 패션쇼의 장소, 시장 내부를 나타내는 화면이 되도록 구성하고, 물건의 거래 등의 경우에 있어서 의사소통시에 제1 발명이 적용되도록 구성할 수도 있다. 상기 패션쇼의 경우에는 챔피언 등의 복장이 패션쇼에서 공개되는 경우에 이를 모방하려는 심리를 자극함으로써 보다 원활한 게임 참여를 유도하기 위한 것이다.The menu is configured to display a three-storey building in the shape of a shop on a monitor. For each floor, for example, a shop that can purchase weapons, energies, props, armor, hair, accessories, etc. is displayed on each floor. Each member displays a fashion show that reveals his or her fashion or weapons, and on the third floor, displays a market where the members can buy or trade the fashion or weapons, and then click on each floor. When the selection is made, the screen is changed again to be a screen representing the inside of a store, a place of a fashion show, and an inside of a market, and the first invention can be configured to be applied at the time of communication in the case of trading of goods. In the case of the fashion show is to induce a more smooth game participation by stimulating the psychology to imitate when the clothing such as the champion is revealed in the fashion show.

여기서 회원가입시 3D 스캔하였던 얼굴 이미지의 데이터를 성형하여 눈, 코, 입, 귀, 머리카락, 얼굴 윤곽, 피부 등을 변형시키는 이른바 성형외과 메뉴를 설치할 수도 있다.Here, a so-called plastic surgery menu may be installed to shape data of a 3D scanned face image upon deformation, to deform the eyes, nose, mouth, ears, hair, facial contour, skin, and the like.

그 과정은 먼저 회원가입시 3D 스캔하였던 얼굴 이미지의 데이터를 메모리에 로드하는 제1단계와,The first step is to load the data of the face image that was 3D scanned at the time of membership registration into the memory,

상기 데이터의 눈, 코, 입, 귀, 머리카락, 얼굴 윤곽, 피부 등을 그래픽 툴을 이용하여 변형시키는 제2단계와,A second step of deforming the eye, nose, mouth, ear, hair, facial contour, skin, etc. of the data by using a graphic tool;

상기 변형된 이미지를 원래 데이터와 합성함으로써 성형수술된 최종 이미지를 원래의 기본 데이터베이스에 저장하는 제3단계로 구성된다.Comprising a third step of storing the final modified image in the original basic database by combining the modified image with the original data.

한편, 상기 게임과는 별도의 메뉴에 의하여 도 10에 도시된 바와 같이 게임에 초보인 회원이 게임 요령 등을 전수받을 수 있는 수련원 서비스를 제공할 수 있고, 도 11에 도시된 바와 같이 게임 내용에 대하여 외국어로 대화를 주고 받으면서 외국어 및 게임에 대한 내용을 배울 수 있는 유학원 서비스를 제공할 수 있는데, 여기에도 상기 제1 발명의 방법이 이용될 수 있다. 이들도 모두 양방향성 통신이라는 점에서 공통점이 있고, 그 구현 방법은 채팅의 방법으로 통일적으로 구현될 수있으며, 이러한 구성 및 동작에 대해서는 상기 채팅에 관한 설명에서 이미 설명되었으므로 반복을 피하기로 한다.On the other hand, as shown in FIG. 10 by a menu separate from the game, a novice member who is new to the game can provide a training service that can receive game tips and the like, and as shown in FIG. It is possible to provide an agent service that can learn the contents of the foreign language and the game while having a conversation in a foreign language with respect to the above, the method of the first invention can also be used here. All of them are common in that they are two-way communication, and the method of implementation may be uniformly implemented by the method of chat, and the configuration and operation thereof are already described in the description of the chat, and thus repetition is avoided.

구체적인 실시예로서는 상기 수련원과 유학원은 각각 1실 및 2실로 구분하여 구성하고, 상기 1실에는 다시 컴퓨터 프로그램에 의하여 진행되는 자동 프로그램 훈련과정과, 게임 사이트에서 지정한 사람과의 대화에 의하여 진행되는 교육자 훈련과정이 마련되도록 구성할 수 있다. 이때 상기 두가지 훈련과정에 모두 본 발명의 제1 발명이 적용될 수 있는데, 자동 프로그램 훈련과정에 있어서는 이메일과 같은 구성이, 교육자 훈련과정에 있어서는 채팅과 같은 구성이 되므로 상세한 설명은 생략한다.As a specific embodiment, the training center and the agent are divided into one and two rooms, respectively, in the first room, an automatic program training course conducted by a computer program, and an educator training conducted by dialogue with a person designated at a game site. The process can be configured to be arranged. At this time, the first invention of the present invention can be applied to both of the above training courses. In the automatic program training course, a configuration such as an e-mail is configured as a chat in the educator training course, so detailed description thereof will be omitted.

또한 2실에는 회원 중에서 게임 실력이 일정한 수준 이상인 자들의 일반적인 프로파일, 등급 및 보수를 게시하여 놓는다. 그러면 회원이 그 중에서 특정인을 선택하게 되고, 보수를 지급하며, 그 선택된 자로부터 게임 지식을 전수받게 된다. 상기 게임 지식의 전수 과정은 상기 교육자 훈련과정과 동일한 절차 및 방법에 의하여 진행된다.The second room also lists general profiles, ratings, and rewards for members who have a certain level of game skill. The member then selects a specific person, pays them, and receives game knowledge from that person. The game knowledge transfer process is carried out by the same procedures and methods as the educator training process.

상기 교육자 훈련과정이나 선택 훈련과정은 유학원에 있어서는 외국어 실력이 일정한 수준 이상인 자들이 교육이나 훈련을 담당하도록 미리 선발과정을 거치도록 구성하여야 한다. 이러한 선발 과정은 오프라인으로 실행하도록 구성할 수도 있다.The educator training course or elective training course should be configured to go through selection process in advance for those who have a certain level of foreign language skills in charge of education or training. This selection process can also be configured to run offline.

그리고 상기 게임과는 별도의 메뉴에 의하여 도 12에 도시된 바와 같이 과거 게임의 실적에 의하여 상위 그룹의 회원들의 프로파일을 제공하고 데모 게임을 보여주며, 이들을 지정하여 게임을 할 수도 있고, 유명한 게임을 다시 시청할 수 있는 전시관 서비스를 제공할 수 있는데, 여기에도 상기 프로파일의 제공에 있어서는 상기 제1 발명의 방법이 이용될 수 있다. 이는 단방향성 통신이므로 이메일 서비스와 유사하게 처리되도록 구성될 수 있다. 따라서 이러한 구성 및 동작에 대해서는 상기 이메일에 관한 설명에서 이미 상세히 설명되었으므로 반복을 피하기로 한다.As shown in FIG. 12, a menu separate from the game provides profiles of members of the upper group according to the performance of past games, shows demo games, assigns them to play games, and plays famous games. It is possible to provide a pavilion service that can be viewed again, wherein the method of the first invention can also be used to provide the profile. Since it is a unidirectional communication, it can be configured to be handled similarly to an email service. Therefore, since such configuration and operation have already been described in detail in the above description of the email, repetition will be avoided.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.As described above, although the present invention has been described by way of limited embodiments and drawings, the present invention is not limited thereto, and the technical idea of the present invention and the following by those skilled in the art to which the present invention pertains. Various modifications and variations are possible, of course, within the scope of equivalents of the claims to be described.

상기와 같은 본 발명을 적용하면 이메일, 채팅, 외국어 학습, 온라인 게임 등에 텍스트만 입력하면 상대방측에는 그 송신한 회원의 얼굴과 목소리로 립싱크가 되면서 실시간으로 음성이 출력되므로 현실감 충족과 익명성 배제의 매우 탁월한 효과가 있으며, 게임 내용의 방송에 있어서도 양방향 통신수단 및 매체까지 포함함으로써 회원이 시청하고자 하는 게임을 채널을 바꿔가며 시청할 수 있으므로 회원의 채널선택권이 보장되어 만족감이 매우 증대되고, 온라인 게임에 있어서도 각종 서비스를 함께 받을 수 있고, 회원 프로파일의 제공시에도 보다 현장감 있는 정보를 제공할 뿐만 아니라, 상대방 선택화면에 있어서도 다른 서버에 접속한 회원들 중에서도 선택할 수 있도록 배려함으로써 보다 다양한 사람과 겨룰 수 있어서 도전의식을 함양시키게 되어 관련 분야의 시장 확대 및 회원 활성화의 매우 고무적인효과가 있다.Applying the present invention as described above, if you enter only the text in e-mail, chat, foreign language learning, online games, etc., the other party is lip-synced with the face and voice of the sender, so that the voice is output in real time, so that the reality and exclusion of anonymity are very high. It has excellent effects, and even in the broadcasting of game contents, by including two-way communication means and media, members can watch the games they want to watch by changing channels, which ensures the channel selection of members and greatly increases the satisfaction level. You can receive various services together, and provide more realistic information when providing a member profile, and also consider the choice of among members who are connected to other servers in the partner selection screen. Cultivate consciousness Therefore, there is a very encouraging effect of market expansion and membership activation in related fields.

Claims

As a method of operating in a computer having a central processing unit, a memory, a storage unit, a keyboard for input and output, a monitor, a mouse, and the like, and an image acquisition means and an audio acquisition means,

A first step of corresponding one-to-one correspondence for every character and storing the corresponding voice data in a T2S database;

A second step of storing a formula for modifying the position, size, and angle of the main elements of the image data when expressing the emotions in a emotion expression database in a one-to-one correspondence with a function character indicating a predetermined emotion expression;

A third step of storing a formula for changing the position, size, and angle of the shape of the mouth shape during the lip syncing with the lip syncing database for a predetermined collection;

A fourth step of acquiring and storing the three-dimensional image of the member, sampling and acquiring the member's voice, and storing it in the basic database;

Extracting and storing the main elements such as the position, the size, the angle, etc., which determine the characteristics of the emotion expression in the image data, and predetermine the main elements such as the frequency, the roughness, the tone, etc., which determine the characteristics of the voice in the voice data. A fifth step of comparing the reference value to determine the increment and store it as a basic database;

A sixth step of storing text for voice output and emotion expression;

The text is loaded into the memory (S301), the first character is acquired (S302), it is determined whether it is a functional character (S303), and if the character is a functional character, the branching to an emotion expression program for expressing emotions on the face image (S304). A seventh step of driving the T2S program S308 for converting the text into speech and the lip-sync program S310 for expressing the same mouth shape as the vowel currently pronounced in the face image,

Characterized in that it is configured to repeat the seventh step until the end of the text (S314)

How to apply lip sync and emotion expression to voice-sampled voices on real 3D scanned face images while converting sentence text into speech in real time.

The method of claim 1, wherein the emotion expression program (S304) is a first step of retrieving the function character from the emotion expression database (S305),

A second step of loading a formula for modifying the position, size, and angle of the main elements of the image data into the memory according to the search result (S305);

A third step of modifying (S306) the position, size, angle, etc. of a main element which actually determines the characteristic of the emotion expression in the image data by the formula;

And the fourth step of displaying the modified image data on the monitor (S307).

The method of claim 1, wherein the T2S program (S308) is a first step of retrieving the character (S309) from the T2S database,

A second step of loading voice data into a memory according to the search result (S309);

A third step of loading into the memory an incremental increase or decrease of the main factors such as frequency, roughness, tone, etc., which determine the characteristics of the voice of the member from the basic database;

A fourth step of transforming the voice data of the second step by the increment or decrement of the third step to produce final voice data;

And a fifth step of outputting the final voice data through a speaker (S12).

The method of claim 1, wherein the lip sync program (S310) is a first step of searching (S310) a collection of the characters from the lip sync database,

A second step of loading (S310) a formula for modifying the position, size, and angle of the mouth shape of the image data according to the search result;

A third step of actually modifying the position, size, angle, etc. in the shape of the mouth of the image data by the formula (S311);

And a fourth step of displaying the modified image data on the monitor (S312).

How to apply lip sync and emotion expression to 3D scanned real face images while converting sentence text into speech in real time.

A computer program which is basically provided with a central processing unit, a memory, a storage device, a keyboard for input / output, a monitor, a mouse, etc., and which has an image acquisition means and an audio acquisition means.

A first step of storing corresponding voice data in a T2S database in a one-to-one correspondence for each character;

A sixth step of storing the text,

A seventh step of loading the text into a memory to determine whether the first character is a function character, if the character is a function character, branching to an emotion expression program, and if not the function character, driving a T2S program and a lip sync program;

And repeating the seventh step until the end of the text.

A computer-readable recording medium that stores computer programs that implement lip syncing and emotion expression by applying voice-sampled voice to 3D scanned real-face images while converting sentence text into speech in real time.

It is possible to connect to the supplier's computer 200 which manages at least the servers 220 to 225 divided by regions, and to any part of the supplier's computer 200 to send the game contents to the reception medium through various wired and wireless paths. A broadcasting station 250, a member computer 230 connected to the servers 220 to 225, image acquisition means for acquiring a stereoscopic image of a member's face, and audio for acquiring the member's audio data. In an email method operating on hardware configured as acquisition means,

A first step of sending e-mail text data from a sender of a member to a receiver of another member;

The second step of opening the email on the recipient side;

The third step of displaying a video frame,

The method described in claim 1 is applied to the e-mail text data so that the T2S program extracts and processes the characters by character, and the emotion expression program operates on the functional characters. It is characterized in that it comprises a fourth step that the lip sync and the video in the video frame is moving and outputs the voice, and repeats this process to the end of the text

E-mail method using lip sync and emotion expression by applying voice-sampled voice to 3D scanned real face image while converting sentence text into speech in real time.

In the chat method operating in the hardware configuration of claim 6,

A first step in which two video frames for displaying an image of a transmitting side and a receiving side are displayed, and a chat window is displayed separately;

The method described in claim 1 is applied to each text data input and transmitted to the chat window, and the emotion expression program is operated on the counterpart's computer for the function text while the T2S program extracts and processes each character. In the case of other general characters, the second step of lip-syncing with the member's own voice and outputting the voice while moving the video in the video frame is repeated, and repeating this process until the end of the text;

And the second step is repeated until the chatting between the transmitting side and the receiving side ends.

Chat method using lip sync and emotion expression by applying voice-sampled voice to 3D scanned real face image while converting sentence text into speech in real time.

In the foreign language learning method operating in the hardware configuration of claim 6,

A first step of displaying two moving picture frames for displaying an image of a transmitting side and a receiving side, and a dialogue window for inputting a foreign language separately;

The method described in claim 1 is applied to each text data input and transmitted to the chat window, and the emotion expression program is operated on the counterpart's computer for the function text while the foreign language T2S program extracts and processes each character. In the case of other general characters, the second step of lip-syncing with the member's own voice and outputting the voice while moving the video in the video frame, repeating this process and processing to the end of the text,

And the second step is repeated until the conversation between the sender and the receiver ends.

A foreign language learning method using lip sync and emotion expression by applying voice-sampled voice to 3D scanned real face images while converting sentence text into speech in real time.

In the online game method operating in the hardware configuration of claim 6,

First check whether the member (S401) and if it is determined that the member is not the first step of driving the membership (S402) program,

Once you are confirmed as a member, you can watch the broadcasting stations that broadcast the contents of the game, the square where you can see the profile of the game, determine the opponents of the game, taverns that provide additional services such as competitions or e-mails, shops that provide services such as buying weapons or fashion shows, and learn game knowledge. A second step of entering the main menu (S403) having one or more submenus of a training center, an agent learning game knowledge and foreign languages, and an exhibition hall showing profiles of upper graders;

If one of the submenus of the broadcasting station (S404), plaza (S406), tavern (S408), shop (S410), training center (S412), agent (S414), exhibition hall (S416) in the main menu is selected, the lower driving program A third step of branching to (S405, S407, S409, S411, S413, S415, S417),

In the lower driving program, a method in which the face of a member's character image is to be displayed on the monitor so that the face can be identified is applied, and the method of claim 1 is applied. Characterized

Online game method using lip sync and emotion expression by applying voice-sampled voice to 3D scanned real face image while converting sentence text into speech in real time.

10. The method of claim 9, wherein the membership (S401) program is at least

A first step of acquiring a face image by the image acquiring means and acquiring a voice sample by the voice acquiring means (S501);

And a second step of storing the video and audio data together with the ID in a basic database provided in the provider computer 200 (S502).

10. The method of claim 9, wherein the lower driving program corresponding to the menu (S404) menu is

A first step of selecting a reception medium and a channel (S601);

If the medium to be received (S602) is not the one-way medium (S603), the second step of transmitting the game contents screen (S606) while continuously monitoring whether the channel is changed (S607) is characterized in that it comprises a

10. The method of claim 9, wherein the lower drive program corresponding to the square (S406) menu is

For all servers 220 to 225 connected to the provider computer 200 and all members connected to the server, a profile including a face image and a greeting text from the top node to the bottom node is clearly shown ( S701) the first step and

If the user selects to listen to the greeting text in the profile, the second step of applying the method of claim 1 to output a video and audio (S702),

Finally selecting the opponent (S703) comprising a third step of entering the match (S704) screen

10. The method of claim 9, wherein the lower driving program corresponding to the pub (S408) menu is

From the first floor to the third floor (S802, S805, S809) to organize the lower menu,

If the first floor (S802) is selected to select the other party that does not expose the rating (S803) for the game (S804),

If the second floor (S805) is selected, the opponent is known (S806) to select the match (S807) to play, but after the match so that the grade is adjusted according to the result of the match (S808),

If the third floor (S809) is selected, any one or more of chat (S810), club (S812), discussion (S814), information search, gambling, and a card game are again provided as submenus. The method of claim 1 is applied so that the video and audio is configured to output

10. The method of claim 9, wherein the lower driving program corresponding to the menu (S410) is

From the first floor to the third floor (S901, S903, S905) to organize the lower menu,

If the first floor (S901) is selected, the shop (S902) program for purchasing weapons, energies, props, accessories, etc. necessary for the game is driven,

If the second floor (S903) is selected to drive a fashion show (S904) program that reveals the members' fashion, weapons, etc.,

If you choose the 3rd floor (S905), you will run a market (S906) program to buy and sell fashion or weapons among members,

In the lower menu of each floor, the method of claim 1 is applied to a conversation with the other party, so that the video and audio are output.

10. The method of claim 9, wherein the lower driving program corresponding to the training center (S412) menu

The lower menu is divided into 1 room (S1001) and 2 room (S1006),

In the case where one room (S1001) is selected, the first step of selecting one of the program training (S1002) course which is automatically driven by a computer program or the educator training (S1004) course which is trained by the staff of the site;

In the case of the program training process, the second step of conducting the education (S1005) is performed by the computer program (S1003).

If the second room (S1006) is selected, the first step of receiving an application from among the game proficiency among the members (S1007) to provide a profile, rating, and reward information (S1007),

A second step of selecting one of the members of the list (S1008);

Consists of the third step of proceeding the education (S1009) while giving questions and answers by mutual dialogue with the educator,

In the second stage of the first room and the third stage of the second room, the method of claim 1 is applied to the conversation with the other party (S1005, S1009), characterized in that the video and audio are output.

10. The method of claim 9, wherein the lower driving program corresponding to the agent (S414) menu after selecting a language (S1101)

The lower menu is divided into one room (S1102) and two rooms (S1107),

In the case where one room (S1102) is selected, the first step of selecting one of the program study (S1103) courses that are automatically driven by a computer program, or the study of educators (S1105) courses by the staff of the site,

In the case of the program training process, the second step is to proceed with the education (S1106) while answering questions and answers by the process by the language learning computer program (S1104), and in the case of the educator training process by the mutual dialogue with the educator (S1106). and,

If the second room (S1107) is selected, the first step of receiving an application from among the game and language proficiency among the members (S1108) to provide a profile, grade, and reward information, and

A second step of selecting one of the members of the list (S1109);

Consists of the third step to proceed with the education (S1110) while answering questions and answers by mutual dialogue with the educator,

In the second step of the first room and the third step of the second room, the method of claim 1, wherein input and output of a foreign language is applied to the conversation with the other party (S1104, S1110), characterized in that the video and audio are output.

10. The method of claim 9, wherein the lower drive program corresponding to the exhibition hall (S416) menu is

A first step of classifying members into heroes and champions based on a predetermined criterion and displaying game records in addition to the general profile (S1201);

After that, the second step of configuring the sub-menu in at least one of the demo (S1202), hero designation game (S1204) and champion-class re-view (S1206),

When the demo (S1202) menu is selected for the person selected in the profile, a short game demo for a predetermined time is displayed as a video (S1203),

When the hero designated game (S1204) menu is selected for the hero selected in the profile, the screen is converted to the game (S1205).

If the champion-level re-watching (S1206) menu is selected for the selected champion in the profile, the previous game is converted into a screen for re-watching (S1207),

In the display of the profile, the method of claim 1 is applied (S1201) so that a video and an audio are output.