KR20230126971A - Method for providing multi-translation and server for providing multi-translation - Google Patents

Method for providing multi-translation and server for providing multi-translation Download PDF

Info

Publication number
KR20230126971A
KR20230126971A KR1020220024471A KR20220024471A KR20230126971A KR 20230126971 A KR20230126971 A KR 20230126971A KR 1020220024471 A KR1020220024471 A KR 1020220024471A KR 20220024471 A KR20220024471 A KR 20220024471A KR 20230126971 A KR20230126971 A KR 20230126971A
Authority
KR
South Korea
Prior art keywords
users
translation
message
user
providing
Prior art date
Application number
KR1020220024471A
Other languages
Korean (ko)
Inventor
한백희
Original Assignee
주식회사 한스바이오텍
한백희
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 한스바이오텍, 한백희 filed Critical 주식회사 한스바이오텍
Priority to KR1020220024471A priority Critical patent/KR20230126971A/en
Publication of KR20230126971A publication Critical patent/KR20230126971A/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/263Language identification
    • G06Q50/30
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50Business processes related to the communications industry
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/005Language recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

다중 번역 제공 방법 및 다중 번역 제공 서버가 개시된다. 본 발명의 일 실시예에 따른, 다중 번역 제공 서버가 수행하는 다중 번역 제공 방법은, 대화방에 참여하는 복수의 사용자의 사용 언어를 판단하는 판단 단계, 상기 복수의 사용자 중 하나 이상의 사용자로부터 메시지를 수신하는 수신 단계, 외부 번역 서버를 이용하여, 수신된 상기 메시지의 내용을 상기 복수의 사용자의 사용 언어로 각각 번역하는 번역 단계 및 번역한 각각의 메시지를 상기 복수의 사용자 각각에 제공하되, 상기 사용 언어에 따라 개별적으로 제공하는 제공 단계를 포함한다.A method for providing multiple translations and a server for providing multiple translations are disclosed. According to an embodiment of the present invention, a multi-translation providing method performed by a multi-translation providing server includes a determination step of determining languages used by a plurality of users participating in a chat room, and receiving a message from one or more users among the plurality of users. A receiving step, a translation step of translating the contents of the received message into the language used by the plurality of users using an external translation server, and providing each of the translated messages to each of the plurality of users, It includes a provision step of providing individually according to.

Description

다중 번역 제공 방법 및 다중 번역 제공 서버{METHOD FOR PROVIDING MULTI-TRANSLATION AND SERVER FOR PROVIDING MULTI-TRANSLATION}Multiple translation providing method and multiple translation providing server

본 발명은 다중 번역 제공 방법 및 다중 번역 제공 서버에 관한 것이다. 더 자세하게는, 대화방의 메시지를 대화방에 참여하는 각각의 사용자가 사용하는 언어로 각각 번역하고, 번역한 메시지를 사용 언어에 따라 사용자 개별로 제공하는 다중 번역 제공 방법 및 다중 번역 제공 서버에 관한 것이다.The present invention relates to a method for providing multiple translations and a server for providing multiple translations. More specifically, the present invention relates to a multi-translation providing method and a multi-translation providing server that translates a message in a chat room into a language used by each user participating in the chat room and provides the translated message to each user individually according to the language used.

인스턴트 메시징 서비스는 현대 생활 및 비즈니스에서 필수 서비스이다. 복수의 사용자가 각각의 대화방에서 메시지를 통해 서로 안부를 전하거나, 토론, 회의를 진행한다. 그러나 종래에 서비스되는 인스턴트 메시징 앱은 사용자가 입력한 텍스트를 그대로 전송하기 때문에, 다국적의 사용자가 참여하는 대화방에서는 번역문을 일일이 입력해야 하는 불편함이 있다.Instant messaging services are essential services in modern life and business. A plurality of users say hello to each other through messages in each chat room, or conduct discussions or meetings. However, since conventional instant messaging apps transmit the text entered by the user as it is, in a chat room in which multinational users participate, it is inconvenient to input translations one by one.

대한민국 등록특허 제10-1271285호는 종래의 기술로서, 사용자가 대화방에서 번역할 메시지를 선택하고 선택한 메시지의 번역을 요청하면, 번역이 수행된다. 그러나 종래의 기술은 사용자가 번역할 메시지를 선택하고 요청해야 하는 과정이 필수적으로 수행되어야 하기 때문에, 사용 상의 불편이 존재한다.Korean Patent Registration No. 10-1271285 is a conventional technology. When a user selects a message to be translated in a chat room and requests translation of the selected message, the translation is performed. However, in the conventional technology, since the process of selecting and requesting a message to be translated by the user is necessarily performed, there is inconvenience in use.

KRKR 10-1271285 10-1271285 B1B1 (2013.06.04.)(2013.06.04.)

본 발명은 상술한 문제점을 해결하기 위한 것으로서, 대화방에 참여하는 사용자들의 사용 언어를 자동으로 탐지하고, 사용자가 입력한 메시지를 탐지한 사용 언어로 자동으로 번역하는 다중 번역 제공 방법 및 다중 번역 제공 서버를 제공하고자 한다.The present invention has been made to solve the above-mentioned problems, and provides a multiple translation providing method and a multiple translation providing server that automatically detects the language used by users participating in a chat room and automatically translates a message input by the user into the detected language. want to provide

또한, 서로 다른 언어로 번역한 메시지를 사용자의 사용 언어에 따라 개별적으로 제공하여 사용자가 서로 동일한 언어로 대화하는 듯한 사용성을 제공할 수 있는 다중 번역 제공 방법 및 다중 번역 제공 서버를 제공하고자 한다.In addition, it is intended to provide a multi-translation providing method and a multi-translation providing server capable of providing usability as if users are conversing in the same language by individually providing messages translated into different languages according to the user's language.

또한, 다중 음성 통화 또는 다중 영상 통화에서 음성을 번역하여 각 사용자에게 개별로 번역된 내용이 음성으로 출력되게 함으로써 서로 다른 언어로 대화하지만 동일 언어로 통화하는 사용성을 제공할 수 있는 다중 번역 제공 방법 및 다중 번역 제공 서버를 제공하고자 한다.In addition, a multi-translation providing method capable of providing the usability of communicating in different languages but making calls in the same language by translating voices in multi-voice calls or multi-video calls and outputting individually translated contents as voices to each user, and We want to provide a multi-translation providing server.

본 발명의 해결 과제들은 이상에서 언급한 내용으로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Solving problems of the present invention are not limited to the above-mentioned contents, and other technical problems not mentioned above will be clearly understood by those skilled in the art from the following description.

본 발명의 일 실시예에 따른, 다중 번역 제공 서버가 수행하는 다중 번역 제공 방법은, 대화방에 참여하는 복수의 사용자의 사용 언어를 판단하는 판단 단계; 상기 복수의 사용자 중 하나 이상의 사용자로부터 메시지를 수신하는 수신 단계; 외부 번역 서버를 이용하여, 수신된 상기 메시지의 내용을 상기 복수의 사용자의 사용 언어로 각각 번역하는 번역 단계; 및 번역한 각각의 메시지를 상기 복수의 사용자 각각에 제공하되, 상기 사용 언어에 따라 개별적으로 제공하는 제공 단계;를 포함할 수 있다.According to an embodiment of the present invention, a multi-translation providing method performed by a multi-translation providing server includes a determination step of determining languages used by a plurality of users participating in a chat room; a receiving step of receiving a message from one or more users among the plurality of users; a translation step of translating the contents of the received message into languages used by the plurality of users by using an external translation server; and a providing step of providing each of the translated messages to each of the plurality of users, individually according to the language used.

또한, 상기 메시지는, 음성이고, 외부 음성인식 서버를 이용하여, 상기 수신된 메시지의 음성을 인식하여 텍스트로 변환하는 변환 단계;를 더 포함하고, 상기 번역 단계는, 상기 외부 번역 서버를 이용하여, 변환된 상기 텍스트를 상기 복수의 사용자의 사용 언어로 각각 번역할 수 있다.In addition, the message is a voice, and the conversion step of recognizing the voice of the received message and converting it into text using an external voice recognition server; further comprising the translation step, using the external translation server , the converted text may be translated into the languages used by the plurality of users.

또한, 상기 메시지는, 상기 복수의 사용자 중 하나 이상의 사용자의 영상의 음성으로부터 생성될 수 있다.In addition, the message may be generated from the audio of the video of one or more users among the plurality of users.

또한, 상기 외부 음성인식 서버는, 상기 수신된 메시지의 음성을 기초로 각각의 상기 사용자의 언어스타일을 학습하여, 상기 음성을 각 언어의 표준형태의 텍스트로 변환하는 음성인식모델을 상기 사용자마다 생성하고, 각각의 상기 사용자의 음성을 상기 사용자별로 대응되는 상기 음성인식모델을 이용하여 텍스트로 변환할 수 있다.In addition, the external voice recognition server learns the language style of each user based on the voice of the received message, and generates a voice recognition model for each user that converts the voice into standard text in each language. And, each user's voice can be converted into text using the voice recognition model corresponding to each user.

또한, 상기 제공 단계는, 상기 번역된 각각의 메시지의 내용을 음성으로 제공하되, 상기 복수의 사용자 각각에 상기 사용 언어에 따라 개별적으로 제공할 수 있다.Also, in the providing step, the content of each translated message may be provided as voice, and may be individually provided to each of the plurality of users according to the language used.

또한, 상기 복수의 사용자 중 상기 대화방에 마지막으로 접속한 시간이 미리 지정된 시간 내인 액티브 사용자를 구별하는 구별 단계;를 더 포함하고, 상기 제공 단계는, 상기 복수의 사용자 중 상기 액티브 사용자에게 우선적으로 상기 번역한 각각의 메시지를 개별적으로 제공할 수 있다.The method further includes a distinguishing step of distinguishing an active user whose last access to the chat room is within a pre-specified time from among the plurality of users, wherein the providing step preferentially identifies the active user among the plurality of users. Each translated message can be provided individually.

또한, 상기 제공 단계는, 상기 액티브 사용자 중 상기 마지막으로 접속한 시간의 최근 순서대로 상기 번역한 각각의 메시지를 개별적으로 제공할 수 있다.In addition, in the providing step, each of the translated messages may be individually provided in the order of the most recent access time among the active users.

또한, 상기 판단 단계는, 상기 복수의 사용자 각각의 단말기의 사용 언어 정보를 이용하여 각각의 상기 사용자의 사용 언어를 판단할 수 있다.In the determining step, the language used by each user may be determined using information on the language used by the terminal of each of the plurality of users.

또한, 상기 제공 단계는, 번역 전의 메시지 원문도 더 포함하여 상기 복수의 사용자에게 제공하되, 번역한 메시지를 우선하여 상기 대화방에 노출시키고 상기 사용자의 스와이프 제스처 입력이 수신되면, 상기 번역한 메시지를 상기 대화방에서 제거하고 상기 메시지 원문을 상기 대화방에 노출시킬 수 있다.In addition, in the providing step, the original text of the message before translation is also provided to the plurality of users, the translated message is exposed to the chat room with priority, and when the user's swipe gesture input is received, the translated message is provided. It can be removed from the chat room and the text of the message can be exposed to the chat room.

그리고 상술한 다중 번역 제공 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체도 제공될 수 있다.Also, a computer-readable recording medium storing a program for implementing the above-described multiple translation providing method may be provided.

한편, 본 발명의 일 실시예에 따른 다중 번역 제공 서버는, 대화방에 참여하는 복수의 사용자의 사용 언어를 판단하는 판단부; 상기 복수의 사용자 중 하나 이상의 사용자로부터 메시지를 수신하는 수신부; 외부 번역 서버를 이용하여, 수신된 상기 메시지의 내용을 상기 복수의 사용자의 사용 언어로 각각 번역하는 번역부; 및 번역한 각각의 메시지를 상기 복수의 사용자 각각에 제공하되, 상기 사용 언어에 따라 개별적으로 제공하는 제공부;를 포함할 수 있다.On the other hand, a multi-translation providing server according to an embodiment of the present invention includes a determination unit for determining languages used by a plurality of users participating in a chat room; a receiving unit receiving a message from one or more users among the plurality of users; a translation unit for translating the contents of the received message into languages used by the plurality of users, respectively, using an external translation server; and a providing unit that provides each of the translated messages to each of the plurality of users, individually according to the language used.

또한, 상기 메시지는, 음성이고, 외부 음성인식 서버를 이용하여, 상기 수신된 메시지의 음성을 인식하여 텍스트로 변환하는 변환부;를 더 포함하고, 상기 번역부는, 상기 외부 번역 서버를 이용하여, 변환된 상기 텍스트를 상기 복수의 사용자의 사용 언어로 각각 번역할 수 있다.In addition, the message is a voice, and a conversion unit for recognizing the voice of the received message and converting it into text using an external voice recognition server; further comprising the translation unit, using the external translation server, The converted text may be translated into languages used by the plurality of users.

또한, 상기 메시지는, 상기 복수의 사용자 중 하나 이상의 사용자의 영상의 음성으로부터 생성될 수 있다.In addition, the message may be generated from the audio of the video of one or more users among the plurality of users.

또한, 상기 외부 음성인식 서버는, 상기 수신된 메시지의 음성을 기초로 각각의 상기 사용자의 언어스타일을 학습하여, 상기 음성을 각 언어의 표준형태의 텍스트로 변환하는 음성인식모델을 상기 사용자마다 생성하고, 각각의 상기 사용자의 음성을 상기 사용자별로 대응되는 상기 음성인식모델을 이용하여 텍스트로 변환할 수 있다.In addition, the external voice recognition server learns the language style of each user based on the voice of the received message, and generates a voice recognition model for each user that converts the voice into standard text in each language. And, each user's voice can be converted into text using the voice recognition model corresponding to each user.

또한, 상기 제공부는, 상기 번역된 각각의 메시지의 내용을 음성으로 제공하되, 상기 복수의 사용자 각각에 상기 사용 언어에 따라 개별적으로 제공할 수 있다.Also, the provision unit may provide the contents of each of the translated messages in voice, and individually provide the contents of each of the translated messages to each of the plurality of users according to the language used.

또한, 상기 복수의 사용자 중 상기 대화방에 마지막으로 접속한 시간이 미리 지정된 시간 내인 액티브 사용자를 구별하는 구별부;를 더 포함하고, 상기 제공부는, 상기 복수의 사용자 중 상기 액티브 사용자에게 우선적으로 상기 번역한 각각의 메시지를 개별적으로 제공할 수 있다.In addition, a distinguishing unit for distinguishing an active user whose last access to the chat room is within a pre-specified time from among the plurality of users, wherein the providing unit preferentially performs the translation to the active user among the plurality of users. Each message can be provided individually.

또한, 상기 제공부는, 상기 액티브 사용자 중 상기 마지막으로 접속한 시간의 최근 순서대로 상기 번역한 각각의 메시지를 개별적으로 제공할 수 있다.Also, the provision unit may individually provide each of the translated messages in the order of the most recent of the active users at the time of the last access.

또한, 상기 판단부는, 상기 복수의 사용자 각각의 단말기의 사용 언어 정보를 이용하여 각각의 상기 사용자의 사용 언어를 판단할 수 있다.In addition, the determination unit may determine the language used by each of the plurality of users by using information on the language used by the terminal of each of the plurality of users.

또한, 상기 제공부는, 번역 전의 메시지 원문도 더 포함하여 상기 복수의 사용자에게 제공하되, 번역한 상기 메시지를 우선하여 상기 대화방에 노출시키고 상기 사용자의 스와이프 제스처 입력이 수신되면, 번역한 상기 메시지를 상기 대화방에서 제거하고 상기 메시지 원문을 상기 대화방에 노출시킬 수 있다.In addition, the providing unit further includes the original text of the message before translation and provides it to the plurality of users, preferentially exposing the translated message to the chat room, and when the user's swipe gesture input is received, the translated message It can be removed from the chat room and the text of the message can be exposed to the chat room.

본 발명의 일 실시예에 따른 다중 번역 제공 방법 및 다중 번역 제공 서버는, 대화방에 참여하는 사용자들의 사용 언어를 자동으로 탐지하고, 사용자가 입력한 메시지를 탐지한 사용 언어로 자동으로 번역할 수 있다.The method for providing multiple translations and the server for providing multiple translations according to an embodiment of the present invention can automatically detect the language used by users participating in a chat room and automatically translate a message input by the user into the detected language. .

또한, 서로 다른 언어로 번역한 메시지를 사용자의 사용 언어에 따라 개별적으로 제공하여 사용자가 서로 동일한 언어로 대화하는 듯한 사용성을 제공할 수 있다.In addition, messages translated into different languages are individually provided according to the user's language, so that users can provide usability as if they are talking to each other in the same language.

또한, 다중 음성 통화 또는 다중 영상 통화에서 음성을 번역하여 각 사용자에게 개별로 번역된 내용이 음성으로 출력되게 함으로써 서로 다른 언어로 대화하지만 동일 언어로 통화하는 사용성을 제공할 수 있다.In addition, by translating voices in multi-voice calls or multi-video calls and outputting the individually translated contents as voices to each user, it is possible to provide usability of talking in different languages but making calls in the same language.

본 발명의 효과들은 이상에서 언급한 내용으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 발명의 일 실시예에 따른 다중 번역 제공 서버가 수행하는 다중 번역 제공 방법의 개념을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 다중 번역 제공 서버의 네트워크 환경을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 다중 번역 제공 서버의 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 다중 번역 제공 서버가 수행하는 다중 번역 제공 방법의 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 변환 단계가 더 포함된 다중 번역 제공 방법의 흐름도이다.
도 6은 대화방에서 스트리밍 되는 영상에 대한 음성을 인식 후 번역하여 사용자에게 제공하는 모습을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 구별 단계가 더 포함된 다중 번역 제공 방법의 흐름도이다.
도 8은 본 발명의 일 실시예에 있어서, 스와이프 제스처 입력에 따른 번역된 메시지와 원문 메시지가 대화방에 노출되는 모습을 나타낸 도면이다.
1 is a conceptual diagram for explaining the concept of a multi-translation providing method performed by a multi-translation providing server according to an embodiment of the present invention.
2 is a diagram illustrating a network environment of a multi-translation providing server according to an embodiment of the present invention.
3 is a block diagram showing the configuration of a multi-translation providing server according to an embodiment of the present invention.
4 is a flowchart of a multi-translation providing method performed by a multi-translation providing server according to an embodiment of the present invention.
5 is a flowchart of a multi-translation providing method further including a conversion step according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating a state in which audio of a video streamed in a chat room is recognized, translated, and provided to a user.
7 is a flowchart of a method for providing multiple translations further including a distinguishing step according to an embodiment of the present invention.
FIG. 8 is a diagram showing how a translated message and an original message according to a swipe gesture input are exposed in a chat room according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예가 상세하게 설명된다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고, 도면에서 본 발명의 실시예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략되었다.Hereinafter, embodiments of the present invention will be described in detail so that those skilled in the art can easily practice with reference to the accompanying drawings. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. In addition, in order to clearly describe the embodiment of the present invention in the drawings, parts irrelevant to the description are omitted.

본 명세서에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도로 사용된 것이 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.Terms used in this specification are only used to describe specific embodiments and are not intended to limit the present invention. Singular expressions may include plural expressions unless the context clearly dictates otherwise.

본 명세서에서, "포함하다", "가지다" 또는 "구비하다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.In this specification, terms such as "include", "have" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one Or it may be understood that it does not exclude in advance the possibility of the existence or addition of other features, numbers, steps, operations, components, parts, or combinations thereof.

또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.In addition, the components appearing in the embodiments of the present invention are shown independently to represent different characteristic functions, and it does not mean that each component is made of separate hardware or a single software component unit. That is, each component is listed and described as each component for convenience of description, and at least two components of each component may be combined to form one component, or one component may be divided into a plurality of components to perform a function. An integrated embodiment and a separate embodiment of each of these components are also included in the scope of the present invention unless departing from the essence of the present invention.

또한, 이하의 실시예들은 당 업계에서 평균적인 지식을 가진 자에게 보다 명확하게 설명하기 위해서 제공되는 것으로서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.In addition, the following embodiments are provided to more clearly explain to those with average knowledge in the art, and the shapes and sizes of elements in the drawings may be exaggerated for clearer explanation.

이하, 첨부된 도면을 참조하여, 본 발명에 따른 바람직한 실시예에 대하여 설명한다.Hereinafter, preferred embodiments according to the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 다중 번역 제공 서버가 수행하는 다중 번역 제공 방법의 개념을 설명하기 위한 개념도이다.1 is a conceptual diagram for explaining the concept of a multi-translation providing method performed by a multi-translation providing server according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 다른 다중 번역 제공 방법은 대화방(110)에 참여하는 복수의 사용자(120)의 메시지를 각각의 사용자(120)가 사용하는 언어로 각각 번역한 번역 메시지를 사용자(120) 개별로 제공하기 위한 것이다. 일 실시예에서, 유저 A(121)가 대화방(110)에서 한국어로 메시지(131)를 입력하면, 유저 A(121)가 보는 대화방(110)의 화면(101)에서는 한국어로 메시지(131)가 출력되고, 다른 유저(122, 123, 124)가 보는 대화방(110)의 화면(102, 103, 104)에는 각각이 사용하는 사용 언어로 번역된 메시지(132, 133, 134)가 출력될 수 있다. 예컨대, 영어가 사용 언어인 유저 B(122)는 한국어로 입력된 메시지(131)가 영어로 번역된 메시지(132)로 출력되고, 일본어가 사용 언어인 유저 C(123)는 일본어로 번역된 메시지(133)가 될 수 있다. 또한, 아랍어가 사용 언어인 유저 D(124)는 아랍어로 번역된 메시지(134)가 출력될 수 있다.Referring to FIG. 1, a method for providing multiple translation according to an embodiment of the present invention translates messages of a plurality of users 120 participating in a chat room 110 into languages used by each user 120, respectively. This is to provide a message to each user 120 individually. In one embodiment, when user A 121 inputs a message 131 in Korean in the chat room 110, a message 131 in Korean appears on the screen 101 of the chat room 110 viewed by user A 121. messages 132, 133, and 134 translated into the language used by each user may be displayed on the screens 102, 103, and 104 of the chat room 110 viewed by other users 122, 123, and 124. . For example, for user B 122 whose language is English, a message 131 input in Korean is output as a translated message 132 in English, and for user C 123 whose language is Japanese, a message 131 input in Korean is translated into Japanese. (133) can be. Also, for the user D 124 whose language is Arabic, the message 134 translated into Arabic may be output.

도 2는 본 발명의 일 실시예에 따른 다중 번역 제공 서버의 네트워크 환경을 도시한 도면이다.2 is a diagram illustrating a network environment of a multi-translation providing server according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 다중 번역 제공 서버(210)는 다중 번역 제공 방법을 수행하기 위한 것으로서, 복수의 사용자(120)가 접속하는 대화방(110)을 생성하고, 대화방(110)에서 복수의 사용자(120)들이 입력하는 메시지들(131)을 번역하여 사용자(120)에게 개별로 제공할 수 있다. 다중 번역 제공 서버(210)는 네트워크(250)를 통해 외부 번역 서버(220) 및 복수의 사용자 단말기(240)와 연결될 수 있다.1 and 2, the multi-translation providing server 210 according to an embodiment of the present invention is for performing the multi-translation providing method, and creates a chat room 110 to which a plurality of users 120 access. In addition, the messages 131 input by the plurality of users 120 in the chat room 110 may be translated and provided to the users 120 individually. The multi-translation providing server 210 may be connected to the external translation server 220 and the plurality of user terminals 240 through the network 250 .

외부 번역 서버(220)는 특정 언어로 되어 있는 텍스트를 다중 언어로 번역하는 서버로서, 다중 번역 제공 서버(210)가 대화방(110)에 입력되는 메시지(131)의 텍스트를 외부 번역 서버(220)로 전송하면, 외부 번역 서버(220)는 상기 텍스트를 다중 언어로 번역할 수 있다. 이때, 번역되는 다중 언어는 상기 메시지를 입력한 사용자(121)를 제외한 복수의 사용자(122, 123, 124)가 사용하는 언어일 수 있다.The external translation server 220 is a server that translates text in a specific language into multiple languages, and the multi-translation providing server 210 transfers the text of the message 131 input to the chat room 110 to the external translation server 220. If transmitted to, the external translation server 220 can translate the text into multiple languages. At this time, the multi-language to be translated may be a language used by a plurality of users 122, 123, and 124 other than the user 121 who inputs the message.

복수의 사용자 단말기(240)는 복수의 사용자(120)가 대화방(110)에 접속하기 위해 사용하는 단말기로서, 스마트폰(Smart phone), 태블릿(Tablet) 컴퓨터, 데스크탑(Desktop) 컴퓨터, 랩탑(Laptop) 컴퓨터, 워크스테이션(workstation), 서버 컴퓨터, PDA(Personal Digital Assistants), 포터블(portable) 컴퓨터, 휴대용 게임기, 네비게이션(Navigation) 장치, 디지털 카메라(Digital camera), 스마트 TV, 웨어러블 디바이스(Wearable device), 차량의 컴퓨터 중 하나일 수 있으며, 이들에 제한되지 않는다. 복수의 사용자 단말기(240)는 무선 또는 유선 통신 방식을 이용하여 네트워크(250)를 통해 다른 단말기 또는 다중 번역 제공 서버(210)와 통신할 수 있다.The plurality of user terminals 240 are terminals used by the plurality of users 120 to access the chat room 110, and include smart phones, tablet computers, desktop computers, and laptops. ) Computer, workstation, server computer, PDA (Personal Digital Assistants), portable computer, portable game machine, navigation device, digital camera, smart TV, wearable device , may be one of the vehicle's computers, but is not limited thereto. The plurality of user terminals 240 may communicate with other terminals or the multi-translation providing server 210 through the network 250 using a wireless or wired communication method.

일 실시예에 있어서, 다중 번역 제공 서버(210)는 네트워크(250)를 통해 외부 음성인식 서버(230)에 연결될 수 있다. 외부 음성인식 서버(230)는 음석인식이 요청된 음성을 수신하여 수신한 음성에 포함된 문구를 텍스트로 변환하는 서버일 수 있다. 외부 음성인식 서버(230)는 영상에 대해 음성인식이 요청되면 영상에 포함된 음성을 분리하여 음성인식을 수행할 수도 있다. 다중 번역 제공 서버(210)는 외부 음성인식 서버(230)가 변환한 상기 텍스트를 수신하여 이를 외부 번역 서버(220)로 전송하여 상기 텍스트의 번역을 요청할 수 있다.In one embodiment, the multi-translation providing server 210 may be connected to an external voice recognition server 230 through a network 250 . The external voice recognition server 230 may be a server that receives voice for which voice recognition is requested and converts a phrase included in the received voice into text. When voice recognition is requested for an image, the external voice recognition server 230 may perform voice recognition by separating the voice included in the image. The multi-translation providing server 210 may receive the text converted by the external voice recognition server 230 and transmit it to the external translation server 220 to request translation of the text.

도 3은 본 발명의 일 실시예에 따른 다중 번역 제공 서버의 구성을 나타낸 블록도이고, 도 4는 본 발명의 일 실시예에 따른 다중 번역 제공 서버가 수행하는 다중 번역 제공 방법의 흐름도이다.3 is a block diagram showing the configuration of a multi-translation providing server according to an embodiment of the present invention, and FIG. 4 is a flowchart of a multi-translation providing method performed by the multi-translation providing server according to an embodiment of the present invention.

도 1 내지 도 4을 참조하면, 본 발명의 일 실시예에 따른 다중 번역 제공 서버(210)는 대화방(110)에서 다중 번역을 제공할 수 있도록 메모리(310), 통신부(320) 및 프로세서(330)를 포함할 수 있다. 프로세서(330)는 판단부(331), 수신부(332), 번역부(333) 및 제공부(334)를 포함할 수 있다. 메모리(310)는 대화방(110)에 참여하는 복수의 사용자 정보, 각 사용자의 메시지 정보, 번역 메시지 정보 등 대화방(110)의 메시지 송수신과 메시지 번역 관련 정보를 저장할 수 있다. 통신부(320)는 네트워크(250)에 연결되어 다른 외부 서버 및 각 사용자의 단말기 간의 통신 수행할 수 있다. 프로세서(330)는 프로세서(330)의 각 구성요소를 이용하여 다중 번역 제공 방법의 각 단계를 수행할 수 있다. 프로세서(330) 및 프로세서(330)의 각 구성요소는 메모리(310)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(330)의 각 구성요소는 다중 번역 제공 서버(210)에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서(330)에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다.1 to 4, a multi-translation providing server 210 according to an embodiment of the present invention includes a memory 310, a communication unit 320, and a processor 330 to provide multi-translation in a chat room 110. ) may be included. The processor 330 may include a determination unit 331 , a reception unit 332 , a translation unit 333 and a provision unit 334 . The memory 310 may store message transmission/reception and message translation related information of the chat room 110, such as information about a plurality of users participating in the chat room 110, message information of each user, and translation message information. The communication unit 320 is connected to the network 250 to perform communication between other external servers and each user's terminal. The processor 330 may perform each step of the multiple translation providing method using each component of the processor 330 . The processor 330 and each component of the processor 330 may be implemented to execute an instruction according to an operating system code and at least one program code included in the memory 310 . Here, each component of the processor 330 may represent different functions performed by the processor 330 according to a control command provided by a program code stored in the multi-translation providing server 210. .

본 발명의 일 실시예에 따른 다중 번역 제공 서버(210)가 수행하는 다중 번역 제공 방법은 판단 단계(S410), 수신 단계(S420), 번역 단계(S430) 및 제공 단계(S440)를 포함할 수 있다.The multi-translation providing method performed by the multi-translation providing server 210 according to an embodiment of the present invention may include a determination step (S410), a receiving step (S420), a translation step (S430), and a providing step (S440). there is.

판단 단계(S410)는 판단부(331)가 대화방(110)에 참여하는 복수의 사용자(120)의 사용 언어를 판단하는 단계일 수 있다. 일 실시예의 판단 단계(S410)에서 판단부(331)는 대화방(110)에 참여하는 각각의 사용자(120)의 사용자 단말기(240)의 사용 언어 정보를 이용하여 판단할 수 있다. 예컨대, 유저 A(121)가 사용하는 단말기의 운영체계 사용 언어가 한국어라면, 판단부(331)는 한국어를 유저 A(121)의 사용 언어로 판단할 수 있다. 또한, 유저 B(122)가 사용하는 단말기의 운영체계 사용 언어가 영어라면, 판단부(331)는 영어를 유저 B(122)의 사용 언어로 판단할 수 있다. 판단 단계(S410)는 판단부(331)가 자동으로 각 사용자의 사용 언어를 판단하므로, 사용자들(120)은 자신의 사용 언어를 따로 설정하거나 등록할 필요가 없어 보다 편하게 대화방을 이용할 수 있다.The determination step ( S410 ) may be a step in which the determination unit 331 determines the languages used by the plurality of users 120 participating in the chat room 110 . In the determination step (S410) of an embodiment, the determination unit 331 may determine using language information of the user terminal 240 of each user 120 participating in the chat room 110. For example, if the language used by the operating system of the terminal used by user A 121 is Korean, the determination unit 331 may determine Korean as the language used by user A 121 . Also, if the language used by the operating system of the terminal used by user B 122 is English, the determination unit 331 may determine English as the language used by user B 122 . In the determination step S410, since the determination unit 331 automatically determines the language used by each user, the users 120 do not need to set or register their own language separately, so that they can use the chat room more comfortably.

수신 단계(S420)는 수신부(332)가 복수의 사용자(120) 중 하나 이상의 사용자(120)로부터 메시지(131)를 수신하는 단계일 수 있다.The receiving step ( S420 ) may be a step in which the receiving unit 332 receives the message 131 from one or more users 120 among the plurality of users 120 .

번역 단계(S430)는 번역부(333)가 외부 번역 서버(220)를 이용하여, 수신 단계(S420)에서 수신한 메시지의 내용을 복수의 사용자(120)의 사용 언어로 각각 번역하는 단계일 수 있다. 번역 단계(S430)에서 번역부(333)는 수신한 메시지(131)의 텍스트를 외부 번역 서버(220)로 전송하고, 외부 번역 서버(220)가 상기 텍스트를 번역한 번역문을 수신할 수 있다. 이때, 번역부(333)는 대화방(110)에 참여하는 사용자들(120)의 사용 언어 정보도 전송할 수 있고, 외부 번역 서버(220)는 전송된 사용 언어 정보를 기초로 상기 텍스트를 각각의 사용 언어로 번역할 수 있다.The translation step (S430) may be a step in which the translation unit 333 uses the external translation server 220 to translate the contents of the message received in the reception step (S420) into the languages used by the plurality of users 120, respectively. there is. In the translation step (S430), the translation unit 333 may transmit the text of the received message 131 to the external translation server 220, and the external translation server 220 may receive a translation obtained by translating the text. At this time, the translation unit 333 may also transmit language information of the users 120 participating in the chat room 110, and the external translation server 220 converts the text to each user based on the transmitted language information. can be translated into languages.

제공 단계(S440)는 제공부(334)가 번역 단계(S430)에서 번역한 각각의 메시지를 복수의 사용자(120) 각각에 제공하되, 제공하는 사용자(120) 각각의 사용 언어에 따라 개별적으로 제공하는 단계일 수 있다. 제공 단계(S440)에서 제공부(334)는 번역부(333)가 수신한 번역문을, 사용 언어에 따라 각각의 사용자(120)가 사용하는 각각의 사용자 단말기(240)로 전송할 수 있고, 각각의 사용자 단말기(240)는 수신한 번역문 내용이 담긴 메시지(132, 133, 134)를 대화방 화면(102, 103, 104)에 출력함으로써 사용자(122, 123, 124)가 번역된 메시지를 읽을 수 있다. 제공 단계(S440)는 제공부(334)가 사용자 개별로 번역된 메시지를 각각 제공하므로, 하나의 메시지가 서로 다른 언어로 번역되어 반복해서 대화방(110)에 나타나는 상황을 방지하여 메시지 기록을 깔끔하게 유지할 수 있다. 또한, 사용자들은 각자 서로 동일한 언어를 사용하여 대화하는 것처럼 대화방을 사용할 수 있다.In the providing step (S440), each of the messages translated by the providing unit 334 in the translation step (S430) is provided to each of the plurality of users 120, but provided individually according to the language used by each user 120. It may be a step to In the providing step (S440), the providing unit 334 may transmit the translated text received by the translation unit 333 to each user terminal 240 used by each user 120 according to the language used, and each The user terminal 240 outputs the message 132 , 133 , 134 containing the contents of the received translation on the chat room screen 102 , 103 , 104 so that the user 122 , 123 , 124 can read the translated message. In the providing step (S440), since the provision unit 334 provides each user with individually translated messages, a situation in which one message is translated into different languages and repeatedly appears in the chat room 110 is prevented to keep the message record clean. can In addition, users can use the chat room as if they are conversing using the same language.

또한, 제공 단계(S440)에서 제공부(334)는 번역한 메세지의 내용을 음성으로 제공할 수 있다. 예컨대, 제공부(334)는 번역부(333)가 수신한 번역문을 각각의 사용자 단말기(240)에 전송할 때, 상기 번역문을 소리내서 읽은 음성 정보도 더 포함하여 각각의 사용자 단말기(240)에 전송함으로써, 각각의 사용자 단말기(240)에서 대화방 화면(102, 103, 104)에서 번역된 메시지(132, 133, 134)가 출력될 때, 번역된 메세지(132, 133, 134)의 내용의 음성도 출력되도록 할 수 있다. 이때, 상기 번역문을 소리내서 읽은 음성 정보도 사용자(120) 각각의 사용 언어에 따라 개별적으로 제공될 수 있다.In addition, in the providing step (S440), the providing unit 334 may provide the contents of the translated message in voice. For example, when the translation unit 334 transmits the translation received by the translation unit 333 to each user terminal 240, the providing unit 334 further includes voice information for reading the translation aloud and transmits the translation to each user terminal 240. By doing so, when the translated message 132, 133, 134 is output on the chat room screen 102, 103, 104 in each user terminal 240, the audio of the translated message 132, 133, 134 is also displayed. can be output. At this time, voice information for reading the translation aloud may also be provided individually according to the language used by each user 120 .

도 5는 본 발명의 일 실시예에 따른 변환 단계가 더 포함된 다중 번역 제공 방법의 흐름도이고, 도 6은 대화방에서 스트리밍 되는 영상에 대한 음성을 인식 후 번역하여 사용자에게 제공하는 모습을 나타낸 도면이다.5 is a flowchart of a multi-translation providing method further including a conversion step according to an embodiment of the present invention, and FIG. 6 is a diagram showing how to recognize, translate, and provide a voice for a video streamed in a chat room to a user. .

도 3 내지 도 6을 참조하면, 본 발명의 일 실시예에 있어서, 다중 번역 제공 서버(210)는 변환부(335)를 더 포함할 수 있고, 다중 번역 제공 서버(210)가 수행하는 다중 번역 방법은 변환 단계(S510)를 더 포함할 수 있다. 3 to 6, in one embodiment of the present invention, the multi-translation providing server 210 may further include a conversion unit 335, and the multi-translation providing server 210 performs multiple translations. The method may further include a conversion step S510.

변환 단계(S510)는 사용자(120)로부터 수신되는 메시지가 음성일 때, 변환부(335)가 외부 음성인식 서버(230)를 이용하여 수신되는 음성을 텍스트로 변환하는 단계일 수 있다. 변환 단계(S510)에서 변환부(335)는 사용자(120)로부터 수신되는 음성을 외부 음성인식 서버(230)로 전송하고, 외부 음성인식 서버(230)가 음성을 변환한 텍스트를 수신함으로써 음성을 텍스트로 변환할 수 있다. 음성에서 변환된 텍스트는 번역부(333)가 각 사용자의 사용 언어로 번역할 수 있다.The conversion step (S510) may be a step in which the conversion unit 335 converts the received voice into text using the external voice recognition server 230 when the message received from the user 120 is voice. In the conversion step (S510), the conversion unit 335 transmits the voice received from the user 120 to the external voice recognition server 230, and the external voice recognition server 230 receives the text converted from the voice to convert the voice. can be converted to text. The text converted from voice may be translated by the translation unit 333 into the language used by each user.

일 실시예에 있어서, 수신부(332)는 영상을 수신할 수 있다. 도 6에 도시된 것과 같이, 대화방(110)에서 사용자(121)가 영상(610)을 출력하면, 변환부(335)는 대화방(110)에서 스트리밍되는 영상(610)을 외부 음성인식 서버(230)로 전송할 수 있다. 외부 음성인식 서버(230)는 수신한 영상(610)에서 음성(611)을 분리하고 음성(611)을 인식하여 이를 텍스트로 변환할 수 있다. 또는, 변환부(335)가 대화방(110)에서 스트리밍 되는 영상에서 음성을 미리 분리하고, 분리한 음성만 외부 음성인식 서버(230)로 전송할 수도 있다.In one embodiment, the receiving unit 332 may receive an image. As shown in FIG. 6, when the user 121 outputs the video 610 in the chat room 110, the conversion unit 335 converts the video 610 streamed in the chat room 110 to the external voice recognition server 230. ) can be transmitted. The external voice recognition server 230 may separate the voice 611 from the received image 610, recognize the voice 611, and convert it into text. Alternatively, the conversion unit 335 may pre-separate audio from the video streamed in the chat room 110 and transmit only the separated audio to the external voice recognition server 230 .

변환부(335)에 의해 텍스트로 변환된 영상(610)의 음성(611)은, 번역부(333)에 의해 각 사용자의 사용 언어로 변역되어, 제공부(334)에 의해 각 사용자 대화방(110)에 텍스트 메시지(621)로 제공될 수 있다. 실시예에 따라, 제공부(334)에 의해 번역된 텍스트 메시지(621)가 음성(622)으로 출력될 수 있다. 사용자는 대화방(110)에 번역되는 텍스트 메시지(621)를 읽거나 번역된 음성(622)을 들음으로써 타국 언어로 스트리밍 되는 영상(610)도 무리없이 이해할 수 있다. 예를 들어, 대화방(110)에서 다중 통화나 다중 영상 통화가 수행되면, 각 사용자의 음성이 실시간으로 번역되어 텍스트로 표기되거나 번역된 음성으로 출력됨으로써 각 사용자는 언어 장벽 없이 자연스럽게 대화할 수 있다.The audio 611 of the video 610 converted to text by the conversion unit 335 is translated into the language used by each user by the translation unit 333, and then converted into the language used by each user by the providing unit 334. ) may be provided as a text message 621. Depending on the embodiment, the text message 621 translated by the providing unit 334 may be output as a voice 622 . The user can easily understand the video 610 streamed in a foreign language by reading the text message 621 translated into the chat room 110 or listening to the translated voice 622 . For example, when multiple calls or multiple video calls are made in the chat room 110, each user's voice is translated in real time and displayed as text or output as a translated voice, so that each user can have a natural conversation without a language barrier.

일 실시예에 있어서, 외부 음성인식 서버(230)는 수신된 메시지의 음성(611)을 기초로 각각의 사용자(120)의 언어스타일을 학습하여, 음성(611)을 각 언어의 표준형태의 텍스트로 변환하는 음성인식모델을 상기 사용자마다 생성할 수 있다. 외부 음성인식 서버(230)는 각각의 사용자(120)의 음성(611)을 사용자(120)별로 대응되는 상기 음성인식모델을 이용하여 텍스트로 변환할 수 있다. In one embodiment, the external voice recognition server 230 learns the language style of each user 120 based on the voice 611 of the received message, and converts the voice 611 into text in a standard form for each language. A speech recognition model that converts to can be generated for each user. The external voice recognition server 230 may convert the voice 611 of each user 120 into text using the voice recognition model corresponding to each user 120 .

여기서, 상기 음성인식모델은 뉴럴 네트워크, 예를 들어, GMM(Gaussian Mixture Model), DNN(Deep Neural Network) 또는 BLSTM(Bidirectional Long Short Term Memory) 등과 같이 다양한 구조로 구현될 수 있다. 음성인식모델이 구현될 수 있는 기계학습 구조를 상술한 바로 한정하는 것은 아니고, 하나 이상의 구조가 결합되는 형태로 구현될 수도 있다. 뉴럴 네트워크는 많은 수의 인공 노드들을 이용하여 복잡한 계산을 수행하는 하드웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현된 인식 모델을 나타낼 수 있다. 뉴럴 네트워크는 인공 노드들을 통해 인식 동작이나 학습 과정(learning process)을 수행할 수 있다.Here, the voice recognition model may be implemented in various structures such as a neural network, for example, a Gaussian Mixture Model (GMM), a Deep Neural Network (DNN), or a Bidirectional Long Short Term Memory (BLSTM). The machine learning structure in which the speech recognition model can be implemented is not limited to the above-described structure, and may be implemented in a form in which one or more structures are combined. A neural network may represent a recognition model implemented by hardware performing complex calculations using a large number of artificial nodes or a combination of hardware and software. A neural network may perform a recognition operation or a learning process through artificial nodes.

예를 들어, 외부 음성인식 서버(230)는 음성(611)을 기초로 사용자(120)별로 사용하는 방언을 학습하여 사용자의 방언의 파라미터가 적용된 음성인식모델을 생성할 수 있다.For example, the external voice recognition server 230 may learn the dialect used by each user 120 based on the voice 611 and generate a voice recognition model to which parameters of the user's dialect are applied.

또한, 외부 음성인식 서버(230)는 사용자(120)마다 나타나는 특징적인 발음이나 은어의 사용을 학습하여 상기 음성인식모델에 반영할 수 있다.In addition, the external voice recognition server 230 may learn the use of a distinctive pronunciation or slang that appears for each user 120 and reflect it to the voice recognition model.

상기 음성인식모델은 표준화된 음성인식모델에서 다양한 방언, 발음, 강세, 은어 사용 데이터에 따라 각각의 파라미터가 적용되어 변형된 음성인식모델일 수 있으며, 학습되는 데이터의 종류에 따라 다양하게 생성될 수 있다.The speech recognition model may be a modified speech recognition model by applying each parameter according to various dialect, pronunciation, stress, and slang usage data in a standardized speech recognition model, and may be generated in various ways according to the type of data to be learned. there is.

변환 단계(S510)에서 변환부(335)는 사용자 식별 정보, 사용 언어 정보 등의 사용자 정보와 변환할 음성(611)을 외부 음성인식 서버(230)로 전송하면, 외부 음성인식 서버(230)는 사용자에 최적화되도록 학습된 음성인식모델을 이용하여 텍스트로 변환하고 다시 변환부(335)로 반환함으로써 각각의 언어의 표준 발음 또는 강세를 사용하지 않는 경우에도 정확하고 효율적으로 음성 인식을 수행할 수 있다.In the conversion step (S510), when the conversion unit 335 transmits user information such as user identification information and used language information and the voice to be converted 611 to the external voice recognition server 230, the external voice recognition server 230 By using a speech recognition model trained to be optimized for the user, converting it into text and returning it to the conversion unit 335, speech recognition can be performed accurately and efficiently even when standard pronunciation or stress of each language is not used. .

또한, 외부 음성인식 서버(230)는 각 사용자(120)의 사용자 정보를 기초로 이전에 이용한 음성인식모델을 이후의 음성 인식에도 곧바로 적용함으로써 변환시간을 단축시킬 수 있다.In addition, the external voice recognition server 230 can shorten the conversion time by directly applying the previously used voice recognition model to subsequent voice recognition based on user information of each user 120 .

도 7은 본 발명의 일 실시예에 따른 구별 단계가 더 포함된 다중 번역 제공 방법의 흐름도이다.7 is a flowchart of a method for providing multiple translations further including a distinguishing step according to an embodiment of the present invention.

도 1, 도 3 및 도 7을 참조하면, 본 발명의 일 실시예에 있어서, 다중 번역 제공 서버(210)는 구별부(336)를 더 포함할 수 있고, 다중 번역 제공 방법은 구별 단계(S610)를 더 포함할 수 있다.Referring to FIGS. 1, 3 and 7, in an embodiment of the present invention, the multi-translation providing server 210 may further include a distinguishing unit 336, and the multi-translation providing method includes a discriminating step (S610). ) may further include.

구별 단계(S610)는 구별부(336)가 복수의 사용자(120) 중 대화방(110)에 마지막으로 접속한 시간이 미리 지정된 시간 내인 액티브 사용자를 구별하는 단계일 수 있다. 예컨대, 유저 A(121) 및 유저 B(122)가 대화방(110)에 마지막으로 접속한 시간이 5분 전이고, 유저 C(123)가 대화방(110)에 마지막으로 접속한 시간이 10분 전인 상황에서, 미리 지정된 시간이 5분이라면, 유저 A(121) 및 유저 B(122)가 액티브 사용자일 수 있다. 이처럼, 구별부(336)는 미리 지정된 시간을 기초로, 대화방(110)에 참여하는 사용자(120) 중 액티브 사용자를 구별할 수 있다. 실시예에 따라 미리 지정된 시간은 달라질 수 있다. 예컨대, 미리 지정된 시간은 0분일 수 있고, 이는 현재 대화방(110)에 접속하고 있는 사용자를 의미할 수도 있다.The discrimination step ( S610 ) may be a step in which the discrimination unit 336 distinguishes an active user whose last access time to the chat room 110 is within a predetermined time from among the plurality of users 120 . For example, a situation where user A 121 and user B 122 last accessed the chat room 110 5 minutes ago, and user C 123 last accessed the chat room 110 10 minutes ago. In , if the predetermined time is 5 minutes, user A 121 and user B 122 may be active users. As such, the distinguishing unit 336 may distinguish an active user from among the users 120 participating in the chat room 110 based on a pre-designated time. Depending on the embodiment, the predetermined time may vary. For example, the pre-specified time may be 0 minutes, which may mean a user currently accessing the chat room 110 .

번역부(333)와 제공부(334)는 구별 단계(S610)에서 구별부(336)가 액티브 사용자로 판단된 사용자에게 먼저 번역된 메시지를 제공할 수 있고, 그 이후 액티브 사용자 외의 사용자에게 번역된 메시지를 제공할 수 있다. 이를 통해, 대화에 참여하고 있지 않은 사용자의 번역 처리를 후순위로 미룸으로써 각 서버의 처리 부하을 줄여 현재 대화에 참여하고 있는 사용자에게 딜레이 없이 빠른 번역을 제공할 수 있다.The translation unit 333 and the provision unit 334 may first provide the translated message to the user determined by the differentiation unit 336 to be an active user in the distinguishing step (S610), and then provide the translated message to users other than the active user. message can be provided. Through this, the processing load of each server can be reduced by postponing the translation process of users not participating in the conversation to a later priority, and it is possible to provide fast translation without delay to users currently participating in the conversation.

또한, 번역부(333)와 제공부(334)는 구별 단계(S610)에서 구별부(336)가 액티브 사용자로 판단된 사용자 중에서도 처리 우선 순위를 정해 번역된 메시지를 제공할 수 있다. 예컨대, 액티브 사용자인 유저 A(121) 및 유저 B(122) 중 유저 A(121)의 마지막으로 접속 시간이 최근이라면 유저 A(121)를 우선하여 번역된 메시지를 제공할 수 있다. 미리 지정된 시간이 10분이라면, 액티브 사용자 중에서도 현재 대화에 참여하지 않는 사용자가 있을 수 있다. 따라서, 액티브 사용자 중에서도 우선 순위를 지정하여 번역 메세지를 제공하여 각 서버의 처리 부하를 더욱 줄일 수 있다.In addition, the translation unit 333 and the provision unit 334 may provide the translated message by determining processing priority among the users determined by the discrimination unit 336 to be active users in the discrimination step (S610). For example, if user A 121 of user A 121 and user B 122, who are active users, has the latest access time, the translated message may be provided with priority to user A 121. If the predetermined time is 10 minutes, among active users, there may be users who do not participate in the current conversation. Accordingly, the processing load of each server can be further reduced by prioritizing among active users and providing translation messages.

도 8은 본 발명의 일 실시예에 있어서, 스와이프 제스처 입력에 따른 번역된 메시지와 원문 메시지가 대화방에 노출되는 모습을 나타낸 도면이다.FIG. 8 is a diagram showing how a translated message and an original message according to a swipe gesture input are exposed in a chat room according to an embodiment of the present invention.

도3, 도4 및 도 8을 참조하면, 본 발명의 일 실시예에 따른 다중 번역 제공 방법의 제공 단계(S440)는 제공부(334)가 번역 전의 메시지 원문도 더 포함하여 복수의 사용자에게 제공하되, 번역한 메시지를 우선하여 대화방(800)에 노출시키고 사용자(810)의 스와이프 제스처 입력(820)이 수신되면, 번역한 메시지(801)를 대화방(800)에서 제거하고 메시지 원문(802)을 대화방에 노출시킬 수 있다. 도 8에 도시된 것과 같이, 사용자(810)가 대화방(800)의 번역된 메시지 상자(830)에서 스와이프 제스처 입력(820)을 하면, 스와이프 방향을 따라서 번역한 메시지(801)가 이동되면서 제거되고, 번역한 메시지(801)를 따라 번역 전의 메시지 원문(802)이 대화방(800)에 나타날 수 있다. 사용자(800)는 필요에 따라 번역 전의 메시지 원문(802)의 내용을 확인할 수 있으므로, 보다 정확한 메시지의 뉘앙스와 내용을 이해할 수 있다.3, 4 and 8, in the providing step (S440) of the multi-translation providing method according to an embodiment of the present invention, the providing unit 334 further includes the original text of the message before translation and provides it to a plurality of users. However, the translated message is exposed to the chat room 800 with priority and when the swipe gesture input 820 of the user 810 is received, the translated message 801 is removed from the chat room 800 and the text of the message 802 can be exposed in the chat room. As shown in FIG. 8 , when the user 810 inputs a swipe gesture 820 in the translated message box 830 of the chat room 800, the translated message 801 is moved along the swipe direction. Along with the removed and translated message 801 , the original text 802 of the message before translation may appear in the chat room 800 . Since the user 800 can check the contents of the original text 802 of the message before translation as needed, he can more accurately understand the nuance and content of the message.

본 발명의 다중 번역 서버와 다중 번역 서버가 수행하는 다중 번역 방법은, 사용자들이 실제로는 서로 다른 언어로 대화하지만, 동일한 언어로 대화하는 것과 같은 사용성을 제공할 수 있다. 이를 통해, 서로 다른 언어를 사용하는 사용자들이 언어에 대한 부담감 없이 대화를 할 수 있으며, 자신이 의미하는 바를 보다 정확히 상대에게 전달할 수 있다.The multi-translation server and the multi-translation method performed by the multi-translation server of the present invention can provide usability such that users actually communicate in different languages, but in the same language. Through this, users who speak different languages can have a conversation without feeling burdened about the language, and can more accurately convey what they mean to the other party.

또한, 다중 음성 통화와 다중 영상 통화에서 음성을 각각의 사용자의 사용 언어에 따라 번역하고 이를 음성으로 출력함으로써 실시간으로 서로 동일한 언어로 통화하는 느낌을 가질 수 있다.In addition, in a multi-voice call and a multi-video call, voices are translated according to the language used by each user and output as voices, so that it is possible to have the feeling of talking in the same language in real time.

본 명세서에 기재된 다양한 실시예들은 하드웨어, 미들웨어, 마이크로코드, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하나 이상의 주문형 반도체(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그램어블 논리 디바이스(PLD)들, 필드 프로그램어블 게이트 어레이(FPGA)들, 프로세서들, 컨트롤러들, 마이크로컨트롤러들, 마이크로프로세서들, 여기서 제시되는 기능들을 수행하도록 설계되는 다른 전자 유닛들 또는 이들의 조합 내에서 구현될 수 있다.Various embodiments described in this specification may be implemented by hardware, middleware, microcode, software, and/or combinations thereof. For example, various embodiments may include one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), ), processors, controllers, microcontrollers, microprocessors, other electronic units designed to perform the functions presented herein, or combinations thereof.

이러한 하드웨어 및/또는 소프트웨어 등은 본 명세서에 기술된 다양한 동작들 및 기능들을 지원하도록 동일한 디바이스 내에서 또는 개별 디바이스들 내에서 구현될 수 있다. 추가적으로, 본 발명에서 "~부"로 기재된 구성요소들, 유닛들, 모듈들, 컴포넌트들 등은 함께 또는 개별적이지만 상호 운용가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 모듈들, 유닛들 등에 대한 서로 다른 특징들의 묘사는 서로 다른 기능적 실시예들을 강조하기 위해 의도된 것이며, 이들이 개별 하드웨어 컴포넌트들에 의해 실현되어야만 함을 필수적으로 의미하지 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 관련된 기능은 개별 하드웨어 컴포넌트들에 의해 수행되거나 또는 공통의 또는 개별의 하드웨어 컴포넌트들 내에 통합될 수 있다.Such hardware and/or software and the like may be implemented within the same device or within separate devices to support the various operations and functions described herein. Additionally, components, units, modules, components, etc., described as "-units" in the present invention may be implemented together or separately as separate but interoperable logic devices. Depiction of different features for modules, units, etc. is intended to highlight different functional embodiments and does not necessarily mean that they must be realized by separate hardware components. Rather, functionality associated with one or more modules or units may be performed by separate hardware components or integrated within common or separate hardware components.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium. The computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes such as those produced by a compiler. The hardware device may be configured to act as one or more software modules to perform processing according to the present invention and vice versa.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, this is only exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

110: 대화방
120: 복수의 사용자
210: 다중 번역 제공 서버
220: 외부 번역 서버
230: 외부 음성인식 서버
310: 메모리
320: 통신부
331: 판단부
332: 수신부
333: 번역부
334: 제공부
335: 변환부
336: 구별부
110: chat room
120: multiple users
210: multi-translation provision server
220: external translation server
230: external voice recognition server
310: memory
320: communication department
331: judgment unit
332: receiver
333: translation department
334: provision unit
335: conversion unit
336: distinguishing part

Claims (19)

다중 번역 제공 서버가 수행하는 다중 번역 제공 방법으로서,
대화방에 참여하는 복수의 사용자의 사용 언어를 판단하는 판단 단계;
상기 복수의 사용자 중 하나 이상의 사용자로부터 메시지를 수신하는 수신 단계;
외부 번역 서버를 이용하여, 수신된 상기 메시지의 내용을 상기 복수의 사용자의 사용 언어로 각각 번역하는 번역 단계; 및
번역한 각각의 메시지를 상기 복수의 사용자 각각에 제공하되, 상기 사용 언어에 따라 개별적으로 제공하는 제공 단계;를 포함하는 것인 다중 번역 제공 방법.
A multi-translation providing method performed by a multi-translation providing server,
a determination step of determining languages used by a plurality of users participating in the chat room;
a receiving step of receiving a message from one or more users among the plurality of users;
a translation step of translating the contents of the received message into languages used by the plurality of users by using an external translation server; and
and a providing step of providing each of the translated messages to each of the plurality of users, individually according to the language used.
제1항에 있어서,
상기 메시지는, 음성이고,
외부 음성인식 서버를 이용하여, 상기 수신된 메시지의 음성을 인식하여 텍스트로 변환하는 변환 단계;를 더 포함하고,
상기 번역 단계는, 상기 외부 번역 서버를 이용하여, 변환된 상기 텍스트를 상기 복수의 사용자의 사용 언어로 각각 번역하는 것인 다중 번역 제공 방법.
According to claim 1,
The message is voice,
A conversion step of recognizing the voice of the received message and converting it into text using an external voice recognition server; further comprising,
In the translating step, the converted text is translated into languages used by the plurality of users, respectively, using the external translation server.
제2항에 있어서,
상기 메시지는, 상기 복수의 사용자 중 하나 이상의 사용자의 영상의 음성으로부터 생성되는 것인 다중 번역 제공 방법.
According to claim 2,
The message is generated from the audio of the video of at least one user among the plurality of users.
제2항에 있어서,
상기 외부 음성인식 서버는,
상기 수신된 메시지의 음성을 기초로 각각의 상기 사용자의 언어스타일을 학습하여, 상기 음성을 각 언어의 표준형태의 텍스트로 변환하는 음성인식모델을 상기 사용자마다 생성하고,
각각의 상기 사용자의 음성을 상기 사용자별로 대응되는 상기 음성인식모델을 이용하여 텍스트로 변환하는 것인 다중 번역 제공 방법.
According to claim 2,
The external voice recognition server,
Learning the language style of each user based on the voice of the received message, and generating a voice recognition model for each user that converts the voice into a text in a standard form of each language;
and converting each user's voice into text using the voice recognition model corresponding to each user.
제1항에 있어서,
상기 제공 단계는, 상기 번역된 각각의 메시지의 내용을 음성으로 제공하되, 상기 복수의 사용자 각각에 상기 사용 언어에 따라 개별적으로 제공하는 것인 다중 번역 제공 방법.
According to claim 1,
In the providing step, the content of each of the translated messages is provided by voice, and individually provided to each of the plurality of users according to the language used.
제1항에 있어서,
상기 복수의 사용자 중 상기 대화방에 마지막으로 접속한 시간이 미리 지정된 시간 내인 액티브 사용자를 구별하는 구별 단계;를 더 포함하고,
상기 제공 단계는, 상기 복수의 사용자 중 상기 액티브 사용자에게 우선적으로 상기 번역한 각각의 메시지를 개별적으로 제공하는 것인 다중 번역 제공 방법.
According to claim 1,
A distinction step of distinguishing an active user whose last access to the chat room is within a pre-specified time from among the plurality of users;
In the providing step, the translated message is individually provided to the active user among the plurality of users with priority.
제6항에 있어서,
상기 제공 단계는, 상기 액티브 사용자 중 상기 마지막으로 접속한 시간의 최근 순서대로 상기 번역한 각각의 메시지를 개별적으로 제공하는 것인 다중 번역 제공 방법.
According to claim 6,
In the providing step, each of the translated messages is individually provided in the order of a recent access time among the active users.
제1항에 있어서,
상기 판단 단계는, 상기 복수의 사용자 각각의 단말기의 사용 언어 정보를 이용하여 각각의 상기 사용자의 사용 언어를 판단하는 것인 다중 번역 제공 방법.
According to claim 1,
In the determining step, the language used by each user is determined using information on the language used by the terminal of each of the plurality of users.
제1항에 있어서,
상기 제공 단계는, 번역 전의 메시지 원문도 더 포함하여 상기 복수의 사용자에게 제공하되, 번역한 상기 메시지를 우선하여 상기 대화방에 노출시키고 상기 사용자의 스와이프 제스처 입력이 수신되면, 번역한 상기 메시지를 상기 대화방에서 제거하고 상기 메시지 원문을 상기 대화방에 노출시키는 것인 다중 번역 제공 방법.
According to claim 1,
In the providing step, the original text of the message before translation is also provided to the plurality of users, the translated message is exposed to the chat room with priority, and when the user's swipe gesture input is received, the translated message is provided to the plurality of users. and removing from the chat room and exposing the original text of the message to the chat room.
제1항 내지 제9항 중 어느 한 항에 기재된 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.
A computer-readable recording medium storing a program for implementing the method according to any one of claims 1 to 9.
다중 번역 제공 서버로서,
대화방에 참여하는 복수의 사용자의 사용 언어를 판단하는 판단부;
상기 복수의 사용자 중 하나 이상의 사용자로부터 메시지를 수신하는 수신부;
외부 번역 서버를 이용하여, 수신된 상기 메시지의 내용을 상기 복수의 사용자의 사용 언어로 각각 번역하는 번역부; 및
번역한 각각의 메시지를 상기 복수의 사용자 각각에 제공하되, 상기 사용 언어에 따라 개별적으로 제공하는 제공부;를 포함하는 것인 다중 번역 제공 서버.
As a multi-translation providing server,
a determination unit for determining languages used by a plurality of users participating in the chat room;
a receiving unit receiving a message from one or more users among the plurality of users;
a translation unit for translating the contents of the received message into languages used by the plurality of users, respectively, using an external translation server; and
A multi-translation providing server comprising: a providing unit which provides each of the translated messages to each of the plurality of users and individually provides them according to the language used.
제11항에 있어서,
상기 메시지는, 음성이고,
외부 음성인식 서버를 이용하여, 상기 수신된 메시지의 음성을 인식하여 텍스트로 변환하는 변환부;를 더 포함하고,
상기 번역부는, 상기 외부 번역 서버를 이용하여, 변환된 상기 텍스트를 상기 복수의 사용자의 사용 언어로 각각 번역하는 것인 다중 번역 제공 서버.
According to claim 11,
The message is voice,
A conversion unit for recognizing the voice of the received message and converting it into text using an external voice recognition server;
The translation unit, using the external translation server, translates the converted text into the languages used by the plurality of users, respectively.
제12항에 있어서,
상기 메시지는, 상기 복수의 사용자 중 하나 이상의 사용자의 영상의 음성으로부터 생성되는 것인 다중 번역 제공 서버.
According to claim 12,
The message is generated from the audio of the video of one or more users among the plurality of users.
제12항에 있어서,
상기 외부 음성인식 서버는,
상기 수신된 메시지의 음성을 기초로 각각의 상기 사용자의 언어스타일을 학습하여, 상기 음성을 각 언어의 표준형태의 텍스트로 변환하는 음성인식모델을 상기 사용자마다 생성하고,
각각의 상기 사용자의 음성을 상기 사용자별로 대응되는 상기 음성인식모델을 이용하여 텍스트로 변환하는 것인 다중 번역 제공 서버.
According to claim 12,
The external voice recognition server,
Learning the language style of each user based on the voice of the received message, and generating a voice recognition model for each user that converts the voice into a text in a standard form of each language;
and converting the voice of each user into text using the voice recognition model corresponding to each user.
제11항에 있어서,
상기 제공부는, 상기 번역된 각각의 메시지의 내용을 음성으로 제공하되, 상기 복수의 사용자 각각에 상기 사용 언어에 따라 개별적으로 제공하는 것인 다중 번역 제공 서버.
According to claim 11,
The multi-translation providing server, wherein the providing unit provides the contents of each of the translated messages by voice, and individually provides the contents of each of the translated messages to each of the plurality of users according to the language used.
제11항에 있어서,
상기 복수의 사용자 중 상기 대화방에 마지막으로 접속한 시간이 미리 지정된 시간 내인 액티브 사용자를 구별하는 구별부;를 더 포함하고,
상기 제공부는, 상기 복수의 사용자 중 상기 액티브 사용자에게 우선적으로 상기 번역한 각각의 메시지를 개별적으로 제공하는 것인 다중 번역 제공 서버.
According to claim 11,
a distinguishing unit for discriminating an active user whose last time accessing the chat room from among the plurality of users is within a pre-specified time;
and wherein the providing unit individually provides each of the translated messages to the active user among the plurality of users preferentially.
제16항에 있어서,
상기 제공부는, 상기 액티브 사용자 중 상기 마지막으로 접속한 시간의 최근 순서대로 상기 번역한 각각의 메시지를 개별적으로 제공하는 것인 다중 번역 제공 서버.
According to claim 16,
wherein the providing unit individually provides each of the translated messages in the order of the most recent one of the active users at the time of the last access.
제11항에 있어서,
상기 판단부는, 상기 복수의 사용자 각각의 단말기의 사용 언어 정보를 이용하여 각각의 상기 사용자의 사용 언어를 판단하는 것인 다중 번역 제공 서버.
According to claim 11,
wherein the determination unit determines the language used by each user by using information on the language used by the terminal of each of the plurality of users.
제11항에 있어서,
상기 제공부는, 번역 전의 메시지 원문도 더 포함하여 상기 복수의 사용자에게 제공하되, 번역한 상기 메시지를 우선하여 상기 대화방에 노출시키고 상기 사용자의 스와이프 제스처 입력이 수신되면, 번역한 상기 메시지를 상기 대화방에서 제거하고 상기 메시지 원문을 상기 대화방에 노출시키는 것인 다중 번역 제공 서버.
According to claim 11,
The provision unit further includes the original text of the message before translation and provides it to the plurality of users, preferentially exposes the translated message to the chat room, and when the user's swipe gesture input is received, transmits the translated message to the chat room. and exposing the original text of the message to the chat room.
KR1020220024471A 2022-02-24 2022-02-24 Method for providing multi-translation and server for providing multi-translation KR20230126971A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220024471A KR20230126971A (en) 2022-02-24 2022-02-24 Method for providing multi-translation and server for providing multi-translation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220024471A KR20230126971A (en) 2022-02-24 2022-02-24 Method for providing multi-translation and server for providing multi-translation

Publications (1)

Publication Number Publication Date
KR20230126971A true KR20230126971A (en) 2023-08-31

Family

ID=87847578

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220024471A KR20230126971A (en) 2022-02-24 2022-02-24 Method for providing multi-translation and server for providing multi-translation

Country Status (1)

Country Link
KR (1) KR20230126971A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101271285B1 (en) 2011-12-28 2013-06-04 (주)카카오 A method of providing a multi language translation for messages included in chatting window

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101271285B1 (en) 2011-12-28 2013-06-04 (주)카카오 A method of providing a multi language translation for messages included in chatting window

Similar Documents

Publication Publication Date Title
KR102178738B1 (en) Automated assistant calls from appropriate agents
CN112262430B (en) Automatically determining a language for speech recognition of a spoken utterance received via an automatic assistant interface
US9530415B2 (en) System and method of providing speech processing in user interface
KR102108500B1 (en) Supporting Method And System For communication Service, and Electronic Device supporting the same
US9805718B2 (en) Clarifying natural language input using targeted questions
JP2023539820A (en) Interactive information processing methods, devices, equipment, and media
CN110085222B (en) Interactive apparatus and method for supporting voice conversation service
JP2002125047A (en) Method and device for interpretation service
CN102549654A (en) Speech translation system, control apparatus and control method
CN109543021B (en) Intelligent robot-oriented story data processing method and system
KR102429407B1 (en) User-configured and customized interactive dialog application
US20180286388A1 (en) Conference support system, conference support method, program for conference support device, and program for terminal
KR20150005608A (en) Building multi-language processes from existing single-language processes
JP2021530130A (en) Methods and equipment for managing holds
KR20190074508A (en) Method for crowdsourcing data of chat model for chatbot
JP7287006B2 (en) Speaker Determining Device, Speaker Determining Method, and Control Program for Speaker Determining Device
WO2020070959A1 (en) Interpretation system, server device, distribution method, and recording medium
KR20230126971A (en) Method for providing multi-translation and server for providing multi-translation
TWM515143U (en) Speech translating system and translation processing apparatus
WO2021161856A1 (en) Information processing device and information processing method
KR102181583B1 (en) System for voice recognition of interactive robot and the method therof
JP2016024378A (en) Information processor, control method and program thereof
JP7152454B2 (en) Information processing device, information processing method, information processing program, and information processing system
CN115414666B (en) Voice data processing method and related device based on idiom dragon-joining game
US20230040219A1 (en) System and method for hands-free multi-lingual online communication

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right