KR20200122015A - Apparatus for Lecture Interpretated Service and Driving Method Thereof - Google Patents

Apparatus for Lecture Interpretated Service and Driving Method Thereof Download PDF

Info

Publication number
KR20200122015A
KR20200122015A KR1020190044718A KR20190044718A KR20200122015A KR 20200122015 A KR20200122015 A KR 20200122015A KR 1020190044718 A KR1020190044718 A KR 1020190044718A KR 20190044718 A KR20190044718 A KR 20190044718A KR 20200122015 A KR20200122015 A KR 20200122015A
Authority
KR
South Korea
Prior art keywords
lecture
instructor
interpretation
interpretation service
data
Prior art date
Application number
KR1020190044718A
Other languages
Korean (ko)
Other versions
KR102312798B1 (en
Inventor
신종우
Original Assignee
신한대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 신한대학교 산학협력단 filed Critical 신한대학교 산학협력단
Priority to KR1020190044718A priority Critical patent/KR102312798B1/en
Publication of KR20200122015A publication Critical patent/KR20200122015A/en
Application granted granted Critical
Publication of KR102312798B1 publication Critical patent/KR102312798B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/42Data-driven translation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/02Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

The present invention relates to a device for a lecture interpretation service to reduce an interpretation error, which frequently occurs in a specialized field, and a driving method thereof. According to an embodiment of the present invention, the device for a lecture interpretation service may comprise: a storage unit storing lecture data reflecting the lecture characteristics of each teacher of a teacher, who progresses a lecture; and a control unit providing an interpretation service based on (previously) stored lecture data of a designated teacher when a learner attending a lecture requests interpretation for the lecture by the designated teacher.

Description

강의통역 서비스장치 및 그 장치의 구동방법{Apparatus for Lecture Interpretated Service and Driving Method Thereof}Lecture Interpretated Service and Driving Method Thereof {Apparatus for Lecture Interpretated Service and Driving Method Thereof}

본 발명은 강의통역 서비스장치 및 그 장치의 구동방법에 관한 것으로서, 더 상세하게는 가령 전문영역에서 빈번하게 발생하는 통역 오류를 개선하려는 강의통역 서비스장치 및 그 장치의 구동방법에 관한 것이다.The present invention relates to a lecture interpretation service apparatus and a driving method thereof, and more particularly, to a lecture interpretation service apparatus and a driving method of the apparatus to improve interpretation errors that frequently occur in a specialized field.

최근 들어 음성인식 기술의 향상으로 인해 스마트폰을 이용한 자동통역 기능이 널리 사용되고 있으며, 많은 어플리케이션들이 다국어 서비스를 지원하고 있다. 특히, 향상된 음성인식 성능과 다국어 지원은 자동통역에 대한 기대를 높이고 있으며, 아주 일상적인 대화에 있어서 사용자들에게 충분히 만족할 만한 기술이 제공되어지고 있다. 한편, 가령 타국 대학교에서는 다양한 국가에서 유학을 온 학생들이 많이 있으나 이러한 학생들에게 학교 수업을 들을 수 있을 정도의 외국어 실력을 요구하기에는 많은 시간을 필요로 한다. 따라서, 이러한 상황에서 가령 모국어(예: 한국어) 교육만을 진행하는 경우 실제 전공과목에 대한 학습이 제대로 이루어지 못하는 문제가 빈번하다.In recent years, due to the improvement of voice recognition technology, the automatic interpretation function using a smartphone is widely used, and many applications support multilingual services. In particular, improved voice recognition performance and multi-language support raise expectations for automatic interpretation, and technology that satisfies users sufficiently for very everyday conversations is being provided. On the other hand, in foreign universities, for example, there are many students who have studied abroad from various countries, but it takes a lot of time to ask these students to have foreign language skills enough to take school classes. Therefore, in such a situation, when only the mother tongue (eg, Korean) education is conducted, there is a frequent problem that the actual major subject is not properly learned.

그런데, 기존의 통역기의 경우 일상 대화 수준에서의 통역은 가능하나 강의 등과 같은 특수한 상황에서의 실제 통역은 강의 내용의 전문영역에 따라 통역에 상당한 오류가 발생하고 있어 실제 사용에 어려움이 많다.However, in the case of conventional interpreters, interpretation at the level of daily conversation is possible, but actual interpretation in special situations such as lectures is difficult to use because considerable errors occur in interpretation depending on the specialized field of the lecture.

한국등록특허공보 제10-1959439호(2019.03.12.)Korean Registered Patent Publication No. 10-1959439 (2019.03.12.) 한국공개특허공보 제10-2019-0015081호(2019.02.13.)Korean Patent Application Publication No. 10-2019-0015081 (2019.02.13.)

본 발명의 실시예는 가령 전문영역에서 빈번하게 발생하는 통역 오류를 개선하려는 강의통역 서비스장치 및 그 장치의 구동방법을 제공함에 그 목적이 있다.An object of the present invention is to provide a lecture interpretation service apparatus and a driving method of the apparatus for improving interpretation errors frequently occurring in a specialized field.

본 발명의 실시예에 따른 강의통역 서비스장치는, 강의를 진행하는 교수자의 교수자별 강의 특성이 반영된 강의 데이터를 저장하는 저장부, 및 강의에 참석한 학습자가 지정 교수자의 강의에 대한 통역을 요청할 때, 상기 저장한 지정 교수자의 강의 데이터를 근거로 통역 서비스를 제공하는 제어부를 포함한다.The lecture interpretation service apparatus according to an embodiment of the present invention includes a storage unit that stores lecture data reflecting the lecture characteristics of each instructor of a lecturer, and when a learner attending the lecture requests interpretation for a lecture of a designated instructor. And a control unit that provides an interpretation service based on the stored lecture data of the designated instructor.

상기 제어부는, 상기 지정 교수자의 과목이 추가로 선택되면, 상기 선택된 과목의 강의 데이터를 근거로 상기 통역 서비스를 제공할 수 있다.When a subject of the designated instructor is additionally selected, the control unit may provide the interpretation service based on lecture data of the selected subject.

상기 제어부는, 상기 강의 데이터로서 교수자가 사용하는 전문용어, 상기 전문용어의 발음, 기준값 이상으로 사용하는 문구 및 대화체 중 적어도 하나를 상기 저장부에 저장시킬 수 있다.The control unit may store at least one of a terminology used by an instructor as the lecture data, a pronunciation of the terminology, a phrase used above a reference value, and a conversational object in the storage unit.

상기 제어부는, 상기 통역 서비스의 요청이 있을 때 상기 지정 교수자의 음성을 취득하여 상기 취득한 음성의 인식 결과를 근거로 상기 지정 교수자를 판단해 상기 통역 서비스를 제공할 수 있다.The control unit may obtain the voice of the designated instructor when the interpretation service is requested, and determine the designated instructor based on a recognition result of the acquired voice to provide the interpretation service.

상기 강의통역 서비스장치는, 상기 교수자의 단말장치로부터 강의가 녹화된 음성 파일을 수신하는 통신 인터페이스부를 더 포함하며, 상기 제어부는, 상기 수신한 음성 파일을 분석해 상기 강의 데이터를 생성하며, 상기 생성한 강의 데이터를 지정 시간 간격으로 학습하여 학습 결과를 근거로 상기 통역 서비스를 제공할 수 있다. The lecture interpretation service device further includes a communication interface unit for receiving a voice file recorded with a lecture from the instructor's terminal device, and the control unit analyzes the received voice file to generate the lecture data, and the generated The interpretation service may be provided based on the learning result by learning lecture data at specified time intervals.

또한, 본 발명의 실시예에 따른 강의통역 서비스장치의 구동방법은, 저장부 및 제어부를 포함하는 강의통역 서비스장치의 구동방법으로서, 강의를 진행하는 교수자의 교수자별 강의 특성이 반영된 강의 데이터를 상기 저장부에 저장하는 단계, 및 강의에 참석한 학습자가 지정 교수자의 강의에 대한 통역을 요청할 때, 상기 제어부가, 상기 저장한 지정 교수자의 강의 데이터를 근거로 통역 서비스를 제공하는 단계를 포함한다.In addition, the driving method of the lecture interpretation service device according to an embodiment of the present invention is a driving method of a lecture interpretation service device including a storage unit and a control unit, and the lecture data reflecting the lecture characteristics of each instructor Storing in a storage unit, and when a learner attending the lecture requests an interpretation for a lecture of a designated instructor, the control unit providing an interpretation service based on the stored lecture data of the designated instructor.

상기 제공하는 단계는, 상기 지정 교수자의 과목이 추가로 선택되면, 상기 선택된 과목의 강의 데이터를 근거로 상기 통역 서비스를 제공할 수 있다.In the providing step, when a subject of the designated instructor is additionally selected, the interpretation service may be provided based on lecture data of the selected subject.

상기 저장하는 단계는, 상기 강의 데이터로서 교수자가 사용하는 전문용어, 상기 전문용어의 발음, 기준값 이상으로 사용하는 문구 및 대화체 중 적어도 하나를 상기 저장부에 저장시킬 수 있다.In the storing of the lecture data, at least one of a terminology used by an instructor, a pronunciation of the terminology, a phrase used above a reference value, and a conversational text may be stored in the storage unit as the lecture data.

상기 제공하는 단계는, 상기 통역 서비스의 요청이 있을 때 상기 지정 교수자의 음성을 취득하여 상기 취득한 음성의 인식 결과를 근거로 상기 지정 교수자를 판단해 상기 통역 서비스를 제공할 수 있다.The providing may include acquiring the voice of the designated instructor when the interpretation service is requested, and determining the designated instructor based on a recognition result of the acquired voice to provide the interpretation service.

상기 구동방법은, 상기 교수자의 단말장치로부터 강의가 녹화된 음성 파일을 수신하는 단계를 더 포함하며, 상기 제공하는 단계는 상기 수신한 음성 파일을 분석해 상기 강의 데이터를 생성하며, 상기 생성한 강의 데이터를 지정 시간 간격으로 학습하여 학습 결과를 근거로 상기 통역 서비스를 제공할 수 있다.The driving method further includes receiving a voice file in which the lecture is recorded from the terminal device of the instructor, and the providing step generates the lecture data by analyzing the received voice file, and the generated lecture data It is possible to provide the interpretation service based on the learning result by learning at specified time intervals.

본 발명의 실시예에 따르면, 가령, 교수자의 음성발화 패턴 등의 특성 관련 데이터를 기저장한 후 이를 근거로 통역 서비스를 제공하므로, 전문영역 특히 대학 강의에서의 통역 오류는 획기적으로 줄어들게 될 것이다.According to an embodiment of the present invention, since, for example, data related to characteristics such as an instructor's voice speech pattern is previously stored and an interpretation service is provided based on this, interpretation errors in specialized fields, especially university lectures, will be drastically reduced.

가령 타국에서 유학하는 유학생의 경우 대학 강의에서 교수자에게 특화된 통역 서비스를 이용하게 됨으로써 학업에 많은 도움이 될 것이고, 그 결과 학업 능률도 고양될 것이다. 교수자가 사용하는 전문용어나 교수자의 설명에 대한 정확한 통역이 이루어지므로 학습자의 이해도는 당연히 높아지게 될 것이다.For example, in the case of international students studying in other countries, the use of interpreter services specialized for instructors in university lectures will help a lot in their studies, and as a result, academic efficiency will be enhanced. The learner's level of understanding will naturally increase as the precise interpretation of the terminology used by the instructor and the instructor's explanation is performed.

도 1은 본 발명의 실시예에 따른 강의통역 서비스시스템을 나타내는 도면,
도 2는 도 1의 강의통역 서비스를 설명하기 위한 도면,
도 3은 도 1의 강의통역 서비스장치의 세부 구조를 예시한 블록다이어그램, 그리고
도 4는 본 발명의 실시예에 따른 강의통역 서비스장치의 구동과정을 나타내는 흐름도이다.
1 is a diagram showing a lecture interpretation service system according to an embodiment of the present invention;
2 is a diagram for explaining the lecture interpretation service of FIG. 1;
3 is a block diagram illustrating a detailed structure of the lecture interpretation service apparatus of FIG. 1, and
4 is a flowchart illustrating a driving process of a lecture interpretation service apparatus according to an embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시예에 따른 강의통역 서비스시스템을 나타내는 도면이며, 도 2는 도 1의 강의통역서비스를 설명하기 위한 도면이다.FIG. 1 is a diagram illustrating a lecture interpretation service system according to an embodiment of the present invention, and FIG. 2 is a diagram illustrating the lecture interpretation service of FIG. 1.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 강의통역 서비스시스템(90)은 교수자 단말장치(100), 학습자 단말장치(110), 통신망(120) 및 강의통역 서비스장치(130)의 일부 또는 전부를 포함한다.As shown in FIG. 1, the lecture interpretation service system 90 according to the embodiment of the present invention includes the instructor terminal device 100, the learner terminal device 110, the communication network 120, and the lecture interpretation service device 130. Includes some or all.

여기서, "일부 또는 전부를 포함한다"는 것은 통신망(120)과 같은 일부 구성요소가 생략되어 단말장치(100, 110)와 강의통역 서비스장치(130)가 다이렉트 통신(예: P2P 통신)을 수행하거나, 강의통역 서비스장치(130)의 일부 또는 전부가 통신망(120) 내의 네트워크장치(예: 무선교환장치 등)에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.Here, "including some or all" means that some components such as the communication network 120 are omitted, so that the terminal devices 100 and 110 and the lecture interpretation service device 130 perform direct communication (eg, P2P communication). Or, a part or all of the lecture interpretation service device 130 is integrated into a network device (for example, a wireless switching device) in the communication network 120 and can be configured, and to help a sufficient understanding of the invention Explain that it is all inclusive.

교수자 단말장치(100)는 랩탑컴퓨터, 태블릿PC, 스마트폰, 마이크로폰 등의 단말장치를 포함하며, 본 발명의 실시예에 따른 통역 서비스를 위해 음성 파일 등의 강의 데이터를 제공하기 위한 전용 단말장치를 포함할 수 있다. 물론 여기서 강의 데이터는 신호 처리된 데이터(예: 가공된 데이터)를 포함할 수 있다. 가령, 교수자는 교수자 단말장치(100)를 통해 자신의 강의 과목에 대하여 통역 서비스가 제공될 수 있도록 강의 데이터를 제공한다. 이를 위하여 교수자는 강의 중에 교수자 단말장치(100)를 동작시킬 수 있다. 예컨대, 강의가 시작되는 초기에 어플리케이션(이하, 앱)을 실행하여 강의통역 서비스장치(130)에 접속한 후, 자신의 강의 내용, 더 정확하게는 강의에 대한 음성 파일이 강의 데이터로 활용되도록 강의통역 서비스장치(130)로 제공할 수 있다.The instructor terminal device 100 includes a terminal device such as a laptop computer, a tablet PC, a smartphone, and a microphone, and includes a dedicated terminal device for providing lecture data such as a voice file for an interpretation service according to an embodiment of the present invention. Can include. Of course, the lecture data here may include signal-processed data (eg, processed data). For example, the instructor provides lecture data so that an interpreter service can be provided for his or her lecture subject through the instructor terminal device 100. To this end, the instructor may operate the instructor terminal device 100 during the lecture. For example, after running an application (hereinafter referred to as an app) at the beginning of a lecture to access the lecture interpretation service device 130, lecture interpretation so that the contents of the lecture, more precisely, an audio file for the lecture are used as lecture data. It can be provided to the service device 130.

가령, 교수자 단말장치(100)를 사용하는 교수자는 강의통역 서비스장치(130)의 서비스 초기에는 강의 데이터의 확보를 위하여 많은 시간동안 강의 데이터를 제공할 수 있다. 물론, 교수자의 전문 용어의 사용이나, 전문용어의 발음, 또 자주 사용하는 문구나 대화체(예: 사투리) 등을 통해 교수자의 특성 가령 강의 패턴이 파악되어 강의통역 서비스장치(130)는 이를 근거로 통역 서비스를 제공하고, 강의 데이터가 점점 더 확보되는 경우에는 지속적인 학습, 가령 딥러닝을 통해 서비스의 품질을 높여갈 수 있을 것이다.For example, an instructor using the instructor terminal device 100 may provide the lecture data for a large amount of time in order to secure the lecture data at the beginning of the service of the lecture interpretation service device 130. Of course, the characteristics of the instructor, such as the lecture pattern, are identified through the use of the instructor's terminology, the pronunciation of the terminology, and frequently used phrases or dialogue (eg, dialect), and the lecture interpretation service device 130 If an interpretation service is provided and lecture data is increasingly secured, the quality of the service can be improved through continuous learning, such as deep learning.

예를 들어, 교수자 단말장치(100)를 통해 교수자가 한 학기 동안의 특정 과목의 수업을 진행하게 될 때, 초기 1개월 정도의 수업에서 취득하는 강의 데이터를 근거로 타국의 학생들, 즉 유학생들에게 통역 서비스가 제공되도록 하기보다는 한해 전 수업에서 1년 동안 확보된 데이터를 근거로 통역 서비스를 제공하도록 하는 것이 통역 서비스의 정확도 측면에서는 더 좋을 것이다. 이와 같이, 교수자 단말장치(100)는 유학생 등에게 자신의 지정 과목 수업에 대한 정확한 내용 전달이 이루어지도록 하기 위해 서비스 목적에 부합한 강의 데이터를 제공한다고 볼 수 있다.For example, when a professor conducts a class in a specific subject for one semester through the teacher terminal device 100, it is provided to students from other countries, that is, international students, based on the lecture data acquired in the first month of class. Rather than providing an interpretation service, it would be better in terms of the accuracy of the interpretation service to provide an interpretation service based on data obtained for one year in the previous class. In this way, it can be seen that the instructor terminal device 100 provides lecture data suitable for the purpose of the service in order to deliver the correct content for the class of his designated subject to international students.

물론 본 발명의 실시예에서는 설명의 이해를 돕기 위하여 대학의 교수자와 학습자를 예로 들어 설명하지만, 다양하게 응용되어 적용될 수 있다. 예를 들어, 업무상 빈번히 만나는 외국의 바이어(buyer)들을 상대하거나, 해외 대리인들과 간헐적인 워크샵을 진행하거나, 해외에서 학회의 학술세미나 등을 진행하게 되는 경우에도, 지명도가 높은 인물이나 유명인사의 경우에는 해당 인물의 언어 구사 스타일을 파악하여 이를 근거로 통역 서비스가 제공되도록 할 수 있다. 따라서, 본 발명의 실시예에서는 서비스를 학습에 특별히 한정하지는 않을 것이다. 가령, 교수자 단말장치(100)가 아니라 하더라도, 인물의 음성을 취득하기 위하여 강당 등에 설치되어 있는 주변의 마이크로폰 등을 이용할 수 있을 것이다.Of course, in the exemplary embodiment of the present invention, a professor and a learner of a university are described as an example to aid understanding of the description, but various applications may be applied. For example, even when dealing with foreign buyers who meet frequently for work, conducting intermittent workshops with overseas agents, or conducting academic seminars at academic conferences abroad, In this case, an interpreter service can be provided based on the identification of the person's language-speaking style. Therefore, in the embodiment of the present invention, the service will not be specifically limited to learning. For example, even if it is not the teacher's terminal device 100, a nearby microphone installed in an auditorium or the like may be used to acquire a person's voice.

학습자 단말장치(110)는 통역 서비스를 제공할 수 있는 다양한 장치를 포함한다. 교수자 단말장치(100)와 마찬가지로 랩탑컴퓨터, 태블릿PC나 스마트폰, 나아가 해당 장치들에 연동하는 인공지능(AI) 스피커 등을 더 포함할 수 있다. 물론 통역 서비스를 제공하는 전용 단말을 더 포함할 수 있다. 예를 들어, 타국에서 유학하는 유학생들은 전공 과목의 수업에 참여하기 위하여 학습자 단말장치(110)를 통역기로서 사용할 수 있다. 이를 위하여, 학습자 단말장치(110)는 제품 출고시에 본 발명의 실시예에 따른 프로그램을 디폴트(default)로 포함하여 출시되거나 강의통역 서비스장치(130)에 접속하여 앱 등을 다운로드받아 실행시킬 수 있다.The learner terminal device 110 includes various devices capable of providing an interpretation service. Like the instructor terminal device 100, it may further include a laptop computer, a tablet PC, a smart phone, and an artificial intelligence (AI) speaker interlocking with the corresponding devices. Of course, it may further include a dedicated terminal providing an interpretation service. For example, international students studying abroad in other countries may use the learner terminal device 110 as an interpreter in order to participate in a class in a major subject. To this end, the learner terminal device 110 may be released with a program according to an embodiment of the present invention as a default when the product is shipped, or access the lecture interpretation service device 130 to download and execute an app. have.

학습자 단말장치(110)는 가령 앱의 실행에 따라 특정 과목의 수업에서의 교수자에 대한 통역 서비스를 제공할 수 있다. 물론 학습자 단말장치(110)는 강의통역 서비스장치(130)에 접속하여 스트리밍으로 서비스가 이루어질 수 있지만, 학습자 단말장치(110) 내의 프로그램을 통해 통역 서비스가 이루어질 수도 있을 것이다. 시스템 설계자의 의도에 따라 다양하게 설정될 수 있다. 예를 들어, 학습자 단말장치(110)의 자원(예: HW, SW 자원)은 강의통역 서비스장치(130)에 비하여 성능이 낮을 수 있다. 따라서, 정확하고 신속한 데이터 처리 등을 위해서는 강의통역 서비스장치(130)에서 이루어지는 것이 좋다. 반면, 일시적으로 통신망(120)이 불통되거나 부하가 발생하는 경우에는 서비스가 중단될 수 있다. 따라서, 이의 경우에는 통신망(120)의 상태에 따라 서비스 동작 주체가 변환되도록 할 수도 있다. 이와 같이 다양한 설계가 가능하므로, 본 발명의 실시예에서는 어느 하나의 방식에 특별히 한정하지는 않을 것이다.The learner terminal device 110 may provide an interpreter service for a teacher in a class of a specific subject according to the execution of the app, for example. Of course, the learner terminal device 110 may access the lecture interpretation service device 130 to provide a service through streaming, but an interpretation service may be provided through a program in the learner terminal device 110. It can be set in various ways according to the intention of the system designer. For example, resources (eg, HW, SW resources) of the learner terminal device 110 may have lower performance than the lecture interpretation service device 130. Therefore, it is preferable to be performed in the lecture interpretation service device 130 for accurate and rapid data processing. On the other hand, when the communication network 120 is temporarily turned off or a load occurs, the service may be stopped. Accordingly, in this case, the service operation subject may be changed according to the state of the communication network 120. Since various designs are possible as described above, the embodiment of the present invention will not be particularly limited to any one method.

통역 서비스를 요청할 때, 학습자는 강의 과목이나 교수자에 대한 기초적인 정보를 입력할 수 있지만, 앱의 실행과 함께 학습자 단말장치(110)는 자동으로 교수자의 음성을 마이크로폰을 통해 수신한 후 수신한 음성을 분석하여 분석 결과를 통해 해당 교수자를 판별하여 바로 통역 서비스를 진행할 수도 있다. 또한, 초기의 강의 내용을 수집하고 이를 분석하여 어떤 과목의 수업이 진행되는지 판단할 수도 있다. 이와 같이, 특정 과목의 교수자를 인식하여 통역 서비스를 진행하는 방식도 다양할 수 있으므로, 가령 교수자가 판단되면 이를 근거로 어떠한 과목의 수업인지를 학습자에게 물어 선택을 받는 것도 가능하다. 따라서, 본 발명의 실시예에서는 어느 하나의 방식에 특별히 한정하지는 않을 것이다.When requesting the interpreter service, the learner can enter the lecture subject or basic information about the instructor, but upon execution of the app, the learner terminal device 110 automatically receives the instructor's voice through the microphone and then receives the received voice. It is also possible to analyze the information and determine the instructor based on the analysis result and provide an interpreter service immediately. In addition, it is also possible to determine what subjects are being taught by collecting and analyzing the contents of the initial lecture. As described above, since there may be various ways of performing an interpretation service by recognizing an instructor in a specific subject, for example, if the instructor is judged, it is possible to ask the learner for a selection based on this. Therefore, the embodiment of the present invention will not be specifically limited to any one method.

학습자 단말장치(110)의 마이크로폰을 통해 수집되는 교수자의 강의 음성을 통역 프로그램을 통해 통역을 수행하여 다시 학습자 단말장치(110)의 스피커와 같은 음성출력부로 출력한다. 물론 음성출력부는 스피커일 수 있지만, 이어폰이나 헤드폰 등의 잭을 연결하기 위한 사용자 인터페이스 즉 연결부를 포함한다. 또한, 학습자 단말장치(110)는 별도의 통역 프로그램을 포함하지 않는다 하더라도 앱을 통해 수업시간 동안 수신되는 교수자의 음성신호를 실시간으로 강의통역 서비스장치(130)로 전송하고, 이를 통해 통역 서비스를 제공받는 것도 얼마든지 가능하므로, 본 발명의 실시예에서는 어느 하나의 방식에 특별히 한정하지는 않을 것이다.The lecture voice of the instructor collected through the microphone of the learner terminal device 110 is interpreted through an interpreter program and output to a voice output unit such as a speaker of the learner terminal device 110. Of course, the audio output unit may be a speaker, but includes a user interface, that is, a connection unit for connecting jacks such as earphones or headphones. In addition, the learner terminal device 110 transmits the instructor's voice signal received during class time through the app to the lecture interpretation service device 130 in real time, even if it does not include a separate interpretation program, and provides an interpretation service through this. Since it is possible to receive any number, the embodiment of the present invention will not be particularly limited to any one method.

통신망(120)은 유무선 통신망을 모두 포함한다. 가령 통신망(120)으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망(120)은 이에 한정되는 것이 아니며, 향후 구현될 차세대 이동통신 시스템의 접속망으로서 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G망 등에 사용될 수 있다. 가령, 통신망(120)이 유선 통신망인 경우 통신망(120) 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Station Transmission), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.The communication network 120 includes all wired and wireless communication networks. For example, as the communication network 120, a wired or wireless Internet network may be used or interlocked. Here, the wired network includes an Internet network such as a cable network or a public telephone network (PSTN), and the wireless communication network includes CDMA, WCDMA, GSM, Evolved Packet Core (EPC), Long Term Evolution (LTE), and Wibro networks. It is meant to include. Of course, the communication network 120 according to the embodiment of the present invention is not limited thereto, and may be used as an access network for a next-generation mobile communication system to be implemented in the future, for example, a cloud computing network or a 5G network under a cloud computing environment. For example, when the communication network 120 is a wired communication network, the access point in the communication network 120 can be connected to the switching center of the telephone office, but in the case of a wireless communication network, data is accessed by accessing SGSN or GGSN (Gateway GPRS Support Node) operated by the communication company Alternatively, data can be processed by accessing various repeaters such as BTS (Base Station Transmission), NodeB, and e-NodeB.

통신망(120)은 액세스포인트를 포함할 수 있다. 여기서의 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 단말장치(100, 110)를 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 단말장치(100, 110))와 지그비 및 와이파이 등의 근거리 통신을 수행하기 위한 근거리 통신모듈을 포함한다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선, UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 강의통역 서비스장치(130)로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함된다.The communication network 120 may include an access point. Here, the access point includes a small base station such as a femto or pico base station that is frequently installed in a building. Here, the femto or pico base station is classified according to how many terminal devices 100 and 110 can be connected to the maximum according to the classification of the small base station. Of course, the access point includes a short-range communication module for performing short-range communication such as ZigBee and Wi-Fi with the terminal devices 100 and 110. The access point may use TCP/IP or Real-Time Streaming Protocol (RTSP) for wireless communication. Here, short-range communication may be performed in various standards such as Bluetooth, Zigbee, infrared, radio frequency (RF) such as ultra high frequency (UHF) and very high frequency (VHF), and ultra wideband communication (UWB) in addition to Wi-Fi. Accordingly, the access point may extract the location of the data packet, designate the best communication path for the extracted location, and deliver the data packet to the next device, for example, the lecture interpretation service device 130 along the designated communication path. The access point can share several lines in a general network environment, and includes, for example, a router, a repeater, and a repeater.

강의통역 서비스장치(130)는 사용자 기반의 통역 서비스를 제공한다. 여기서 "사용자 기반"이란 특히 강의를 업으로 하거나, 유명 인사의 경우를 의미할 수 있다. 이의 경우에 더욱 유용하게 활용될 수 있다. 강의통역 서비스장치(130)는 물론 도 1에서는 대학을 예로 들어 교수자 단말장치(100)를 통해 통역 서비스를 위한 강의 데이터를 수집하는 것을 설명하였지만, 유명 인사의 경우에는 과거에 이루어진 강의 영상을 통해 강의 데이터를 수집하여 해당 유명 인사나 강사의 강의 패턴 또는 스타일을 파악하고 이를 기초로 통역 서비스를 제공할 수도 있다.The lecture interpretation service device 130 provides a user-based interpretation service. Here, the "user-based" may refer to a lecture or a celebrity. In this case, it can be used more usefully. In addition to the lecture interpretation service device 130, FIG. 1 describes the collection of lecture data for interpretation service through the instructor terminal device 100, taking a university as an example. However, in the case of celebrities, lectures through lecture images made in the past are described. By collecting data, it is also possible to identify the lecture pattern or style of the relevant celebrity or instructor, and provide interpretation services based on this.

예를 들어, 도 2에서 볼 수 있는 바와 같이, 강의통역 서비스장치(130)는 DB(130a)상에 교수자 A, B, C별로, 또 해당 교수자들의 과목별로 강의 데이터를 구분하여 저장하고, 해당 강의 데이터를 근거로 강의통역 서비스를 제공할 수 있다. 앞서 언급한 대로, 통역 서비스를 제공하기 위하여 강의통역 서비스장치(130)는 통역이 이루어져야 할 대상에 대한 데이터를 다양한 방법으로 수집하여 저장한 후 이를 근거로 통역 서비스를 제공함으로써 통역의 오류를 줄일 수 있게 되는 것이다.For example, as can be seen in FIG. 2, the lecture interpretation service device 130 separates and stores lecture data for each instructor A, B, and C, and for each subject of the corresponding instructor on the DB 130a. Lecture interpretation service can be provided based on lecture data. As mentioned above, in order to provide an interpretation service, the lecture interpretation service device 130 collects and stores data on an object to be interpreted in various ways, and then provides an interpretation service based on this, thereby reducing errors in interpretation. There will be.

다시 말해, 도 1의 학습자 단말장치(110)로부터 가령 도 2의 교수자 A의 a과목에 대한 지정이 있거나, 또는 음성인식을 통해 이를 인지한 경우라면, 강의통역 서비스장치(130)는 해당 정보를 기반으로 통역 서비스를 제공한다. 가령, 전공학과 교수들의 과목에 따른 전문용어, 전문용어의 발음, 자주 사용하는 문구 및 대화체 등을 학습하도록 하여 특정 수업의 통역을 위한 자료 즉 데이터를 획득한 후, 특정 과목에 대한 강의 진행시 학습자 단말장치(110)와 연결되어 가령 기존의 통역 모듈에 사전 학습된 특정 과목의 학습 모듈을 결합하여 강의 내용을 실시간으로 통역하도록 하는 것이다. 그 결과 전문 용어 및 특정 교수의 설명에 대한 유학생들의 이해도를 높일 수 있게 될 것이다.In other words, if there is a designation of the subject a of the instructor A of FIG. 2 from the learner terminal device 110 of FIG. 1, or when this is recognized through voice recognition, the lecture interpretation service device 130 transmits the corresponding information. Provide interpreter services on the basis of. For example, after obtaining data for interpretation of a specific class by learning technical terms, pronunciation of technical terms, frequently used phrases and conversational styles according to the subject of professors in major engineering departments, learners when conducting lectures on specific subjects It is connected to the terminal device 110 to interpret the contents of a lecture in real time by combining a learning module of a specific subject previously learned, for example, with an existing interpretation module. As a result, international students will be able to improve their understanding of technical terms and explanations of specific professors.

강의통역 서비스장치(130)는 앞서 언급한 대로 교수자 단말장치(100)를 통해서만 강의 데이터를 생성하기 위한 자료 혹은 데이터를 수집하는 것이 아니라, 검색 포탈에 등록되어 있는 다양한 동영상 등을 통해 특정 인물의 강의 패턴 혹은 스타일을 파악할 수 있고, 이와 같이 다양한 경로를 통해 빅데이터를 생성하고, 또 생성한 빅데이터를 활용해 딥러닝 동작을 수행함으로써 사용자 기반의 통역 서비스를 제공함으로써 통역의 정확도를 높일 수 있게 된다. 예를 들어, 일부에 통역 오류가 있다 하더라도, 오류를 딥러닝을 통해 수정하여 추후에는 오류를 발생시키지 않도록 함으로써 통역의 정확도를 높여 유학생들이나 유명인사의 강의를 청취하는 관객들이 특정 인물의 강의 내용을 정확히 이해하는 데 도움을 줄 수 있다.As mentioned above, the lecture interpretation service device 130 does not collect data or data for generating lecture data only through the instructor terminal device 100, but provides a lecture by a specific person through various videos registered in the search portal. The accuracy of interpretation can be improved by providing user-based interpretation services by identifying patterns or styles, creating big data through various paths, and performing deep learning operations using the generated big data. . For example, even if there is an interpretation error in some parts, the error is corrected through deep learning so that the error does not occur in the future, so that the accuracy of the interpretation is improved so that foreign students or celebrity lecturers can read the lecture contents of a specific person. It can help you understand correctly.

최근의 음성인식 기술은 말뭉치를 통해 문장을 파악하고 이와 같은 방식으로 자연어 수준의 언어를 처리하는 기술까지 달하고 있으므로, 사용자(예: 교수자)별로 특성을 반영해 넣음으로써 좀더 높은 퀄리티의 통역 서비스를 제공할 수 있게 될 것이다. 사람마다 지적 수준(intellectual standard)에 따라 구사하는 단어는 다를 수 있으며, 또 지방색이 반영되어 사투리를 구사할 수도 있는 등 동일한 단어나 문장을 발화하더라도 미세한 차이가 있기 마련이다. 이와 같이 강의통역 서비스장치(130)는 사용자들마다 미세하게 다른 언어 구사력을 판단하여 해당 데이터들을 DB(130a)에 DB화하고 이를 근거로 서비스를 제공한다. 예를 들어, 특정 사용자가 자주 구사하는 단어 "컨텐츠"는 DB(130a)의 "콘텐츠"라는 단어의 카테고리에 기록하고 이를 근거로 통역 서비스를 진행할 수 있을 것이다.Since recent speech recognition technology reaches to the technology of grasping sentences through corpus and processing language at the level of natural language in this way, a higher quality interpretation service is provided by reflecting characteristics for each user (e.g., instructor). You will be able to do it. Words spoken may vary from person to person according to their intellectual standard, and even if they utter the same word or sentence, there is always a slight difference, such as the local color may be reflected and dialect. In this way, the lecture interpretation service apparatus 130 determines language proficiency that is subtly different for each user, converts the data into a DB in the DB 130a, and provides a service based on this. For example, the word "content" frequently spoken by a specific user may be recorded in the category of the word "content" of the DB 130a, and an interpreter service may be performed based on this.

도 3은 도 1의 강의통역 서비스장치의 세부 구조를 예시한 블록다이어그램이다.3 is a block diagram illustrating a detailed structure of the lecture interpretation service apparatus of FIG. 1.

설명의 편의상 도 3을 도 1과 함께 참조하면, 본 발명의 실시예에 따른 강의통역 서비스장치(130)는 통신 인터페이스부(300), 제어부(310), 사용자기반 통역처리부(320) 및 저장부(330)의 일부 또는 전부를 포함한다.For convenience of explanation, referring to FIG. 3 together with FIG. 1, the lecture interpretation service apparatus 130 according to the embodiment of the present invention includes a communication interface unit 300, a control unit 310, a user-based interpretation processing unit 320, and a storage unit. Including some or all of (330).

여기서, "일부 또는 전부를 포함한다"는 것은 저장부(330)와 같은 일부 구성요소가 생략되어 구성되거나, 사용자기반 통역처리부(320)와 같은 일부 구성요소가 제어부(310)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.Here, "including some or all" means that some components such as the storage unit 330 are omitted, or some components such as the user-based interpretation processing unit 320 are other components such as the control unit 310 It is intended to mean something that can be integrated and configured in, and will be described as including all in order to help a sufficient understanding of the invention.

통신 인터페이스부(300)는 도 1의 통신망(120)을 경유하여 교수자 단말장치(100) 및 학습자 단말장치(110)와 통신을 수행한다. 통신을 수행하는 과정에서 통신 인터페이스부(300)는 변/복조, 인코딩/디코딩, 먹싱/디먹싱, 스케일링, 암호화/복호화 등의 다양한 동작을 더 수행할 수 있다. 이는 당업자에게 자명하므로 더 이상의 설명은 생략한다. 다만, 스케일링은 음성신호의 잡음을 제거하거나 증폭하는 등의 음성처리 동작을 포함할 수 있다.The communication interface unit 300 communicates with the instructor terminal device 100 and the learner terminal device 110 via the communication network 120 of FIG. 1. In a process of performing communication, the communication interface unit 300 may further perform various operations such as modulation/demodulation, encoding/decoding, muxing/demuxing, scaling, encryption/decryption, and the like. This is obvious to those skilled in the art, so further description will be omitted. However, scaling may include a speech processing operation such as removing or amplifying noise of the speech signal.

통신 인터페이스부(300)는 제어부(310)의 제어하에 교수자 단말장치(100)와 통신을 수행하여 교수자의 강의 내용을 녹화한 음성 파일을 수신하여 전달할 수 있다. 또한, 통신 인터페이스부(300)는 교수자 단말장치(100)가 아니라 하더라도, 검색포털 사이트에서 해당 교수자의 녹화 동영상 등이 있는 경우에는 외부 장치와 통신을 수행하여 관련 동영상을 취득하여 제어부(310)로 전달할 수 있다. 해당 녹화 동영상은 교수자의 성명과 소속에 대한 부가 정보를 포함하고 있을 것이므로, 이를 활용하는 것이다.The communication interface unit 300 may perform communication with the instructor's terminal device 100 under the control of the controller 310 to receive and transmit a voice file recording the contents of the instructor's lecture. In addition, even if it is not the instructor terminal device 100, the communication interface unit 300 communicates with an external device to obtain a related video to the controller 310 when there is a recorded video of the instructor on the search portal site. I can deliver. The recorded video will contain additional information about the teacher's name and affiliation, so this is to be used.

나아가, 통신 인터페이스부(300)는 학습자 단말장치(110)의 요청이 있는 경우 통역 서비스를 위한 앱을 제공하거나, 앱의 실행에 따른 통역 서비스를 제공할 수 있다. 예를 들어, 학습자 단말장치(110)는 통역 서비스를 위한 앱이 실행될 때, 마이크로폰을 자동으로 턴온시켜 강의실에서 이루어지는 교수자의 수업에 대한 음성을 취득할 수 있다. 그리고, 취득한 음성신호를 도 1의 강의통역 서비스장치(130)로 전송함으로써 통신 인터페이스부(300)는 이를 수신할 수 있다.Furthermore, the communication interface unit 300 may provide an app for an interpretation service or an interpretation service according to the execution of the app when there is a request from the learner terminal device 110. For example, when the app for interpretation service is executed, the learner terminal device 110 may automatically turn on a microphone to obtain a voice for a teacher's class in a classroom. And, by transmitting the acquired voice signal to the lecture interpretation service apparatus 130 of FIG. 1, the communication interface unit 300 may receive it.

그리고, 통신 인터페이스부(300)는 사용자기반 통역처리부(320)에서 제공하는 통역 서비스를 제어부(310)의 제어하에 학습자 단말장치(110)로 전송함으로써 학습자 단말장치(110)의 음성출력부를 통해 통역이 제공되도록 한다. 물론 여기서의 통역 서비스는 교수자의 강의 데이터, 더 정확하게는 교수자의 언어 구사 패턴 또는 음성발화 패턴 등을 근거로 제공되는 통역 서비스라 볼 수 있다.In addition, the communication interface unit 300 transmits the interpretation service provided by the user-based interpretation processing unit 320 to the learner terminal device 110 under the control of the control unit 310, thereby interpreting through the voice output unit of the learner terminal device 110. To be provided. Of course, the interpretation service here can be regarded as an interpretation service provided based on the instructor's lecture data, more precisely, the instructor's verbal pattern or speech pattern.

제어부(310)는 강의통역 서비스장치(130)를 구성하는 통신 인터페이스부(300), 사용자기반 통역처리부(320) 및 저장부(330)의 전반적인 제어 동작을 담당한다. 가령 제어부(310)는 도 1의 통신망(120)을 경유하여 통역 서비스를 제공하기 위하여 사용자기반 통역처리부(320)를 실행시킨다. 예를 들어, 학습자 단말장치(110)의 앱을 통해 음성인식 결과가 제공되면 이를 근거로 지정 교수자를 판단하고, 해당 교수자에 매칭되는 데이터를 근거로 통역 서비스를 제공하는 것이다.The control unit 310 is in charge of overall control operations of the communication interface unit 300, the user-based interpretation processing unit 320, and the storage unit 330 constituting the lecture interpretation service apparatus 130. For example, the control unit 310 executes the user-based interpretation processing unit 320 to provide an interpretation service via the communication network 120 of FIG. 1. For example, when a voice recognition result is provided through an app of the learner's terminal device 110, a designated instructor is determined based on this, and an interpretation service is provided based on data matching the instructor.

제어부(310)는 통역 서비스를 진행하는 과정에서 처리되는 다양한 정보나 데이터를 저장부(330)에 임시 저장한 후, 사용자기반 통역처리부(320)로 제공할 수 있다. 가령, 다수의 학습자로부터 서비스 요청이 있는 경우, 저장부(330)에 해당 쿼리(query)를 임시 저장한 후 순서대로 통역 서비스를 진행하게 되는 것이다.The controller 310 may temporarily store various pieces of information or data processed in the process of performing the interpretation service in the storage unit 330 and then provide it to the user-based interpretation processing unit 320. For example, when there is a request for a service from a plurality of learners, the query is temporarily stored in the storage unit 330 and then the interpretation service is sequentially performed.

한편, 도 3의 제어부(310)는 본 발명의 다른 실시예로서 CPU와 메모리를 포함할 수 있다. CPU와 메모리는 원칩화하여 형성될 수 있다. 여기서, CPU는 제어회로, 연산부(ALU), 명령어해석부 및 레지스트리 등을 포함하며, 메모리는 램을 포함할 수 있다. 제어회로는 제어동작을 담당하고, 연산부는 2진 비트정보를 연산하며, 명령어해석부는 제어회로가 인식 가능하도록 기계어의 해석동작을 담당하며, 가령 고급 언어를 기계어로 변환하는 동작을 수행하며, 레지스트리는 소프트웨어적인 데이터 저장에 관여한다. 명령어해석부와 관련한 소프트웨어는 크게 고급언어 프로그램, 고급언어를 기계어로 변환하는 프로그램(예: 인터프리터, 컴파일러 등), 기계어 프로그램을 포함할 수 있고, CPU는 해당 프로그램들과 연동할 수 있다. CPU는 시스템의 구동 초기에 가령 도 3의 사용자기반 통역처리부(320)에 저장되어 있는 프로그램을 복사하여 메모리에 로딩한 후 이를 실행시켜 데이터 처리 속도를 빠르게 증가시킬 수 있다.Meanwhile, the control unit 310 of FIG. 3 may include a CPU and a memory as another embodiment of the present invention. The CPU and memory can be formed in one chip. Here, the CPU includes a control circuit, an operation unit (ALU), an instruction analysis unit, and a registry, and the memory may include RAM. The control circuit is in charge of the control operation, the operation unit calculates binary bit information, and the instruction analysis unit is responsible for interpreting the machine language so that the control circuit can recognize it, for example, converting high-level language to machine language, and registry Is involved in software data storage. The software related to the instruction analysis unit may largely include a high-level language program, a program that converts a high-level language into a machine language (eg, interpreter, compiler, etc.), and a machine language program, and the CPU can interlock with the corresponding programs. The CPU may copy a program stored in the user-based interpretation processing unit 320 of FIG. 3 at the initial stage of operation of the system, load it into a memory, and execute it, thereby rapidly increasing data processing speed.

사용자기반 통역처리부(320)는 통역 서비스를 위한 프로그램 가령 앱을 실행하여 서비스를 진행할 수 있고, 또 학습자 단말장치(110)로부터 제공되는 정보를 통해 지정 교수자나 특정 인물의 통역 서비스를 진행한다. 물론 수신되는 정보는 학습자가 직접 선택하여 제공하는 정보이거나 음성인식 결과일 수 있다. 따라서, 사용자기반 통역처리부(320)는 특정 인물에게 특화된 통역 서비스를 제공한다. 예를 들어, 한국 대학의 특정 교수자의 음성신호를 분석하여 해당 교수자의 특성을 고려한 통역 서비스를 제공하고, 한국어의 경우 영어로 통역 서비스를 제공할 수 있다. 물론 그러한 변환되는 언어는 학습자가 선택함으로써 가능할 수 있다.The user-based interpretation processing unit 320 may execute a program for interpretation service, such as an app, to proceed with the service, and also proceeds the interpretation service of a designated instructor or a specific person through information provided from the learner terminal device 110. Of course, the received information may be information directly selected and provided by the learner or a result of speech recognition. Therefore, the user-based interpretation processing unit 320 provides an interpretation service specialized to a specific person. For example, the voice signal of a specific professor at a Korean university may be analyzed to provide an interpretation service in consideration of the characteristics of the corresponding professor, and in the case of Korean, an interpretation service in English may be provided. Of course, such a transformed language may be possible by the learner's choice.

예를 들어, 사용자기반 통역처리부(320)는 특정 교수자의 강의 데이터나 언어구사 패턴을 분석한 결과, 특정 전문 용어를 자주 사용하거나, 사투리를 많이 구사하는 경우라면 이에 대한 데이터를 이미 확보하고 있으므로 이를 근거로 정확한 단어를 찾아 이를 근거로 통역 서비스를 제공하는 것이다. 물론 이는 특정인에 대하여 지속적으로 데이터를 수집하여 확보하고 있는 빅데이터를 근거로 통역 서비스를 제공하므로, 그만큼 정확도가 높아지게 된다.For example, the user-based interpretation processing unit 320 analyzes the lecture data or language proficiency pattern of a specific instructor, and if the specific terminology is frequently used or the dialect is spoken a lot, the data on this is already secured. It finds the correct word as a basis and provides an interpretation service based on it. Of course, since this provides an interpretation service based on the big data secured by continuously collecting data for a specific person, the accuracy is increased accordingly.

사용자기반 통역처리부(320)는 특정인의 음성신호가 수신되면, 이를 인식하는 동작을 수행할 수 있다. 음성신호를 인식한 후, 인식결과를 텍스트화하며, 이의 과정에서 문장 기반으로, 가령 문장은 단문, 중문, 복문, 혼합문을 포함할 수 있는데, 이러한 문장을 텍스트화하고, 텍스트화한 문장은 DB(130a)에서 그에 매칭되는 선택 언어를 검색하여 이를 다시 음성으로 변환하여 학습자 단말장치(110)로 제공하게 된다. 예를 들어, "이번 강의에서는 틀니에 대하여 살펴보겠습니다"라는 문장에 대한 통역 서비스를 제공할 때, 이의 음성신호를 분석하여, 물론 음성과 함께 텍스트가 함께 제공되는 경우라면 음성신호를 분리하지 않고, 해당 텍스트를 바로 이용할 수 있지만, 통상 TV 방송의 경우에는 자막에 대한 정보가 제공되므로 이를 이용하는 것이 가능할 수 있지만, 본 발명의 실시예에서는 이러한 상황보다는 현장에서 직접 이루어지는 통역이므로, 음성신호를 수신하여 수신한 음성신호를 분석하여 한국어 문장을 판단하고, 그 텍스트화된 문장을 다시 DB(130a)로부터 검색하여 해당 문장에 매칭되는 영어 등의 언어를 찾게 된다. 그 다음, 해당 언어의 음성신호를, 또는 한국어 문장을 바로 영어 문장으로 변환하면서 해당 변환된 영어 문장의 음성신호를 학습자 단말장치(110)로 전송하게 되는 것이다.When a voice signal of a specific person is received, the user-based interpretation processing unit 320 may perform an operation of recognizing it. After recognizing the speech signal, the recognition result is converted into text, and in the process, sentence-based, for example, sentences may include short sentences, Chinese sentences, complex sentences, and mixed sentences. These sentences are converted into text, and the text converted sentence is The DB 130a searches for a selected language matching it, converts it into voice, and provides it to the learner terminal device 110. For example, when providing an interpretation service for the sentence "I will look at dentures in this lecture", the voice signal is analyzed, and of course, if the text is provided with the voice, the voice signal is not separated, Although the text can be used directly, it may be possible to use it because information on subtitles is provided in the case of normal TV broadcasting. However, in the embodiment of the present invention, since the interpretation is performed directly in the field rather than in this situation, the voice signal is received and received. A Korean sentence is determined by analyzing an audio signal, and the textualized sentence is searched again from the DB 130a to find a language such as English matching the sentence. Thereafter, the voice signal of the corresponding language or the Korean sentence is directly converted into an English sentence, and the voice signal of the converted English sentence is transmitted to the learner terminal device 110.

저장부(330)는 제어부(310)의 제어하에 처리되는 다양한 정보나 데이터를 저장한다. 정보는 단순한 제어명령이나 응답명령이라면 데이터는 실질적인 정보가 담긴 음성파일 등의 음성신호를 의미할 수 있다. 데이터포맷상에 부가정보가 실질 데이터가 함께 포함되어 전송되는 경우, 이는 멀티플렉서에 의해 분리되어 제어부(310)의 제어하에 저장부(330)에 저장될 수 있다. 그리고, 분리된 실질 음성신호는 사용자기반 통역처리부(320)로 제공되어 인식결과에 따른 통역 서비스가 제공될 수 있을 것이다.The storage unit 330 stores various information or data processed under the control of the controller 310. If the information is a simple control command or a response command, the data may mean a voice signal such as a voice file containing actual information. When the additional information is transmitted by including real data in the data format, it may be separated by a multiplexer and stored in the storage unit 330 under the control of the controller 310. In addition, the separated real voice signal may be provided to the user-based interpretation processing unit 320 to provide an interpretation service according to a recognition result.

도 4는 본 발명의 실시예에 따른 강의통역 서비스장치의 구동과정을 나타내는 흐름도이다.4 is a flowchart illustrating a driving process of a lecture interpretation service apparatus according to an embodiment of the present invention.

설명의 편의상 도 4를 도 1과 함께 참조하면, 본 발명의 실시예에 따른 강의통역 서비스장치(130)는 강의를 진행하는 교수자의 교수자별 강의 특성이 반영된 강의 데이터를 저장부에 저장한다(S400). 여기서, 강의 데이터는 강의를 진행하는 과정에서 교수자가 사용하는 전문용어, 전문용어의 발음, 자주 사용하는 문구 및 대화체 등에 대한 정보를 포함할 수 있다. Referring to FIG. 4 together with FIG. 1 for convenience of explanation, the lecture interpretation service apparatus 130 according to an embodiment of the present invention stores lecture data reflecting the lecture characteristics of each instructor of an instructor conducting a lecture in a storage unit (S400). ). Here, the lecture data may include information on terminology used by the instructor, pronunciation of terminology, frequently used phrases, and conversational texts during the course of the lecture.

또한, 강의통역 서비스장치(130)는 강의에 참석한 학습자가 지정 교수자의 강의에 대한 통역을 요청할 때, 지정 교수자의 기저장된 강의 데이터를 근거로 통역 서비스를 제공한다(S410).In addition, when a learner attending a lecture requests an interpretation for a lecture of a designated instructor, the lecture interpretation service apparatus 130 provides an interpretation service based on the previously stored lecture data of the designated instructor (S410).

이와 같이, 본 발명의 실시예에 따른 강의통역 서비스장치(130)는 특히 학술용어가 많이 사용되는 대학과 같은 공간에서 가령 대학 교수 등에 대한 개개인의 특성을 알 수 있는 데이터를 근거로 통역 서비스를 제공함으로써 오류의 가능성을 가급적 배제시켜, 나아가서는 딥러닝과 같은 동작을 병행함으로써 거의 오류가 배제되는 통역 서비스를 제공할 수 있게 되는 것이다.In this way, the lecture interpretation service device 130 according to an embodiment of the present invention provides an interpretation service based on data that can know the individual characteristics of, for example, a university professor, in a space such as a university where academic terms are frequently used. By doing so, it is possible to eliminate the possibility of errors as much as possible, and furthermore, by performing operations such as deep learning in parallel, it is possible to provide an interpretation service in which almost errors are excluded.

상기한 내용 이외에도 강의통역 서비스장치(130)는 다양한 동작을 수행할 수 있지만, 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.In addition to the above contents, the lecture interpretation service apparatus 130 may perform various operations, but details have been sufficiently described above, and thus the contents will be substituted.

한편, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.On the other hand, even if all the constituent elements constituting an embodiment of the present invention are described as being combined into one or operating in combination, the present invention is not necessarily limited to this embodiment. That is, within the scope of the object of the present invention, all the constituent elements may be selectively combined and operated in one or more. In addition, although all the components may be implemented as one independent hardware, a program module that performs some or all functions combined in one or more hardware by selectively combining some or all of the components. It may be implemented as a computer program having Codes and code segments constituting the computer program may be easily inferred by those skilled in the art of the present invention. Such a computer program is stored in a non-transitory computer readable media that can be read by a computer and is read and executed by a computer, thereby implementing an embodiment of the present invention.

여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.Here, the non-transitory readable recording medium is not a medium that stores data for a short moment, such as a register, cache, memory, etc., but a medium that stores data semi-permanently and can be read by a device. . Specifically, the above-described programs may be provided by being stored in a non-transitory readable recording medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, or the like.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and is generally used in the technical field to which the present invention pertains without departing from the gist of the present invention claimed in the claims. Various modifications are possible by those skilled in the art of course, and these modifications should not be individually understood from the technical idea or perspective of the present invention.

100: 교수자 단말장치 110: 학습자 단말장치
120: 통신망 130: 강의통역 서비스장치
300: 통신 인터페이스부 310: 제어부
320: 사용자기반 통역처리부 330: 저장부
100: instructor terminal device 110: learner terminal device
120: communication network 130: lecture interpretation service device
300: communication interface unit 310: control unit
320: user-based interpretation processing unit 330: storage unit

Claims (6)

강의를 진행하는 교수자의 교수자별 강의 특성이 반영된 강의 데이터를 저장하는 저장부; 및
강의에 참석한 학습자가 지정 교수자의 강의에 대한 통역을 요청할 때, 상기 저장한 지정 교수자의 강의 데이터를 근거로 통역 서비스를 제공하는 제어부;를
포함하는 강의통역 서비스장치.
A storage unit for storing lecture data reflecting the lecture characteristics of each instructor of an instructor who conducts a lecture; And
When a learner attending a lecture requests an interpretation for a lecture of a designated instructor, a control unit that provides an interpretation service based on the stored lecture data of the designated instructor;
Lecture interpretation service device including.
제1항에 있어서,
상기 제어부는, 상기 지정 교수자의 과목이 추가로 선택되면, 상기 선택된 과목의 강의 데이터를 근거로 상기 통역 서비스를 제공하는 강의통역 서비스장치.
The method of claim 1,
When the subject of the designated instructor is additionally selected, the control unit provides the interpretation service based on the lecture data of the selected subject.
제2항에 있어서,
상기 제어부는, 상기 강의 데이터로서 교수자가 사용하는 전문용어, 상기 전문용어의 발음, 기준값 이상으로 사용하는 문구 및 대화체 중 적어도 하나를 상기 저장부에 저장시키는 강의통역 서비스장치.
The method of claim 2,
The control unit stores, as the lecture data, at least one of a terminology used by an instructor, a pronunciation of the terminology, a phrase used above a reference value, and a conversational object in the storage unit.
제1항에 있어서,
상기 제어부는, 상기 통역 서비스의 요청이 있을 때 상기 지정 교수자의 음성을 취득하여 상기 취득한 음성의 인식 결과를 근거로 상기 지정 교수자를 판단해 상기 통역 서비스를 제공하는 강의통역 서비스장치.
The method of claim 1,
The control unit acquires the voice of the designated instructor when the interpretation service is requested, and determines the designated instructor based on a recognition result of the acquired voice to provide the interpretation service.
제1항에 있어서,
상기 교수자의 단말장치로부터 강의가 녹화된 음성 파일을 수신하는 통신 인터페이스부;를 더 포함하며,
상기 제어부는, 상기 수신한 음성 파일을 분석해 상기 강의 데이터를 생성하며, 상기 생성한 강의 데이터를 지정 시간 간격으로 학습하여 학습 결과를 근거로 상기 통역 서비스를 제공하는 강의통역 서비스장치.
The method of claim 1,
Further comprising; a communication interface unit for receiving a voice file recorded lectures from the terminal device of the instructor,
The control unit analyzes the received voice file to generate the lecture data, learns the generated lecture data at specified time intervals, and provides the interpretation service based on a learning result.
저장부 및 제어부를 포함하는 강의통역 서비스장치의 구동방법으로서,
강의를 진행하는 교수자의 교수자별 강의 특성이 반영된 강의 데이터를 상기 저장부에 저장하는 단계; 및
강의에 참석한 학습자가 지정 교수자의 강의에 대한 통역을 요청할 때, 상기 제어부가, 상기 저장한 지정 교수자의 강의 데이터를 근거로 통역 서비스를 제공하는 단계;를
포함하는 강의통역 서비스장치의 구동방법.
A method of driving a lecture interpretation service device including a storage unit and a control unit,
Storing in the storage unit lecture data reflecting the lecture characteristics of each instructor of a lecturer; And
When a learner attending a lecture requests an interpretation for a lecture of a designated instructor, the control unit provides an interpretation service based on the stored lecture data of the designated instructor;
Driving method of a lecture interpretation service device including.
KR1020190044718A 2019-04-17 2019-04-17 Apparatus for Lecture Interpretated Service and Driving Method Thereof KR102312798B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190044718A KR102312798B1 (en) 2019-04-17 2019-04-17 Apparatus for Lecture Interpretated Service and Driving Method Thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190044718A KR102312798B1 (en) 2019-04-17 2019-04-17 Apparatus for Lecture Interpretated Service and Driving Method Thereof

Publications (2)

Publication Number Publication Date
KR20200122015A true KR20200122015A (en) 2020-10-27
KR102312798B1 KR102312798B1 (en) 2021-10-13

Family

ID=73136451

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190044718A KR102312798B1 (en) 2019-04-17 2019-04-17 Apparatus for Lecture Interpretated Service and Driving Method Thereof

Country Status (1)

Country Link
KR (1) KR102312798B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140120560A (en) * 2013-04-03 2014-10-14 삼성전자주식회사 Interpretation apparatus controlling method, interpretation server controlling method, interpretation system controlling method and user terminal
KR20160106363A (en) * 2015-03-02 2016-09-12 한국전자통신연구원 Smart lecture system and method
CN109300469A (en) * 2018-09-05 2019-02-01 满金坝(深圳)科技有限公司 Simultaneous interpretation method and device based on machine learning
KR20190015081A (en) 2017-08-03 2019-02-13 한국전자통신연구원 System, device and method of automatic translation
KR101959439B1 (en) 2017-09-12 2019-03-18 (주)한컴인터프리 Method for interpreting

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140120560A (en) * 2013-04-03 2014-10-14 삼성전자주식회사 Interpretation apparatus controlling method, interpretation server controlling method, interpretation system controlling method and user terminal
KR20160106363A (en) * 2015-03-02 2016-09-12 한국전자통신연구원 Smart lecture system and method
KR20190015081A (en) 2017-08-03 2019-02-13 한국전자통신연구원 System, device and method of automatic translation
KR101959439B1 (en) 2017-09-12 2019-03-18 (주)한컴인터프리 Method for interpreting
CN109300469A (en) * 2018-09-05 2019-02-01 满金坝(深圳)科技有限公司 Simultaneous interpretation method and device based on machine learning

Also Published As

Publication number Publication date
KR102312798B1 (en) 2021-10-13

Similar Documents

Publication Publication Date Title
JP7122341B2 (en) Method and apparatus for evaluating translation quality
US11756539B2 (en) System, apparatus, and method for processing natural language, and non-transitory computer readable recording medium
KR102282784B1 (en) Apparatus for Generating Problem and Driving Method Thereof
KR102219943B1 (en) Server and system for controlling smart microphone
CN110111778A (en) A kind of method of speech processing, device, storage medium and electronic equipment
KR20200002141A (en) Providing Method Of Language Learning Contents Based On Image And System Thereof
KR100593589B1 (en) Multilingual Interpretation / Learning System Using Speech Recognition
CN114556969A (en) Data processing method, device and storage medium
CN107767862B (en) Voice data processing method, system and storage medium
KR20190108467A (en) System for Instructional visual content using Automatically convert images from electronic documents
KR102312798B1 (en) Apparatus for Lecture Interpretated Service and Driving Method Thereof
KR102082245B1 (en) Apparatus for Learning Service having Multi-view Method
KR102357313B1 (en) Content indexing method of electronic apparatus for setting index word based on audio data included in video content
KR102233155B1 (en) Apparatus for Learning Service Using Speech Recorgnition and Driving Method Thereof
KR20160109302A (en) Knowledge Based Service System, Sever for Providing Knowledge Based Service, Method for Knowledge Based Service, and Computer Readable Recording Medium
KR20160131730A (en) System, Apparatus and Method For Processing Natural Language, and Computer Readable Recording Medium
KR102105882B1 (en) Apparatus for Providing Learning Service and Driving Method Thereof
KR102098377B1 (en) Method for providing foreign language education service learning grammar using puzzle game
CN107316644A (en) Method and device for information exchange
WO2021134592A1 (en) Speech processing method, apparatus and device, and storage medium
US10453354B2 (en) Automatically generated flash cards
Kucukali et al. Comparison of Translanguaging pedagogies used by Native and Non-native Teachers in EFL Writing Classes
CN112241462B (en) Knowledge point mark generation system and method thereof
KR102528293B1 (en) Integration System for supporting foreign language Teaching and Learning using Artificial Intelligence Technology and method thereof
CN114155479B (en) Language interaction processing method and device and electronic equipment

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant