KR102639477B1 - Method for real-time translation and electronic meeting minutes using Chat GPT and Interactive Flat Panel Display for this purpose - Google Patents

Method for real-time translation and electronic meeting minutes using Chat GPT and Interactive Flat Panel Display for this purpose Download PDF

Info

Publication number
KR102639477B1
KR102639477B1 KR1020230126080A KR20230126080A KR102639477B1 KR 102639477 B1 KR102639477 B1 KR 102639477B1 KR 1020230126080 A KR1020230126080 A KR 1020230126080A KR 20230126080 A KR20230126080 A KR 20230126080A KR 102639477 B1 KR102639477 B1 KR 102639477B1
Authority
KR
South Korea
Prior art keywords
gpt
chat
meeting minutes
electronic
translation
Prior art date
Application number
KR1020230126080A
Other languages
Korean (ko)
Inventor
구기도
Original Assignee
(주) 아하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 아하 filed Critical (주) 아하
Priority to KR1020230126080A priority Critical patent/KR102639477B1/en
Application granted granted Critical
Publication of KR102639477B1 publication Critical patent/KR102639477B1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/93—Document management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Abstract

본 발명의 일 실시예에 따르면, 전자 칠판에 있어서, 사용자 입력을 수신하는 입력부; 적어도 하나의 통신 프로토콜을 이용하여 통신을 수행하는 통신부; 이미지 및 음성 중 적어도 하나를 출력하는 출력부; 및 상기 입력부, 상기 통신부 및 상기 출력부를 제어하는 제어부; 를 포함하고, 상기 제어부는, 현재 발화 중인 화자를 식별하고, 상기 화자의 음성을 상기 사용자 입력으로서 수신하고, 상기 음성을 텍스트로 변환하고, 변환된 텍스트를 번역형 Open AI(Artificial Intelligence)에 입력하여 번역하고, 번역 결과를 문맥에 맞게 수정하도록 Chat GPT에 입력하고, 상기 Chat GPT에 따른 수정 결과를 식별된 화자의 발화 내용으로서 전자 회의록에 기록할 수 있다.According to one embodiment of the present invention, an electronic whiteboard comprising: an input unit that receives a user input; a communication unit that performs communication using at least one communication protocol; An output unit that outputs at least one of an image and a voice; and a control unit that controls the input unit, the communication unit, and the output unit; It includes, wherein the control unit identifies a speaker currently speaking, receives the speaker's voice as the user input, converts the voice into text, and inputs the converted text into a translation-type Open AI (Artificial Intelligence). Translate, input the translation result into Chat GPT to modify it to suit the context, and record the modification result according to the Chat GPT in the electronic meeting minutes as the content of the identified speaker's utterance.

Description

Chat GPT를 활용한 실시간 번역 및 전자 회의록 작성 방법 및 이를 위한 전자 칠판{Method for real-time translation and electronic meeting minutes using Chat GPT and Interactive Flat Panel Display for this purpose}Method for real-time translation and electronic meeting minutes using Chat GPT and electronic blackboard for the same {Method for real-time translation and electronic meeting minutes using Chat GPT and Interactive Flat Panel Display for this purpose}

본 명세서는 Chat GPT를 활용한 실시간 번역 및 전자 회의록 작성 방법 및 이를 위한 전자 칠판에 관한 것이다.This specification relates to a method for real-time translation and electronic meeting minutes using Chat GPT and an electronic blackboard for the same.

일반적으로, 칠판은 학교 및 학원 강의실, 기업체, 공공단체의 세미나실 등에서 교사 또는 강사들이 다수의 피교육생 및 수강생을 교육할 때 강의용 책자 따위를 올려놓는 용도로 사용된다.Generally, blackboards are used to place lecture booklets, etc., when teachers or instructors educate a large number of trainees and students in school and academy classrooms, businesses, and public organization seminar rooms.

현재, 이러한 칠판은 다수의 교육생에게 음성을 전달하기 위한 스피커 및 마이크, 앰프 등의 오디오 시스템이 장착되거나, 전자 판서가 가능한 모니터형 전자칠판을 설치하여 상기 모니터상에 전자펜을 이용하여 판서한 내용이 이와 연결된 대형 스크린에도 디스플레이가 되도록 하는 멀티미디어 시스템 구성형태로 제작되고 있다.Currently, these blackboards are equipped with audio systems such as speakers, microphones, and amplifiers to transmit voices to multiple trainees, or a monitor-type electronic blackboard capable of electronic writing is installed, and content written using an electronic pen on the monitor is installed. It is being manufactured in the form of a multimedia system that can be displayed on a large screen connected to it.

이러한, 멀티미디어 형태의 칠판에는 전자펜에 의해 판서가 가능한 전자 칠판 외에도 상기 전자펜에서 검출된 주사파를 문자 및 도형, 선으로 변환 및 변환된 내용과 앰프에서 전달된 음성을 저장하는 컴퓨터 및 오디오 시스템이나 비디오 시스템과 같은 각종 미디어장치가 구비된다.This multimedia type of blackboard includes, in addition to an electronic blackboard capable of writing with an electronic pen, a computer and an audio system that converts the scanning waves detected by the electronic pen into letters, shapes, and lines and stores the converted content and the voice transmitted from the amplifier. Various media devices such as video systems are provided.

상기한, 멀티미디어 형태의 교탁에 의한 강의 내용은 컴퓨터를 통해 동영상으로 저장되거나 편집될 수 있기 때문에, 수강자가 강의 내용을 일일이 필기할 필요가 없고, 이로 인해 필기노트 또는 노트북 등을 휴대해야 하는 수고를 덜 수 있게 된다.Since the above-described multimedia lecture lecture content can be saved or edited as a video through a computer, there is no need for the learner to take notes on the lecture content one by one, thereby eliminating the trouble of carrying handwritten notes or a laptop. It becomes possible to reduce

또한, 이러한 형태의 강의는 분필 및 사인펜을 사용하지 않기 때문에 깨끗한 강의실 환경을 유지할 수 있으며, 강의자의 시선이 수강자들을 향하게 됨에 따라 강의실 내의 분위기에 따른 다양한 교수법이 실시될 수 있고, 이로 인해 기존의 일방적인 강의 형태에서 탈피할 수 있게 된다.Additionally, because this type of lecture does not use chalk or felt-tip pens, it is possible to maintain a clean classroom environment, and as the lecturer's gaze is directed at the students, various teaching methods can be implemented depending on the atmosphere in the classroom, thereby replacing the existing one-sided lecture. It is possible to break away from the lecture format.

이러한 전자칠판의 경우 회의에서의 사용 빈도가 증대됨에 따라 회의를 지원하기 위한 다양한 기능에 대한 필요성이 증가하고 있다. 예를 들어, 회의 내용 자동 번역 기능, 전자 회의록 자동 작성 기능 등이 그것이나, 현재까지 해당 기능을 제공하는 전자 칠판은 출시되지 않고 있다. As the frequency of use of such electronic whiteboards in meetings increases, the need for various functions to support meetings is increasing. For example, there is an automatic translation function for meeting contents and an automatic creation of electronic meeting minutes, but to date, no electronic whiteboard that provides such functions has been released.

본 발명의 일 실시예에 따르면, 전자 칠판에 있어서, 사용자 입력을 수신하는 입력부; 적어도 하나의 통신 프로토콜을 이용하여 통신을 수행하는 통신부; 이미지 및 음성 중 적어도 하나를 출력하는 출력부; 및 상기 입력부, 상기 통신부 및 상기 출력부를 제어하는 제어부; 를 포함하고, 상기 제어부는, 현재 발화 중인 화자를 식별하고, 상기 화자의 음성을 상기 사용자 입력으로서 수신하고, 상기 음성을 텍스트로 변환하고, 변환된 텍스트를 번역형 Open AI(Artificial Intelligence)에 입력하여 번역하고, 번역 결과를 문맥에 맞게 수정하도록 Chat GPT에 입력하고, 상기 Chat GPT에 따른 수정 결과를 식별된 화자의 발화 내용으로서 전자 회의록에 기록할 수 있다.According to one embodiment of the present invention, an electronic whiteboard comprising: an input unit that receives a user input; a communication unit that performs communication using at least one communication protocol; An output unit that outputs at least one of an image and a voice; and a control unit that controls the input unit, the communication unit, and the output unit; It includes, wherein the control unit identifies a speaker currently speaking, receives the speaker's voice as the user input, converts the voice into text, and inputs the converted text into a translation-type Open AI (Artificial Intelligence). Translate, input the translation result into Chat GPT to modify it to suit the context, and record the modification result according to the Chat GPT in the electronic meeting minutes as the content of the identified speaker's utterance.

본 발명의 일 실시예에 따르면, 회의 내용 자동 번역 기능을 제공하므로, 언어 장벽 없이 회의가 가능하고, 사용자가 별도의 번역기를 사용할 필요가 없어 편의성이 증대된다는 효과가 있다. 또한, 자동 번역 기능은 번역형 Open AI, chat GPT 및 전문 용어 데이터 베이스를 이용하여 수행되므로, 매우 높은 정확도의 번역 기능이 제공된다는 효과가 있다.According to one embodiment of the present invention, by providing an automatic translation function for meeting contents, meetings can be held without language barriers, and convenience is increased because users do not need to use a separate translator. In addition, the automatic translation function is performed using translation-type Open AI, chat GPT, and a terminology database, which has the effect of providing a very high accuracy translation function.

또한, 본 발명의 일 실시예에 따르면, 전자 회의록 자동 작성 기능을 제공하므로, 사용자가 별도로 회의록을 작성할 필요가 없어 편의성이 증대된다는 효과가 있다. In addition, according to one embodiment of the present invention, an automatic electronic meeting minutes creation function is provided, thereby increasing convenience by eliminating the need for users to separately create meeting minutes.

본 발명의 효과는 상술한 효과로 한정되지 않으며, 실시예별 다양한 효과는 이하에서 각 도면을 참조하여 상세히 후술하기로 한다.The effects of the present invention are not limited to the effects described above, and various effects for each embodiment will be described in detail below with reference to each drawing.

도 1은 본 발명의 일 실시예에 따른 전자칠판의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 전자 회의록을 작성하는 전자 칠판을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 Open AI 및 전문 용어 데이터 베이스를 이용한 번역 결과를 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따라 Open AI 및 전문 용어 데이터 베이스를 활용한 실시간 번역 방법 개념도이다.
도 5는 본 발명의 일 실시예에 따른 전자 칠판의 실시간 번역 방법을 예시한 순서도이다.
도 6은 본 발명의 일 실시예에 따른 전자 회의록 번역 수정 방법을 예시한 도면이다. Figure 1 is a block diagram of an electronic whiteboard according to an embodiment of the present invention.
Figure 2 is a diagram illustrating an electronic blackboard for writing electronic meeting minutes according to an embodiment of the present invention.
Figure 3 is a diagram illustrating translation results using Open AI and a terminology database according to an embodiment of the present invention.
Figure 4 is a conceptual diagram of a real-time translation method using Open AI and a terminology database according to an embodiment of the present invention.
Figure 5 is a flowchart illustrating a real-time translation method of an electronic whiteboard according to an embodiment of the present invention.
Figure 6 is a diagram illustrating a method for translating and modifying electronic meeting minutes according to an embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.The detailed description of the present invention described below refers to the accompanying drawings, which show by way of example specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different from one another but are not necessarily mutually exclusive. For example, specific shapes, structures and characteristics described herein with respect to one embodiment may be implemented in other embodiments without departing from the spirit and scope of the invention. Additionally, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the invention. Accordingly, the detailed description that follows is not intended to be taken in a limiting sense, and the scope of the invention is limited only by the appended claims, together with all equivalents to what those claims assert, if properly described. Similar reference numbers in the drawings refer to identical or similar functions across various aspects.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, in order to enable those skilled in the art to easily practice the present invention, preferred embodiments of the present invention will be described in detail with reference to the attached drawings.

도 1은 본 발명의 일 실시예에 따른 전자칠판의 블록도이다.Figure 1 is a block diagram of an electronic whiteboard according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 전자칠판(10)은 제어부(11), 입력부(12), 통신부(13) 및 출력부(14)를 포함할 수 있다.Referring to FIG. 1, the electronic whiteboard 10 according to an embodiment of the present invention may include a control unit 11, an input unit 12, a communication unit 13, and an output unit 14.

입력부(12)는 적어도 하나의 입력 센서를 포함하여 전자칠판(10)에 대한 사용자의 다양한 입력을 센싱/감지할 수 있다. 예를 들어, 입력부(12)는 음성 센서(마이크), 터치 센서, 압력 센서, 광 센서 및 모션 센서(카메라) 중 적어도 하나를 포함하여 사용자의 다양한 입력을 센싱하고, 센싱한 사용자 입력에 따라 전자 칠판이 동작할 수 있도록 센싱 결과를 제어부(11)로 전달할 수 있다.The input unit 12 may include at least one input sensor and sense/detect various user inputs to the electronic whiteboard 10. For example, the input unit 12 includes at least one of a voice sensor (microphone), a touch sensor, a pressure sensor, a light sensor, and a motion sensor (camera) to sense various inputs from the user, and generates electronic information according to the sensed user input. The sensing result can be transmitted to the control unit 11 so that the blackboard can operate.

통신부(13)는 적어도 하나의 유/무선 통신 프로토콜을 이용하여 외부와 통신을 수행할 수 있다. 특히, 통신부(103)는 입력부(12)를 통해 입력된 사용자 입력을 인터넷/온라인 상의 Open AI에 입력하고 이에 대한 응답/결과를 수신하여 제어부(11)로 전달하는 역할을 수행할 수 있다. The communication unit 13 may communicate with the outside world using at least one wired/wireless communication protocol. In particular, the communication unit 103 may perform the role of inputting the user input input through the input unit 12 into Open AI on the Internet/online, receiving the response/result, and transmitting it to the control unit 11.

출력부(14)는 이미지(즉, 시각적으로 인식 가능한 모든 비주얼 객체를 의미) 및 음성(즉, 청각적으로 인식 가능한 모든 오디오 객체를 의미) 중 적어도 하나를 출력할 수 있다. 출력부(14)는, 예를 들어, 터치 인식 가능한 터치 디스플레이 패널에 해당할 수 있다.The output unit 14 may output at least one of an image (i.e., all visually recognizable visual objects) and a voice (i.e., all aurally recognizable audio objects). For example, the output unit 14 may correspond to a touch display panel capable of touch recognition.

제어부(11)는 입력부(12), 통신부(13) 및 출력부(14) 중 적어도 하나와 통신을 수행하고, 이들을 제어할 수 있다. 특히, 제어부(11)는 입력부(12), 통신부(13) 및 출력부(14) 중 적어도 하나를 제어하여 본 명세서에서 제안되는 실시예를 수행할 수 있다. 따라서, 이하에서 후술되는 제어부(11)는 전자칠판(10)과 동일시되어 설명될 수 있다. The control unit 11 can communicate with and control at least one of the input unit 12, the communication unit 13, and the output unit 14. In particular, the control unit 11 can control at least one of the input unit 12, the communication unit 13, and the output unit 14 to perform the embodiment proposed in this specification. Therefore, the control unit 11, which will be described below, can be described as being identical to the electronic whiteboard 10.

도 2는 본 발명의 일 실시예에 따른 전자 회의록을 작성하는 전자 칠판을 예시한 도면이다.Figure 2 is a diagram illustrating an electronic blackboard for writing electronic meeting minutes according to an embodiment of the present invention.

도 2를 참조하면, 본 명세서에서 제안되는 전자 칠판(10)은, 회의 내용을 기록하여 전자 회의록(41)을 자동 작성하는 기능을 제공할 수 있다. Referring to FIG. 2, the electronic whiteboard 10 proposed in this specification can record meeting contents and provide a function to automatically create electronic meeting minutes 41.

이를 위해, 우선 전자 칠판(10)은 현재 발화 중인 화자를 식별할 수 있고, 식별된 화자의 음성을 STT(Speech to Text) 변환하여 시간 순서에 따라 전자 회의록(41)으로서 기록할 수 있다. 현재 발화 중인 화자를 전자 칠판(10)이 식별할 수 있는 방법은 다양한 실시예로 구현될 수 있다. To this end, the electronic blackboard 10 can first identify the speaker currently speaking, convert the voice of the identified speaker into STT (Speech to Text), and record it as electronic meeting minutes 41 in chronological order. A method by which the electronic whiteboard 10 can identify the speaker currently speaking can be implemented in various embodiments.

일 실시예로서 전자 칠판(10)은 회의 참석자와 일대일 매칭되는 발화 UI(또는 아이콘)(43, 45)를 제공/디스플레이할 수 있으며, 발화하려는 화자는 자신에게 할당된 발화 UI(43, 45)를 터치/선택한 후 발화를 시작할 수 있다. 따라서, 전자 칠판(10)은 현재 입력되고 있는 음성(42, 44)은 가장 마지막으로 터치/선택된 발화 UI(43, 45)에 할당된 화자의 음성(42, 44)으로 인식 및 기록할 수 있다. As an embodiment, the electronic whiteboard 10 may provide/display a speech UI (or icon) 43, 45 that matches one-to-one with the meeting attendees, and the speaker who wants to speak may use the speech UI 43, 45 assigned to him or her. You can start speaking after touching/selecting . Accordingly, the electronic whiteboard 10 can recognize and record the currently input voices 42 and 44 as the voices 42 and 44 of the speaker assigned to the last touched/selected speech UI 43 and 45. .

또한, 전자 칠판(10)은 STT 변환된 텍스트를 사용자 설정에 따라 다른 언어로 자동 번역하여 전자 회의록(41)에 기록할 수 있다. 이때, 전자 칠판(10)은 번역 전 텍스트와 번역 후 텍스트를 병기하여 전자 회의록(41)에 기록할 수 있다. 예를 들어, 본 도면에 예시한 바와 같이, 사용자 설정에 따라, 한국어는 영어로, 영어는 한국어로 자동 번역하여 전자 회의록(41)에 기록할 수 있다. Additionally, the electronic blackboard 10 can automatically translate the STT converted text into another language according to user settings and record it in the electronic meeting minutes 41. At this time, the electronic blackboard 10 can record the pre-translation text and the post-translation text together in the electronic meeting minutes 41. For example, as illustrated in this drawing, according to user settings, Korean can be automatically translated into English and English can be automatically translated into Korean and recorded in the electronic meeting minutes 41.

이때, 전자 칠판(10)이 작성 중인 전자 회의록(41)은 실시간으로 출력부에 표시될 수 있으며, 따라서 회의 참석자들은 화자가 어떤 말을 했는지 즉각적으로 확인할 수 있고, 화자는 자신의 발화 내용이 적절히 전자 회의록(41)에 기록되었는지도 바로 확인할 수 있다. 만일, 기록이 잘못되었거나 번역이 잘못되었다고 판단된 경우, 사용자는 실시간으로 전자 회의록(41)을 수정할 수 있는데, 이에 대해서는 도 6을 참조하여 이하에서 상세히 후술한다. At this time, the electronic meeting minutes 41 being written by the electronic whiteboard 10 can be displayed on the output unit in real time, so meeting attendees can immediately check what the speaker said, and the speaker can properly verify the content of his or her utterance. You can also immediately check whether it has been recorded in the electronic meeting minutes (41). If it is determined that the recording is incorrect or the translation is incorrect, the user can edit the electronic meeting minutes 41 in real time, which will be described in detail below with reference to FIG. 6.

전자 칠판(41)은 번역 정확도를 향상시키기 위해, Open AI 및 전문가 용어 데이터 베이스를 활용할 수 있는데, 이에 대해서는 도 4 및 5를 참조하여 이하에서 상세히 후술하기로 한다.The electronic whiteboard 41 can utilize Open AI and an expert terminology database to improve translation accuracy, which will be described in detail below with reference to FIGS. 4 and 5.

도 3은 본 발명의 일 실시예에 따른 Open AI 및 전문 용어 데이터 베이스를 이용한 번역 결과를 예시한 도면이며, 도 4는 본 발명의 일 실시예에 따라 Open AI 및 전문 용어 데이터 베이스를 활용한 실시간 번역 방법 개념도이며, 도 5는 본 발명의 일 실시예에 따른 전자 칠판의 실시간 번역 방법을 예시한 순서도이다. Figure 3 is a diagram illustrating translation results using Open AI and a terminology database according to an embodiment of the present invention, and Figure 4 is a diagram illustrating real-time translation results using Open AI and a terminology database according to an embodiment of the present invention. This is a conceptual diagram of a translation method, and Figure 5 is a flowchart illustrating a real-time translation method of an electronic blackboard according to an embodiment of the present invention.

특히, 도 3은 동일한 국문 문장에 대하여 무료 번역형 Open AI인 구글 번역과 네이버 파파고를 통해 1차 번역한 후, 1차 번역 결과를 문맥에 맞게 수정하도록 chat GPT에 입력한 후, 전문 용어 데이터 베이스를 참고하여 전문 용어만 추가 수정한 경우를 예시한다. 본 도면을 통해 알 수 있듯, 단순히 1차 번역만 수행할 때보다 chat GPT 및 전문 용어 데이터 베이스를 거친 경우 번역 정확도가 향상되고 문장이 문맥에 맞게 더욱 자연스러워졌음을 확인할 수 있다. In particular, Figure 3 shows the same Korean sentence being first translated using Google Translate and Naver Papago, a free translation type Open AI, and then inputting the first translation result into chat GPT to be modified to suit the context, and then entering the terminology database. Refer to and provide an example where only technical terms are added and modified. As can be seen from this figure, it can be seen that the translation accuracy improved and the sentences became more natural according to the context when going through the chat GPT and terminology database compared to simply performing the first translation.

이에 착안하여, 본 명세서에서는 단순히 번역형 Open AI만을 이용하여 번역을 수행하는 것이 아닌, chat GPT와 같은 대화형 Open AI를 이용하여 문맥에 맞게 문장을 가다듬고, 전문 용어 데이터 베이스를 참고하여 특정 단어는 전문 용어로 수정하는 2차 가공 과정을 거쳐 번역의 정확도 및 자연스러움을 향상시킬 수 있다. Inspired by this, in this specification, rather than simply performing translation using only translation-type Open AI, the sentences are refined to suit the context using interactive Open AI such as chat GPT, and specific words are identified by referring to a terminology database. The accuracy and naturalness of translation can be improved through a secondary processing process of revising with technical terminology.

이를 위해, 도 4에 예시한 바와 같이, 전자 칠판(10)은 통신부를 이용, 인터넷(21)에 접속하여 번역형 Open AI(22), chat GPT(23)(전문 용어 데이터 베이스(24)와 연동)에 순차적으로 번역 대상 텍스트를 입력하여 정확도 높은 번역을 수행할 수 있다. To this end, as illustrated in FIG. 4, the electronic whiteboard 10 uses the communication unit to connect to the Internet 21 and use translation-type Open AI 22, chat GPT 23 (terminology database 24 and You can perform high-accuracy translation by sequentially entering the text to be translated into (linked).

보다 구체적으로, 도 5를 참조하면, 전자 칠판은 우선 앞서 상술한 실시예에 따라 현재 발화 중인 화자를 식별하고(S51), 식별된 화자의 음성을 수신할 수 있다(S52). 다음으로, 전자 칠판은 수신한 음성을 텍스트로 변환(S53)하고 변환된 텍스트를 식별된 화자와 매칭시켜 전자 회의록에 시간과 함께 기록할 수 있다.More specifically, referring to FIG. 5, the electronic whiteboard can first identify the speaker currently speaking according to the above-described embodiment (S51) and receive the voice of the identified speaker (S52). Next, the electronic blackboard converts the received voice into text (S53), matches the converted text with the identified speaker, and records it with the time in the electronic meeting minutes.

다음으로, 전자 칠판은 변환된 텍스트를 번역형 Open AI(예를 들어, 구글 번역, 네이버 파파고 등)에 입력하여 1차 번역을 수행할 수 있다(S54). 다음으로, 1차 번역된 결과를 문맥에 맞게 수정하도록 chat GPT에 입력할 수 있다(S55). 이때, 전자 칠판은 텍스트 원문과 1차 번역 결과를 chat GPT에 입력하고, 1차 번역 결과를 원문(또는 1차 번역 결과)의 문맥 및 단어를 고려하여 수정해달라는 명령을 입력할 수 있다. Next, the electronic whiteboard can perform the first translation by inputting the converted text into translation-type Open AI (e.g., Google Translate, Naver Papago, etc.) (S54). Next, the primary translation result can be entered into chat GPT to be modified to suit the context (S55). At this time, the electronic blackboard can input the original text and the first translation result into chat GPT, and enter a command to modify the first translation result by considering the context and words of the original text (or first translation result).

마지막으로, 전자 칠판은 chat GPT에서 출력된 수정 결과를 전자 회의록에 기록할 수 있다(S56). 보다 상세하게는, 전자 칠판은 chat GPT에서 출력된 수정 결과를 식별된 화자 및 텍스트 원문과 병기하여 전자 회의록에 기록할 수 있다. Lastly, the electronic blackboard can record the correction results output from chat GPT in the electronic meeting minutes (S56). More specifically, the electronic blackboard can record the correction results output from chat GPT in the electronic meeting minutes along with the identified speaker and original text.

본 순서도에 도시하진 않았으나, chat GPT가 특정 분야의 전문 용어 데이터 베이스와 연동되어 있는 경우, 전자 칠판은 수정 결과에 포함되어 있는 단어 중 전문 용어 데이터 베이스에 저장되어 있는 전문 용어로 문맥에 맞게 최종(또는 2차) 수정하도록 chat GPT에 추가 입력할 수 있다. 전문 용어 데이터 베이스는 전문 분야별로 사전 구축되어 있을 수 있으며, 사용자의 설정에 의해 chat GPT와 사전 연동되어 있을 수 있다. 본 실시예에 따르면, 특정 전문 분야에 대한 회의록 역시 전자 칠판이 높은 정확도로 문맥에 맞게 작성할 수 있다는 효과가 있다. Although not shown in this flowchart, if chat GPT is linked to a terminology database in a specific field, the electronic whiteboard selects the terminology stored in the terminology database among the words included in the modification result to match the final (final) context. Or 2nd) You can add it to chat GPT for modification. The terminology database may be pre-built for each specialized field, and may be pre-linked with chat GPT according to the user's settings. According to this embodiment, there is an effect that the electronic whiteboard can also write meeting minutes for a specific specialized field according to the context with high accuracy.

만일, 전자 회의록 작성 도중, 전자 칠판에 대한 음성과 함께 다른 입력(예를 들어, 전자 칠판에 대한 판서 터치 입력) 전자 칠판은 해당 입력을 해당 음성에 대한 발화 내용과 함께 전자 회의록에 기록할 수 있다. 이는, 회의 도중 발화자가 자신의 생각을 다른 사람들이 이해하기 쉽게 설명하기 위해 전자 칠판을 이용해 판서 터치 입력하는 경우가 생길 수 있는데, 이때 입력된 판서 터치 입력도 함께 전자 회의록에 기록하기 위함이다. 이를 통해, 전자 칠판은 회의 내용을 누락없이 모두 기록할 수 있고, 추후 회의록을 열람한 사용자가 좀 더 쉽게 회의 내용을 상기시키는 데 도움을 줄 수 있다.If, while writing electronic meeting minutes, another input is made along with the voice to the electronic whiteboard (for example, writing touch input to the electronic whiteboard), the electronic whiteboard can record the input in the electronic meeting minutes along with the content of the speech for the voice. . This may occur during a meeting when a speaker uses an electronic whiteboard to touch write input to explain his or her thoughts in an easy-to-understand manner for others. This is to record the touch input written at this time in the electronic meeting minutes. Through this, the electronic whiteboard can record all meeting contents without omission, and can help users who view the meeting minutes later recall the meeting contents more easily.

전자 회의록 작성이 완료되면, 전자 칠판은 전자 회의록 내용을 요약/정리하도록 chat GPT에 명령하고, 해당 내용을 전자 회의록에 포함시키도록 명령할 수 있다. 또한, 전자 칠판은 전자 회의록을 다양한 실시예에 따라 저장할 수 있다. 예를 들어, 전자 칠판은 전자 회의록을 자체 구비되어 있는 메모리에 저장하거나, 클라우드, 사전에 연결되어 있는 특정 데이터 베이스에 저장할 수 있다. When the electronic meeting minutes are completed, the electronic whiteboard can command chat GPT to summarize/organize the contents of the electronic meeting minutes and to include the contents in the electronic meeting minutes. Additionally, the electronic whiteboard can store electronic meeting minutes according to various embodiments. For example, an electronic whiteboard can store electronic meeting minutes in its own memory, in the cloud, or in a specific database that is connected in advance.

또는, 다른 실시예로서 전자 칠판은 전자 회의록을 저장하도록 chat GPT에 명령하여, chat GPT와 연동된 서버(또는 데이터 베이스)에 전자 회의록을 저장함으로써 회의록 검색 데이터베이스를 구축할 수 있다. chat GPT를 통한 회의록 검색 데이터 베이스가 구축되면, 전자 칠판은 chat GPT를 통해 해당 데이터 베이스에 저장되어 있는 전자 회의록 기록을 검색할 수 있다. 예를 들어, 전자 칠판은 사용자로부터 'A 과제 개시일이 언제인가?'라는 문의 입력을 수신할 수 있고, 이를 chat GPT에 입력할 수 있다. chat GPT는 해당 내용을 회의록 검색 데이터 베이스에서 검색하여 '5/12 회의록의 a 담당자에 따르면 A 과제 개시일은 8/7'이라는 답변을 생성하여 출력할 수 있고, 전자 칠판은 이를 사용자에게 전달할 수 있다. Alternatively, in another embodiment, the electronic whiteboard can command chat GPT to store electronic meeting minutes and store the electronic meeting minutes on a server (or database) linked to chat GPT, thereby building a meeting minutes search database. Once a meeting minutes search database is established through chat GPT, the electronic whiteboard can search electronic meeting minutes records stored in the database through chat GPT. For example, the electronic whiteboard can receive an inquiry from the user, ‘When is the start date of task A?’, and input this into chat GPT. chat GPT can search the relevant content in the meeting minutes search database and generate and print the answer 'According to person in charge of A in the 5/12 meeting minutes, the start date of task A is 8/7', and the electronic whiteboard can deliver this to the user. .

도 6은 본 발명의 일 실시예에 따른 전자 회의록 번역 수정 방법을 예시한 도면이다. Figure 6 is a diagram illustrating a method for translating and modifying electronic meeting minutes according to an embodiment of the present invention.

도 6을 참조하면, 전자 칠판은 전자 회의록 수정 기능을 제공할 수 있으며, 사용자는 본 기능을 통해 전자 회의록 내용을 원하는 내용으로 자유롭게 수정할 수 있다. 사용자는 전자 회의록 내용 중 수정하고자 하는 항목을 선택하여 수정할 수 있으며, 특히 번역도 더욱 정확한 내용으로 수정할 수 있다. 이를 위해, 전자 칠판은 사용자가 번역 수정을 명령한 경우, 서로 다른 번역형 Open AI를 이용하여 번역된 복수의 번역 후보를 제공할 수 있으며, 사용자는 이 중 가장 적절하다고 판단되는 번역을 선택함으로써 쉽게 수정할 수 있다. Referring to FIG. 6, the electronic whiteboard can provide a function to modify electronic meeting minutes, and the user can freely modify the contents of the electronic meeting minutes to desired content through this function. Users can select and edit the items they wish to edit among the electronic meeting minutes, and in particular, the translation can be modified to be more accurate. To this end, when the user orders translation modification, the electronic whiteboard can provide multiple translation candidates translated using different translation types Open AI, and the user can easily select the translation that is deemed most appropriate among them. It can be modified.

Claims (6)

전자 칠판에 있어서,
사용자 입력을 수신하는 입력부;
적어도 하나의 통신 프로토콜을 이용하여 통신을 수행하는 통신부;
이미지 및 음성 중 적어도 하나를 출력하는 출력부; 및
상기 입력부, 상기 통신부 및 상기 출력부를 제어하는 제어부; 를 포함하고,
상기 제어부는,현재 발화 중인 화자를 식별하고, 상기 화자의 음성을 상기 사용자 입력으로서 수신하고, 상기 음성을 텍스트로 변환하고, 변환된 텍스트를 번역형 Open AI(Artificial Intelligence)에 입력하여 번역하고, 번역 결과를 문맥에 맞게 수정하도록 Chat GPT에 입력하고, 상기 Chat GPT에 따른 수정 결과를 식별된 화자의 발화 내용으로서 전자 회의록에 기록하도록 구성되고,
상기 제어부는, 상기 식별된 화자에 매칭하여, 상기 변환된 텍스트와 상기 수정 결과를 병기하여 상기 전자 회의록에 기록하도록 추가로 구성되고,
상기 Chat GPT가 전문 용어 데이터 베이스와 연동되어 있는 경우, 상기 제어부는, 상기 수정 결과에 포함되어 있는 단어를 상기 전문 용어 데이터 베이스에 저장되어 있는 전문 용어로 문맥에 맞게 수정하기 위해 상기 Chat GPT에 입력하도록 추가로 구성되고,
상기 사용자 입력으로서 상기 음성과 함께 판서를 위한 터치 입력이 추가 수신된 경우, 상기 제어부는, 상기 음성에 대한 발화 내용과 함께 상기 터치 입력을 상기 전자 회의록에 기록하도록 추가로 구성되고,
상기 제어부는, 상기 전자 회의록을 상기 Chat GPT에 입력하고 상기 Chat GPT가 저장하도록 명령하여 회의록 검색 데이터베이스를 구축하도록 추가로 구성되고,
상기 제어부는, 상기 Chat GPT를 이용하여 상기 회의록 검색 데이터베이스에 저장되어 있는 전자 회의록 기록을 검색하도록 추가로 구성되고,
상기 제어부는, 번역 수정 명령을 수신한 경우, 서로 다른 번역형 Open AI를 이용하여 번역된 복수의 번역 후보를 출력하도록 추가로 구성되고,
상기 검색 데이터베이스는 상기 Chat GPT에 연동되는 것을 특징으로 하는,
전자 칠판.In the electronic blackboard,
An input unit that receives user input;
a communication unit that performs communication using at least one communication protocol;
An output unit that outputs at least one of an image and a voice; and
a control unit that controls the input unit, the communication unit, and the output unit; Including,
The control unit identifies a speaker currently speaking, receives the speaker's voice as the user input, converts the voice into text, and inputs the converted text into a translation-type Open AI (Artificial Intelligence) to translate it, The translation result is input into the Chat GPT to be modified to suit the context, and the modification result according to the Chat GPT is configured to record in the electronic meeting minutes as the content of the identified speaker's utterance,
The control unit is further configured to match the identified speaker and record the converted text and the correction result in the electronic meeting minutes,
If the Chat GPT is linked to a technical terminology database, the control unit inputs words included in the modification result into the Chat GPT to modify them to suit the context as technical terms stored in the technical terminology database. It is additionally configured to
When a touch input for writing is additionally received along with the voice as the user input, the control unit is further configured to record the touch input along with the speech content for the voice in the electronic meeting minutes,
The control unit is further configured to build a meeting minutes search database by inputting the electronic meeting minutes into the Chat GPT and commanding the Chat GPT to store them,
The control unit is further configured to search electronic meeting minutes records stored in the meeting minutes search database using the Chat GPT,
The control unit is further configured to output a plurality of translation candidates translated using different translation types Open AI when receiving a translation correction command,
The search database is linked to the Chat GPT,
Electronic blackboard. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020230126080A 2023-09-21 2023-09-21 Method for real-time translation and electronic meeting minutes using Chat GPT and Interactive Flat Panel Display for this purpose KR102639477B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230126080A KR102639477B1 (en) 2023-09-21 2023-09-21 Method for real-time translation and electronic meeting minutes using Chat GPT and Interactive Flat Panel Display for this purpose

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230126080A KR102639477B1 (en) 2023-09-21 2023-09-21 Method for real-time translation and electronic meeting minutes using Chat GPT and Interactive Flat Panel Display for this purpose

Publications (1)

Publication Number Publication Date
KR102639477B1 true KR102639477B1 (en) 2024-02-22

Family

ID=90056414

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230126080A KR102639477B1 (en) 2023-09-21 2023-09-21 Method for real-time translation and electronic meeting minutes using Chat GPT and Interactive Flat Panel Display for this purpose

Country Status (1)

Country Link
KR (1) KR102639477B1 (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160094145A (en) * 2015-01-30 2016-08-09 주식회사 아하정보통신 Electronic board system with function for making conference record file
KR20190040891A (en) * 2017-10-11 2019-04-19 주식회사 산타 System and Method for Extracting Voice of Video Contents and Interpreting Machine Translation Thereof Using Cloud Service
US20190228076A1 (en) * 2016-10-05 2019-07-25 Ricoh Company, Ltd. Information processing system, information processing apparatus, and information processing method
US20200273464A1 (en) * 2019-02-21 2020-08-27 Ricoh Company, Ltd. Communication terminal, sharing system, display control method, and non-transitory computer-readable medium
KR20200137403A (en) * 2019-05-30 2020-12-09 김창훈 Electronic blackboard and electronic blackboard system with voice recognition function
KR102296624B1 (en) * 2020-10-05 2021-09-02 주식회사 플리토 The method for providing a specialized translation service platform through linkage of translation terminals
KR102306344B1 (en) * 2021-03-17 2021-09-28 남지원 Transformer Translation System for Deep Learning Using Triple Sentence Pair
KR102446683B1 (en) * 2022-03-28 2022-09-26 (주) 아하 Method for specifying a speaking participant and automatically creating meeting minutes by voice recognition based on artificial intelligence and electronic blackboard using the same
KR102462219B1 (en) * 2021-06-15 2022-11-04 (주)미소정보기술 Method of Automatically Generating Meeting Minutes Using Speaker Diarization Technology

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160094145A (en) * 2015-01-30 2016-08-09 주식회사 아하정보통신 Electronic board system with function for making conference record file
US20190228076A1 (en) * 2016-10-05 2019-07-25 Ricoh Company, Ltd. Information processing system, information processing apparatus, and information processing method
KR20190040891A (en) * 2017-10-11 2019-04-19 주식회사 산타 System and Method for Extracting Voice of Video Contents and Interpreting Machine Translation Thereof Using Cloud Service
US20200273464A1 (en) * 2019-02-21 2020-08-27 Ricoh Company, Ltd. Communication terminal, sharing system, display control method, and non-transitory computer-readable medium
KR20200137403A (en) * 2019-05-30 2020-12-09 김창훈 Electronic blackboard and electronic blackboard system with voice recognition function
KR102296624B1 (en) * 2020-10-05 2021-09-02 주식회사 플리토 The method for providing a specialized translation service platform through linkage of translation terminals
KR102310578B1 (en) * 2020-10-05 2021-10-12 주식회사 플리토 The method for providing a specialized translation service platform by utilizing the optimal translation model
KR102306344B1 (en) * 2021-03-17 2021-09-28 남지원 Transformer Translation System for Deep Learning Using Triple Sentence Pair
KR102462219B1 (en) * 2021-06-15 2022-11-04 (주)미소정보기술 Method of Automatically Generating Meeting Minutes Using Speaker Diarization Technology
KR102446683B1 (en) * 2022-03-28 2022-09-26 (주) 아하 Method for specifying a speaking participant and automatically creating meeting minutes by voice recognition based on artificial intelligence and electronic blackboard using the same

Similar Documents

Publication Publication Date Title
Kawas et al. Improving real-time captioning experiences for deaf and hard of hearing students
Reppen Using corpora in the language classroom
Costa et al. Technology-assisted interpreting
CN201993924U (en) Reading material learning machine
Wald et al. Universal access to communication and learning: the role of automatic speech recognition
Jakonen et al. Mediated learning materials: visibility checks in telepresence robot mediated classroom interaction
CN109324811B (en) Device for updating teaching recorded broadcast data
US20190147760A1 (en) Cognitive content customization
Peng et al. Narrative review and meta-analysis of MALL research on L2 skills
Gardner et al. The coordination of talk and action in the collaborative construction of a multimodal text
Messina Dahlberg et al. Mapping languaging in digital spaces: Literacy practices at borderlands
Willis et al. Tablet PC's as Instructional Tools or the Pen is Mightier than the'Board!
Wald Using automatic speech recognition to enhance education for all students: Turning a vision into reality
KR102446683B1 (en) Method for specifying a speaking participant and automatically creating meeting minutes by voice recognition based on artificial intelligence and electronic blackboard using the same
TW202008326A (en) Dynamic scenario oriented digital language teaching method and system being applied to a teaching content supply end, an editing end and learning end
KR102639477B1 (en) Method for real-time translation and electronic meeting minutes using Chat GPT and Interactive Flat Panel Display for this purpose
Amery Revitalization of Kaurna
Yokubjanovna TEACHING PROGRAMMING PRODUCTS FOR STUDENTS
Bagga-Gupta et al. Making complexities (in) visible. Empirically-derived contributions to the scholarly (re) presentations of social interactions
Xia et al. CrossTalk: Intelligent Substrates for Language-Oriented Interaction in Video-Based Communication and Collaboration
Sivunen et al. “Do you understand (me)?” negotiating mutual understanding by using gaze and environmentally coupled gestures between two deaf signing participants
Ufimtseva The use of digital technologies as a condition for developing independent educational activities of students in mastering a foreign language
Stevens et al. VideoTraces: rich media annotations for learning and teaching
Veronesi et al. Doing (things with) sounds: introduction to the special issue
KR102639472B1 (en) Interactive Flat Panel Display that establishes output policy in real time using Chat GPT and its control method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant