KR102359962B1 - Apparatus for interpreting presentation - Google Patents

Apparatus for interpreting presentation Download PDF

Info

Publication number
KR102359962B1
KR102359962B1 KR1020200011035A KR20200011035A KR102359962B1 KR 102359962 B1 KR102359962 B1 KR 102359962B1 KR 1020200011035 A KR1020200011035 A KR 1020200011035A KR 20200011035 A KR20200011035 A KR 20200011035A KR 102359962 B1 KR102359962 B1 KR 102359962B1
Authority
KR
South Korea
Prior art keywords
lecture
presentation
unit
language
notes
Prior art date
Application number
KR1020200011035A
Other languages
Korean (ko)
Other versions
KR20210097393A (en
Inventor
오순영
박근형
서창백
Original Assignee
(주)아큐플라이에이아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)아큐플라이에이아이 filed Critical (주)아큐플라이에이아이
Priority to KR1020200011035A priority Critical patent/KR102359962B1/en
Publication of KR20210097393A publication Critical patent/KR20210097393A/en
Application granted granted Critical
Publication of KR102359962B1 publication Critical patent/KR102359962B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Educational Administration (AREA)
  • Acoustics & Sound (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명의 강의 통역 장치는 외국어로 진행되는 프레젠테이션에서 발표 내용을 번역하고, 발표자의 발표 내용을 발표 언어와 번역 언어를 병기하여 자막으로 표시하고, 프레젠테이션 자료와 오디오를 합성하여 생성한 영상과 영상과 동기화된 자막을 포함하는 강의록을 생성하고, 생성된 강의록을 재생할 수 있다. 또한, 강의 통역 장치는 썸네일을 이용하여 강의록 재생시 특정 내용을 빠르게 탐색할 수 있으며 저장된 강의록을 다운로드할 수 있는 QR 코드를 생성하여 전송할 수 있다.The lecture interpretation apparatus of the present invention translates the presentation content in a presentation conducted in a foreign language, displays the presenter's presentation content as subtitles in both the presentation language and the translated language, and displays the presentation material and audio A lecture log including synchronized subtitles can be created, and the created lecture log can be played. In addition, the lecture interpreter may use thumbnails to quickly search for specific content when reproducing lecture notes, and may generate and transmit a QR code for downloading stored lecture notes.

Description

강의 통역 장치{APPARATUS FOR INTERPRETING PRESENTATION}Lecture Interpretation Device {APPARATUS FOR INTERPRETING PRESENTATION}

본 발명은 통역 장치에 관한 것으로서, 더욱 상세하게는 외국어로 진행되는 강의 내용을 통역하고 강의록을 작성하는 통역 장치에 관한 것이다.The present invention relates to an interpretation apparatus, and more particularly, to an interpretation apparatus for interpreting lecture contents conducted in a foreign language and preparing lecture notes.

국제 교류가 활발해지면서 외국인과의 협업을 진행하는 경우가 증가하고 있으며 주요 현안에 대하여 외국인이 내국인을 대상으로 또는 내국인이 외국인을 대상으로 프레젠테이션을 하는 상황이 빈번하게 발생한다. 참석자들 모두가 외국어에 능통한 경우가 아니라면 외국인과의 원활한 의사 소통을 위해 통역 기기들이 활발히 이용되고 있다. 종래의 통역 기기들은 통역 기능에만 초점을 맞추고 있어 참석자가 진행된 프레젠테이션을 녹화하거나 강의록을 직접 작성해야 하는 불편함이 있다.As international exchanges become more active, collaboration with foreigners is increasing, and there are frequent situations in which foreigners give presentations to Koreans or Koreans to foreigners on major issues. Interpretation devices are actively used to facilitate communication with foreigners unless all participants are fluent in foreign languages. Conventional interpretation devices focus only on the interpretation function, so it is inconvenient for participants to record a presentation or write lecture notes themselves.

또한, 종래의 통역 기기들은 실시간 통역 기능을 주 목적으로 하고 있어 추후 강의 내용을 리뷰할 때 강의 내용 중 특정 주제나 특정 키워드를 중심으로 빠르게 탐색할 수 있는 방법을 제공하고 있지 않다.Also, since conventional interpretation devices have a real-time interpretation function as the main purpose, when reviewing lecture contents later, they do not provide a method to quickly search for a specific topic or a specific keyword in the lecture contents.

본 발명은 외국어로 진행되는 프레젠테이션의 실시간 통역 기능과 함께 발표 내용에 대한 강의록을 자동으로 작성하여 제공하는 방법을 제공하는 것을 목적으로 한다.An object of the present invention is to provide a method for automatically creating and providing lecture notes for presentation contents together with a real-time interpretation function of a presentation conducted in a foreign language.

추가하여, 본 발명은 생성된 강의록 재생 시 프레젠테이션 자료의 페이지의 재생 위치에 대응되는 썸네일을 제공하여 썸네일 선택시 특정 페이지로 빠르게 이동하여 재생할 수 있는 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to provide a method for quickly moving to a specific page and playing it when selecting a thumbnail by providing a thumbnail corresponding to the playback position of the page of the presentation material when reproducing the generated lecture notes.

추가하여, 본 발명은 생성된 강의록의 내용을 입력된 키워드로 검색할 수 있어 추후 강의 내용을 리뷰할 때 특정 주제로 빠르게 이동하여 리뷰할 수 있는 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to provide a method for quickly moving to and reviewing a specific topic when reviewing lecture contents later by being able to search the contents of the generated lecture notes with an input keyword.

추가하여, 본 발명은 생성된 강의록이 저장된 위치에 접근할 수 있는 QR 코드를 작성하여 제공하고 강의록 리뷰 시 QR 코드를 이용하여 강의 내용을 다운로드할 수 있는 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to provide a method for creating and providing a QR code that can access a location where the generated lecture notes are stored, and for downloading lecture contents using the QR code when reviewing lecture notes.

상기한 바와 같은 목적을 달성하기 위해, 발명의 일 실시 예에 따르는 강의 통역 장치는 프레젠테이션부와, 통역부와, 자막 제어부와, 강의록 생성부를 포함한다. In order to achieve the above object, a lecture interpreting apparatus according to an embodiment of the present invention includes a presentation unit, an interpreter, a subtitle control unit, and a lecture log generation unit.

프레젠테이션부는 프레젠테이션 자료를 로드하여 화면에 출력하고 발표자의 제어 입력에 따라 프레젠테이션 자료의 페이지 이동을 제어하고, 통역부는 소스 언어로 진행되는 강의에서의 발표자의 음성을 인식하여 타겟 언어로 번역하고, 자막 제어부는 인식된 발표자의 발표 내용에 대한 소스 언어 자막 텍스트와 타겟 언어로 번역된 타겟 언어 자막 텍스트를 병기하여 화면에 출력하고, 강의록 생성부는 화면에 표시된 프레젠테이션 자료와 발표자의 음성을 합성한 영상과 합성된 영상에 동기화된 자막을 포함하는 강의록을 생성한다.The presentation unit loads the presentation material and outputs it on the screen, controls the page movement of the presentation material according to the presenter's control input, and the interpreter recognizes the speaker's voice in the lecture conducted in the source language and translates it into the target language The source language subtitle text for the recognized presenter's presentation content and the target language subtitle text translated into the target language are outputted on the screen together, and the lecture log generator is synthesized with the video synthesized between the presentation material displayed on the screen and the speaker's voice. Create lecture notes including subtitles synchronized with the video.

본 발명의 강의 통역 장치에 의하면 외국어로 진행되는 프레젠테이션의 실시간으로 통역할 수 있고, 발표 내용에 대한 강의록을 자동으로 작성하여 제공할 수 있다.According to the lecture interpretation apparatus of the present invention, it is possible to interpret a presentation conducted in a foreign language in real time, and to automatically create and provide lecture notes for the contents of the presentation.

또한, 본 발명의 강의 통역 장치에 의하면 생성된 강의록 재생 시 프레젠테이션 자료의 페이지의 재생 위치에 대응되는 썸네일을 선택하여 특정 페이지로 빠르게 이동하여 강의 내용을 재생할 수 있다.In addition, according to the lecture interpretation apparatus of the present invention, when the generated lecture notes are reproduced, a thumbnail corresponding to the reproduction position of the page of the presentation material is selected, and the lecture contents can be reproduced by quickly moving to a specific page.

또한, 본 발명의 강의 통역 장치에 의하면 생성된 강의록의 내용을 입력된 키워드로 검색하여 특정 주제로 빠르게 이동하여 리뷰할 수 있다.In addition, according to the lecture interpretation apparatus of the present invention, it is possible to quickly move to a specific topic and review the contents of the generated lecture notes by searching with the input keyword.

또한, 본 발명의 강의 통역 장치에 의하면 생성된 강의록이 저장된 위치에 접근할 수 있는 QR 코드를 작성하고 QR 코드를 이용하여 강의 내용을 다운로드하여 리뷰할 수 있다.In addition, according to the lecture interpreter apparatus of the present invention, it is possible to write a QR code that can access a location where the generated lecture notes are stored, and to download and review lecture contents using the QR code.

도 1은 본 발명의 일 실시 예에 따르는 강의 통역 장치의 외관을 도시한 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 강의 통역 장치를 도시한 블록도이다.
도 3은 본 발명의 일 실시 예에 따라 강의 통역 장치가 강의 내용을 통역하고 강의록을 작성하는 절차를 도시한 것이다.1 is an exemplary view illustrating the appearance of a lecture interpreter apparatus according to an embodiment of the present invention.
2 is a block diagram illustrating an apparatus for interpreting a lecture according to an embodiment of the present invention.
3 is a diagram illustrating a procedure in which a lecture interpretation device interprets lecture contents and writes lecture notes according to an embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 강의 통역 장치를 이용하여 강의 내용을 통역하고 강의록을 작성하는 방법에 바람직한 실시 예를 상세히 설명한다.Hereinafter, a preferred embodiment of a method of interpreting lecture contents and writing lecture notes using the lecture interpreting apparatus of the present invention will be described in detail with reference to the accompanying drawings.

각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.Like reference numerals in each figure indicate like elements. In addition, specific structural or functional descriptions for the embodiments of the present invention are only exemplified for the purpose of describing the embodiments according to the present invention, and unless otherwise defined, all terms used herein, including technical or scientific terms They have the same meaning as commonly understood by those of ordinary skill in the art to which the present invention pertains. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present specification. It is preferable not to

도 1은 본 발명의 일 실시 예에 따르는 강의 통역 장치의 외관을 도시한 예시도이다. 도 1에 도시된 강의 통역 장치(100)는 통번역 기능을 수행하는 통역 단말기로 터치 입력이 가능한 디스플레이를 구비한 컴퓨팅 장치이다.1 is an exemplary view showing the appearance of a lecture interpreter apparatus according to an embodiment of the present invention. The lecture interpreter 100 shown in FIG. 1 is an interpreter terminal that performs an interpretation/translation function, and is a computing device having a touch input capable display.

강의 통역 장치(100)는 프로세서와 메모리와, 내부 마이크와, 디스플레이와, 스피커와, 저장장치와, 통신 모듈을 포함할 수 있다. 강의 통역 장치(100)는 프레젠테이션 자료를 디스플레이에 표시하고 발표자의 발표 내용을 음성으로 입력 받아 번역한다. 강의 통역 장치(100)는 발표자의 소스 언어로 된 발표 내용과 타겟 언어로 번역된 내용이 함께 자막으로 변환하여 디스플레이에 표시한다. 또한, 강의 통역 장치(100)는 발표가 종료되면 소스 언어로 된 발표자 발표 내용과 타겟 언어로 번역된 내용을 프레젠테이션 자료와 동기화하여 강의록으로 저장한다. 강의 통역 장치(100)는 통신 모듈을 포함할 수 있는데 WIFI 모듈 또는 이더넷 모듈이 탑재될 수 있다. 통신 모듈은 추가적으로 블루투스 모듈을 탑재할 수 있다. 또한, 강의 통역 장치(100)는 비디오 출력 인터페이스를 포함할 수 있으며, 비디오 출력 인터페이스의 종류를 한정하지 않는다. 예를 들어, 아날로그 방식의 인터페이스인 컴포지트(Composite), S 영상(Separate Video), 컴포넌트(Component) 또는 D-Sub 방식의 인터페이스이거나 디지털 방식의 DVI(Digital Visual Interface), HDMI(High-Definition Multimedia Interface) 또는 DP(Display Port) 방식의 인터페이스 또는 이들의 조합일 수 있다.The lecture interpretation apparatus 100 may include a processor, a memory, an internal microphone, a display, a speaker, a storage device, and a communication module. The lecture interpretation apparatus 100 displays presentation materials on a display, and receives and translates the presentation contents of the presenter by voice. The lecture interpretation apparatus 100 converts the presentation content in the presenter's source language and the content translated into the target language into subtitles and displays them on the display. Also, when the presentation is finished, the lecture interpreter 100 synchronizes the presenter's presentation in the source language and the translated content in the target language with the presentation material and stores the lecture notes. The lecture interpretation apparatus 100 may include a communication module, and a WIFI module or an Ethernet module may be mounted thereon. The communication module may additionally be equipped with a Bluetooth module. Also, the lecture interpretation apparatus 100 may include a video output interface, and the type of the video output interface is not limited. For example, an analog interface such as a Composite, S-Video, Component, or D-Sub interface, or a digital DVI (Digital Visual Interface), HDMI (High-Definition Multimedia Interface) interface ) or a DP (Display Port) interface or a combination thereof.

무선 마이크(미도시)는 강의 통역 장치(100)의 내부 마이크 외에 추가될 수 있는 구성으로 강의 시작 전 각 무선 마이크에 소스 언어 및 타겟 언어를 설정할 수 있다. 무선 마이크는 강의 통역 장치(100)와 무선으로 연결되는 것이 바람직하며, WIFI 또는 블루투스로 연결될 수 있다.A wireless microphone (not shown) is a configuration that can be added in addition to the internal microphone of the lecture interpretation apparatus 100, and a source language and a target language can be set in each wireless microphone before a lecture starts. The wireless microphone is preferably connected to the lecture interpretation device 100 wirelessly, and may be connected via WIFI or Bluetooth.

도 2는 본 발명의 일 실시 예에 따른 강의 통역 장치를 도시한 블록도이다. 강의 통역 장치(100)는 프레젠테이션부(120)와, 통역부(110)와, 자막 제어부(130)와, 강의록 생성부(140)를 포함한다.2 is a block diagram illustrating an apparatus for interpreting a lecture according to an embodiment of the present invention. The lecture interpretation apparatus 100 includes a presentation unit 120 , an interpreter 110 , a caption control unit 130 , and a lecture record generator 140 .

프레젠테이션부(120)는 프레젠테이션 자료 작성용 프로그램으로 작성된 프레젠테이션 자료를 로드하여 디스플레이 화면에 출력한다. 발표자는 발표의 진행에 따라 프레젠테이션 자료의 페이지 이동을 하는 것이 일반적이므로 프레젠테이션부(120)는 발표자의 제어 입력에 따라 프레젠테이션 자료의 페이지 이동을 제어한다.The presentation unit 120 loads the presentation material prepared by the program for preparing the presentation material and outputs it on the display screen. Since the presenter generally moves the page of the presentation material according to the progress of the presentation, the presentation unit 120 controls the page movement of the presentation material according to the control input of the presenter.

통역부(110)는 소스 언어로 진행되는 강의에서 발표자의 발표 내용 즉, 음성 신호를 인식하여 텍스트로 변환하는 음성인식 기능과, 인식된 발표 내용을 설정된 타겟 언어로 번역하는 번역 기능을 포함할 수 있다. 음성인식 기능에서 사용하는 음성인식 엔진은 규칙기반의 음성인식 엔진 또는 통계/확률 기반의 음성인식 엔진 또는 딥러닝 기반의 음성인식 엔진 중 어느 하나일 수 있다. 다만, 이에 한정되는 것은 아니다. 강의 참석자 중 1인이 강의 통역 장치(100)의 유저 인터페이스를 통해 강의를 설정할 때 소스 언어와 타겟 언어를 미리 설정할 수 있다. 예를 들어, 한국어와 중국어, 또는 한국어와 영어를 소스 언어와 타겟 언어로 설정할 수 있다. 통역부(110)는 컴퓨팅 장치인 강의 통역 장치(100) 즉, 통역 단말기에서 실행되는 컴퓨터 명령어 세트를 포함하여 구성될 수 있다.The interpreter 110 may include a speech recognition function for recognizing the presentation content of the presenter in a lecture conducted in the source language, that is, a voice signal and converting it into text, and a translation function for translating the recognized presentation content into a set target language. have. The voice recognition engine used in the voice recognition function may be any one of a rule-based voice recognition engine, a statistics/probability-based voice recognition engine, or a deep learning-based voice recognition engine. However, the present invention is not limited thereto. When one of the lecture participants sets a lecture through the user interface of the lecture interpretation apparatus 100 , the source language and the target language may be preset. For example, Korean and Chinese or Korean and English can be set as the source language and the target language. The interpreter 110 may be configured to include a computer instruction set that is executed by the lecture interpreter 100 that is a computing device, that is, an interpreter terminal.

자막 제어부(130)는 인식된 발표자의 발표 내용에 대한 소스 언어 자막 텍스트와 타겟 언어로 번역된 타겟 언어 자막 텍스트를 병기하여 실시간으로 화면에 출력한다. 자막 제어부(130)는 통역부(110)가 인식하여 텍스트로 변환한 발표 내용과 실시간으로 번역한 타겟 언어를 프레젠테이션 자료와 함께 표시한다. 발명의 양상에 따라서는 프레젠테이션 자료와 이들 자막이 화면에 표시되는 위치를 설정할 수 있다.The subtitle controller 130 outputs the subtitle text in the source language for the recognized presenter's presentation content and the subtitle text in the target language translated into the target language on the screen in real time. The subtitle control unit 130 displays the presentation content recognized by the interpreter 110 and converted into text and the target language translated in real time together with the presentation material. According to an aspect of the present invention, it is possible to set a position where the presentation material and these subtitles are displayed on the screen.

강의록 생성부(140)는 화면에 표시된 프레젠테이션 자료와 발표자의 음성을 합성한 영상과 합성된 영상에 동기화된 소스 언어 및 타겟 언어 자막을 포함하는 강의록을 생성한다. 발명의 양상에 따라서는 강의록 생성부(140)는 프레젠테이션 자료와 발표자의 음성을 동영상으로 생성할 수 있다. 그리고, 강의록 생성부(140)는 이 동영상의 음성에 동기화된 자막 즉, 소스 언어 자막 텍스트와 타겟 언어 자막 텍스트을 함께 생성한다. 발명의 양상에 따라서는 텍스트를 저장한 파일과 동기화 정보를 저장한 파일 2개가 생성될 수 있다. 다만, 이에 한정되는 것은 아니며 자막 파일은 하나의 파일에 텍스트 정보와 동기화 정보가 모두 포함되어 생성될 수도 있다. 강의 참석자 중 1인이 강의 종료 시 유저 인터페이스를 통해 강의 종료를 선택하면 강의 통역 장치(100)가 자동으로 강의록 파일을 생성하여 저장한다. 강의록 생성부(140)는 컴퓨팅 장치인 강의 통역 장치(100) 즉, 통역 단말기에서 실행되는 컴퓨터 명령어 세트를 포함하여 구성될 수 있다.The lecture log generating unit 140 generates a lecture log including subtitles in a source language and a target language synchronized with the synthesized image and the synthesized image of the presentation material displayed on the screen and the speaker's voice. According to an aspect of the invention, the lecture log generating unit 140 may generate the presentation material and the speaker's voice as a moving picture. Then, the lecture log generating unit 140 generates subtitles synchronized with the audio of the moving picture, that is, subtitle text in the source language and subtitle text in the target language. According to an aspect of the invention, two files may be generated: a file storing text and a file storing synchronization information. However, the present invention is not limited thereto, and the subtitle file may be generated by including both text information and synchronization information in one file. When one of the lecture participants selects the end of the lecture through the user interface at the end of the lecture, the lecture interpreter 100 automatically creates and stores the lecture log file. The lecture log generating unit 140 may be configured to include a computer instruction set executed by the lecture interpreter 100 that is a computing device, that is, an interpreter terminal.

발명의 또 다른 실시 예에 따르면, 강의 통역 장치(100)는 강의록 재생부(150)를 더 포함할 수 있다.According to another embodiment of the present invention, the lecture interpretation apparatus 100 may further include a lecture record reproducing unit 150 .

강의록 재생부(150)는 강의 종료 후 강의의 내용을 리뷰하는 기능을 수행하는 블록으로, 강의 통역 장치(100)의 유저 인터페이스를 통해 선택된 강의록 파일을 열어 생성된 강의록에 포함된 영상을 재생하고, 재생되는 강의록 영상에 동기화된 자막 즉, 소스 언어 자막과 타겟 언어 자막을 병기하여 화면에 출력한다. 강의록 재생부(150)는 강의록 파일을 재생할 때 영상 데이터가 강의 시작으로부터 경과된 시간을 사용자가 알 수 있도록 재생 시간을 함께 표시할 수 있다. 또한, 사용자의 제어에 따라 특정 시간으로 재생 시간을 변경할 수 있는 인터페이스를 함께 제공할 수 있다.The lecture reproducing unit 150 is a block that performs a function of reviewing the contents of a lecture after the lecture is finished, and plays an image included in the generated lecture log by opening the lecture log file selected through the user interface of the lecture interpretation apparatus 100, The subtitles synchronized with the reproduced lecture notes video, that is, the source language subtitles and the target language subtitles, are output together on the screen. When the lecture log file is reproduced, the lecture record reproducing unit 150 may display the reproduction time together so that the user can know the elapsed time of the video data from the start of the lecture. In addition, an interface for changing the playback time to a specific time according to the user's control may be provided together.

발명의 양상에 따라서는, 강의록 재생부(150)는 자막을 표시할 때 소스 언어 자막과 타겟 언어 자막 중 어느 하나를 선택하여 화면에 출력할 수 있으며, 이 경우 강의 통역 장치(100)는 자막의 언어를 소스 언어로 할지 타겟 언어로 할 지 선택할 수 있은 유저 인터페이스를 제공할 수 있다.According to an aspect of the present invention, the lecture reproducing unit 150 may select one of a source language subtitle and a target language subtitle and output it on the screen when displaying the subtitle. In this case, the lecture interpretation apparatus 100 may display the subtitle. It is possible to provide a user interface for selecting a language as a source language or a target language.

강의록 재생부(150)는 컴퓨팅 장치인 강의 통역 장치(100) 즉, 통역 단말기에서 실행되는 컴퓨터 명령어 세트를 포함하여 구성될 수 있다.The lecture reproducing unit 150 may be configured to include a computer instruction set executed by the lecture interpreting device 100 that is a computing device, that is, an interpreting terminal.

발명의 또 다른 실시 예에 따르면, 강의 통역 장치(100)의 강의록 재생부(150)는 프레젠테이션 자료의 특정 페이지에 대응되는 썸네일을 화면에 표시하고 썸네일이 선택되면 강의록 영상의 재생 위치를 프레젠테이션 자료의 해당 페이지로 이동시킬 수 있다. 즉, 강의록 재생시 썸네일을 이용하여 강의의 특정 위치로 빠르게 이동하여 강의를 해당 위치에서부터 재생할 수 있다. 일반적으로 프레젠테이션 자료는 다수의 페이지로 구성되므로 강의록 재생부(150)는 각 페이지의 화면을 축소한 썸네일 이미지를 표시하고 사용자가 특정 썸네일 이미지를 선택하면 해당 페이지의 화면으로 재생위치를 이동시킨다. 이때 강의록 재생부(150)는 동기화 정보를 이용하여 영상과 함께 표시할 자막 데이터를 결정하여 영상과 부합하는 자막을 표시한다. 강의록 재생부(150)가 제공하는 썸네일은 강의록 리뷰 시 특정 내용을 빠르게 탐색하는 용도로 사용될 수 있다.According to another embodiment of the present invention, the lecture record reproducing unit 150 of the lecture interpretation apparatus 100 displays a thumbnail corresponding to a specific page of the presentation material on the screen, and when the thumbnail is selected, the reproduction position of the lecture record image of the presentation material is displayed. You can move to that page. That is, when reproducing the lecture log, it is possible to quickly move to a specific position of the lecture by using the thumbnail and reproduce the lecture from the corresponding position. In general, the presentation material is composed of a plurality of pages, so the lecture log reproducing unit 150 displays a thumbnail image of a reduced screen of each page, and when the user selects a specific thumbnail image, the playback position is moved to the screen of the corresponding page. At this time, the lecture reproducing unit 150 determines the caption data to be displayed together with the video by using the synchronization information, and displays the caption matching the video. Thumbnails provided by the lecture reproducing unit 150 may be used to quickly search for specific content when reviewing lecture notes.

발명의 또 다른 실시 예에 따르면, 강의 통역 장치(100)는 제스쳐 인식부(160)를 더 포함할 수 있다.According to another embodiment of the present invention, the lecture interpretation apparatus 100 may further include a gesture recognition unit 160 .

강의 통역 장치(100)는 전면에 카메라를 포함할 수 있으며, 제스쳐 인식부(160)가 카메라로부터 입력되는 사용자의 제스쳐를 인식하여 자막 텍스트의 표시 여부를 제어할 수 있다. 제스쳐 인식부(160)는 자막 텍스트의 표시 여부에 대응하도록 미리 설정된 제스쳐를 사용자가 취하면 그에 따라 동작하도록 제어할 수 있다. 사용자의 특정 동작이 자막을 표시하지 않도록 하는 미리 설정된 제스쳐에 해당하며 제스쳐 인식부(160)는 자막 제어부(130) 또는 강의록 재생부(150)를 제어하여 자막을 표시하지 않도록 한다. 마찬가지로 사용자의 특정 동작이 자막을 표시하도록 하는 미리 설정된 제스쳐에 해당하며 제스쳐 인식부(160)는 자막 제어부(130) 또는 강의록 재생부(150)를 제어하여 자막을 표시하도록 한다.The lecture interpretation apparatus 100 may include a camera on its front side, and the gesture recognition unit 160 may recognize a user's gesture input from the camera to control whether subtitle text is displayed. The gesture recognition unit 160 may control to operate according to the user's action of a preset gesture corresponding to whether or not the subtitle text is displayed. The user's specific action corresponds to a preset gesture for not displaying subtitles, and the gesture recognition unit 160 controls the subtitle control unit 130 or the lecture replay unit 150 to not display the subtitles. Similarly, a specific action of the user corresponds to a preset gesture for displaying subtitles, and the gesture recognition unit 160 controls the subtitle control unit 130 or the lecture replay unit 150 to display the subtitles.

제스쳐 인식부(160)는 카메라와, 컴퓨팅 장치인 강의 통역 장치(100) 즉, 통역 단말기에서 실행되는 컴퓨터 명령어 세트를 포함하여 구성될 수 있다.The gesture recognition unit 160 may include a camera and a computer instruction set executed by the lecture interpreter 100 that is a computing device, that is, an interpreter terminal.

발명의 또 다른 실시 예에 따르면, 강의 통역 장치(100)의 강의록 재생부(150)는 입력된 키워드로 자막 텍스트를 검색하고 강의록 영상의 재생 위치를 검색된 자막 텍스트와 동기화된 위치로 이동시킬 수 있다. 강의 통역 장치(100)는 강의록 재생시 검색할 키워드를 입력하는 유저 인터페이스를 제공하며, 해당 인터페이스를 통해 입력된 키워드로 자막 데이터를 검색하고 해당 자막에 대한 동기화 정보를 이용하여 강의록 영상의 재생 위치를 결정하고, 해당 위치부터 강의 영상을 재생할 수 있다.According to another embodiment of the present invention, the lecture log reproducing unit 150 of the lecture interpretation apparatus 100 may search for subtitle text with the input keyword and move the playback position of the lecture log image to a position synchronized with the searched subtitle text. . The lecture interpretation apparatus 100 provides a user interface for inputting a keyword to be searched when reproducing the lecture notes, searches for subtitle data with the keyword input through the interface, and determines the playback position of the lecture log video using synchronization information for the subtitle. It is determined, and the lecture video can be played from the corresponding position.

발명의 또 다른 실시 예에 따르면, 강의 통역 장치(100)의 프레젠테이션부(120)는 메모 작성부(122)를 포함할 수 있다.According to another embodiment of the present invention, the presentation unit 120 of the lecture interpretation apparatus 100 may include a memo writing unit 122 .

메모 작성부(122)는 발표자가 프레젠테이션 시 프레젠테이션 자료에 설명이나 강조를 위해 내용을 추가하는 쓰기와 선, 도형 등을 이용하는 그리기를 포함하는 메모를 입력할 수 있도록 한다. 또한, 메모 작성부(122)는 추가한 메모를 삭제하는 유저 인터페이스도 제공할 수 있다. 메모 작성부(122)는 컴퓨팅 장치인 강의 통역 장치(100) 즉, 통역 단말기에서 실행되는 컴퓨터 명령어 세트를 포함하여 구성될 수 있다.The memo writing unit 122 allows the presenter to input a memo including writing for adding content to the presentation material for explanation or emphasis during presentation and drawing using lines, figures, and the like. Also, the memo creation unit 122 may provide a user interface for deleting the added memo. The memo writing unit 122 may be configured to include a computer instruction set that is executed in the lecture interpreter 100 that is a computing device, that is, an interpreter terminal.

발명의 또 다른 실시 예에 따르면, 강의 통역 장치(100)의 강의록 생성부(140)는 QR(Quick Response) 생성부와, QR 전송부를 포함할 수 있다. QR 생성부(142)와 QR 전송부는 컴퓨팅 장치인 강의 통역 장치(100) 즉, 통역 단말기에서 실행되는 컴퓨터 명령어 세트를 포함하여 구성될 수 있다.According to another embodiment of the present invention, the lecture record generating unit 140 of the lecture interpretation apparatus 100 may include a QR (Quick Response) generating unit and a QR transmitting unit. The QR generating unit 142 and the QR transmitting unit may be configured to include a computer instruction set that is executed in the lecture interpreter 100 that is a computing device, that is, an interpreter terminal.

QR 생성부(142)는 생성된 강의록의 재생을 원하는 사용자가 강의록을 다운로드할 수 있는 저장 위치를 QR 코드로 생성하여 표시할 수 있다. 따라서, 재생을 원하는 사용자가 자신의 스마트 폰 등의 단말기를 통해 해당 QR 코드를 촬영하여 강의록을 다운로드할 수 있다.The QR generating unit 142 may generate and display a storage location where a user who wants to reproduce the generated lecture notes can download the lecture notes as a QR code. Accordingly, a user who wants to play can download the lecture notes by shooting the corresponding QR code through a terminal such as his or her smart phone.

QR 전송부는 생성된 QR 코드를 수신자를 지정하여 이메일, 단문 메시지, 또는 SNS 메시지 등의 형태로 전송하여 QR 코드를 배포할 수 있다.The QR transmitter may distribute the QR code by sending the generated QR code in the form of an e-mail, a short message, or an SNS message by designating a recipient.

다양한 실시 예에 따르는 강의 통역 장치(100)를 이용하여 프레젠테이션 발표를 진행하고 강의를 리뷰하는 과정을 설명하면, 먼저 강의 통역 장치(100)의 유저 인터페이스를 통해 강의명, 강의 주제, 강의 일시 등의 내용을 입력하여 강의 발표를 개설한다(S1000). 이때, 발표자가 사용할 소스 언어와 번역할 타겟 언어를 설정하고(S1020), 외부 마이크를 사용할 경우 외부 마이크를 무선으로 연결한다. 발표자가 프레젠테이션 자료를 이용하여 강의를 진행하면 강의 통역 장치(100)가 입력되는 음성 신호를 인식하여 해당 음성 신호에 대한 소스 언어 자막과 이를 번역한 타겟 언어 자막을 실시간으로 출력한다(S1040, S1060). 강의 통역 장치(100)는 강의 종료 시 프레젠테이션 자료와 발표 음성을 합성한 영상 데이터와 영상에 동기화된 소스 언어 자막 및 타겟 언어 자막을 포함하여 강의록을 생성한다(S1080). 이때, 강의 통역 장치(100)는 저장된 강의록을 다운로드할 수 있도록 QR 코드를 생성하고 배포할 수 있다(S1100). 추후 강의 통역 장치(100)는 저장된 강의록을 로드하여 강의록을 재생할 수 있으며(S1120), 썸네일을 선택하여 특정 재생 위치로 이동하여 강의를 재생할 수 있고, 특정 키워드를 입력하여 해당 키워드를 포함하고 있는 위치로 이동하여 강의를 재생할 수도 있다. When the process of presenting a presentation and reviewing a lecture using the lecture interpreter 100 according to various embodiments is described, first, the lecture title, lecture topic, lecture date and time, etc. are displayed through the user interface of the lecture interpreter 100 . to open a lecture presentation (S1000). At this time, a source language to be used by the presenter and a target language to be translated are set ( S1020 ), and when an external microphone is used, the external microphone is wirelessly connected. When the presenter conducts a lecture using the presentation material, the lecture interpreter 100 recognizes the input voice signal and outputs the source language subtitle for the corresponding voice signal and the translated target language subtitle in real time (S1040, S1060) . At the end of the lecture, the lecture interpreter 100 generates a lecture log including the source language subtitles and the target language subtitles synchronized with the image data and the image obtained by synthesizing the presentation material and the presentation voice (S1080). In this case, the lecture interpretation apparatus 100 may generate and distribute a QR code so that the stored lecture notes can be downloaded ( S1100 ). Later, the lecture interpretation apparatus 100 may load the stored lecture log and reproduce the lecture log (S1120), select a thumbnail to move to a specific playback location to play the lecture, and input a specific keyword to a location containing the keyword You can also go to and play the lecture.

상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.The above-described embodiments of the present invention have been disclosed for purposes of illustration, and those skilled in the art of the present invention may make various modifications, changes, and additions within the spirit and scope of the present invention, and such modifications, changes and additions should be regarded as belonging to the following claims.

100: 강의 통역 장치
110: 통역부
120: 프레젠테이션부
122: 메모 작성부
130: 자막 제어부
140: 강의록 생성부
142: QR 생성부
150: 강의록 재생부
160: 제스쳐 인식부100: lecture interpretation device
110: interpretation department
120: presentation unit
122: memo writing unit
130: subtitle control
140: lecture log generation unit
142: QR generating unit
150: lecture replay part
160: gesture recognition unit

Claims (7)

실시간으로 진행되는 외국어 강의를 통역하는 장치에 있어서,
프레젠테이션 자료를 로드하여 화면에 출력하고 발표자의 제어 입력에 따라 프레젠테이션 자료의 페이지 이동을 제어하는 프레젠테이션부;
소스 언어로 진행되는 강의에서 발표자의 음성을 인식하여 타겟 언어로 번역하는 통역부;
인식된 발표자의 발표 내용에 대한 소스 언어 자막 텍스트와 타겟 언어로 번역된 타겟 언어 자막 텍스트를 병기하여 화면에 출력하는 자막 제어부; 및
화면에 표시된 프레젠테이션 자료와 발표자의 음성을 합성한 영상과 합성된 영상에 소스 언어 자막 텍스트와 타겟 언어로 번역된 타겟 언어 자막 텍스트를 병기한 동기화된 자막을 포함하는 강의록을 생성하는 강의록 생성부; 및
상기 강의록 생성부에서 생성된 강의록에 포함된 영상을 재생하고 강의록 영상에 동기화된 자막을 화면에 출력하는 강의록 재생부를 포함하고,
상기 통역부는 음성인식 기능을 포함하고 상기 음성인식 기능에 사용하는 음성인식 엔진은 규칙기반의 음성인식 엔진, 통계/확률 기반의 음성인식 엔진 및 딥러닝 기반의 음성인식 엔진 중 어느 하나이며,
상기 강의록 재생부는 프레젠테이션 자료의 특정 페이지에 대응되는 썸네일을 화면에 표시하고 썸네일이 선택되면 강의록 영상의 재생 위치를 프레젠테이션 자료의 해당 페이지로 이동시키도록 하고,
상기 실시간으로 진행되는 외국어 강의를 통역하는 장치는 카메라와 상기 발표자의 제스쳐를 인식하여 자막 텍스트의 표시 여부를 제어하는 제스쳐 인식부를 더 포함하여,
미리 설정된 제스쳐에 해당하면 상기 제스쳐 인식부는 자막 제어부 또는 강의록 재생부를 제어하여 상기 동기화된 자막을 표시하지 않도록 하거나 표시되도록 하는 것을 특징으로 하는 강의 통역 장치.
An apparatus for interpreting a foreign language lecture conducted in real time, the apparatus comprising:
a presentation unit that loads the presentation material and outputs it on the screen and controls the page movement of the presentation material according to the control input of the presenter;
an interpreter for recognizing a speaker's voice in a lecture conducted in a source language and translating it into a target language;
a subtitle control unit for outputting on a screen the source language subtitle text for the recognized presenter's presentation content and the target language subtitle text translated into the target language; and
a lecture record generating unit for generating a lecture record including synchronized subtitles in which the source language subtitle text and the target language subtitle text translated into the target language are combined in the synthesized image and the presentation material displayed on the screen and the speaker's voice; and
and a lecture record reproducing unit that reproduces images included in the lecture notes generated by the lecture log generation unit and outputs subtitles synchronized to the lecture notes image on the screen,
The interpreter includes a voice recognition function, and the voice recognition engine used for the voice recognition function is any one of a rule-based voice recognition engine, a statistics/probability-based voice recognition engine, and a deep learning-based voice recognition engine,
The lecture record reproducing unit displays a thumbnail corresponding to a specific page of the presentation material on the screen, and when the thumbnail is selected, moves the reproduction position of the lecture record image to the corresponding page of the presentation material,
The apparatus for interpreting the foreign language lecture conducted in real time further includes a gesture recognition unit configured to control whether to display subtitle text by recognizing a camera and gestures of the presenter,
The lecture interpretation apparatus according to claim 1, wherein the gesture recognition unit controls the subtitle control unit or the lecture record reproducing unit to not display the synchronized subtitles or to display the synchronized subtitles when the gesture corresponds to a preset gesture.
 삭제delete 삭제delete 삭제delete 제 1 항에 있어서,
강의록 재생부는 입력된 키워드로 자막 텍스트를 검색하고 강의록 영상의 재생 위치를 검색된 자막 텍스트와 동기화된 위치로 이동시키는 강의 통역 장치.
The method of claim 1,
The lecture reproducing unit searches for the subtitle text with the input keyword and moves the replay position of the lecture log video to a position synchronized with the searched subtitle text.
 제 1 항에 있어서,
프레젠테이션부는 프레젠테이션 시 프레젠테이션 자료에 쓰기와 그리기를 포함하는 메모를 입력할 수 있는 메모 작성부를 포함하는 강의 통역 장치.
The method of claim 1,
The presentation unit is a lecture interpreting device including a memo writing unit capable of inputting notes including writing and drawing on presentation materials during a presentation.
 제 1 항에 있어서,
강의록 생성부는 작성된 강의록을 다운로드할 수 있는 저장 위치를 QR 코드로 생성하는 QR 생성부를 포함하는 강의 통역 장치.The method of claim 1,
Lecture record generation unit lecture interpretation device including a QR generating unit for generating a QR code a storage location to download the written lecture notes can be downloaded.
KR1020200011035A 2020-01-30 2020-01-30 Apparatus for interpreting presentation KR102359962B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200011035A KR102359962B1 (en) 2020-01-30 2020-01-30 Apparatus for interpreting presentation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200011035A KR102359962B1 (en) 2020-01-30 2020-01-30 Apparatus for interpreting presentation

Publications (2)

Publication Number Publication Date
KR20210097393A KR20210097393A (en) 2021-08-09
KR102359962B1 true KR102359962B1 (en) 2022-02-09

Family

ID=77313284

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200011035A KR102359962B1 (en) 2020-01-30 2020-01-30 Apparatus for interpreting presentation

Country Status (1)

Country Link
KR (1) KR102359962B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002374494A (en) * 2001-06-14 2002-12-26 Fuji Electric Co Ltd Generation system and retrieving method for video contents file

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100911717B1 (en) * 2007-11-13 2009-08-10 연세대학교 산학협력단 Transmitter of multimedia simultaneous translation system and Multimedia simultaneous translation system including the same
KR101621496B1 (en) * 2013-02-08 2016-05-16 주식회사 모바일유틸리티 System and method of replaying presentation using touch event information
KR101764580B1 (en) * 2014-12-29 2017-08-10 (주)자이닉스 Qr .
KR20210032809A (en) * 2019-09-17 2021-03-25 삼성전자주식회사 Real-time interpretation method and apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002374494A (en) * 2001-06-14 2002-12-26 Fuji Electric Co Ltd Generation system and retrieving method for video contents file

Also Published As

Publication number Publication date
KR20210097393A (en) 2021-08-09

Similar Documents

Publication Publication Date Title
US10341399B2 (en) Method and apparatus for sharing presentation data and annotation
US9992545B2 (en) Method for play synchronization and device using the same
US8719029B2 (en) File format, server, viewer device for digital comic, digital comic generation device
WO2021109678A1 (en) Video generation method and apparatus, electronic device, and storage medium
JP3526067B2 (en) Reproduction device and reproduction method
US20220374585A1 (en) User interfaces and tools for facilitating interactions with video content
US20120276504A1 (en) Talking Teacher Visualization for Language Learning
JP5553609B2 (en) Language learning content provision system using partial images
US8358309B2 (en) Animation of audio ink
JP5634853B2 (en) Electronic comic viewer device, electronic comic browsing system, viewer program, and electronic comic display method
US20220093132A1 (en) Method for acquiring video and electronic device
KR100856786B1 (en) System for multimedia naration using 3D virtual agent and method thereof
US20130332859A1 (en) Method and user interface for creating an animated communication
KR102346668B1 (en) apparatus for interpreting conference
KR101968599B1 (en) Generation method and apparatus of story video according to input text
KR20150135056A (en) Method and device for replaying content
Xia et al. CrossTalk: Intelligent Substrates for Language-Oriented Interaction in Video-Based Communication and Collaboration
KR102359962B1 (en) Apparatus for interpreting presentation
JP7229296B2 (en) Related information provision method and system
KR101124798B1 (en) Apparatus and method for editing electronic picture book
JPH1078947A (en) Reproduction device for multimedia title
JP2006195900A (en) Multimedia content generation device and method
TWM575595U (en) E-book apparatus with audible narration
JP2021164094A (en) Recording device and recording system using the same
JP2016009262A (en) Moving image processing device, moving image processing program, and moving image processing method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right