KR102466734B1 - Electronic apparatus which displays the reference information of a technical term on the screen where a video is being played, and the operating method thereof - Google Patents
Electronic apparatus which displays the reference information of a technical term on the screen where a video is being played, and the operating method thereof Download PDFInfo
- Publication number
- KR102466734B1 KR102466734B1 KR1020210061141A KR20210061141A KR102466734B1 KR 102466734 B1 KR102466734 B1 KR 102466734B1 KR 1020210061141 A KR1020210061141 A KR 1020210061141A KR 20210061141 A KR20210061141 A KR 20210061141A KR 102466734 B1 KR102466734 B1 KR 102466734B1
- Authority
- KR
- South Korea
- Prior art keywords
- caption
- partial
- answer
- point
- electronic device
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
- H04N21/4828—End-user interface for program selection for searching program descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4888—Data services, e.g. news ticker for displaying teletext characters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/278—Subtitling
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
본 발명은 영상이 재생되는 화면에 전문 용어에 대한 참고 정보를 표시하는 전자 장치 및 그 동작 방법에 대한 것이다. The present invention relates to an electronic device displaying reference information on technical terms on a screen on which an image is reproduced, and an operating method thereof.
최근, 컴퓨터나 스마트폰 또는 태블릿 PC 등과 같은 전자 장치가 널리 보급됨에 따라, 이러한 전자 장치를 이용하여 시청할 수 있는 다양한 형태의 영상 콘텐츠들이 등장하고 있다. BACKGROUND OF THE INVENTION Recently, as electronic devices such as computers, smart phones, or tablet PCs have become widely available, various types of image contents that can be viewed using these electronic devices have emerged.
또한, 전 세계적으로 COVID-19의 유행이 장기화됨에 따라, 사람들 간의 접촉과 이동이 제한되는 상황에서, 야외에서 활동을 하는 대신 전자 장치를 이용하여 다양한 영상을 시청하면서 여가 시간을 보내는 사용자들이 증가하고 있다.In addition, as the worldwide epidemic of COVID-19 prolongs, the number of users who spend their leisure time watching various videos using electronic devices instead of outdoor activities in a situation where contact and movement between people is restricted is increasing. have.
이에 따라, 사용자의 편의성을 증대시키기 위해, 전자 장치를 이용하여 영상을 시청하는 데 있어서, 보다 편리한 기능이 도입되어야 할 필요성 또한 증대되고 있다.Accordingly, in order to increase user convenience, the need to introduce more convenient functions in viewing images using electronic devices is also increasing.
관련해서, 전자 장치를 이용하여 영상을 시청하는 사용자는 영상에서 전문 용어가 등장하면, 영상의 내용과 전문 용어의 의미를 명확하게 이해하기 위해, 영상에서 해당 전문 용어가 이전에 등장했었던 부분을 찾아보는 경우가 많다.In this regard, when a user who watches a video using an electronic device finds a technical term appearing in the video, in order to clearly understand the content of the video and the meaning of the technical term, the user searches for a part where the technical term previously appeared in the video. often see
하지만, 사용자가 영상의 어느 부분에서 해당 전문 용어가 등장했었는지를 정확하게 기억하기는 어렵기 때문에, 영상에서 해당 전문 용어가 등장했었던 부분을 찾기 위해서 사용자가 직접 영상의 내용을 일일이 다시 확인해야 한다는 번거로움이 있었다.However, since it is difficult for the user to remember exactly in which part of the video the technical term appeared, it is inconvenient for the user to manually check the contents of the video to find the part where the technical term appeared in the video. There was romance.
만약, 영상에서 전문 용어가 등장할 때, 해당 전문 용어가 이전에 등장했었던 부분에 대한 참고 정보를 제공하는 기술이 도입된다면, 사용자가 직접 영상의 내용을 일일이 확인하지 않더라도 보다 편리하게 전문 용어에 대한 참고 정보를 확인할 수 있다는 점에서, 전자 장치를 이용하여 영상을 시청하는 사용자의 편의성이 증대될 수 있을 것이다.If, when a technical term appears in a video, if a technology is introduced that provides reference information on the part where the term has previously appeared, it is more convenient for users to know the technical term even if they do not directly check the content of the video. In that reference information can be checked, the convenience of a user who watches an image using an electronic device can be increased.
따라서, 사용자의 편의성을 증대시킬 수 있도록 지원하기 위해, 영상이 재생되는 화면에 전문 용어에 대한 참고 정보를 표시하는 기술에 대한 연구가 필요하다. Therefore, in order to support increasing user convenience, research on a technique for displaying reference information on technical terms on a screen on which an image is reproduced is required.
본 발명은 영상이 재생되는 화면에 전문 용어에 대한 참고 정보를 표시하는 전자 장치 및 그 동작 방법을 제시함으로써, 상기 전자 장치를 이용하여 영상을 시청하는 사용자가 영상에서 등장하는 전문 용어에 대한 참고 정보를, 보다 편리하게 확인할 수 있도록 지원하고자 한다. The present invention provides an electronic device and an operating method for displaying reference information on technical terms on a screen on which an image is reproduced, so that a user watching a video using the electronic device can obtain reference information on technical terms appearing in the video. We want to support you to check more conveniently.
본 발명의 일실시예에 따른 영상이 재생되는 화면에 전문 용어에 대한 참고 정보를 표시하는 전자 장치는 사전 지정된 복수의 전문 용어들이 저장되어 있는 전문 용어 사전 데이터베이스, 영상 스트리밍(streaming) 서버로부터, 스트리밍 방식으로 제1 영상 데이터가 수신됨에 따라, 상기 전자 장치에서 상기 제1 영상 데이터가 재생되기 시작하면, 사전 구축된 음성 인식 모델을 통해 상기 전자 장치에서 재생되는 상기 제1 영상 데이터에 대한 음성 인식을 수행함으로써 자막을 생성하고, 생성된 자막을 화면 상에 표시하는 자막 표시부, 사전 설정된 제1 재생 시간 간격으로, 전문 용어에 대한 참고 정보를 화면 상에 표시하기 위한 참고 정보 표시 이벤트를 발생시키는 이벤트 발생부, 상기 참고 정보 표시 이벤트가 발생되면, 상기 참고 정보 표시 이벤트가 발생된 시점으로부터 상기 제1 재생 시간 동안 상기 자막 표시부를 통해 생성되는 제1 자막에서, 상기 복수의 전문 용어들과 일치하는 전문 용어가 존재하는지 여부를 확인하는 제1 자막 확인부, 상기 제1 자막에서 상기 복수의 전문 용어들과 일치하는 전문 용어로, 제1 전문 용어가 존재하는 것으로 확인되면, 상기 제1 영상 데이터의 최초 재생 시점으로부터 상기 참고 정보 표시 이벤트가 발생된 시점까지 생성되었던 제2 자막에서, 상기 제1 전문 용어가 존재하는지 여부를 확인하는 제2 자막 확인부, 상기 제2 자막의 제1 지점에서 상기 제1 전문 용어가 존재하는 것으로 확인되면, 상기 제2 자막에서 상기 제1 지점을 기준으로, 상기 제1 지점의 전단과 후단 각각에 존재하는 단어들을 n(n은 자연수임)개씩 추출함으로써, 총 2n개의 단어들을 추출하는 단어 추출부 및 상기 2n개의 단어들을 상기 제1 전문 용어에 대한 참고 정보인 것으로 화면 상에 표시하는 참고 정보 표시부를 포함한다. According to an embodiment of the present invention, an electronic device displaying reference information on technical terms on a screen on which an image is reproduced is provided by streaming from a technical term dictionary database in which a plurality of pre-specified technical terms are stored and an image streaming server. As the first video data is received in the above manner, when the electronic device starts to reproduce the first video data, voice recognition for the first video data reproduced in the electronic device is performed through a pre-built speech recognition model. A caption display unit that generates captions and displays the generated captions on the screen by performing a subtitle display, and generates an event that generates a reference information display event for displaying reference information on technical terms on the screen at a preset first playback time interval. When the reference information display event occurs, technical terms matching the plurality of technical terms in the first caption generated through the caption display unit during the first playback time from the time when the reference information display event occurs A first caption checking unit that checks whether there is a technical term matching the plurality of technical terms in the first caption, and if it is confirmed that a first technical term exists, the first video data is reproduced for the first time. A second caption checking unit that checks whether or not the first terminology exists in the second caption generated from the point in time to the point in time at which the reference information display event occurred, and the first full text at the first point of the second caption. If it is confirmed that the term exists, a total of 2n words are extracted by extracting n (n is a natural number) words existing at the front and rear of the first point, respectively, from the second subtitle based on the first point. and a reference information display unit for displaying the 2n words as reference information for the first terminology on a screen.
또한, 본 발명의 일실시예에 따른 영상이 재생되는 화면에 전문 용어에 대한 참고 정보를 표시하는 전자 장치의 동작 방법은 사전 지정된 복수의 전문 용어들이 저장되어 있는 전문 용어 사전 데이터베이스를 유지하는 단계, 영상 스트리밍 서버로부터, 스트리밍 방식으로 제1 영상 데이터가 수신됨에 따라, 상기 전자 장치에서 상기 제1 영상 데이터가 재생되기 시작하면, 사전 구축된 음성 인식 모델을 통해 상기 전자 장치에서 재생되는 상기 제1 영상 데이터에 대한 음성 인식을 수행함으로써 자막을 생성하고, 생성된 자막을 화면 상에 표시하는 단계, 사전 설정된 제1 재생 시간 간격으로, 전문 용어에 대한 참고 정보를 화면 상에 표시하기 위한 참고 정보 표시 이벤트를 발생시키는 단계, 상기 참고 정보 표시 이벤트가 발생되면, 상기 참고 정보 표시 이벤트가 발생된 시점으로부터 상기 제1 재생 시간 동안 상기 생성된 자막을 화면 상에 표시하는 단계를 통해 생성되는 제1 자막에서, 상기 복수의 전문 용어들과 일치하는 전문 용어가 존재하는지 여부를 확인하는 단계, 상기 제1 자막에서 상기 복수의 전문 용어들과 일치하는 전문 용어로, 제1 전문 용어가 존재하는 것으로 확인되면, 상기 제1 영상 데이터의 최초 재생 시점으로부터 상기 참고 정보 표시 이벤트가 발생된 시점까지 생성되었던 제2 자막에서, 상기 제1 전문 용어가 존재하는지 여부를 확인하는 단계, 상기 제2 자막의 제1 지점에서 상기 제1 전문 용어가 존재하는 것으로 확인되면, 상기 제2 자막에서 상기 제1 지점을 기준으로, 상기 제1 지점의 전단과 후단 각각에 존재하는 단어들을 n(n은 자연수임)개씩 추출함으로써, 총 2n개의 단어들을 추출하는 단계 및 상기 2n개의 단어들을 상기 제1 전문 용어에 대한 참고 정보인 것으로 화면 상에 표시하는 단계를 포함한다.In addition, an operating method of an electronic device displaying reference information on technical terms on a screen on which an image is reproduced according to an embodiment of the present invention includes the steps of maintaining a technical term dictionary database in which a plurality of prespecified technical terms are stored; When first image data is received from the video streaming server in a streaming manner and the electronic device starts playing the first video data, the first video played in the electronic device is performed through a pre-built voice recognition model. Generating a subtitle by performing voice recognition on data and displaying the generated subtitle on the screen; Reference information display event for displaying reference information for technical terminology on the screen at a first playback time interval set in advance In the first caption generated through the step of generating, when the reference information display event occurs, displaying the generated caption on the screen during the first playback time from the time when the reference information display event occurs, checking whether a technical term matching the plurality of technical terms exists; if it is confirmed that a technical term matching the plurality of technical terms exists in the first subtitle, the technical term matching the plurality of technical terms exists; Checking whether or not the first terminology exists in a second caption generated from the time of first reproduction of the first image data to the time when the reference information display event occurs; If it is confirmed that the first technical term exists, n (n is a natural number) words existing at the front and rear of the first point, respectively, are extracted from the second subtitle, based on the first point, by n (n is a natural number). Extracting 2n words and displaying the 2n words as reference information for the first terminology on a screen.
본 발명은 영상이 재생되는 화면에 전문 용어에 대한 참고 정보를 표시하는 전자 장치 및 그 동작 방법을 제시함으로써, 상기 전자 장치를 이용하여 영상을 시청하는 사용자가 영상에서 등장하는 전문 용어에 대한 참고 정보를, 보다 편리하게 확인할 수 있도록 지원할 수 있다.The present invention provides an electronic device and an operating method for displaying reference information on technical terms on a screen on which an image is reproduced, so that a user watching a video using the electronic device can obtain reference information on technical terms appearing in the video. , can be supported to check more conveniently.
도 1은 본 발명의 일실시예에 따른 영상이 재생되는 화면에 전문 용어에 대한 참고 정보를 표시하는 전자 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 영상이 재생되는 화면에 전문 용어에 대한 참고 정보를 표시하는 전자 장치의 동작 방법을 도시한 순서도이다.FIG. 1 is a diagram showing the structure of an electronic device displaying reference information on technical terms on a screen on which an image is reproduced according to an embodiment of the present invention.
2 is a flowchart illustrating an operating method of an electronic device displaying reference information on technical terms on a screen on which an image is reproduced according to an embodiment of the present invention.
이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. This description is not intended to limit the present invention to specific embodiments, but should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. While describing each drawing, similar reference numerals have been used for similar components, and unless otherwise defined, all terms used in this specification, including technical or scientific terms, are common knowledge in the art to which the present invention belongs. has the same meaning as commonly understood by the person who has it.
본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다. In this document, when a certain component is said to "include", it means that it may further include other components without excluding other components unless otherwise stated. In addition, in various embodiments of the present invention, each component, functional block, or means may be composed of one or more sub-components, and the electrical, electronic, and mechanical functions performed by each component are electronic It may be implemented with various known elements or mechanical elements such as circuits, integrated circuits, ASICs (Application Specific Integrated Circuits), and may be implemented separately or two or more may be integrated into one.
한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.On the other hand, the blocks of the accompanying block diagram or the steps of the flowchart are computer program instructions that perform designated functions by being loaded into a processor or memory of a device capable of data processing, such as a general-purpose computer, a special purpose computer, a portable notebook computer, and a network computer. can be interpreted as meaning Since these computer program instructions may be stored in a memory included in a computer device or in a computer readable memory, the functions described in blocks of a block diagram or steps of a flowchart are produced as a product containing instruction means for performing them. It could be. Further, each block or each step may represent a module, segment or portion of code that includes one or more executable instructions for executing specified logical function(s). Also, it should be noted that in some alternative embodiments, functions mentioned in blocks or steps may be executed out of a predetermined order. For example, two blocks or steps shown in succession may be performed substantially simultaneously or in reverse order, and in some cases, some blocks or steps may be omitted.
도 1은 본 발명의 일실시예에 따른 영상이 재생되는 화면에 전문 용어에 대한 참고 정보를 표시하는 전자 장치의 구조를 도시한 도면이다.FIG. 1 is a diagram showing the structure of an electronic device displaying reference information on technical terms on a screen on which an image is reproduced according to an embodiment of the present invention.
도 1을 참조하면, 영상이 재생되는 화면에 전문 용어에 대한 참고 정보를 표시하는 전자 장치(110)는 전문 용어 사전 데이터베이스(111), 자막 표시부(112), 이벤트 발생부(113), 제1 자막 확인부(114), 제2 자막 확인부(115), 단어 추출부(116) 및 참고 정보 표시부(117)를 포함한다.Referring to FIG. 1 , an
전문 용어 사전 데이터베이스(111)에는 사전 지정된 복수의 전문 용어들이 저장되어 있다. A plurality of predefined technical terms are stored in the technical
예컨대, 사전 지정된 복수의 전문 용어들을 '전문 용어 1, 전문 용어 2, 전문 용어 3, 전문 용어 4, 전문 용어 5'라고 하는 경우, 전문 용어 사전 데이터베이스(111)에는 하기의 표 1과 같이, 상기 복수의 전문 용어들이 저장되어 있을 수 있다. For example, when a plurality of predefined technical terms are referred to as 'technical term 1, technical term 2, technical term 3, technical term 4, and technical term 5', the technical
자막 표시부(112)는 영상 스트리밍(streaming) 서버(130)로부터, 스트리밍 방식으로 제1 영상 데이터가 수신됨에 따라, 전자 장치(110)에서 상기 제1 영상 데이터가 재생되기 시작하면, 사전 구축된 음성 인식 모델을 통해 전자 장치(110)에서 재생되는 상기 제1 영상 데이터에 대한 음성 인식을 수행함으로써 자막을 생성하고, 생성된 자막을 화면 상에 표시한다. When the first video data is received in a streaming manner from the
이벤트 발생부(113)는 사전 설정된 제1 재생 시간 간격으로, 전문 용어에 대한 참고 정보를 화면 상에 표시하기 위한 참고 정보 표시 이벤트를 발생시킨다. The
제1 자막 확인부(114)는 이벤트 발생부(113)에 의해 상기 참고 정보 표시 이벤트가 발생되면, 상기 참고 정보 표시 이벤트가 발생된 시점으로부터 상기 제1 재생 시간 동안 자막 표시부(112)를 통해 생성되는 제1 자막에서, 상기 복수의 전문 용어들과 일치하는 전문 용어가 존재하는지 여부를 확인한다. When the reference information display event is generated by the
제2 자막 확인부(115)는 제1 자막 확인부(114)에 의해 상기 제1 자막에서 상기 복수의 전문 용어들과 일치하는 전문 용어로, 제1 전문 용어가 존재하는 것으로 확인되면, 상기 제1 영상 데이터의 최초 재생 시점으로부터 상기 참고 정보 표시 이벤트가 발생된 시점까지 생성되었던 제2 자막에서, 상기 제1 전문 용어가 존재하는지 여부를 확인한다. The second
단어 추출부(116)는 제2 자막 확인부(115)에 의해 상기 제2 자막의 제1 지점에서 상기 제1 전문 용어가 존재하는 것으로 확인되면, 상기 제2 자막에서 상기 제1 지점을 기준으로, 상기 제1 지점의 전단과 후단 각각에 존재하는 단어들을 n(n은 자연수임)개씩 추출함으로써, 총 2n개의 단어들을 추출한다. When it is determined that the first technical term exists at the first point of the second caption by the second
이하에서는, 이벤트 발생부(113), 제1 자막 확인부(114), 제2 자막 확인부(115) 및 단어 추출부(116)의 동작을 예를 들어, 상세히 설명하기로 한다.Hereinafter, operations of the
먼저, 전술한 예와 같이, 전문 용어 사전 데이터베이스(111)에는 상기 표 1과 같은 복수의 전문 용어들이 저장되어 있고, 영상 스트리밍 서버(130)로부터 스트리밍 방식으로 제1 영상 데이터가 수신됨에 따라, 전자 장치(110)에서 상기 제1 영상 데이터가 재생되기 시작하였다고 하며, 자막 표시부(112)에 의해, 상기 제1 영상 데이터에 대한 음성 인식이 수행됨에 따라, 자막이 생성되기 시작하였다고 가정하자.First, as in the above example, a plurality of technical terms as shown in Table 1 are stored in the technical
이때, 사전 설정된 제1 재생 시간을 '10초'라고 하는 경우, 이벤트 발생부(113)는 '10초' 간격으로, 전문 용어에 대한 참고 정보를 화면 상에 표시하기 위한 참고 정보 표시 이벤트를 발생시킬 수 있다. At this time, when the preset first playback time is set to '10 seconds', the
그러면, 제1 자막 확인부(114)는 상기 참고 정보 표시 이벤트가 발생된 시점으로부터 '10초' 동안 자막 표시부(112)를 통해 생성되는 제1 자막에서, '전문 용어 1, 전문 용어 2, 전문 용어 3, 전문 용어 4, 전문 용어 5'와 일치하는 전문 용어가 존재하는지 여부를 확인할 수 있다. Then, in the first caption generated through the
관련해서, 상기 참고 정보 표시 이벤트가 발생된 시점을 '상기 제1 영상 데이터의 최초 재생 시점으로부터 30초가 지난 시점'이라고 하는 경우, 제1 자막 확인부(114)는 '상기 제1 영상 데이터의 최초 재생 시점으로부터 30초가 지난 시점'으로부터 '10초' 동안 자막 표시부(112)를 통해 생성되는 제1 자막에서, '전문 용어 1, 전문 용어 2, 전문 용어 3, 전문 용어 4, 전문 용어 5'와 일치하는 전문 용어가 존재하는지 여부를 확인할 수 있다. In this regard, when the reference information display event occurs is 'the point at which 30 seconds have elapsed from the first reproduction of the first image data', the first
그 결과, 상기 제1 자막에서 '전문 용어 1, 전문 용어 2, 전문 용어 3, 전문 용어 4, 전문 용어 5'와 일치하는 전문 용어로, '전문 용어 3'이 존재하는 것으로 확인되었다고 하는 경우, 제2 자막 확인부(115)는 '상기 제1 영상 데이터의 최초 재생 시점으로부터 30초가 지난 시점'까지 생성되었던 제2 자막에서, '전문 용어 3'이 존재하는지 여부를 확인할 수 있다. As a result, if it is confirmed that 'technical term 3' exists as a technical term matching 'technical term 1, technical term 2, technical term 3, technical term 4, technical term 5' in the first subtitle, The second
이때, n을 '3'이라고 하고, 제2 자막 확인부(115)에 의해 상기 제2 자막에서 '전문 용어 3'이 존재하는 지점으로, '상기 제1 영상 데이터의 최초 재생 시점으로부터 11초가 지난 시점'의 '지점 1'이 확인되었다고 하는 경우, 단어 추출부(116)는 '지점 1'을 기준으로, '지점 1'의 전단과 후단 각각에 존재하는 단어를 '3'개씩 추출함으로써, 총 '6'개의 단어들을 추출할 수 있다. In this case, n is set to '3', and the point at which 'technical term 3' exists in the second caption by the second
한편, 경우에 따라서는, 상기 제2 자막에서 상기 제1 전문 용어가 존재하는 지점이 둘 이상일 수 있다. 이러한 경우에, 본 발명의 일실시예에 따르면, 단어 추출부(116)는 상기 제2 자막에서의 둘 이상의 지점들 중 어느 하나의 지점을 기준으로 하여 총 2n개의 단어들을 추출할 수 있다.Meanwhile, in some cases, there may be two or more points where the first terminology exists in the second caption. In this case, according to an embodiment of the present invention, the
이와 관련해서, 본 발명의 일실시예에 따르면, 단어 추출부(116)는 상기 제2 자막에서 상기 제1 전문 용어가 존재하는 지점이 둘 이상인 것으로 확인되는 경우, 상기 제1 전문 용어가 존재하는 상기 제2 자막에서의 둘 이상의 지점들 중 상기 참고 정보 표시 이벤트가 발생된 시점에 가장 근접한 시점의 지점을 상기 제1 지점으로 선별한 후 상기 제1 지점을 기준으로, 상기 제1 지점의 전단과 후단 각각에 존재하는 단어들을 n개씩 추출함으로써, 총 2n개의 단어들을 추출할 수 있다. In this regard, according to an embodiment of the present invention, the
예컨대, 전술한 예와 같이, n을 '3'이라고 하고, 제1 자막 확인부(114)에 의해 상기 제1 자막에서 '전문 용어 3'이 존재하는 것으로 확인되었다고 하며, 이에 따라, 제2 자막 확인부(115)가 상기 제2 자막에서 '전문 용어 3'이 존재하는지 여부를 확인한 결과, 상기 제2 자막에서 '전문 용어 3'이 존재하는 지점으로, '상기 제1 영상 데이터의 최초 재생 시점으로부터 11초가 지난 시점'의 '지점 1'과 '상기 제1 영상 데이터의 최초 재생 시점으로부터 24초가 지난 시점'의 '지점 2'가 확인되었다고 가정하자.For example, as in the above example, let n be '3', and it is confirmed that 'technical term 3' exists in the first caption by the first
이때, '지점 1, 지점 2' 중 상기 참고 정보 표시 이벤트가 발생된 시점인 '상기 제1 영상 데이터의 최초 재생 시점으로부터 30초가 지난 시점'에 가장 근접한 시점의 지점은 '지점 2'이므로, 단어 추출부(116)는 '지점 2'를 상기 제1 지점으로 선별할 수 있다. At this time, among 'points 1 and 2', the point closest to 'the point at which 30 seconds have elapsed from the first playback of the first image data', which is the time at which the reference information display event occurred, is 'point 2', so the word The
그 이후, 단어 추출부(116)는 '지점 2'를 기준으로, '지점 2'의 전단과 후단 각각에 존재하는 단어를 '3'개씩 추출함으로써, 총 '6'개의 단어들을 추출할 수 있다. After that, the
이렇게, 단어 추출부(116)에 의해 상기 2n개의 단어들이 추출되면, 참고 정보 표시부(117)는 상기 2n개의 단어들을 상기 제1 전문 용어에 대한 참고 정보인 것으로 화면 상에 표시한다.In this way, when the 2n words are extracted by the
예컨대, 전술한 예와 같이, n을 '3'이라고 하고, 단어 추출부(116)에 의해 총 '6'개의 단어들이 추출되었다고 하는 경우, 참고 정보 표시부(117)는 상기 '6'개의 단어들을 '전문 용어 3'에 대한 참고 정보인 것으로 화면 상에 표시할 수 있다. For example, as in the above example, when n is set to '3' and a total of '6' words are extracted by the
또한, 본 발명의 일실시예에 따르면, 전자 장치(110)는 전자 장치(110)에서 상기 제1 영상 데이터가 재생되는 도중, 사용자(140)가 제1 질의 문장을 입력하면, 제1 질의 문장에 대한 답변 정보가 포함된 적어도 하나의 제1 답변 자막을 화면 상에 표시하는 기능을 추가로 지원할 수 있다.Further, according to an embodiment of the present invention, when the
이와 관련해서, 본 발명의 일실시예에 따르면, 전자 장치(110)는 부분 자막 생성부(118), 부분 자막 추출부(119), 답변 자막 선택부(120) 및 답변 자막 표시부(121)를 더 포함할 수 있다.In this regard, according to an embodiment of the present invention, the
부분 자막 생성부(118)는 자막 표시부(112)에 의해 상기 제1 영상 데이터에 대한 자막이 생성되기 시작하면, 생성된 자막을 사전 설정된 제2 재생 시간 간격으로 분리함으로써, 부분 자막을 생성한 후 생성된 부분 자막을 부분 자막 테이블에 기록한다. When the
부분 자막 추출부(119)는 전자 장치(110)에서 상기 제1 영상 데이터가 재생되는 도중, 제1 재생 시점에서 사용자(140)에 의해, 제1 질의 문장이 입력되면서, 상기 제1 질의 문장에 대응되는 답변 정보가 포함된 답변 자막을 화면 상에 표시할 것을 지시하는 답변 자막 표시 명령이 인가되면, 상기 부분 자막 테이블로부터, 상기 제1 재생 시점까지 상기 부분 자막 테이블 상에 기록 완료된 복수의 부분 자막들을 추출한다. While the first video data is being reproduced in the
이하에서는, 부분 자막 생성부(118) 및 부분 자막 추출부(119)의 동작을 예를 들어, 상세히 설명하기로 한다.Hereinafter, operations of the partial
먼저, 전술한 예와 같이, 영상 스트리밍 서버(130)로부터 스트리밍 방식으로 제1 영상 데이터가 수신됨에 따라, 전자 장치(110)에서 상기 제1 영상 데이터가 재생되기 시작하였다고 하고, 자막 표시부(112)에 의해, 상기 제1 영상 데이터에 대한 음성 인식이 수행됨에 따라, 상기 제1 영상 데이터에 대한 자막이 생성되기 시작하였다고 가정하자. First, as in the above example, as the first video data is received in a streaming manner from the
이때, 사전 설정된 제2 재생 시간 간격을 '5초'라고 하는 경우, 부분 자막 생성부(118)는 자막 표시부(112)에 의해 생성된 자막을 '5초' 간격으로 분리함으로써, 부분 자막을 생성한 후 생성된 부분 자막을 하기의 표 2와 같은 부분 자막 테이블에 기록할 수 있다. In this case, when the preset second playback time interval is '5 seconds', the
이렇게, 전자 장치(110)에서 상기 제1 영상 데이터가 재생되는 도중, '상기 제1 영상 데이터의 최초 재생 시점으로부터 26초가 지난 시점'에서 사용자(140)에 의해, 제1 질의 문장이 입력되면서, 상기 제1 질의 문장에 대응되는 답변 정보가 포함된 답변 자막을 화면 상에 표시할 것을 지시하는 답변 자막 표시 명령이 인가되었다고 가정하자.In this way, while the first image data is being reproduced in the
그러면, 부분 자막 추출부(119)는 상기 표 2와 같은 부분 자막 테이블로부터, '상기 제1 영상 데이터의 최초 재생 시점으로부터 26초가 지난 시점'까지 상기 표 2와 같은 부분 자막 테이블 상에 기록 완료된 복수의 부분 자막들을 추출할 수 있다.Then, the
관련해서, 부분 자막 생성부(118)에 의해 상기 제1 영상 데이터의 최초 재생 시점으로부터 26초가 지난 시점'까지 상기 표 2와 같은 부분 자막 테이블 상에, '부분 자막 1, 부분 자막 2, 부분 자막 3, 부분 자막 4, 부분 자막 5'가 기록 완료되었다고 하는 경우, 부분 자막 추출부(119)는 상기 표 2와 같은 부분 자막 테이블로부터, '부분 자막 1, 부분 자막 2, 부분 자막 3, 부분 자막 4, 부분 자막 5'를 추출할 수 있다. In relation to this, 'partial caption 1, partial caption 2, partial caption' are displayed on the partial caption table as shown in Table 2 until 26 seconds after the first reproduction of the first image data by the
이렇게, 부분 자막 추출부(119)에 의해 상기 복수의 부분 자막들이 추출되면, 답변 자막 선택부(120)는 상기 복수의 부분 자막들 중 상기 제1 질의 문장에 대응되는 답변 정보가 포함된 적어도 하나의 제1 답변 자막을 선택한다. In this way, when the plurality of partial captions are extracted by the
이때, 본 발명의 일실시예에 따르면, 답변 자막 선택부(120)는 상기 복수의 부분 자막들 중 상기 적어도 하나의 제1 답변 자막을 선택하기 위한 구체적인 구성으로, 사전 데이터베이스(122), 검색 키워드 선택부(123) 및 자막 선택 처리부(124)를 포함할 수 있다. At this time, according to an embodiment of the present invention, the
사전 데이터베이스(122)에는 사전 지정된 복수의 단어들이 저장되어 있다.A plurality of pre-specified words are stored in the
예컨대, 사전 지정된 복수의 단어들을 '단어 1, 단어 2, 단어 3, 단어 4, 단어 5'라고 하는 경우, 사전 데이터베이스(122)에는 하기의 표 3과 같이, 상기 복수의 단어들이 저장되어 있을 수 있다. For example, when a plurality of predefined words are referred to as 'word 1, word 2, word 3, word 4, and word 5', the plurality of words may be stored in the
검색 키워드 선택부(123)는 상기 제1 질의 문장에서 상기 복수의 단어들과 일치하는 단어가 존재하는지 여부를 확인하여, 상기 제1 질의 문장으로부터 상기 복수의 단어들과 일치하는 적어도 하나의 단어를 검색 키워드로 선택한다. The
자막 선택 처리부(124)는 검색 키워드 선택부(123)에 의해 상기 적어도 하나의 단어가 검색 키워드로 선택되면, 상기 복수의 부분 자막들 중에서, 상기 적어도 하나의 단어를 하나 이상 포함하고 있는 것으로 확인되는 부분 자막을 상기 제1 질의 문장에 대응되는 답변 정보가 포함된 상기 적어도 하나의 제1 답변 자막으로 선택한다. When the at least one word is selected as a search keyword by the search
이하에서는, 검색 키워드 선택부(123) 및 자막 선택 처리부(124)의 동작을 예를 들어, 상세히 설명하기로 한다.Hereinafter, operations of the search
먼저, 전술한 예와 같이, 부분 자막 추출부(119)에 의해 상기 표 2와 같은 부분 자막 테이블로부터, '부분 자막 1, 부분 자막 2, 부분 자막 3, 부분 자막 4, 부분 자막 5'가 추출되었다고 가정하자. First, as in the above example, 'partial caption 1, partial caption 2, partial caption 3, partial caption 4, partial caption 5' are extracted from the partial caption table shown in Table 2 by the
그러면, 검색 키워드 선택부(123)는 상기 제1 질의 문장에서 상기 복수의 단어들인 '단어 1, 단어 2, 단어 3, 단어 4, 단어 5'와 일치하는 단어가 존재하는지 여부를 확인할 수 있다. Then, the search
그 결과, 상기 제1 질의 문장에서 '단어 1, 단어 2, 단어 3, 단어 4, 단어 5' 중 '단어 1, 단어 3, 단어 4'와 일치하는 단어가 존재하는 것으로 확인되었다고 하는 경우, 검색 키워드 선택부(123)는 상기 제1 질의 문장으로부터 '단어 1, 단어 3, 단어 4'를 검색 키워드로 선택할 수 있다. As a result, when it is confirmed that words matching 'word 1, word 3, and word 4' among 'word 1, word 2, word 3, word 4, and word 5' in the first query sentence exist, search The
그러면, 자막 선택 처리부(124)는 '부분 자막 1, 부분 자막 2, 부분 자막 3, 부분 자막 4, 부분 자막 5' 중에서, '단어 1, 단어 3, 단어 4'를 하나 이상 포함하고 있는 것으로 확인되는 자막을 상기 제1 질의 문장에 대응되는 답변 정보가 포함된 상기 적어도 하나의 제1 답변 자막으로 선택할 수 있다. Then, the
관련해서, 자막 선택 처리부(124)가 '부분 자막 1, 부분 자막 2, 부분 자막 3, 부분 자막 4, 부분 자막 5' 각각에 대해, '단어 1, 단어 3, 단어 4'를 하나 이상 포함하고 있는지 여부를 확인한 결과, '부분 자막 1, 부분 자막 2, 부분 자막 3, 부분 자막 4, 부분 자막 5' 중 '부분 자막 2, 부분 자막 5'에, '단어 1, 단어 3, 단어 4'가 하나 이상 포함되어 있는 것으로 확인되었다고 하는 경우, 자막 선택 처리부(120)는 '부분 자막 2, 부분 자막 5'를 상기 제1 질의 문장에 대응되는 답변 정보가 포함된 상기 적어도 하나의 제1 답변 자막으로 선택할 수 있다. In this regard, the
이렇게, 답변 자막 선택부(120)에 의해 상기 적어도 하나의 제1 답변 자막이 선택되면, 답변 자막 표시부(121)는 상기 적어도 하나의 제1 답변 자막을 화면 상에 표시할 수 있다. In this way, when the at least one first answer caption is selected by the
예컨대, 전술한 예와 같이, 답변 자막 선택부(120)에 의해 '부분 자막 2, 부분 자막 5'가 상기 적어도 하나의 제1 답변 자막으로 선택되었다고 하는 경우, 답변 자막 표시부(121)는 '부분 자막 2, 부분 자막 5'를 화면 상에 표시할 수 있다. For example, as in the above example, when it is assumed that 'partial caption 2 and partial caption 5' are selected as the at least one first answer caption by the
한편, 상황에 따라서는, 사용자(140)가 입력한 상기 제1 질의 문장의 언어가 상기 제1 영상 데이터의 언어와 상이한 외국어일 수 있다. 이러한 경우에, 본 발명의 일실시예에 따르면, 전자 장치(110)는 상기 적어도 하나의 제1 답변 자막을, 상기 제1 질의 문장의 언어와 동일한 언어로 번역하여 화면 상에 표시하는 기능을 추가로 지원할 수 있다. Meanwhile, depending on circumstances, the language of the first query sentence input by the
이와 관련해서, 본 발명의 일실시예에 따르면, 상기 제1 영상 데이터는 사전 설정된 기본 언어의 음성으로 더빙된 영상 데이터로서, 부분 자막 생성부(118)는 상기 제1 영상 데이터에 대한 자막이 생성되기 시작하면, 생성된 자막을 상기 제2 재생 시간 간격으로 분리함으로써, 상기 기본 언어로 구성된 부분 자막을 생성한 후 생성된 부분 자막을 상기 부분 자막 테이블에 기록할 수 있다. In this regard, according to an embodiment of the present invention, the first video data is video data dubbed with audio in a preset basic language, and the
예컨대, 상기 기본 언어를 '한국어'라고 하는 경우, 상기 제1 영상 데이터는 '한국어'의 음성으로 더빙된 영상 데이터일 수 있다. For example, when the default language is 'Korean', the first video data may be video data dubbed with the voice of 'Korean'.
또한, 전술한 예와 같이, 상기 제2 재생 시간을 '5초'라고 하는 경우, 부분 자막 생성부(118)는 자막 표시부(112)에 의해 상기 제1 영상 데이터에 대한 자막이 생성되기 시작하면, 생성된 자막을 '5초' 간격으로 분리함으로써, '한국어'로 구성된 부분 자막을 생성한 후 생성된 부분 자막을 상기 부분 자막 테이블에 기록할 수 있다. In addition, as in the above example, when the second playback time is set to '5 seconds', the
이때, 부분 자막 추출부(119)는 언어 감지부(125), 번역 처리부(126) 및 추출 처리부(127)를 포함할 수 있다. In this case, the partial
언어 감지부(125)는 전자 장치(110)에서 상기 제1 영상 데이터가 재생되는 도중, 상기 제1 재생 시점에서 사용자(140)에 의해, 상기 제1 질의 문장이 입력되면서, 상기 답변 자막 표시 명령이 인가되면, 상기 부분 자막 테이블로부터 상기 복수의 부분 자막들을 추출하기 전에, 사전 구축된 언어 감지 엔진을 통해, 상기 제1 질의 문장의 언어를 감지한다.While the first image data is being reproduced in the
번역 처리부(126)는 언어 감지부(125)에 의해 상기 제1 질의 문장의 언어가, 상기 기본 언어와 상이한 제1 외국어인 것으로 감지되면, 상기 제1 질의 문장을 사전 구축된 번역 엔진을 통해, 상기 기본 언어로 번역한다. When the
추출 처리부(127)는 번역 처리부(126)에 의해 상기 제1 질의 문장이 상기 기본 언어로 번역 완료되면, 상기 부분 자막 테이블로부터, 상기 제1 재생 시점까지 상기 부분 자막 테이블 상에 기록 완료된 상기 복수의 부분 자막들을 추출한다. When the translation of the first query sentence into the default language is completed by the
이하에서는, 언어 감지부(125), 번역 처리부(126) 및 추출 처리부(127)의 동작을 예를 들어, 상세히 설명하기로 한다.Hereinafter, operations of the
먼저, 전술한 예와 같이, 부분 자막 생성부(118)에 의해, '한국어'로 구성된 부분 자막이 생성된 후 생성된 부분 자막이 상기 부분 자막 테이블에 기록되었다고 가정하자. First, as in the above-described example, it is assumed that a partial caption composed of 'Korean' is generated by the partial
또한, 전술한 예와 같이, 상기 제1 재생 시점을 '상기 제1 영상 데이터의 최초 재생 시점으로부터 26초가 지난 시점'이라고 하고, 전자 장치(110)에서 상기 제1 영상 데이터가 재생되는 도중, '상기 제1 영상 데이터의 최초 재생 시점으로부터 26초가 지난 시점'에서 사용자(140)에 의해, 상기 제1 질의 문장이 입력되면서, 상기 답변 자막 표시 명령이 인가되었다고 가정하자. In addition, as in the above example, when the first playback time is set as 'the point at which 26 seconds have elapsed from the first playback time of the first image data', and while the first video data is being reproduced in the
그러면, 언어 감지부(125)는 상기 부분 자막 테이블로부터 상기 복수의 부분 자막들을 추출하기 전에, 사전 구축된 언어 감지 엔진을 통해, 상기 제1 질의 문장의 언어를 감지할 수 있다. Then, the
그 결과, 상기 제1 질의 문장의 언어가 '영어'인 것으로 감지되었다고 하는 경우, '영어'는 상기 기본 언어인 '한국어'와 상이하므로, 번역 처리부(126)는 상기 제1 질의 문장을 사전 구축된 번역 엔진을 통해, '한국어'로 번역할 수 있다.As a result, when it is detected that the language of the first query sentence is 'English', since 'English' is different from the basic language 'Korean', the
그러고 나서, 추출 처리부(127)는 상기 부분 자막 테이블로부터, '상기 제1 영상 데이터의 최초 재생 시점으로부터 26초가 지난 시점'까지 상기 부분 자막 테이블 상에 기록 완료된 상기 복수의 부분 자막들을 추출할 수 있다. Then, the
이렇게, 부분 자막 추출부(119)에 의해 상기 복수의 부분 자막들이 추출되면, 답변 자막 선택부(120)는 상기 복수의 부분 자막들 중 상기 기본 언어로 번역된 상기 제1 질의 문장에 대응되는 답변 정보가 포함된 상기 적어도 하나의 제1 답변 자막을 선택할 수 있다. In this way, when the plurality of partial captions are extracted by the
답변 자막 표시부(121)는 답변 자막 선택부(120)에 의해 상기 적어도 하나의 제1 답변 자막이 선택되면, 상기 적어도 하나의 제1 답변 자막을 상기 번역 엔진을 통해, 상기 제1 외국어로 번역한 후, 상기 제1 외국어로 번역된 상기 적어도 하나의 제1 답변 자막을 화면 상에 표시할 수 있다. When the at least one first answer caption is selected by the
이하에서는, 답변 자막 선택부(120) 및 답변 자막 표시부(121)의 동작을 예를 들어, 상세히 설명하기로 한다. Hereinafter, operations of the answer
먼저, 전술한 예와 같이, 상기 기본 언어를 '한국어'라고 하고, 언어 감지부(125)에 의해 상기 제1 질의 문장의 언어가 '영어'인 것으로 감지됨에 따라, 번역 처리부(126)에 의해 상기 제1 질의 문장이 '한국어'로 번역되었다고 하고, 그 이후, 추출 처리부(127)에 의해 상기 복수의 부분 자막들이 추출되었다고 가정하자. First, as in the above example, when the basic language is set to 'Korean' and the language of the first query sentence is detected by the
그러면, 답변 자막 선택부(120)는 상기 복수의 부분 자막들 중 '한국어'로 번역된 상기 제1 질의 문장에 대응되는 답변 정보가 포함된 상기 적어도 하나의 제1 답변 자막을 선택할 수 있다. Then, the
그러고 나서, 답변 자막 표시부(121)는 상기 적어도 하나의 제1 답변 자막을 상기 번역 엔진을 통해, '영어'로 번역한 후, '영어'로 번역된 상기 적어도 하나의 제1 답변 자막을 화면 상에 표시할 수 있다. Then, the answer
도 2는 본 발명의 일실시예에 따른 영상이 재생되는 화면에 전문 용어에 대한 참고 정보를 표시하는 전자 장치의 동작 방법을 도시한 순서도이다.2 is a flowchart illustrating an operating method of an electronic device displaying reference information on technical terms on a screen on which an image is reproduced according to an embodiment of the present invention.
단계(S210)에서는 사전 지정된 복수의 전문 용어들이 저장되어 있는 전문 용어 사전 데이터베이스를 유지한다. In step S210, a technical term dictionary database in which a plurality of predefined technical terms are stored is maintained.
단계(S220)에서는 영상 스트리밍 서버로부터, 스트리밍 방식으로 제1 영상 데이터가 수신됨에 따라, 상기 전자 장치에서 상기 제1 영상 데이터가 재생되기 시작하면, 사전 구축된 음성 인식 모델을 통해 상기 전자 장치에서 재생되는 상기 제1 영상 데이터에 대한 음성 인식을 수행함으로써 자막을 생성하고, 생성된 자막을 화면 상에 표시한다. In step S220, when the first video data is received in a streaming manner from the video streaming server and the electronic device starts playing the first video data, the electronic device reproduces the first video data through a pre-built voice recognition model. A caption is generated by performing voice recognition on the first video data, and the generated caption is displayed on a screen.
단계(S230)에서는 사전 설정된 제1 재생 시간 간격으로, 전문 용어에 대한 참고 정보를 화면 상에 표시하기 위한 참고 정보 표시 이벤트를 발생시킨다. In step S230, a reference information display event for displaying reference information on technical terms on the screen is generated at a first playback time interval set in advance.
단계(S240)에서는 상기 참고 정보 표시 이벤트가 발생되면, 상기 참고 정보 표시 이벤트가 발생된 시점으로부터 상기 제1 재생 시간 동안 단계(S220)를 통해 생성되는 제1 자막에서, 상기 복수의 전문 용어들과 일치하는 전문 용어가 존재하는지 여부를 확인한다.In step S240, when the reference information display event occurs, in the first subtitle generated through step S220 during the first playback time from the time when the reference information display event occurs, the plurality of technical terms and Check whether a matching terminology exists.
단계(S250)에서는 상기 제1 자막에서 상기 복수의 전문 용어들과 일치하는 전문 용어로, 제1 전문 용어가 존재하는 것으로 확인되면, 상기 제1 영상 데이터의 최초 재생 시점으로부터 상기 참고 정보 표시 이벤트가 발생된 시점까지 생성되었던 제2 자막에서, 상기 제1 전문 용어가 존재하는지 여부를 확인한다. In step S250, if it is determined that a first technical term exists as a technical term matching the plurality of technical terms in the first subtitle, the reference information display event from the first playback time of the first image data It is checked whether the first terminology exists in the second caption that has been created up to the time of occurrence.
단계(S260)에서는 상기 제2 자막의 제1 지점에서 상기 제1 전문 용어가 존재하는 것으로 확인되면, 상기 제2 자막에서 상기 제1 지점을 기준으로, 상기 제1 지점의 전단과 후단 각각에 존재하는 단어들을 n(n은 자연수임)개씩 추출함으로써, 총 2n개의 단어들을 추출한다. In step S260, if it is confirmed that the first technical term exists at the first point of the second caption, it is present at the front and rear ends of the first point, respectively, based on the first point in the second caption. By extracting n words (where n is a natural number), a total of 2n words are extracted.
단계(S270)에서는 상기 2n개의 단어들을 상기 제1 전문 용어에 대한 참고 정보인 것으로 화면 상에 표시한다.In step S270, the 2n words are displayed on the screen as reference information for the first terminology.
이때, 본 발명의 일실시예에 따르면, 단계(S260)에서는 상기 제2 자막에서 상기 제1 전문 용어가 존재하는 지점이 둘 이상인 것으로 확인되는 경우, 상기 제1 전문 용어가 존재하는 상기 제2 자막에서의 둘 이상의 지점들 중 상기 참고 정보 표시 이벤트가 발생된 시점에 가장 근접한 시점의 지점을 상기 제1 지점으로 선별한 후 상기 제1 지점을 기준으로, 상기 제1 지점의 전단과 후단 각각에 존재하는 단어들을 n개씩 추출함으로써, 총 2n개의 단어들을 추출할 수 있다. In this case, according to one embodiment of the present invention, in step S260, if it is confirmed that there are two or more points where the first technical term exists in the second caption, the second caption where the first technical term exists. Among two or more points in , a point at a time point closest to a time point at which the reference information display event occurs is selected as the first point, and then, based on the first point, it is present at the front and rear ends of the first point, respectively. By extracting n words each, a total of 2n words can be extracted.
또한, 본 발명의 일실시예에 따르면, 상기 전자 장치의 동작 방법은 단계(S220)에 의해 상기 제1 영상 데이터에 대한 자막이 생성되기 시작하면, 생성된 자막을 사전 설정된 제2 재생 시간 간격으로 분리함으로써, 부분 자막을 생성한 후 생성된 부분 자막을 부분 자막 테이블에 기록하는 단계, 상기 전자 장치에서 상기 제1 영상 데이터가 재생되는 도중, 제1 재생 시점에서 사용자에 의해, 제1 질의 문장이 입력되면서, 상기 제1 질의 문장에 대응되는 답변 정보가 포함된 답변 자막을 화면 상에 표시할 것을 지시하는 답변 자막 표시 명령이 인가되면, 상기 부분 자막 테이블로부터, 상기 제1 재생 시점까지 상기 부분 자막 테이블 상에 기록 완료된 복수의 부분 자막들을 추출하는 단계, 상기 복수의 부분 자막들이 추출되면, 상기 복수의 부분 자막들 중 상기 제1 질의 문장에 대응되는 답변 정보가 포함된 적어도 하나의 제1 답변 자막을 선택하는 단계 및 상기 적어도 하나의 제1 답변 자막이 선택되면, 상기 적어도 하나의 제1 답변 자막을 화면 상에 표시하는 단계를 더 포함할 수 있다. Further, according to an embodiment of the present invention, in the operating method of the electronic device, when the caption for the first image data starts to be generated in step S220, the generated caption is displayed at a preset second playback time interval. Generating partial captions by separating, and then recording the generated partial captions in a partial caption table, while the first image data is being reproduced in the electronic device, a first query sentence is sent by a user at a first reproduction time point. When an answer caption display command instructing to display an answer caption including answer information corresponding to the first question sentence is applied on the screen, the partial caption is displayed from the partial caption table to the first reproduction time point. Extracting a plurality of partial captions that have been recorded on a table; when the plurality of partial captions are extracted, at least one first answer caption including answer information corresponding to the first question sentence among the plurality of partial captions The method may further include selecting and displaying the at least one first answer caption on a screen when the at least one first answer caption is selected.
이때, 본 발명의 일실시예에 따르면, 상기 적어도 하나의 제1 답변 자막을 선택하는 단계는 사전 지정된 복수의 단어들이 저장되어 있는 사전 데이터베이스를 유지하는 단계, 상기 제1 질의 문장에서 상기 복수의 단어들과 일치하는 단어가 존재하는지 여부를 확인하여, 상기 제1 질의 문장으로부터 상기 복수의 단어들과 일치하는 적어도 하나의 단어를 검색 키워드로 선택하는 단계 및 상기 적어도 하나의 단어가 검색 키워드로 선택되면, 상기 복수의 부분 자막들 중에서, 상기 적어도 하나의 단어를 하나 이상 포함하고 있는 것으로 확인되는 부분 자막을 상기 제1 질의 문장에 대응되는 답변 정보가 포함된 상기 적어도 하나의 제1 답변 자막으로 선택하는 단계를 포함할 수 있다. At this time, according to an embodiment of the present invention, the selecting of the at least one first answer caption includes maintaining a dictionary database in which a plurality of pre-specified words are stored, and the plurality of words in the first query sentence. selecting at least one word matching the plurality of words from the first query sentence as a search keyword by checking whether there is a word identical to Selecting, from among the plurality of partial captions, a partial caption that is confirmed to include one or more of the at least one word as the at least one first answer caption including answer information corresponding to the first question sentence. steps may be included.
또한, 본 발명의 일실시예에 따르면, 상기 제1 영상 데이터는 사전 설정된 기본 언어의 음성으로 더빙된 영상 데이터로서, 상기 생성된 부분 자막을 부분 자막 테이블에 기록하는 단계는 상기 제1 영상 데이터에 대한 자막이 생성되기 시작하면, 생성된 자막을 상기 제2 재생 시간 간격으로 분리함으로써, 상기 기본 언어로 구성된 부분 자막을 생성한 후 생성된 부분 자막을 상기 부분 자막 테이블에 기록할 수 있고, 상기 복수의 부분 자막들을 추출하는 단계는 상기 전자 장치에서 상기 제1 영상 데이터가 재생되는 도중, 상기 제1 재생 시점에서 상기 사용자에 의해, 상기 제1 질의 문장이 입력되면서, 상기 답변 자막 표시 명령이 인가되면, 상기 부분 자막 테이블로부터 상기 복수의 부분 자막들을 추출하기 전에, 사전 구축된 언어 감지 엔진을 통해, 상기 제1 질의 문장의 언어를 감지하는 단계, 상기 제1 질의 문장의 언어가, 상기 기본 언어와 상이한 제1 외국어인 것으로 감지되면, 상기 제1 질의 문장을 사전 구축된 번역 엔진을 통해, 상기 기본 언어로 번역하는 단계 및 상기 제1 질의 문장이 상기 기본 언어로 번역 완료되면, 상기 부분 자막 테이블로부터, 상기 제1 재생 시점까지 상기 부분 자막 테이블 상에 기록 완료된 상기 복수의 부분 자막들을 추출하는 단계를 포함할 수 있으며, 상기 적어도 하나의 제1 답변 자막을 선택하는 단계는 상기 복수의 부분 자막들이 추출되면, 상기 복수의 부분 자막들 중 상기 기본 언어로 번역된 상기 제1 질의 문장에 대응되는 답변 정보가 포함된 상기 적어도 하나의 제1 답변 자막을 선택할 수 있고, 상기 적어도 하나의 제1 답변 자막을 화면 상에 표시하는 단계는 상기 적어도 하나의 제1 답변 자막이 선택되면, 상기 적어도 하나의 제1 답변 자막을 상기 번역 엔진을 통해, 상기 제1 외국어로 번역한 후, 상기 제1 외국어로 번역된 상기 적어도 하나의 제1 답변 자막을 화면 상에 표시할 수 있다. In addition, according to an embodiment of the present invention, the first video data is video data dubbed with audio in a preset basic language, and the step of recording the generated partial captions in a partial caption table is performed on the first video data. When a subtitle for a subtitle starts to be generated, the generated subtitle may be separated by the second play time interval to generate a partial subtitle composed of the basic language and then record the generated partial subtitle table in the partial subtitle table. Extracting partial subtitles of is performed when the response caption display command is applied while the first query sentence is input by the user at the first playback time while the first image data is being reproduced in the electronic device. , Before extracting the plurality of partial captions from the partial caption table, detecting the language of the first query sentence through a pre-built language detection engine, wherein the language of the first query sentence is different from the default language. If it is detected that the first foreign language is different, translating the first query sentence into the default language through a pre-built translation engine; and when the translation of the first query sentence into the default language is completed, from the partial subtitle table. and extracting the plurality of partial captions that have been recorded on the partial caption table up to the first playback time, wherein the selecting of at least one first answer caption includes extracting the plurality of partial captions. , the at least one first answer caption including answer information corresponding to the first question sentence translated into the primary language may be selected from among the plurality of partial captions, and the at least one first answer caption may be selected. Displaying the at least one first answer subtitle on the screen may include, when the at least one first answer subtitle is selected, after translating the at least one first answer subtitle into the first foreign language through the translation engine, the translated subtitle into the first foreign language The at least one first answer caption may be displayed on the screen.
이상, 도 2를 참조하여 본 발명의 일실시예에 따른 영상이 재생되는 화면에 전문 용어에 대한 참고 정보를 표시하는 전자 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 영상이 재생되는 화면에 전문 용어에 대한 참고 정보를 표시하는 전자 장치의 동작 방법은 도 1을 이용하여 설명한 전자 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.In the above, with reference to FIG. 2 , an operating method of an electronic device displaying reference information on technical terms on a screen on which an image is reproduced according to an embodiment of the present invention has been described. Here, a method of operating an electronic device displaying reference information on technical terms on a screen on which an image is reproduced according to an embodiment of the present invention corresponds to the configuration of the operation of the
본 발명의 일실시예에 따른 영상이 재생되는 화면에 전문 용어에 대한 참고 정보를 표시하는 전자 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.An operating method of an electronic device displaying reference information on technical terms on a screen on which an image is reproduced according to an embodiment of the present invention may be implemented as a computer program stored in a storage medium for execution through a combination with a computer.
또한, 본 발명의 일실시예에 따른 영상이 재생되는 화면에 전문 용어에 대한 참고 정보를 표시하는 전자 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.In addition, an operating method of an electronic device displaying reference information on technical terms on a screen on which an image is reproduced according to an embodiment of the present invention is implemented in the form of computer program instructions to be executed through combination with a computer and is computer readable. can be recorded on media. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the medium may be those specially designed and configured for the present invention or those known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by specific details such as specific components and limited embodiments and drawings, but these are provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , Those skilled in the art in the field to which the present invention belongs can make various modifications and variations from these descriptions.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and it will be said that not only the claims to be described later, but also all modifications equivalent or equivalent to these claims belong to the scope of the present invention. .
110: 영상이 재생되는 화면에 전문 용어에 대한 참고 정보를 표시하는 전자 장치
111: 전문 용어 사전 데이터베이스 112: 자막 표시부
113: 이벤트 발생부 114: 제1 자막 확인부
115: 제2 자막 확인부 116: 단어 추출부
117: 참고 정보 표시부 118: 부분 자막 생성부
119: 부분 자막 추출부 120: 답변 자막 선택부
121: 답변 자막 표시부 122: 사전 데이터베이스
123: 검색 키워드 선택부 124: 자막 선택 처리부
125: 언어 감지부 126: 번역 처리부
127: 추출 처리부
130: 영상 스트리밍 서버
140: 사용자110: Electronic device displaying reference information on technical terms on a screen on which an image is played
111: technical term dictionary database 112: subtitle display unit
113: event generation unit 114: first subtitle check unit
115: second subtitle verification unit 116: word extraction unit
117: reference information display unit 118: partial subtitle generation unit
119: partial subtitle extraction unit 120: response subtitle selection unit
121: answer subtitle display unit 122: dictionary database
123: search keyword selection unit 124: subtitle selection processing unit
125: language detection unit 126: translation processing unit
127: extraction processing unit
130: video streaming server
140: user
Claims (12)
사전 지정된 복수의 전문 용어들이 저장되어 있는 전문 용어 사전 데이터베이스;
영상 스트리밍(streaming) 서버로부터, 스트리밍 방식으로 제1 영상 데이터가 수신됨에 따라, 상기 전자 장치에서 상기 제1 영상 데이터가 재생되기 시작하면, 사전 구축된 음성 인식 모델을 통해 상기 전자 장치에서 재생되는 상기 제1 영상 데이터에 대한 음성 인식을 수행함으로써 자막을 생성하고, 생성된 자막을 화면 상에 표시하는 자막 표시부;
사전 설정된 제1 재생 시간 간격으로, 전문 용어에 대한 참고 정보를 화면 상에 표시하기 위한 참고 정보 표시 이벤트를 발생시키는 이벤트 발생부;
상기 참고 정보 표시 이벤트가 발생되면, 상기 참고 정보 표시 이벤트가 발생된 시점으로부터 상기 제1 재생 시간 동안 상기 자막 표시부를 통해 생성되는 제1 자막에서, 상기 복수의 전문 용어들과 일치하는 전문 용어가 존재하는지 여부를 확인하는 제1 자막 확인부;
상기 제1 자막에서 상기 복수의 전문 용어들과 일치하는 전문 용어로, 제1 전문 용어가 존재하는 것으로 확인되면, 상기 제1 영상 데이터의 최초 재생 시점으로부터 상기 참고 정보 표시 이벤트가 발생된 시점까지 생성되었던 제2 자막에서, 상기 제1 전문 용어가 존재하는지 여부를 확인하는 제2 자막 확인부;
상기 제2 자막의 제1 지점에서 상기 제1 전문 용어가 존재하는 것으로 확인되면, 상기 제2 자막에서 상기 제1 지점을 기준으로, 상기 제1 지점의 전단과 후단 각각에 존재하는 단어들을 n(n은 자연수임)개씩 추출함으로써, 총 2n개의 단어들을 추출하는 단어 추출부; 및
상기 2n개의 단어들을 상기 제1 전문 용어에 대한 참고 정보인 것으로 화면 상에 표시하는 참고 정보 표시부
를 포함하는 전자 장치.An electronic device displaying reference information on technical terms on a screen on which an image is reproduced,
a technical term dictionary database in which a plurality of predefined technical terms are stored;
When first image data is received in a streaming manner from a video streaming server and the electronic device starts to reproduce the first image data, the electronic device reproduces the first image data through a pre-built voice recognition model. a caption display unit generating a caption by performing voice recognition on the first image data and displaying the generated caption on a screen;
an event generating unit generating a reference information display event for displaying reference information on a technical term on a screen at a preset first playback time interval;
When the reference information display event occurs, a technical term matching the plurality of technical terms exists in the first caption generated through the caption display unit during the first playback time from the time when the reference information display event occurs. a first caption confirmation unit that checks whether or not;
A technical term matching the plurality of technical terms in the first caption, and if it is confirmed that a first technical term exists, it is generated from the time of the first reproduction of the first image data to the time when the reference information display event occurs. a second caption checking unit that checks whether the first terminology exists in the second caption;
If it is confirmed that the first terminology exists at the first point of the second caption, words existing at the front and rear of the first point, respectively, based on the first point in the second caption are n( a word extraction unit for extracting a total of 2n words by extracting each word (n is a natural number); and
Reference information display unit for displaying the 2n words as reference information for the first terminology on the screen
An electronic device comprising a.
상기 단어 추출부는
상기 제2 자막에서 상기 제1 전문 용어가 존재하는 지점이 둘 이상인 것으로 확인되는 경우, 상기 제1 전문 용어가 존재하는 상기 제2 자막에서의 둘 이상의 지점들 중 상기 참고 정보 표시 이벤트가 발생된 시점에 가장 근접한 시점의 지점을 상기 제1 지점으로 선별한 후 상기 제1 지점을 기준으로, 상기 제1 지점의 전단과 후단 각각에 존재하는 단어들을 n개씩 추출함으로써, 총 2n개의 단어들을 추출하는 것을 특징으로 하는 전자 장치.According to claim 1,
The word extractor
When it is determined that there are two or more points in the second caption where the first terminology exists, a point in time at which the reference information display event occurred among two or more points in the second caption where the first terminology exists After selecting a point of time closest to the first point as the first point, extracting a total of 2n words by extracting n words existing at the front and rear of the first point, respectively, based on the first point. characterized electronic device.
상기 자막 표시부에 의해 상기 제1 영상 데이터에 대한 자막이 생성되기 시작하면, 생성된 자막을 사전 설정된 제2 재생 시간 간격으로 분리함으로써, 부분 자막을 생성한 후 생성된 부분 자막을 부분 자막 테이블에 기록하는 부분 자막 생성부;
상기 전자 장치에서 상기 제1 영상 데이터가 재생되는 도중, 제1 재생 시점에서 사용자에 의해, 제1 질의 문장이 입력되면서, 상기 제1 질의 문장에 대응되는 답변 정보가 포함된 답변 자막을 화면 상에 표시할 것을 지시하는 답변 자막 표시 명령이 인가되면, 상기 부분 자막 테이블로부터, 상기 제1 재생 시점까지 상기 부분 자막 테이블 상에 기록 완료된 복수의 부분 자막들을 추출하는 부분 자막 추출부;
상기 복수의 부분 자막들이 추출되면, 상기 복수의 부분 자막들 중 상기 제1 질의 문장에 대응되는 답변 정보가 포함된 적어도 하나의 제1 답변 자막을 선택하는 답변 자막 선택부; 및
상기 적어도 하나의 제1 답변 자막이 선택되면, 상기 적어도 하나의 제1 답변 자막을 화면 상에 표시하는 답변 자막 표시부
를 더 포함하는 전자 장치. According to claim 1,
When a caption for the first image data starts to be generated by the caption display unit, the generated caption is separated by a preset second playback time interval to generate a partial caption and then record the generated partial caption in a partial caption table. a partial subtitle generation unit that does;
While the first video data is being reproduced in the electronic device, when a first question sentence is input by the user at the first reproduction time, an answer subtitle including answer information corresponding to the first question sentence is displayed on the screen. a partial caption extraction unit extracting a plurality of partial captions that have been recorded on the partial caption table up to the first playback point from the partial caption table when a response caption display command indicating display is applied;
an answer caption selector selecting at least one first answer caption including answer information corresponding to the first question sentence from among the plurality of partial captions when the plurality of partial captions are extracted; and
If the at least one first answer caption is selected, an answer caption display unit for displaying the at least one first answer caption on the screen.
An electronic device further comprising a.
상기 답변 자막 선택부는
사전 지정된 복수의 단어들이 저장되어 있는 사전 데이터베이스;
상기 제1 질의 문장에서 상기 복수의 단어들과 일치하는 단어가 존재하는지 여부를 확인하여, 상기 제1 질의 문장으로부터 상기 복수의 단어들과 일치하는 적어도 하나의 단어를 검색 키워드로 선택하는 검색 키워드 선택부; 및
상기 적어도 하나의 단어가 검색 키워드로 선택되면, 상기 복수의 부분 자막들 중에서, 상기 적어도 하나의 단어를 하나 이상 포함하고 있는 것으로 확인되는 부분 자막을 상기 제1 질의 문장에 대응되는 답변 정보가 포함된 상기 적어도 하나의 제1 답변 자막으로 선택하는 자막 선택 처리부
를 포함하는 전자 장치.According to claim 3,
The answer subtitle selection unit
a dictionary database in which a plurality of predefined words are stored;
Search keyword selection for selecting at least one word matching the plurality of words from the first query sentence as a search keyword by checking whether a word matching the plurality of words in the first query sentence exists. wealth; and
When the at least one word is selected as a search keyword, a partial caption that is confirmed to include one or more of the at least one word among the plurality of partial captions is provided with answer information corresponding to the first question sentence. A caption selection processor selecting the at least one first answer caption as the caption
An electronic device comprising a.
상기 제1 영상 데이터는 사전 설정된 기본 언어의 음성으로 더빙된 영상 데이터로서, 상기 부분 자막 생성부는 상기 제1 영상 데이터에 대한 자막이 생성되기 시작하면, 생성된 자막을 상기 제2 재생 시간 간격으로 분리함으로써, 상기 기본 언어로 구성된 부분 자막을 생성한 후 생성된 부분 자막을 상기 부분 자막 테이블에 기록하고,
상기 부분 자막 추출부는
상기 전자 장치에서 상기 제1 영상 데이터가 재생되는 도중, 상기 제1 재생 시점에서 상기 사용자에 의해, 상기 제1 질의 문장이 입력되면서, 상기 답변 자막 표시 명령이 인가되면, 상기 부분 자막 테이블로부터 상기 복수의 부분 자막들을 추출하기 전에, 사전 구축된 언어 감지 엔진을 통해, 상기 제1 질의 문장의 언어를 감지하는 언어 감지부;
상기 제1 질의 문장의 언어가, 상기 기본 언어와 상이한 제1 외국어인 것으로 감지되면, 상기 제1 질의 문장을 사전 구축된 번역 엔진을 통해, 상기 기본 언어로 번역하는 번역 처리부; 및
상기 제1 질의 문장이 상기 기본 언어로 번역 완료되면, 상기 부분 자막 테이블로부터, 상기 제1 재생 시점까지 상기 부분 자막 테이블 상에 기록 완료된 상기 복수의 부분 자막들을 추출하는 추출 처리부
를 포함하며,
상기 답변 자막 선택부는
상기 복수의 부분 자막들이 추출되면, 상기 복수의 부분 자막들 중 상기 기본 언어로 번역된 상기 제1 질의 문장에 대응되는 답변 정보가 포함된 상기 적어도 하나의 제1 답변 자막을 선택하고,
상기 답변 자막 표시부는
상기 적어도 하나의 제1 답변 자막이 선택되면, 상기 적어도 하나의 제1 답변 자막을 상기 번역 엔진을 통해, 상기 제1 외국어로 번역한 후, 상기 제1 외국어로 번역된 상기 적어도 하나의 제1 답변 자막을 화면 상에 표시하는 것을 특징으로 하는 전자 장치.According to claim 3,
The first video data is video data dubbed with audio in a preset basic language, and when the subtitle generation unit starts to generate a subtitle for the first video data, the generated caption is divided into the second playback time interval. By doing so, after generating a partial caption composed of the basic language, the generated partial caption is recorded in the partial caption table;
The partial subtitle extractor
While the first image data is being reproduced in the electronic device, when the first query sentence is input by the user at the first reproduction time point and the answer caption display command is applied, the plurality of subtitles are displayed from the partial caption table. a language detection unit detecting the language of the first query sentence through a pre-built language detection engine before extracting partial subtitles of;
a translation processing unit that translates the first query sentence into the default language through a pre-built translation engine when it is detected that the language of the first query sentence is a first foreign language different from the default language; and
When the translation of the first query sentence into the default language is completed, an extraction processing unit extracting the plurality of partial captions that have been recorded on the partial caption table up to the first reproduction point from the partial caption table.
Including,
The answer subtitle selection unit
When the plurality of partial captions are extracted, selecting at least one first answer caption including answer information corresponding to the first query sentence translated into the default language from among the plurality of partial captions;
The answer subtitle display unit
When the at least one first answer subtitle is selected, the at least one first answer subtitle is translated into the first foreign language through the translation engine, and then the at least one first answer translated into the first foreign language An electronic device that displays subtitles on a screen.
사전 지정된 복수의 전문 용어들이 저장되어 있는 전문 용어 사전 데이터베이스를 유지하는 단계;
영상 스트리밍(streaming) 서버로부터, 스트리밍 방식으로 제1 영상 데이터가 수신됨에 따라, 상기 전자 장치에서 상기 제1 영상 데이터가 재생되기 시작하면, 사전 구축된 음성 인식 모델을 통해 상기 전자 장치에서 재생되는 상기 제1 영상 데이터에 대한 음성 인식을 수행함으로써 자막을 생성하고, 생성된 자막을 화면 상에 표시하는 단계;
사전 설정된 제1 재생 시간 간격으로, 전문 용어에 대한 참고 정보를 화면 상에 표시하기 위한 참고 정보 표시 이벤트를 발생시키는 단계;
상기 참고 정보 표시 이벤트가 발생되면, 상기 참고 정보 표시 이벤트가 발생된 시점으로부터 상기 제1 재생 시간 동안 상기 생성된 자막을 화면 상에 표시하는 단계를 통해 생성되는 제1 자막에서, 상기 복수의 전문 용어들과 일치하는 전문 용어가 존재하는지 여부를 확인하는 단계;
상기 제1 자막에서 상기 복수의 전문 용어들과 일치하는 전문 용어로, 제1 전문 용어가 존재하는 것으로 확인되면, 상기 제1 영상 데이터의 최초 재생 시점으로부터 상기 참고 정보 표시 이벤트가 발생된 시점까지 생성되었던 제2 자막에서, 상기 제1 전문 용어가 존재하는지 여부를 확인하는 단계;
상기 제2 자막의 제1 지점에서 상기 제1 전문 용어가 존재하는 것으로 확인되면, 상기 제2 자막에서 상기 제1 지점을 기준으로, 상기 제1 지점의 전단과 후단 각각에 존재하는 단어들을 n(n은 자연수임)개씩 추출함으로써, 총 2n개의 단어들을 추출하는 단계; 및
상기 2n개의 단어들을 상기 제1 전문 용어에 대한 참고 정보인 것으로 화면 상에 표시하는 단계
를 포함하는 전자 장치의 동작 방법.A method of operating an electronic device displaying reference information on technical terms on a screen on which an image is reproduced,
maintaining a technical term dictionary database in which a plurality of predefined technical terms are stored;
When first image data is received in a streaming manner from a video streaming server and the electronic device starts to reproduce the first image data, the electronic device reproduces the first image data through a pre-built voice recognition model. generating a caption by performing voice recognition on the first image data and displaying the generated caption on a screen;
generating a reference information display event for displaying reference information on technical terms on a screen at a preset first playback time interval;
When the reference information display event occurs, in the first caption generated through the step of displaying the generated caption on the screen during the first playback time from the time when the reference information display event occurs, the plurality of technical terms checking whether a technical term matching the fields exists;
A technical term matching the plurality of technical terms in the first caption, and if it is confirmed that a first technical term exists, it is generated from the time of the first reproduction of the first image data to the time when the reference information display event occurs. checking whether or not the first terminology exists in the second caption;
If it is confirmed that the first terminology exists at the first point of the second caption, words existing at the front and rear of the first point, respectively, based on the first point in the second caption are n( n is a natural number) extracting a total of 2n words; and
Displaying the 2n words as reference information for the first terminology on a screen
A method of operating an electronic device comprising a.
상기 총 2n개의 단어들을 추출하는 단계는
상기 제2 자막에서 상기 제1 전문 용어가 존재하는 지점이 둘 이상인 것으로 확인되는 경우, 상기 제1 전문 용어가 존재하는 상기 제2 자막에서의 둘 이상의 지점들 중 상기 참고 정보 표시 이벤트가 발생된 시점에 가장 근접한 시점의 지점을 상기 제1 지점으로 선별한 후 상기 제1 지점을 기준으로, 상기 제1 지점의 전단과 후단 각각에 존재하는 단어들을 n개씩 추출함으로써, 총 2n개의 단어들을 추출하는 것을 특징으로 하는 전자 장치의 동작 방법.According to claim 6,
The step of extracting a total of 2n words is
When it is determined that there are two or more points in the second caption where the first terminology exists, a point in time at which the reference information display event occurred among two or more points in the second caption where the first terminology exists After selecting a point of time closest to the first point as the first point, extracting a total of 2n words by extracting n words existing at the front and rear of the first point, respectively, based on the first point. A method of operating an electronic device characterized by
상기 생성된 자막을 화면 상에 표시하는 단계에 의해 상기 제1 영상 데이터에 대한 자막이 생성되기 시작하면, 생성된 자막을 사전 설정된 제2 재생 시간 간격으로 분리함으로써, 부분 자막을 생성한 후 생성된 부분 자막을 부분 자막 테이블에 기록하는 단계;
상기 전자 장치에서 상기 제1 영상 데이터가 재생되는 도중, 제1 재생 시점에서 사용자에 의해, 제1 질의 문장이 입력되면서, 상기 제1 질의 문장에 대응되는 답변 정보가 포함된 답변 자막을 화면 상에 표시할 것을 지시하는 답변 자막 표시 명령이 인가되면, 상기 부분 자막 테이블로부터, 상기 제1 재생 시점까지 상기 부분 자막 테이블 상에 기록 완료된 복수의 부분 자막들을 추출하는 단계;
상기 복수의 부분 자막들이 추출되면, 상기 복수의 부분 자막들 중 상기 제1 질의 문장에 대응되는 답변 정보가 포함된 적어도 하나의 제1 답변 자막을 선택하는 단계; 및
상기 적어도 하나의 제1 답변 자막이 선택되면, 상기 적어도 하나의 제1 답변 자막을 화면 상에 표시하는 단계
를 더 포함하는 전자 장치의 동작 방법. According to claim 6,
When the caption for the first image data starts to be generated by the displaying of the generated caption on the screen, the generated caption is separated by a preset second play time interval to generate partial captions. recording partial captions in a partial caption table;
While the first video data is being reproduced in the electronic device, when a first question sentence is input by the user at the first reproduction time, an answer subtitle including answer information corresponding to the first question sentence is displayed on the screen. extracting, from the partial caption table, a plurality of partial captions that have been recorded on the partial caption table up to the first playback time, when a response caption display command indicating display is applied;
if the plurality of partial captions are extracted, selecting at least one first answer caption including answer information corresponding to the first question sentence from among the plurality of partial captions; and
If the at least one first answer caption is selected, displaying the at least one first answer caption on the screen.
Method of operating an electronic device further comprising a.
상기 적어도 하나의 제1 답변 자막을 선택하는 단계는
사전 지정된 복수의 단어들이 저장되어 있는 사전 데이터베이스를 유지하는 단계;
상기 제1 질의 문장에서 상기 복수의 단어들과 일치하는 단어가 존재하는지 여부를 확인하여, 상기 제1 질의 문장으로부터 상기 복수의 단어들과 일치하는 적어도 하나의 단어를 검색 키워드로 선택하는 단계; 및
상기 적어도 하나의 단어가 검색 키워드로 선택되면, 상기 복수의 부분 자막들 중에서, 상기 적어도 하나의 단어를 하나 이상 포함하고 있는 것으로 확인되는 부분 자막을 상기 제1 질의 문장에 대응되는 답변 정보가 포함된 상기 적어도 하나의 제1 답변 자막으로 선택하는 단계
를 포함하는 전자 장치의 동작 방법.According to claim 8,
The step of selecting at least one first answer caption
maintaining a dictionary database in which a plurality of predefined words are stored;
checking whether there is a word matching the plurality of words in the first query sentence, and selecting at least one word matching the plurality of words from the first query sentence as a search keyword; and
When the at least one word is selected as a search keyword, a partial caption that is confirmed to include one or more of the at least one word among the plurality of partial captions is provided with answer information corresponding to the first question sentence. Selecting as the at least one first answer caption
A method of operating an electronic device comprising a.
상기 제1 영상 데이터는 사전 설정된 기본 언어의 음성으로 더빙된 영상 데이터로서, 상기 생성된 부분 자막을 부분 자막 테이블에 기록하는 단계는 상기 제1 영상 데이터에 대한 자막이 생성되기 시작하면, 생성된 자막을 상기 제2 재생 시간 간격으로 분리함으로써, 상기 기본 언어로 구성된 부분 자막을 생성한 후 생성된 부분 자막을 상기 부분 자막 테이블에 기록하고,
상기 복수의 부분 자막들을 추출하는 단계는
상기 전자 장치에서 상기 제1 영상 데이터가 재생되는 도중, 상기 제1 재생 시점에서 상기 사용자에 의해, 상기 제1 질의 문장이 입력되면서, 상기 답변 자막 표시 명령이 인가되면, 상기 부분 자막 테이블로부터 상기 복수의 부분 자막들을 추출하기 전에, 사전 구축된 언어 감지 엔진을 통해, 상기 제1 질의 문장의 언어를 감지하는 단계;
상기 제1 질의 문장의 언어가, 상기 기본 언어와 상이한 제1 외국어인 것으로 감지되면, 상기 제1 질의 문장을 사전 구축된 번역 엔진을 통해, 상기 기본 언어로 번역하는 단계; 및
상기 제1 질의 문장이 상기 기본 언어로 번역 완료되면, 상기 부분 자막 테이블로부터, 상기 제1 재생 시점까지 상기 부분 자막 테이블 상에 기록 완료된 상기 복수의 부분 자막들을 추출하는 단계
를 포함하며,
상기 적어도 하나의 제1 답변 자막을 선택하는 단계는
상기 복수의 부분 자막들이 추출되면, 상기 복수의 부분 자막들 중 상기 기본 언어로 번역된 상기 제1 질의 문장에 대응되는 답변 정보가 포함된 상기 적어도 하나의 제1 답변 자막을 선택하고,
상기 적어도 하나의 제1 답변 자막을 화면 상에 표시하는 단계는
상기 적어도 하나의 제1 답변 자막이 선택되면, 상기 적어도 하나의 제1 답변 자막을 상기 번역 엔진을 통해, 상기 제1 외국어로 번역한 후, 상기 제1 외국어로 번역된 상기 적어도 하나의 제1 답변 자막을 화면 상에 표시하는 것을 특징으로 하는 전자 장치의 동작 방법.According to claim 8,
The first video data is video data dubbed with audio in a preset basic language, and the step of recording the generated partial caption in the partial caption table is performed when a caption for the first video data starts to be generated. is separated by the second reproduction time interval to generate a partial caption composed of the basic language and record the generated partial caption in the partial caption table;
The step of extracting the plurality of partial subtitles is
While the first image data is being reproduced in the electronic device, when the first query sentence is input by the user at the first reproduction time point and the answer caption display command is applied, the plurality of subtitles are displayed from the partial caption table. detecting the language of the first query sentence through a pre-built language detection engine before extracting partial subtitles of;
translating the first query sentence into the basic language through a pre-built translation engine when it is detected that the language of the first query sentence is a first foreign language different from the basic language; and
extracting, from the partial caption table, the plurality of partial captions that have been recorded on the partial caption table up to the first playback time, when the translation of the first query sentence into the default language is completed;
Including,
The step of selecting at least one first answer caption
When the plurality of partial captions are extracted, selecting at least one first answer caption including answer information corresponding to the first query sentence translated into the default language from among the plurality of partial captions;
The step of displaying the at least one first answer caption on the screen
When the at least one first answer subtitle is selected, the at least one first answer subtitle is translated into the first foreign language through the translation engine, and then the at least one first answer translated into the first foreign language A method of operating an electronic device characterized in that displaying subtitles on a screen.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210061141A KR102466734B1 (en) | 2021-05-12 | 2021-05-12 | Electronic apparatus which displays the reference information of a technical term on the screen where a video is being played, and the operating method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210061141A KR102466734B1 (en) | 2021-05-12 | 2021-05-12 | Electronic apparatus which displays the reference information of a technical term on the screen where a video is being played, and the operating method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102466734B1 true KR102466734B1 (en) | 2022-11-14 |
Family
ID=84043154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210061141A KR102466734B1 (en) | 2021-05-12 | 2021-05-12 | Electronic apparatus which displays the reference information of a technical term on the screen where a video is being played, and the operating method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102466734B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090059510A (en) * | 2007-12-06 | 2009-06-11 | 엘지전자 주식회사 | Multimedia reproduction apparatus and method for searching dictionary using the same |
| KR20120031671A (en) * | 2010-09-27 | 2012-04-04 | 엘지전자 주식회사 | A method for automatically providing dictionary of foreign language for a display device |
| KR101412722B1 (en) * | 2011-08-29 | 2014-07-01 | 차양현 | Caption management method and caption search method |
| KR101479079B1 (en) * | 2008-09-10 | 2015-01-08 | 삼성전자주식회사 | Broadcast receiver for displaying description of terminology included in digital captions and method for processing digital captions applying the same |
-
2021
- 2021-05-12 KR KR1020210061141A patent/KR102466734B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090059510A (en) * | 2007-12-06 | 2009-06-11 | 엘지전자 주식회사 | Multimedia reproduction apparatus and method for searching dictionary using the same |
| KR101479079B1 (en) * | 2008-09-10 | 2015-01-08 | 삼성전자주식회사 | Broadcast receiver for displaying description of terminology included in digital captions and method for processing digital captions applying the same |
| KR20120031671A (en) * | 2010-09-27 | 2012-04-04 | 엘지전자 주식회사 | A method for automatically providing dictionary of foreign language for a display device |
| KR101412722B1 (en) * | 2011-08-29 | 2014-07-01 | 차양현 | Caption management method and caption search method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101994592B1 (en) | AUTOMATIC VIDEO CONTENT Metadata Creation METHOD AND SYSTEM | |
| JP6824332B2 (en) | Video service provision method and service server using this | |
| KR102085908B1 (en) | Content providing server, content providing terminal and content providing method | |
| CN101202864B (en) | Player for movie contents | |
| JP4920395B2 (en) | Video summary automatic creation apparatus, method, and computer program | |
| JP2009181216A (en) | Electronic apparatus and image processing method | |
| JP5135024B2 (en) | Apparatus, method, and program for notifying content scene appearance | |
| JP2007150724A (en) | Video viewing support system and method | |
| CN109558513A (en) | A kind of content recommendation method, device, terminal and storage medium | |
| KR20060089922A (en) | Data abstraction apparatus by using speech recognition and method thereof | |
| JP2006186426A (en) | Information retrieval display apparatus, information retrieval display method, and information retrieval display program | |
| KR102466734B1 (en) | Electronic apparatus which displays the reference information of a technical term on the screen where a video is being played, and the operating method thereof | |
| CN107180058B (en) | Method and device for inquiring based on subtitle information | |
| US20100281046A1 (en) | Method and web server of processing a dynamic picture for searching purpose | |
| KR102523817B1 (en) | Electronic apparatus which provides definitions of the technical terms appearing in a video, and the operating method thereof | |
| CN116644246A (en) | Search result display method and device, computer equipment and storage medium | |
| US20080016068A1 (en) | Media-personality information search system, media-personality information acquiring apparatus, media-personality information search apparatus, and method and program therefor | |
| KR102523816B1 (en) | Electronic apparatus which displays answer subtitles to the user's inquiry sentence, on the screen where a video is being played, and the operating method thereof | |
| US11128927B2 (en) | Content providing server, content providing terminal, and content providing method | |
| KR20080112975A (en) | Method, system and recording medium storing a computer program for building moving picture search database and method for searching moving picture using the same | |
| JP2004289530A (en) | Recording and reproducing apparatus | |
| JP5910222B2 (en) | Information processing apparatus and information processing program | |
| KR102119724B1 (en) | Terminal device for supporting quick search for video and operating method thereof | |
| KR100944958B1 (en) | Apparatus and Server for Providing Multimedia Data and Caption Data of Specified Section | |
| KR102636708B1 (en) | Electronic terminal apparatus which is able to produce a sign language presentation video for a presentation document, and the operating method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |