WO2021118184A1 - 사용자 단말 및 그 제어방법 - Google Patents

사용자 단말 및 그 제어방법 Download PDF

Info

Publication number
WO2021118184A1
WO2021118184A1 PCT/KR2020/017742 KR2020017742W WO2021118184A1 WO 2021118184 A1 WO2021118184 A1 WO 2021118184A1 KR 2020017742 W KR2020017742 W KR 2020017742W WO 2021118184 A1 WO2021118184 A1 WO 2021118184A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user terminal
translation
file
original
Prior art date
Application number
PCT/KR2020/017742
Other languages
English (en)
French (fr)
Inventor
김경철
Original Assignee
김경철
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김경철 filed Critical 김경철
Priority to CN202080096097.4A priority Critical patent/CN115066908A/zh
Priority to US17/784,034 priority patent/US20230015797A1/en
Priority to JP2022535548A priority patent/JP2023506469A/ja
Publication of WO2021118184A1 publication Critical patent/WO2021118184A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Definitions

  • a user terminal that provides a translation service for a video and a method for controlling the same.
  • Users can enjoy video content more easily by providing not only the original text service for the video content that the user wants, but also the translation service in real time. and text to provide a translation service through at least one of text, so that not only the visually impaired but also the hearing impaired can freely enjoy video content.
  • the user terminal includes: an extractor for extracting original language information for each of the characters based on at least one of an image file and an audio file generated separately from a moving image file; a translation unit generating translation information obtained by translating the original language information according to a selected language; and a control unit that provides at least one of the original language information and the translation information.
  • the original language information may include at least one of voice original language information and text original language information
  • the translation information may include at least one of voice translation information and text translation information.
  • the extractor may apply a frequency band analysis process to the voice file to extract original voice information for each character, and apply a voice recognition process to the extracted original voice information to generate text original information.
  • the extractor may detect a sign language pattern by applying an image processing process to the image file, and extract text source information based on the detected sign language pattern.
  • the extractor may determine at least one of an age group and a gender of a character appearing in the voice file through a frequency band analysis process, and map the person information set based on the determination result to the original language information and store it. .
  • a method of controlling a user terminal includes: extracting original language information for each of the characters based on at least one of an image file and an audio file generated separately from a moving image file; generating translation information in which the original language information is translated according to a selected language; and providing at least one of the original language information and the translation information.
  • the extracting may include extracting original language information for each character based on at least one of an image file and an audio file according to a communication means included in the moving image file.
  • the extracting may include: extracting original speech information for each of the characters by applying a frequency band analysis process to the audio file; and generating text source information by applying a speech recognition process to the extracted original speech information.
  • the extracting may include detecting a sign language pattern by applying an image processing process to the image file, and extracting original text information based on the detected sign language pattern.
  • the extracting step may include determining at least one of an age group and a gender of a character appearing in the voice file through a frequency band analysis process, and mapping the person information set based on the determination result to the original language information and storing it It may further include the step of
  • a user terminal and a method for controlling the same provide a translation providing service as well as an original text providing service for a user's desired video content in real time, so that a user can more easily enjoy the video content.
  • a user terminal and a control method thereof even if various communication means are included in video content, all translations are possible, and by providing a translation service through at least one of voice and text, not only the visually impaired but also the hearing impaired You can also freely enjoy video content.
  • FIG. 1 is a diagram schematically illustrating an appearance of a user terminal according to an embodiment.
  • FIG. 2 is a diagram schematically illustrating a control block diagram of a user terminal according to an embodiment.
  • FIG. 3 is a diagram illustrating a user interface screen displayed on a display according to an exemplary embodiment.
  • FIG. 4 is a diagram illustrating a user interface screen that provides original language information through a display according to an exemplary embodiment.
  • FIGS. 5 and 6 are diagrams illustrating a user interface screen that provides at least one of original language information and translation information through a display according to another exemplary embodiment.
  • FIG. 7 is a diagram schematically illustrating an operation flowchart of a user terminal according to an embodiment.
  • FIG. 1 is a diagram schematically illustrating an appearance of a user terminal according to an embodiment
  • FIG. 2 is a diagram schematically illustrating a control block diagram of the user terminal according to an embodiment
  • FIG. 3 is a diagram illustrating a user interface screen displayed on a display according to an embodiment
  • FIG. 4 is a diagram illustrating a user interface screen for providing original language information through the display according to an embodiment
  • 5 and 6 are diagrams illustrating a user interface screen that provides at least one of original language information and translation information through a display according to another exemplary embodiment.
  • the user terminal to be described below includes all devices capable of reproducing a video file by having a processor capable of processing various calculations built-in, a display and a speaker built-in.
  • the user terminal includes a laptop, a desk top, and a tablet PC, as well as a mobile terminal such as a smart phone, a personal digital assistant (PDA), and a detachable device that can be attached to or detached from the user's body.
  • a mobile terminal such as a smart phone, a personal digital assistant (PDA), and a detachable device that can be attached to or detached from the user's body.
  • PDA personal digital assistant
  • It includes, but is not limited to, smart TV (Television), IPTV (Internet Protocol Television), etc. as well as wearable terminals in the form of watches and glasses.
  • smart TV Television
  • IPTV Internet Protocol Television
  • wearable terminals in the form of watches and glasses.
  • a smart phone type user terminal among the various types of user terminals described above will be described as an example, but the present invention is not limited thereto.
  • the user terminal 100 includes an input unit 110 that receives various commands from a user, a display 120 that visually provides various information to the user, and aurally provides various information to the user. speaker 130, a communication unit 140 for exchanging various data with an external device through a communication network, an extraction unit 150 for extracting original language information using at least one of a video file and an audio file generated from a video file, a user
  • the translation unit 160 for generating translation information by translating the original language information into the language requested by , and controlling the overall operation of the components in the user terminal 100 to provide at least one of the original language information and the translation information, thereby providing the original text/translation service. It may include a control unit 170 to provide.
  • the communication unit 140 , the extraction unit 150 , the translation unit 160 , and the control unit 170 are implemented separately, or the communication unit 140 , the extraction unit 150 , the translation unit 160 , and the control unit 170 are implemented separately. 170) may be integrated and implemented as one system on chip (SOC), and there is no limitation in the implementation method. However, since there may not be only one system-on-chip in the user terminal 100 , it is not limited to being integrated into one system-on-chip and there is no limitation in the implementation method. Hereinafter, each component of the user terminal 100 will be described.
  • SOC system on chip
  • the user terminal 100 may be provided with an input unit 110 for receiving various control commands from the user.
  • the input unit 110 may be provided on one surface of the user terminal 100 as a hard key type as shown in FIG. 1 .
  • the display 120 may perform the function of the input unit 110 instead.
  • the input unit 110 may receive various control commands from the user.
  • the input unit 110 may receive not only a video playback command from the user, but also a setting command for a language to be translated, an original text extraction command, and a translation service execution command from the user.
  • the input unit 110 may receive various control commands, such as a storage command for original language information and translation information, and the control unit 170 may receive input of various control commands according to the received control commands. operation can be controlled. A detailed description of the original language information and translation information will be provided later.
  • the user terminal 100 may be provided with a display 120 that visually provides various types of information to the user.
  • the display 120 may be provided on one surface of the user terminal 100 as shown in FIG. 1 , but is not limited thereto.
  • the display 120 may be implemented as a liquid crystal display (LCD), a light emitting diode (LED), a plasma display panel (PDP), an organic light emitting diode (OLED), a cathode ray tube (CRT), etc.
  • LCD liquid crystal display
  • LED light emitting diode
  • PDP plasma display panel
  • OLED organic light emitting diode
  • CRT cathode ray tube
  • the display 120 may display a video requested by the user, and may receive various control commands through a user interface displayed on the display 120 .
  • the user interface described below may be a graphic user interface in which a screen displayed on the display 120 is graphically implemented so that various information and commands exchange operations between the user and the user terminal 100 are more conveniently performed.
  • buttons, etc. for easily receiving various control commands from the user are displayed in a specific area on the screen displayed through the display 120 , and various kinds of control commands are displayed in the other area through at least one widget. There are no restrictions, such as what information can be implemented to be displayed.
  • an icon I1 for receiving a video playback command an icon I2 for receiving a translation command, and an icon for receiving various setting commands in addition to the aforementioned commands ( A graphic user interface including I3) may be displayed.
  • the controller 170 may control the graphic user interface as shown in FIG. 3 to be displayed on the display 120 through a control signal.
  • the display method and arrangement method of widgets and icons constituting the user interface may be implemented as data in the form of an algorithm or program, and may be stored in advance in the memory within the user terminal 100, and the controller 170 may store the previously stored data
  • a control signal may be generated by using the control signal, and a graphic user interface may be controlled to be displayed through the generated control signal. A detailed description of the control unit 170 will be described later.
  • a speaker 130 capable of outputting various sounds may be provided in the user terminal 100 .
  • the speaker 130 may be provided on one surface of the user terminal 100 to output various sounds included in a video file.
  • the speaker 130 may be implemented through various types of well-known sound output devices, and there is no limitation.
  • the user terminal 100 may be provided with a communication unit 140 that exchanges various data with an external device through a communication network.
  • the communication unit 140 may exchange various data with an external device through a wireless communication network or a wired communication network.
  • the wireless communication network refers to a communication network capable of wirelessly transmitting and receiving signals including data.
  • the communication unit 140 may transmit and receive wireless signals between terminals via a base station through a communication method such as 3G (3Generation), 4G (4Generation), 5G (5Generation), etc.
  • wireless LAN WiFi (Wi-Fi), Bluetooth (Bluetooth), Zigbee (Zigbee), WFD (Wi-Fi Direct), UWB (Ultra wideband), Infrared Data Association (IrDA), BLE (Bluetooth Low Energy), NFC ( Near Field Communication), it is possible to transmit and receive a wireless signal including data to and from a terminal within a predetermined distance through a communication method.
  • the wired communication network refers to a communication network capable of transmitting and receiving signals including data by wire.
  • the wired communication network includes, but is not limited to, Peripheral Component Interconnect (PCI), PCI-express, Universal Serial Bus (USB), and the like.
  • PCI Peripheral Component Interconnect
  • USB Universal Serial Bus
  • the communication network described below includes both a wireless communication network and a wired communication network.
  • the communication unit 140 may not only download a video from a server located outside through a communication network, but also transmit information translated based on the language of the country included in the video to an external terminal along with the video. no limits.
  • the extraction unit 150 may be provided in the user terminal 100 .
  • the extraction unit 150 may separate the video file into an image file and an audio file, and then extract the original language information from at least one of the image file and the audio file.
  • the original language information described below means information extracted from communication means such as voice and sign language included in a moving picture, and the original language information may be extracted in the form of voice or text.
  • voice source information the original language information composed of voice
  • text source information the original language information composed of text
  • voice source information the voice 'Hello' uttered by the character
  • text source information is the voice 'Hello' through a voice recognition process. It means the 'Hello' text itself that is recognized and then converted based on the recognition result.
  • a method of extracting the original language information may be different depending on a communication means, for example, whether the communication means is voice or sign language.
  • a method of extracting voice information from a voice file containing the voice of the character will be first described.
  • the voice file may contain the voices of various characters, and if these various voices are output at the same time, it may be difficult to identify them, and thus the translation accuracy may also decrease. Accordingly, the extraction unit 150 may extract the voice information for each of the characters by applying a frequency band analysis process to the voice file.
  • a voice may be different for each individual according to gender, age group, pronunciation tone, pronunciation strength, etc., and by analyzing the frequency band, it is possible to identify each voice individually by identifying the characteristics. Accordingly, the extractor 150 may extract the original voice information by analyzing the frequency band of the voice file and separating the voices for each of the characters appearing in the video based on the analysis result.
  • the extractor 150 may generate text source information obtained by converting speech into text by applying a speech recognition process to the speech source information.
  • the extractor 150 may divide and store the original voice information and the original text information for each character.
  • a method of extracting original speech information for each character through a frequency band analysis process and a method of generating text source information from speech source information through a speech recognition process are implemented as data in the form of an algorithm or program, and are implemented in the user terminal 100. It may be pre-stored, and the extractor 150 may separate and generate original language information using pre-stored data.
  • a person appearing in the video may use sign language.
  • the extractor 150 may extract the text source information directly from the image file.
  • a method of extracting textual information from an image file will be described.
  • the extractor 150 may detect a sign language pattern by applying an image processing process to the image file, and may generate text source information based on the detected sign language pattern. Whether to apply the spirituality treatment process can be set automatically or manually. For example, upon receiving a sign language translation request command from a user through the input unit 110 or the display 120 , the extractor 150 may detect a sign language pattern through an image processing process. As another example, the extractor 150 may automatically apply an image processing process to an image file, etc. There is no limitation.
  • a method of detecting a sign language pattern through an image processing process may be implemented as data in the form of an algorithm or a program and pre-stored in the user terminal 100, and the extractor 150 is included in the image file using the pre-stored data.
  • the detected sign language pattern may be detected, and text source information may be generated from the detected sign language pattern.
  • the extractor 150 may store the original language information by mapping it with the person information.
  • the person information may be arbitrarily set according to a preset method or adaptively set according to the characteristics of the character detected from the moving picture file.
  • the extraction unit 150 may determine the gender, age, etc. of the character who uttered the voice through the frequency band analysis process, and arbitrarily set the name of the character determined to be the most suitable based on the identification result. can be mapped.
  • the extraction unit 150 is the first
  • the person information may be set to 'Minsu'
  • the person information may be set to 'Mija' to be mapped.
  • control unit 170 may set the person's name detected from the original text information as the person information, and there is no limitation on the method of setting the person information.
  • the controller 170 may display the mapped person information together when the original language information is provided through the display 120 and the speaker 130, and may also display the mapped person information together when the translation information is provided. For example, as shown in FIG. 6 , the controller 170 may control the user interface configured to provide the person information set up by itself, the original language information, and the translation information together on the display 120 to be displayed on the display 120 .
  • the mapped person information can be changed by a user, and the mapped person information is not limited to the above.
  • the user may set desired person information through the input unit 110 and the display 120 implemented as a touch screen type, and there is no limitation.
  • the translation unit 160 may be provided in the user terminal 100 .
  • the translation unit 160 may generate translation information by translating the original language information into a language desired by the user.
  • the translation unit 160 may generate the translation result as text or voice.
  • information in which the original language information is translated into a language of another country will be referred to as translation information for convenience of explanation, and the translation information may also be configured in the form of voice or text like the original language information.
  • translation information composed of text will be referred to as text translation information
  • voice translation information referred to as voice translation information.
  • the voice translation information is voice information dubbed with a specific voice
  • the translator 330 may generate voice translation information dubbed with a preset voice or a user-set tone.
  • the tone desired to be heard by each user may be different. For example, a specific user may want voice translation information of a male tone, and another user may want voice translation information of a female tone.
  • the translator 160 may adaptively set the tone according to the gender of the character identified through the above-described frequency band analysis process.
  • Data in the form of an algorithm or a program may be pre-stored in the user terminal 100, and the translation unit 160 may perform translation using the pre-stored data.
  • the user terminal 100 may be provided with a control unit 170 that controls the overall operation of the user terminal 100 .
  • the control unit 170 stores a processor such as a micro control unit (MCU) capable of processing various operations, and a control program or control data for controlling the operation of the user terminal 100, or control command data output by the processor, or It may be implemented as a memory for temporarily storing image data.
  • a processor such as a micro control unit (MCU) capable of processing various operations, and a control program or control data for controlling the operation of the user terminal 100, or control command data output by the processor, or It may be implemented as a memory for temporarily storing image data.
  • MCU micro control unit
  • the processor and the memory may be integrated in a system on chip (SOC) embedded in the user terminal 100 .
  • SOC system on chip
  • the processor and the memory may be integrated in a system on chip (SOC) embedded in the user terminal 100 .
  • SOC system on chip
  • only one system-on-chip embedded in the user terminal 100 may not exist, it is not limited to being integrated into one system-on-chip.
  • the memory includes volatile memory (sometimes referred to as temporary storage memory) such as SRAM and D-Lab, flash memory, ROM (Read Only Memory), Erasable Programmable Read Only Memory (EPROM), and Electrically Erasable Programmable Memory (EPROM). It may include non-volatile memory such as read only memory (EEPROM).
  • volatile memory sometimes referred to as temporary storage memory
  • flash memory such as SRAM and D-Lab
  • ROM Read Only Memory
  • EPROM Erasable Programmable Read Only Memory
  • EPROM Electrically Erasable Programmable Memory
  • EEPROM electrically Erasable Programmable Memory
  • the present invention is not limited thereto, and may be implemented in any other form known in the art.
  • a control program and control data for controlling the operation of the user terminal 100 may be stored in the non-volatile memory, and the control program and control data are retrieved from the non-volatile memory and temporarily stored in the volatile memory; There is no limitation, such as control command data output by the processor may be temporarily stored.
  • the control unit 170 may generate a control signal based on data stored in the memory, and may control the overall operation of the components in the user terminal 100 through the generated control signal.
  • the controller 170 may control various information to be displayed on the display 120 through a control signal. For example, the controller 170 may play a video requested by the user on the display 120 through a control signal. In one embodiment, when the user touches the icon I2 shown in FIG. 3 , the controller 170 controls the components of the user terminal 100 to provide text translation information and voice translated into the language of the country set by the user. At least one of the translation information may be provided.
  • control unit 170 may control the display 120 to display text translation information together with the moving picture, and the control unit 170 may control the voice translation information to be transmitted through the speaker 130 . .
  • controller 170 provides the original language information and the translation information.
  • the controller 170 may map the original text information to the video as subtitles, and then control it to be displayed on the display 120 .
  • the controller 170 may map the original text information and the text translation information to the video as subtitles, and then control them to be displayed together on the display 120 .
  • the controller 170 may control the text translation information to be displayed as subtitles after the original text information is displayed first and then after a preset interval.
  • control unit 170 controls so that the original voice information is output through the speaker 130 whenever a character utters a utterance in the video, and then voice translation information dubbed with a specific voice is output after a preset interval.
  • a method of providing the original text/translation service such as the ability to control the output sizes of the voice original information and the voice translation information differently.
  • the process of separating the above-described video file into an image file and an audio file, the process of extracting the original language information from the image file and the audio file, and the process of generating the translation information from the original language information may be performed directly in the user terminal 100, but In order to prevent overloading of arithmetic processing, it may be separately performed in an externally provided device. In this case, when an externally provided device receives a translation command from the user terminal 100 , there is no limitation, such as performing the above-described process and then transmitting the result to the user terminal 100 .
  • FIG. 7 is a diagram schematically illustrating an operation flowchart of a user terminal according to an embodiment.
  • the user terminal may separate and generate a video file into an image file and an audio file ( 700 ).
  • the video file may be a file pre-stored in the user terminal or may be a file being streamed in real time through a communication network.
  • the user terminal reads the video file stored in the built-in memory, and generates an image file and an audio file based thereon.
  • the user terminal receives the video file data in real time through a communication network, Based on this, an image file and an audio file can be created.
  • the user terminal may extract original language information by using at least one of an image file and an audio file ( 710 ).
  • the original language information refers to information indicating the communication means included in the original moving picture file in at least one form of voice and text, and corresponds to information before translation into a language of a specific country.
  • the user terminal may extract the original language information by using all or only one of the video file and the audio file according to the communication means used by the person appearing in the video.
  • the user terminal identifies a sign language pattern from an image file and a voice from an audio file
  • the original language information can be extracted.
  • the user terminal can extract original language information using only a voice file.
  • the user The terminal can extract the original language information using only the image file.
  • the user terminal may generate translation information by using the original language information (720).
  • the user terminal may generate translation information by translating the original language information by itself, and to prevent computational overload, the user terminal transmits the original language information to an external server that provides a translation service according to the embodiment, and receives and provides the translation information.
  • an external server that provides a translation service according to the embodiment.
  • the user terminal can enjoy content with other users by mapping the original language information and translation information to the video file and then sharing it with an external terminal through a communication network.
  • the user terminal may provide at least one of the original language information and the translation information together with the moving image, and there is no limitation as described above in the method of providing.
  • the user terminal according to the embodiment has the advantage of enabling the user to more easily enjoy video contents produced in the languages of various countries, and at the same time, effective language education is possible.
  • first may be referred to as a second component
  • second component may also be referred to as a first component.
  • the term “and/or” includes a combination of a plurality of related listed items or any of a plurality of related listed items.
  • ⁇ unit ⁇ group
  • ⁇ block ⁇ member
  • ⁇ module ⁇ module

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

사용자 단말 및 그 제어방법이 개시된다. 일 측에 따른 사용자 단말은, 동영상 파일로부터 분리 생성한 영상파일 및 음성파일 중 적어도 하나를 기반으로 등장인물 각각에 대한 원어정보를 추출하는 추출부; 상기 원어정보를 선택된 언어에 따라 번역한 번역정보를 생성하는 번역부; 및 상기 원어정보 및 번역정보 중 적어도 하나를 제공하는 제어부를 포함할 수 있다.

Description

사용자 단말 및 그 제어방법
동영상에 대한 번역 서비스를 제공하는 사용자 단말 및 그 제어방법에 관한 것이다.
IT 기술의 발달에 따라 다양한 종류의 동영상 컨텐츠 전송/공유가 사용자 간에 손쉽게 이루어지고 있으며 특히, 글로벌 트렌드에 맞추어 사용자들은 국내 동영상 컨텐츠 뿐만 아니라, 다양한 언어로 제작된 해외 동영상 컨텐츠를 전송/공유하고 있는 실정이다.
다만, 많은 동영상 컨텐츠가 제작됨에 따라 모든 동영상 컨텐츠에 대해 번역이 이루어지고 있지는 않으며, 이에 사용자의 편의성을 증대시키고자 실시간 번역 서비스를 제공하는 방법에 대한 연구가 진행 중이다.
사용자가 원하는 동영상 컨텐츠에 대한 원문 제공 서비스뿐만 아니라, 번역 제공 서비스를 실시간으로 제공함으로써 사용자가 보다 손쉽게 동영상 컨텐츠를 즐길 수 있고, 동영상 컨텐츠에 다양한 의사소통 수단이 포함되어 있더라도 전부 번역이 가능하며, 음성 및 텍스트 중 적어도 하나를 통해 번역서비스를 제공함으로써 시각장애인 뿐만 아니라 청각장애인도 자유롭게 동영상 컨텐츠를 즐길 수 있도록 하는데 목적이 있다.
일 측에 따른 사용자 단말은, 동영상 파일로부터 분리 생성한 영상파일 및 음성파일 중 적어도 하나를 기반으로 등장인물 각각에 대한 원어정보를 추출하는 추출부; 상기 원어정보를 선택된 언어에 따라 번역한 번역정보를 생성하는 번역부; 및 상기 원어정보 및 번역정보 중 적어도 하나를 제공하는 제어부를 포함할 수 있다.
또한 상기 원어정보는, 음성 원어정보 및 텍스트 원어정보 중 적어도 하나를 포함하고, 상기 번역정보는, 음성 번역정보 및 텍스트 번역정보 중 적어도 하나를 포함할 수 있다.
또한 상기 추출부는, 상기 음성 파일에 대해 주파수 대역 분석 프로세스를 적용하여 등장인물 각각에 대한 음성 원어정보를 추출하고, 상기 추출한 음성 원어정보에 대해 음성 인식 프로세스를 적용하여 텍스트 원어정보를 생성할 수 있다.
또한 상기 추출부는, 상기 영상 파일에 대해 영상 처리 프로세스를 적용하여 수화 패턴을 검출하고, 상기 검출한 수화 패턴을 기반으로 텍스트 원어정보를 추출할 수 있다.
또한 상기 추출부는, 주파수 대역 분석 프로세스를 통해 상기 음성 파일에 등장하는 등장인물의 연령대 및 성별 중 적어도 하나를 판단하고, 판단 결과를 기반으로 설정한 인물정보를, 상기 원어정보에 매핑하여 저장할 수 있다.
일 측에 따른 사용자 단말의 제어방법은, 동영상 파일로부터 분리 생성한 영상파일 및 음성파일 중 적어도 하나를 기반으로 등장인물 각각에 대한 원어정보를 추출하는 단계; 상기 원어정보를 선택된 언어에 따라 번역한 번역정보를 생성하는 단계; 및 상기 원어정보 및 번역정보 중 적어도 하나를 제공하는 단계를 포함할 수 있다.
또한 상기 추출하는 단계는, 상기 동영상 파일 내에 포함된 의사소통 수단에 따라 영상 파일 및 음성 파일 중 적어도 하나를 기반으로 등장인물 각각에 대한 원어정보를 추출하는 단계를 포함할 수 있다
또한 상기 추출하는 단계는, 상기 음성 파일에 대해 주파수 대역 분석 프로세스를 적용하여 등장인물 각각에 대한 음성 원어정보를 추출하는 단계; 및 상기 추출한 음성 원어정보에 대해 음성 인식 프로세스를 적용하여 텍스트 원어정보를 생성하는 단계를 포함할 수 있다.
또한 상기 추출하는 단계는, 상기 영상 파일에 대해 영상 처리 프로세스를 적용하여 수화 패턴을 검출하고, 상기 검출한 수화 패턴을 기반으로 텍스트 원어정보를 추출하는 단계를 포함할 수 있다.
또한 상기 추출하는 단계는, 주파수 대역 분석 프로세스를 통해 상기 음성 파일에 등장하는 등장인물의 연령대 및 성별 중 적어도 하나를 판단하고, 판단 결과를 기반으로 설정한 인물정보를, 상기 원어정보에 매핑하여 저장하는 단계를 더 포함할 수 있다.
일 실시예에 따른 사용자 단말 및 그 제어방법은, 사용자가 원하는 동영상 컨텐츠에 대한 원문 제공 서비스뿐만 아니라, 번역 제공 서비스를 실시간으로 제공함으로써 사용자가 보다 손쉽게 동영상 컨텐츠를 즐길 수 있다.
다른 일 실시예에 따른 사용자 단말 및 그 제어방법은, 동영상 컨텐츠에 다양한 의사소통 수단이 포함되어 있더라도 전부 번역이 가능하며, 음성 및 텍스트 중 적어도 하나를 통해 번역서비스를 제공함으로써 시각장애인 뿐만 아니라 청각장애인도 자유롭게 동영상 컨텐츠를 즐길 수 있다.
도 1은 일 실시예에 따른 사용자 단말의 외관을 개략적으로 도시한 도면이다.
도 2는 일 실시예에 따른 사용자 단말의 제어 블록도를 개략적으로 도시한 도면이다.
도 3은 일 실시예에 따른 디스플레이 상에 표시되는 유저 인터페이스 화면을 도시한 도면이다.
도 4는 일 실시예에 따른 디스플레이를 통해 원어정보를 제공하는 유저 인터페이스 화면을 도시한 도면이다.
도 5 및 도 6은 서로 다른 실시예에 따른 디스플레이를 통해 원어정보 및 번역정보 중 적어도 하나를 제공하는 유저인터페에스 화면을 도시한 도면이다.
도 7은 일 실시예에 따른 사용자 단말의 동작 흐름도를 개략적으로 도시한 도면이다.
도 1은 일 실시예에 따른 사용자 단말의 외관을 개략적으로 도시한 도면이고, 도 2는 일 실시예에 따른 사용자 단말의 제어 블록도를 개략적으로 도시한 도면이다. 또한, 도 3은 일 실시예에 따른 디스플레이 상에 표시되는 유저 인터페이스 화면을 도시한 도면이고, 도 4는 일 실시예에 따른 디스플레이를 통해 원어정보를 제공하는 유저 인터페이스 화면을 도시한 도면이다. 또한, 도 5 및 도 6은 서로 다른 실시예에 따른 디스플레이를 통해 원어정보 및 번역정보 중 적어도 하나를 제공하는 유저인터페에스 화면을 도시한 도면이다. 이하에서는 설명이 중복되는 것을 방지하기 위해 함께 설명하도록 한다.
이하에서 설명되는 사용자 단말은 각종 연산 처리가 가능한 프로세서가 내장되어 있고, 디스플레이와 스피커가 내장되어 있어 동영상 파일을 재생할 수 있는 모든 기기를 포함한다.
예를 들어, 사용자 단말은 랩탑(laptop), 데스크 탑(desk top), 테블릿 PC(tablet PC)뿐만 아니라, 스마트 폰, PDA(Personal Digital Assistant)와 같은 모바일 단말 및 사용자의 신체에 탈부착이 가능한 시계, 안경 형태의 웨어러블 단말뿐만 아니라, 스마트 TV(Television), IPTV(Internet Protocol Television) 등을 포함하며 제한은 없다. 이하에서는 설명의 편의를 위해 전술한 다양한 종류의 사용자 단말 중에서 스마트 폰 형태의 사용자 단말을 일 예로 들어 설명하도록 하나 이에 한정되는 것은 아니며 제한은 없다.
도 1 및 도 2를 참조하면, 사용자 단말(100)은 사용자로부터 각종 명령을 입력 받는 입력부(110), 사용자에게 각종 정보를 시각적으로 제공하는 디스플레이(120), 사용자에게 각종 정보를 청각적으로 제공하는 스피커(130), 통신망을 통해 외부 기기와 각종 데이터를 주고 받는 통신부(140), 동영상 파일로부터 생성한 영상파일과 음성파일 중 적어도 하나를 이용하여 원어정보를 추출하는 추출부(150), 사용자가 요청한 언어로 원어정보를 번역하여 번역정보를 생성하는 번역부(160), 사용자 단말(100) 내 구성요소의 전반적인 동작을 제어하여 원어정보 및 번역정보 중 적어도 하나를 제공함으로써 원문/번역 서비스를 제공하는 제어부(170)을 포함할 수 있다.
여기서, 통신부(140), 추출부(150), 번역부(160), 및 제어부(170)는 각각 별도로 구현되거나 또는 통신부(140), 추출부(150), 번역부(160), 및 제어부(170) 중 적어도 하나는 하나의 시스템 온 칩(System On Chip, SOC)으로 통합 구현될 수 있는 등 구현방법에는 제한이 없다. 다만, 사용자 단말(100) 내에 시스템 온 칩이 하나만 존재하는 것은 아닐 수 있으므로, 하나의 시스템 온 칩에 집적되는 것으로 한정되는 것은 아니며 구현방법에는 제한이 없다. 이하에서는 사용자 단말(100)의 각 구성요소에 대해 설명하도록 한다.
먼저 도 1 및 도 2를 참조하면, 사용자 단말(100)에는 사용자로부터 각종 제어 명령을 입력 받는 입력부(110)가 마련될 수 있다. 예를 들어, 입력부(110)는 도 1에 도시된 바와 같이 하드 키 타입으로 사용자 단말(100)의 일 면에 마련될 수 있다. 이외에도, 디스플레이(120)가 터치 스크린 타입으로 구현되는 경우 디스플레이(120)는 입력부(110)의 기능을 대신 수행할 수 있다.
입력부(110)는 사용자로부터 각종 제어 명령을 입력 받을 수 있다. 예를 들어, 입력부(110)는 사용자로부터 동영상 재생 명령을 입력 받을 수 있을 뿐만 아니라, 사용자로부터 번역을 원하는 언어에 대한 설정 명령 및 원문 추출 명령 및 번역 서비스 실행 명령 등을 입력 받을 수 있다. 이외에도, 입력부(110)는 원어정보 및 번역정보에 대한 저장 명령을 입력 받을 수 있는 등 다양한 제어 명령을 입력 받을 수 있으며, 제어부(170)는 입력 받은 제어 명령에 따라 사용자 단말(100) 내 구성요소의 동작을 제어할 수 있다. 원어정보 및 번역정보에 대한 구체적인 설명은 후술하도록 한다.
도 1 및 도 2를 참조하면, 사용자 단말(100)에는 사용자에게 각종 정보를 시각적으로 제공하는 디스플레이(120)가 마련될 수 있다. 디스플레이(120)는 도 1 에 도시된 바와 같이 사용자 단말(100)의 일 면에 마련될 수 있는데 이에 한정되는 것은 아니고 제한은 없다.
일 실시예에 따르면, 디스플레이(120)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diode), CRT(Cathode Ray Tube) 등으로 구현될 수 있으나, 이에 한하지 않으며 제한은 없다. 한편, 전술한 바와 같이 디스플레이(120)가 터치 스크린 패널(Touch Screen Panel, TSP) 타입으로 구현된 경우에는 입력부(110)의 기능을 대신할 수도 있다.
터치 스크린 패널 타입으로 구현된 경우, 디스플레이(120)는 사용자가 요청한 동영상을 표시할 수 있을 뿐만 아니라, 디스플레이(120) 상에 표시되는 유저 인터페이스를 통해 각종 제어 명령을 입력 받을 수 있다.
이하에서 설명되는 유저 인터페이스는 사용자와 사용자 단말(100) 간의 각종 정보, 명령의 교환 동작이 보다 편리하게 수행되도록 디스플레이(120) 상에 표시되는 화면을 그래픽으로 구현한 그래픽 유저 인터페이스일 수 있다.
예를 들어, 그래픽 유저 인터페이스는, 디스플레이(120)를 통해 표시되는 화면 상에서 특정 영역에는 사용자로부터 각종 제어 명령을 손쉽게 입력 받기 위한 아이콘, 버튼 등이 표시되고, 다른 영역에는 적어도 하나의 위젯을 통해 각종 정보가 표시되도록 구현될 수 있는 등 제한은 없다.
도 3을 참조하면, 디스플레이(120) 상에는 동영상 재생 명령을 입력 받을 수 있는 아이콘(I1), 번역 명령을 입력 받을 수 있는 아이콘(I2) 및 전술한 명령 이외에 각종 설정 명령을 입력 받을 수 있는 아이콘(I3)이 포함된 그래픽 유저 인터페이스가 표시될 수 있다.
제어부(170)는 제어 신호를 통해 디스플레이(120) 상에 도 3에 도시된 바와 같은 그래픽 유저 인터페이스가 표시되도록 제어할 수 있다. 유저 인터페이스를 구성하는 위젯, 아이콘 등의 표시방법, 배치방법 등은 알고리즘 또는 프로그램 형태의 데이터로 구현되어, 사용자 단말(100) 내 메모리에 미리 저장될 수 있으며, 제어부(170)는 미리 저장된 데이터를 이용하여 제어 신호를 생성하고, 생성한 제어 신호를 통해 그래픽 유저 인터페이스가 표시되도록 제어할 수 있다. 제어부(170)에 대한 구체적인 설명은 후술하도록 한다.
한편 도 2를 참조하면, 사용자 단말(100)에는 각종 사운드를 출력할 수 있는 스피커(130)가 마련될 수 있다. 스피커(130)는 사용자 단말(100)의 일 면에 마련되어, 동영상 파일에 포함된 각종 사운드를 출력할 수 있다. 스피커(130)는 기 공지된 다양한 종류의 사운드 출력장치를 통해 구현될 수 있으며, 제한은 없다.
사용자 단말(100)에는 통신망을 통해 외부 기기와 각종 데이터를 주고 받는 통신부(140)가 마련될 수 있다.
통신부(140)는 무선통신망 또는 유선통신망을 통해 외부 기기와 각종 데이터를 주고 받을 수 있다. 여기서, 무선통신망은 데이터가 포함된 신호를 무선으로 주고 받을 수 있는 통신망을 의미한다.
예를 들어, 통신부(140)는 3G(3Generation), 4G(4Generation), 5G(5Generation) 등과 같은 통신방식을 통해 기지국을 거쳐 단말 간에 무선 신호를 송수신할 수 있으며, 이외에도 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), WFD(Wi-Fi Direct), UWB(Ultra wideband), 적외선 통신(IrDA; Infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication) 등과 같은 통신방식을 통해 소정 거리 이내의 단말과 데이터가 포함된 무선 신호를 송수신할 수 있다.
또한, 유선통신망은 데이터가 포함된 신호를 유선으로 주고 받을 수 있는 통신망을 의미한다. 예를 들어, 유선통신망은 PCI(Peripheral Component Interconnect), PCI-express, USB(Universe Serial Bus) 등을 포함하나, 이에 한정되는 것은 아니다. 이하에서는 설명되는 통신망은 무선통신망과 유선통신망을 전부 포함한다.
통신부(140)는 통신망을 통해 외부에 위치한 서버로부터 동영상을 다운로드 받을 수 있을 뿐만 아니라, 동영상 내에 포함된 국가의 언어를 기반으로 번역된 정보를 동영상과 함께 외부 단말에 전송할 수도 있는 등 송수신 가능한 데이터에는 제한이 없다.
도 2를 참조하면, 사용자 단말(100)에는 추출부(150)가 마련될 수 있다.
번역 서비스를 제공하기 위해서는 먼저 원어의 인식이 요구된다. 이에 따라, 추출부(150)는 동영상 파일을 영상 파일과 음성 파일로 분리 생성한 다음, 영상 파일 및 음성 파일 중 적어도 하나로부터 원어정보를 추출할 수 있다.
이하에서 설명되는 원어정보는 동영상 내에 포함된 음성, 수화 등과 같은 의사소통 수단으로부터 추출된 정보를 의미하며 원어정보는 음성 또는 텍스트 형태로 추출될 수 있다. 이하에서는 설명의 편의상 음성으로 구성된 원어정보를 음성 원어정보라 하기로 하고, 텍스트로 구성된 원어정보를 텍스트 원어정보라 하기로 한다. 예를 들어, 동영상에서 등장하는 인물이 영어로 'Hello'라는 음성을 발화하는 경우, 음성 원어정보는 등장인물이 발화한 음성 'Hello'이며, 텍스트 원어정보는 음성 인식 프로세스를 통해 음성 'Hello' 를 인식한 다음, 인식 결과를 기반으로 변환한 'Hello' 텍스트 자체를 의미한다.
한편 의사소통 수단, 예를 들어 의사소통 수단이 음성인지 또는 수화인지에 따라 원어정보를 추출하는 방법은 다를 수 있다. 이하에서는 먼저 등장인물의 음성이 담긴 음성 파일로부터 음성 원어정보를 추출하는 방법에 대해 설명하도록 한다.
음성 파일 내에는 다양한 등장인물의 음성이 담겨 있을 수 있으며, 이러한 다양한 음성이 동시에 출력되면 식별이 어려울 수 있으며, 이로 인해 번역 정확도 또한 낮아질 수 있다. 이에 따라, 추출부(150)는 음성 파일에 대해 주파수 대역 분석 프로세스를 적용하여 등장인물 각각에 대한 음성 원어정보를 추출할 수 있다.
음성은 성별, 연령대, 발음 톤, 발음 세기 등에 따라 개개인 마다 다를 수 있으며, 주파수 대역을 분석하면 해당 특성들을 파악함으로써 음성 별로 개별적인 식별이 가능할 수 있다. 이에 따라, 추출부(150)는 음성 파일의 주파수 대역을 분석하고, 분석 결과를 기반으로 동영상 내에 등장하는 등장인물 각각에 대한 음성을 분리함으로써 음성 원어정보를 추출할 수 있다.
추출부(150)는 음성 원어정보에 대해 음성인식 프로세스를 적용함으로써 음성을 텍스트로 변환한 텍스트 원어정보를 생성할 수 있다. 추출부(150)는 음성 원어정보 및 텍스트 원어정보를 등장인물 별로 나누어 저장할 수 있다.
주파수 대역 분석 프로세스를 통해 등장인물 별로 음성 원어정보를 추출하는 방법 및 음성인식 프로세스를 통해 음성 원어정보로부터 텍스트 원어정보를 생성하는 방법 등은 알고리즘 또는 프로그램 형태의 데이터로 구현되어 사용자 단말(100) 내에 기 저장될 수 있으며, 추출부(150)는 기 저장된 데이터를 이용하여 원어정보를 분리 생성할 수 있다.
한편, 동영상 내에 등장하는 인물이 수화를 사용할 수도 있다. 이 경우 음성 파일로부터 음성 원어정보를 추출한 다음 음성 원어정보로부터 텍스트 원어정보를 생성하는 전술한 방법과 달리, 추출부(150)는 영상 파일로부터 바로 텍스트 원어정보를 추출할 수 있다. 이하에서는 영상 파일로부터 텍스트 원어정보를 추출하는 방법에 대해 설명하도록 한다.
추출부(150)는 영상 파일에 대해 영상 처리 프로세스를 적용하여 수화 패턴을 검출하고, 검출된 수화 패턴을 기반으로 텍스트 원어정보를 생성할 수 있다. 영성 처리 프로세스의 적용 여부는 자동 또는 수동으로 설정될 수 있다. 예를 들어, 입력부(110) 또는 디스플레이(120)를 통해 사용자로부터 수화번역 요청명령을 입력 받으면 추출부(150)가 영상 처리 프로세스를 통해 수화 패턴을 검출할 수 있다. 또 다른 예로, 추출부(150)는 자동으로 영상 파일에 대해 영상 처리 프로세스를 적용할 수 있는 등 제한은 없다.
영상 처리 프로세스를 통해 수화 패턴에 검출하는 방법은 알고리즘 또는 프로그램 형태의 데이터로 구현되어 사용자 단말(100) 내에 기 저장될 수 있으며, 추출부(150)는 기 저장된 데이터를 이용하여 영상 파일 상에 포함된 수화 패턴을 검출하고, 검출한 수화 패턴으로부터 텍스트 원어정보를 생성할 수 있다.
추출부(150)는 원어정보를 인물정보와 매핑하여 저장할 수 있다. 인물정보는 미리 설정된 방법에 따라 임의로 설정되거나 또는 동영상 파일로부터 검출되는 등장인물의 특성에 따라 적응적으로 설정될 수도 있다.
예를 들어, 추출부(150)는 주파수 대역 분석 프로세스를 통해 음성을 발화한 등장인물의 성별, 나이대 등을 파악할 수 있으며, 파악 결과를 기반으로 가장 적합한 것으로 판단되는 등장인물의 이름을 임의로 설정하여 매핑할 수 있다.
일 실시예로, 주파수 대역 분석 프로세스를 통해 음성을 분석한 결과 제1 등장인물은 20대 남자인 것으로 파악되고, 제2 등장인물은 40대 여자인 것으로 파악되면, 추출부(150)는 제1 등장인물에 대한 원어정보에 대해서는 인물정보를 '민수'로, 제2 등장인물에 대한 원어정보에 대해서는 인물정보를 '미자'라 설정하여 매핑할 수 있다.
또 다른 예로, 제어부(170)는 텍스트 원어정보에서 검출된 인물명을 인물정보로 설정할 수 있는 등 인물정보 설정방법에는 제한이 없다.
제어부(170)는 디스플레이(120) 및 스피커(130)를 통해 원어정보를 제공할 때 매핑한 인물정보를 함께 표시할 수 있으며, 번역정보를 제공할 때에도 매핑한 인물정보를 함께 표시할 수 있다. 예를 들어, 제어부(170)는 도 6에 도시된 바와 같이 자체적으로 설정한 인물정보와, 원어정보 및 번역정보가 함께 제공되도록 구성된 유저인터페이스가 디스플레이(120) 상에 표시되도록 제어할 수 있다.
한편, 매핑된 인물정보는 사용자가 변경할 수 있으며, 매핑되는 인물정보가 전술한 바로 한정되는 것은 아니다. 예를 들어, 사용자는 입력부(110) 및 터치 스크린 타입으로 구현된 디스플레이(120)를 통해 원하는 인물정보를 설정할 수 있는 등 제한은 없다.
도 2를 참조하면, 사용자 단말(100)에는 변역부(160)가 마련될 수 있다. 번역부(160)는 원어정보를 사용자가 원하는 언어로 번역하여 번역정보를 생성할 수 있다. 사용자로부터 입력 받은 국가의 언어로 원어정보를 번역함에 있어, 번역부(160)는 번역 결과를 텍스트로 생성할 수도 있고 음성으로 생성할 수도 있다. 이하에서는 설명의 편의상 원어정보가 다른 국가의 언어로 번역된 정보를 번역정보라 하기로 하며, 번역정보 또한 원어정보와 같이 음성 또는 텍스트 형태로 구성될 수 있다. 이때, 텍스트로 구성된 번역정보에 대해서는 텍스트 번역정보라 하고, 음성으로 구성된 번역정보에 대해서는 음성 번역정보라 하기로 한다.
음성 번역정보는 특정 음성으로 더빙된 음성 정보로서, 번역부(330)는 미리 설정된 음성 또는 사용자가 설정한 톤으로 더빙한 음성 번역정보를 생성할 수 있다. 사용자 마다 청취를 원하는 톤은 다를 수 있다. 예를 들어, 특정 사용자는 남자 톤의 음성 번역정보를 원할 수 있고 다른 사용자는 여자 톤의 음성 번역정보를 원할 수 있다. 또는 번역부(160)는 전술한 주파수 대역 분석 프로세스를 통해 식별된 등장인물의 성별에 맞추어 적응적으로 톤을 설정할 수도 있다.
번역 방법 및 번역시 사용되는 음성 톤 설정 방법은 알고리즘 또는 프로그램 형태의 데이터는 사용자 단말(100) 내에 기 저장될 수 있으며, 번역부(160)는 기 저장된 데이터를 이용하여 번역을 수행할 수 있다.
도 2를 참조하면, 사용자 단말(100)에는 사용자 단말(100)의 전반적인 동작을 제어하는 제어부(170)가 마련될 수 있다.
제어부(170)는 각종 연산의 처리가 가능한 MCU(Micro Control Unit)와 같은 프로세서와, 사용자 단말(100)의 동작을 제어하기 위한 제어 프로그램 또는 제어 데이터를 기억하거나 또는 프로세서가 출력하는 제어 명령 데이터 또는 영상 데이터를 임시로 기억하는 메모리로 구현될 수 있다.
이때, 프로세서 및 메모리는 사용자 단말(100)에 내장된 시스템 온 칩(System On Chip, SOC)에 집적될 수 있다. 다만, 사용자 단말(100)에 내장된 시스템 온 칩이 하나만 존재하는 것은 아닐 수 있으므로, 하나의 시스템 온 칩에 집적되는 것으로 제한되는 것은 아니다.
메모리는 S램, D랩 등의 휘발성 메모리(임시 저장 메모리라 지칭되기도 함)과, 플래시 메모리, 롬(Read Only Memory), 이피롬(Erasable Programmable Read Only Memory: EPROM), 이이피롬(Electrically Erasable Programmable Read Only Memory: EEPROM) 등의 비휘발성 메모리를 포함할 수 있다. 다만, 이에 한정되는 것은 아니며, 당업계에 알려져 있는 임의의 다른 형태로 구현될 수도 있다.
일 실시예로, 비휘발성 메모리에는 사용자 단말(100)의 동작 제어하기 위한 제어 프로그램 및 제어 데이터가 저장될 수 있으며, 휘발성 메모리에는 비휘발성 메모리로부터 제어 프로그램 및 제어 데이터를 불러와 임시로 저장되거나, 프로세서가 출력하는 제어 명령 데이터 등이 임시로 저장될 수 있는 등 제한은 없다.
제어부(170)는 메모리에 저장된 데이터를 기반으로 제어신호를 생성하고, 생성한 제어신호를 통해 사용자 단말(100) 내 구성요소의 전반적인 동작을 제어할 수 있다.
제어부(170)는 제어신호를 통해 디스플레이(120) 상에 다양한 정보가 표시되도록 제어할 수 있다. 예를 들어, 제어부(170)는 제어신호를 통해 디스플레이(120) 상에 사용자가 재생을 요청한 동영상을 재생할 수 있다. 일 실시예로 사용자가 도 3에 도시된 아이콘(I2)을 터치하면, 제어부(170)는 사용자 단말(100)의 구성요소를 제어하여 사용자가 설정한 국가의 언어로 번역된 텍스트 번역정보 및 음성 번역정보 중 적어도 하나를 제공할 수 있다.
예를 들어, 제어부(170)는 디스플레이(120) 상에 동영상과 함께 텍스트 번역정보가 표시되도록 제어할 수 있으며, 제어부(170)는 스피커(130)를 통해 음성 번역정보가 송출되도록 제어할 수도 있다.
제어부(170)가 원어정보 및 번역정보를 제공하는 방법은 다양할 수 있다. 예를 들어, 제어부(170)는 도 4에 도시된 바와 같이 동영상에 텍스트 원어정보를 자막으로 매핑시킨 다음, 디스플레이(120) 상에 표시되도록 제어할 수 있다.
또 다른 예로, 제어부(170)는 도 5에 도시된 바와 같이 동영상에 텍스트 원어정보 및 텍스트 번역정보를 자막으로 매핑시킨 다음, 디스플레이(120) 상에 함께 표시되도록 제어할 수 있다. 이외에도, 제어부(170)는 텍스트 원어정보가 먼저 표시된 다음, 미리 설정된 간격 뒤에 텍스트 번역정보가 자막으로 표시되도록 제어할 수도 있다.
또 다른 예로 제어부(170)는 동영상에서 등장인물이 발화할 때 마다 음성 원어정보가 스피커(130)를 통해 출력된 다음, 미리 설정된 간격 뒤에 특정 음성으로 더빙된 음성 번역정보가 출력되도록 제어할 수 있으며, 이때 음성 원어정보와 음성 번역정보의 출력 크기를 다르게 제어할 수도 있는 등 원문/번역 서비스를 제공하는 방법에는 제한이 없다.
전술한 동영상 파일을 영상 파일과 음성 파일로 분리 생성하는 프로세스, 영상 파일과 음성 파일로부터 원어정보를 추출하는 프로세스, 원어정보로부터 번역정보를 생성하는 프로세스는 사용자 단말(100)에서 직접 수행할 수도 있으나 연산 처리 과부하를 방지하고자 외부에 마련된 장치에서 별도로 수행될 수도 있다. 이 경우, 외부에 마련된 장치는 사용자 단말(100)로부터 번역 명령을 전달 받으면, 전술한 프로세스를 수행한 다음, 결과물을 사용자 단말(100)에 송신할 수 있는 등 제한은 없다.
이하에서는 동영상에 대한 번역 서비스를 지원하는 사용자 단말의 동작에 대해서 간단하게 설명하도록 한다.
도 7는 일 실시예에 따른 사용자 단말의 동작 흐름도를 개략적으로 도시한 도면이다.
도 7을 참조하면, 사용자 단말은 동영상 파일을 영상 파일과 음성 파일로 분리 생성할 수 있다(700). 여기서, 동영상 파일은 사용자 단말에 기 저장되어 있는 파일일 수도 있고 통신망을 통해 실시간으로 스트리밍 중인 파일일 수도 있는 등 제한은 없다.
예를 들어, 사용자 단말은 내장된 메모리에 저장된 동영상 파일을 읽어들이고, 이를 기반으로 영상 파일과 음성 파일을 생성할 수 있으며 또 다른 예로, 사용자 단말은 통신망을 통해 실시간으로 동영상 파일 데이터를 수신하고, 이를 기반으로 영상 파일과 음성 파일을 생성할 수 있다.
사용자 단말은 영상 파일 및 음성 파일 중 적어도 하나를 이용하여 원어정보를 추출할 수 있다(710).
여기서, 원어정보라 함은 원본 동영상 파일 내에 포함된 의사소통 수단을 음성 및 텍스트 중 적어도 하나의 형태로 나타낸 정보로서, 특정 국가의 언어로 번역하기 전의 정보에 해당한다.
사용자 단말은 동영상 내에 등장하는 인물이 사용하는 의사소통 수단에 따라 영상 파일 및 음성 파일 중 전부를 이용하거나 또는 하나 만을 이용하여 원어정보를 추출할 수 있다.
예를 들어 동영상 내에 등장하는 인물 중 어느 하나가 음성을 이용하여 대화를 함과 동시에 다른 인물은 수화를 이용하여 대화를 하고 있는 경우, 사용자 단말은 영상 파일로부터 수화 패턴을, 음성 파일로부터 음성을 식별하여 원어정보를 추출할 수 있다.
또 다른 예로 동영상 내에 등장하는 인물들이 음성 만을 이용하여 대화 중인 경우 사용자 단말은 음성 파일 만을 이용하여 원어정보를 추출할 수 있고, 또 다른 예로 동영상 내에 등장하는 인물들이 수화 만을 이용하여 대화 중인 경우, 사용자 단말은 영상 파일 만을 이용하여 원어정보를 추출할 수 있다.
사용자 단말은 원어정보를 이용하여 번역정보를 생성할 수 있다(720).
이때, 사용자 단말은 자체적으로 원어정보를 번역하여 번역정보를 생성할 수도 있고, 연산 과부하를 방지하고자 실시예에 따른 번역 서비스를 제공하는 외부 서버에 원어정보를 전송하고, 번역정보를 수신하여 제공할 수도 있는 등 구현형태에는 제한이 없다.
이외에도, 사용자 단말은 동영상 파일에, 원어정보 및 번역정보를 매핑시킨 다음, 통신망을 통해 외부 단말과 공유함으로써, 다른 사용자들과 함께 컨텐츠를 즐길 수 있다.
사용자 단말은 원어정보 및 번역정보 중 적어도 하나를 동영상과 함께 제공할 수 있으며, 제공방법에는 전술한 바와 같이 제한이 없다. 실시예에 따른 사용자 단말은 다양한 국가의 언어로 제작된 동영상 컨텐츠들을 사용자가 보다 손쉽게 즐길 수 있게 함과 동시에, 효과적인 언어 교육이 가능하다는 장점이 있다.
명세서에 기재된 실시예와 도면에 도시된 구성은 개시된 발명의 바람직한 일 예에 불과할 뿐이며, 본 출원의 출원시점에 있어서 본 명세서의 실시예와 도면을 대체할 수 있는 다양한 변형 예들이 있을 수 있다.
또한, 본 명세서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.
또한, 본 명세서에서 사용한 "제1", "제2" 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 명세서 전체에서 사용되는 "~부(unit)", "~기", "~블록(block)", "~부재(member)", "~모듈(module)" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어를 의미할 수 있다. 그러나, "~부", "~기", "~블록", "~부재", "~모듈" 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, "~부", "~기", "~블록", "~부재", "~모듈" 등은 접근할 수 있는 저장 매체에 저장되고 하나 또는 그 이상의 프로세서에 의하여 수행되는 구성일 수 있다.
[부호의 설명]
100: 사용자 단말
110: 입력부
120: 디스플레이

Claims (10)

  1. 동영상 파일로부터 분리 생성한 영상파일 및 음성파일 중 적어도 하나를 기반으로 등장인물 각각에 대한 원어정보를 추출하는 추출부;
    상기 원어정보를 선택된 언어에 따라 번역한 번역정보를 생성하는 번역부; 및
    상기 원어정보 및 번역정보 중 적어도 하나를 제공하는 제어부;
    를 포함하는 사용자 단말.
  2. 제1항에 있어서,
    상기 원어정보는, 음성 원어정보 및 텍스트 원어정보 중 적어도 하나를 포함하고,
    상기 번역정보는, 음성 번역정보 및 텍스트 번역정보 중 적어도 하나를 포함하는 사용자 단말.
  3. 제1항에 있어서,
    상기 추출부는,
    상기 음성 파일에 대해 주파수 대역 분석 프로세스를 적용하여 등장인물 각각에 대한 음성 원어정보를 추출하고,
    상기 추출한 음성 원어정보에 대해 음성 인식 프로세스를 적용하여 텍스트 원어정보를 생성하는 사용자 단말.
  4. 제1항에 있어서,
    상기 추출부는,
    상기 영상 파일에 대해 영상 처리 프로세스를 적용하여 수화 패턴을 검출하고, 상기 검출한 수화 패턴을 기반으로 텍스트 원어정보를 추출하는 사용자 단말.
  5. 제1항에 있어서,
    상기 추출부는,
    주파수 대역 분석 프로세스를 통해 상기 음성 파일에 등장하는 등장인물의 연령대 및 성별 중 적어도 하나를 판단하고, 판단 결과를 기반으로 설정한 인물정보를, 상기 원어정보에 매핑하여 저장하는 사용자 단말.
  6. 동영상 파일로부터 분리 생성한 영상파일 및 음성파일 중 적어도 하나를 기반으로 등장인물 각각에 대한 원어정보를 추출하는 단계;
    상기 원어정보를 선택된 언어에 따라 번역한 번역정보를 생성하는 단계; 및
    상기 원어정보 및 번역정보 중 적어도 하나를 제공하는 단계;
    를 포함하는 사용자 단말의 제어방법.
  7. 제6항에 있어서,
    상기 추출하는 단계는,
    상기 동영상 파일 내에 포함된 의사소통 수단에 따라 영상 파일 및 음성 파일 중 적어도 하나를 기반으로 등장인물 각각에 대한 원어정보를 추출하는 단계;
    를 포함하는 사용자 단말의 제어방법.
  8. 제6항에 있어서,
    상기 추출하는 단계는,
    상기 음성 파일에 대해 주파수 대역 분석 프로세스를 적용하여 등장인물 각각에 대한 음성 원어정보를 추출하는 단계; 및
    상기 추출한 음성 원어정보에 대해 음성 인식 프로세스를 적용하여 텍스트 원어정보를 생성하는 단계;
    를 포함하는 사용자 단말의 제어방법.
  9. 제6항에 있어서,
    상기 추출하는 단계는,
    상기 영상 파일에 대해 영상 처리 프로세스를 적용하여 수화 패턴을 검출하고, 상기 검출한 수화 패턴을 기반으로 텍스트 원어정보를 추출하는 단계;
    를 포함하는 사용자 단말의 제어방법.
  10. 제6항에 있어서,
    상기 추출하는 단계는,
    주파수 대역 분석 프로세스를 통해 상기 음성 파일에 등장하는 등장인물의 연령대 및 성별 중 적어도 하나를 판단하고, 판단 결과를 기반으로 설정한 인물정보를, 상기 원어정보에 매핑하여 저장하는 단계;
    를 더 포함하는 사용자 단말의 제어방법.
PCT/KR2020/017742 2019-12-09 2020-12-07 사용자 단말 및 그 제어방법 WO2021118184A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080096097.4A CN115066908A (zh) 2019-12-09 2020-12-07 用户终端及其控制方法
US17/784,034 US20230015797A1 (en) 2019-12-09 2020-12-07 User terminal and control method therefor
JP2022535548A JP2023506469A (ja) 2019-12-09 2020-12-07 使用者端末、及びその制御方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190162504A KR102178175B1 (ko) 2019-12-09 2019-12-09 사용자 단말 및 그 제어방법
KR10-2019-0162504 2019-12-09

Publications (1)

Publication Number Publication Date
WO2021118184A1 true WO2021118184A1 (ko) 2021-06-17

Family

ID=73398585

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/017742 WO2021118184A1 (ko) 2019-12-09 2020-12-07 사용자 단말 및 그 제어방법

Country Status (5)

Country Link
US (1) US20230015797A1 (ko)
JP (1) JP2023506469A (ko)
KR (1) KR102178175B1 (ko)
CN (1) CN115066908A (ko)
WO (1) WO2021118184A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102178175B1 (ko) * 2019-12-09 2020-11-12 김경철 사용자 단말 및 그 제어방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004333738A (ja) * 2003-05-06 2004-11-25 Nec Corp 映像情報を用いた音声認識装置及び方法
JP2008160232A (ja) * 2006-12-21 2008-07-10 Funai Electric Co Ltd 映像音声再生装置
KR20100026701A (ko) * 2008-09-01 2010-03-10 한국산업기술대학교산학협력단 수화 번역기 및 그 방법
KR20100045336A (ko) * 2008-10-23 2010-05-03 엔에이치엔(주) 웹 상의 멀티미디어 컨텐츠에 포함되는 특정 언어를 다른 언어로 번역하여 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20150057591A (ko) * 2013-11-20 2015-05-28 주식회사 디오텍 동영상파일에 대한 자막데이터 생성방법 및 장치
KR20190040891A (ko) * 2017-10-11 2019-04-19 주식회사 산타 클라우드 서비스를 이용한 영상 콘텐츠의 음성 추출 및 기계번역 연동 서비스 제공 시스템 및 방법
KR102178175B1 (ko) * 2019-12-09 2020-11-12 김경철 사용자 단말 및 그 제어방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110246172A1 (en) * 2010-03-30 2011-10-06 Polycom, Inc. Method and System for Adding Translation in a Videoconference
JP5666219B2 (ja) * 2010-09-10 2015-02-12 ソフトバンクモバイル株式会社 眼鏡型表示装置及び翻訳システム
CN102984496B (zh) * 2012-12-21 2015-08-19 华为技术有限公司 视频会议中的视音频信息的处理方法、装置及系统
JP2016091057A (ja) * 2014-10-29 2016-05-23 京セラ株式会社 電子機器
CN106657865B (zh) * 2016-12-16 2020-08-25 联想(北京)有限公司 会议纪要的生成方法、装置及视频会议系统
CN109658919A (zh) * 2018-12-17 2019-04-19 深圳市沃特沃德股份有限公司 多媒体文件的翻译方法、装置及翻译播放设备
CN109960813A (zh) * 2019-03-18 2019-07-02 维沃移动通信有限公司 一种翻译方法、移动终端及计算机可读存储介质
CN110532912B (zh) * 2019-08-19 2022-09-27 合肥学院 一种手语翻译实现方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004333738A (ja) * 2003-05-06 2004-11-25 Nec Corp 映像情報を用いた音声認識装置及び方法
JP2008160232A (ja) * 2006-12-21 2008-07-10 Funai Electric Co Ltd 映像音声再生装置
KR20100026701A (ko) * 2008-09-01 2010-03-10 한국산업기술대학교산학협력단 수화 번역기 및 그 방법
KR20100045336A (ko) * 2008-10-23 2010-05-03 엔에이치엔(주) 웹 상의 멀티미디어 컨텐츠에 포함되는 특정 언어를 다른 언어로 번역하여 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20150057591A (ko) * 2013-11-20 2015-05-28 주식회사 디오텍 동영상파일에 대한 자막데이터 생성방법 및 장치
KR20190040891A (ko) * 2017-10-11 2019-04-19 주식회사 산타 클라우드 서비스를 이용한 영상 콘텐츠의 음성 추출 및 기계번역 연동 서비스 제공 시스템 및 방법
KR102178175B1 (ko) * 2019-12-09 2020-11-12 김경철 사용자 단말 및 그 제어방법

Also Published As

Publication number Publication date
CN115066908A (zh) 2022-09-16
KR102178175B1 (ko) 2020-11-12
JP2023506469A (ja) 2023-02-16
US20230015797A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
WO2021118179A1 (ko) 사용자 단말, 화상 통화 장치, 화상 통화 시스템 및 그 제어방법
WO2014010982A1 (en) Method for correcting voice recognition error and broadcast receiving apparatus applying the same
WO2014003365A1 (en) Method and apparatus for processing multiple inputs
WO2015099293A1 (en) Device and method for displaying user interface of virtual input device based on motion recognition
WO2013168988A1 (en) Electronic apparatus and method for controlling electronic apparatus thereof
WO2016017855A1 (en) Wearable device and method of controlling therefor
WO2014106986A1 (en) Electronic apparatus controlled by a user's voice and control method thereof
WO2020054980A1 (ko) 음소기반 화자모델 적응 방법 및 장치
JPWO2013077110A1 (ja) 翻訳装置、翻訳システム、翻訳方法およびプログラム
CN108538284A (zh) 同声翻译结果的展现方法及装置、同声翻译方法及装置
EP3166012A1 (en) Audio input of field entries
WO2021118184A1 (ko) 사용자 단말 및 그 제어방법
WO2020233074A1 (zh) 移动终端的控制方法、装置、移动终端及可读存储介质
US20190026265A1 (en) Information processing apparatus and information processing method
WO2019004762A1 (ko) 이어셋을 이용한 통역기능 제공 방법 및 장치
WO2019107719A1 (ko) 360 비디오에서 화자의 음성을 시각적으로 표시하기 위한 장치 및 방법
WO2017065324A1 (ko) 수화교육 시스템, 방법 및 프로그램
WO2018117660A1 (en) Security enhanced speech recognition method and device
WO2015093754A1 (ko) 전자 장치에서 연결 정보를 공유하는 방법 및 장치
US20210210083A1 (en) Response to secondary inputs at a digital personal assistant
WO2021118180A1 (ko) 사용자 단말, 방송 장치, 이를 포함하는 방송 시스템 및 그 제어방법
WO2014148802A1 (ko) 통화 서비스 수행시 콜센터 메뉴에 연동하여 콜센터 메뉴 정보를 제공하는 콜센터 메뉴 정보 제공 장치 및 이를 이용한 콜센터 메뉴 정보 제공 방법
WO2020045909A1 (en) Apparatus and method for user interface framework for multi-selection and operation of non-consecutive segmented information
WO2021091063A1 (ko) 전자장치 및 그 제어방법
WO2024053967A1 (ko) 디스플레이 기반 커뮤니케이션 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20897888

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022535548

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20897888

Country of ref document: EP

Kind code of ref document: A1