WO2019139301A1 - 전자 장치 및 그 자막 표현 방법 - Google Patents

전자 장치 및 그 자막 표현 방법 Download PDF

Info

Publication number
WO2019139301A1
WO2019139301A1 PCT/KR2019/000097 KR2019000097W WO2019139301A1 WO 2019139301 A1 WO2019139301 A1 WO 2019139301A1 KR 2019000097 W KR2019000097 W KR 2019000097W WO 2019139301 A1 WO2019139301 A1 WO 2019139301A1
Authority
WO
WIPO (PCT)
Prior art keywords
word
information
processor
content
keyword
Prior art date
Application number
PCT/KR2019/000097
Other languages
English (en)
French (fr)
Inventor
이상아
김현경
박찬웅
정주희
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/772,839 priority Critical patent/US20210168460A1/en
Publication of WO2019139301A1 publication Critical patent/WO2019139301A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G06F16/90344—Query processing by using string matching techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/109—Font handling; Temporal or kinetic typography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/151—Transformation
    • G06F40/157—Transformation using dictionaries or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering

Definitions

  • the embodiments disclosed herein relate to the subtitle presentation technique of the content.
  • the electronic device can output subtitles on the content when outputting the content.
  • subtitles can be used to translate the metabolism of the content, or to emphasize or explain some of the content content (e.g., metabolism, admiration, situation).
  • the electronic device can receive the content and the text code (caption) from the broadcasting station server, and can decode the text code to display the caption on the content.
  • the electronic device can decode a text code of the subtitle file of the content to display the subtitle on the content. In this case, the electronic device only displays the subtitles corresponding to the received text codes.
  • a conventional electronic device can edit and output a part of a subtitle of a content.
  • a conventional electronic device can adjust the color or size of a caption or the position of a caption according to a user's setting. As such, the degree to which the conventional electronic device edited the subtitles was fragmentary.
  • the various embodiments disclosed in this document provide a method of representing subtitles by an electronic device and an electronic device capable of improving the visibility of subtitles of contents.
  • An electronic device includes a display; A memory for storing content information including content and subtitle information; And a processor operatively coupled to the display and the memory, wherein the processor is configured to determine at least one key word using the content information, detect a word matching the at least one key word from the caption information, Highlighting the detected word according to a specified setting, and outputting the subtitle information including the highlighted word on the content when outputting the content to the display.
  • a subtitle rendering method including: storing content information including content and subtitle information in a memory; Determining at least one key word using the content information; Detecting a word matching the at least one keyword from the caption information; Highlighting the detected word according to a specified setting; And outputting the subtitle information including the highlighted word on the content when outputting the content to a display.
  • FIG. 1 shows a block diagram of an electronic system according to an embodiment.
  • FIG 2 shows a block diagram of an electronic device (e.g., 120 of Figure 1) according to one embodiment.
  • FIG. 3 is a diagram for explaining a keyword emphasis method using EPG information according to an embodiment.
  • FIG. 4 is a diagram for explaining a key word determination method when a key word according to an embodiment is a homonym.
  • FIG. 5 is an exemplary diagram of a user-settled key word enhancement method in accordance with one embodiment.
  • FIG. 6A is a diagram for explaining a motion effect applied to an onomatopoeia / equinus according to an embodiment.
  • FIG. 6B is a diagram for explaining a second motion effect in a right-of-sight / on-right word according to an embodiment of the present invention.
  • FIG. 7 is a view for explaining an acoustic subtitle according to an embodiment.
  • FIG. 8A is a diagram for explaining a context emphasis effect for adjusting a character type according to an embodiment.
  • FIG. 8B is a diagram for explaining a context emphasis effect for adjusting the character shadow according to an embodiment.
  • FIG. 9 is a diagram illustrating an application example of a karaoke effect according to an embodiment.
  • FIG. 10 shows a criterion for classifying genres of contents according to an embodiment.
  • Figure 11 illustrates the effects that can be applied to content (e.g., subtitles) on a per type basis according to one embodiment.
  • content e.g., subtitles
  • FIG. 12 is an exemplary diagram illustrating a real-time subtitle rendering method according to an embodiment.
  • FIG. 13 is an exemplary diagram illustrating a subtitle rendering method for a content of a news genre according to an embodiment.
  • FIG. 14 is an exemplary diagram illustrating a subtitle rendering method for contents of a documentary genre according to an embodiment.
  • FIG. 15 is a diagram illustrating an example of a subtitle rendering method for contents of a quiz show genre according to an embodiment.
  • 16 is an exemplary diagram illustrating a subtitle rendering method for a content of a sports genre according to an embodiment.
  • 17 is an exemplary view of a subtitle rendering method for content of a movie genre according to an embodiment.
  • FIG. 18 is an exemplary diagram illustrating a subtitle rendering method for contents of a music show genre according to an embodiment.
  • FIG. 19 shows a flowchart of a subtitle display method according to an embodiment.
  • FIG. 20 shows a block diagram of an electronic device representing subtitles in a network environment in accordance with various embodiments.
  • FIG. 1 shows a block diagram of an electronic system according to an embodiment.
  • an electronic system 10 may include at least one server device 110 and an electronic device 120, according to one embodiment.
  • some components may be omitted, or may further include additional components.
  • some of the components are combined to form a single entity, but the functions of the corresponding components prior to the combination can be performed in the same manner.
  • the input / output relationship shown in Fig. 1 is merely an example for convenience of explanation, and may not be limited thereto.
  • At least one server device 110 may store content information including at least one of content, subtitle information, and additional information, and may transmit the content information.
  • the content may include, for example, real-time broadcast content or VOD broadcast content.
  • the content may include at least one of another example, audio information and image information.
  • the caption information may include, for example, caption content information output on the content and caption setting value information.
  • the additional information may include at least one of, for example, EPG information, a real-time popular search word, an associated search word, or key word information.
  • the at least one server device 110 may include at least one of a content server, a content information server, or a portal server, for example.
  • the content server is, for example, a server for storing at least one piece of content information, for example, a content DB server of a broadcasting company.
  • the content server may be, for example, a server of a broadcaster, and may be a server that starts content-related information (e.g., program introduction information, program notice information, and shooting episode information).
  • the portal server may be, for example, a server that provides a search service based on a keyword.
  • the electronic device 120 may receive content information from at least one server device 110.
  • the electronic device 120 may receive at least some of the content information (e.g., content and subtitle information) from a second server device, such as a portion of content information (e.g., additional information) .
  • the electronic device 120 may store the received content information in its own memory.
  • the electronic device 120 when outputting content to a display, extracts at least one keyword from content information (e.g., additional information), and transmits the at least one keyword to at least some of the content information And detecting a word matching the at least one key word from the caption information, highlighting the detected word according to a specified setting, and displaying caption information including the emphasized word on display .
  • content information e.g., additional information
  • FIG 2 shows a block diagram of an electronic device (e.g., 120 of Figure 1) according to one embodiment.
  • an electronic device 20 may include a communication circuit 210, an input device 220, a display 230, a memory 240, and a processor 250, according to one embodiment.
  • some components may be omitted, or may further include additional components.
  • the electronic device 20 may further include a speaker for outputting audio.
  • some of the components are combined to form a single entity, but the functions of the corresponding components prior to the combination can be performed in the same manner.
  • the input / output relationship shown in Fig. 2 is merely an example for convenience of explanation, and may not be limited thereto.
  • the communication circuitry 210 may form a designated communication channel for communicating with the server device 110.
  • the communication circuit 210 converts the content information received via the designated communication channel into a form that can be interpreted by the processor 250, and outputs information (e.g., a content information request) from the processor 250 It can be converted into the information of the designated communication method and transmitted through the designated communication channel.
  • the designated communication channel may be a first network 2098 (e.g., a short range communication network such as Bluetooth, WiFi direct, or infrared data association) or a second network 2099 (e.g., a cellular network, : LAN or WAN). ≪ / RTI >
  • input device 220 may receive or sense user input.
  • the input device 220 may include at least one of a touch sensor, a communication circuit, or an input button.
  • the touch sensor may comprise a touch screen display.
  • the communication circuit of the input device 220 can communicate with a remote control device (e.g., a remote control, a mouse).
  • the communication circuit can communicate with the remote control device using various communication methods such as, for example, Bluetooth, NFC, IR communication.
  • the input button may be a physical button provided in the electronic device 20.
  • display 230 may output (display) various content (e.g., text, images, video, icons, and / or symbols).
  • the display 230 may output image information (content) and subtitle information of the content information in accordance with an instruction of the processor 250.
  • Display 230 may include, for example, a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, or an electronic paper display.
  • LCD liquid crystal display
  • LED light emitting diode
  • OLED organic light emitting diode
  • memory 240 may store instructions or data related to at least one other component of electronic device 20.
  • the memory 240 may store instructions for outputting content and subtitle information to the display 230.
  • the memory 240 may store instructions for editing caption information based on content information.
  • the memory 240 may store content information and motion effect information.
  • the content information may include, for example, content (at least one of audio information and image information), caption information, and additional information.
  • the caption information may include, for example, caption content information output on the content and caption setting value information.
  • the additional information may include at least one of, for example, EPG information, a real time popular search word, an associated search word corresponding to a real time popular search word, or set keyword information.
  • the EPG information includes at least one of a program title, a start time, an end time, a remaining time, a theme, a theme, a performer, a writer, a production studio, an award history, a keyword, can do.
  • the additional information may further include at least one of, for example, at least one keyword, key word information by genre, or genre effect information.
  • the genre-specific key word information may include key word information set in accordance with genre of content, for example.
  • the genre-specific effect information may include, for example, information capable of confirming an effect applied to each genre of the content.
  • the memory 240 may be a volatile memory (e.g., RAM, non-volatile memory (e.g., ROM, flash memory), or a combination thereof.
  • the processor 250 may execute operations or data processing relating to control and / or communication of at least one other component of the electronic device 20 using the instructions stored in the memory 240.
  • the processor 250 may extract at least one keyword using content information, detect a word matching the at least one keyword from the caption information, And may output the subtitle information including the highlighted word to the display 230 when outputting the content to the display 230.
  • the processor 250 may be, for example, a central processing unit (CPU), a graphics processing unit (GPU), a microprocessor, an application processor, an application specific integrated circuit (ASIC) )), And may have a plurality of cores.
  • the processor 250 may store the received content information in the memory 240 upon receiving at least a portion of the content information from the at least one server device 110 via the communication circuitry 210.
  • the processor 250 may receive some of the content information (e.g., content and subtitle information) from the first server device and receive a different portion of the content information (e.g., additional information) from the second server .
  • the processor 250 may determine at least one key word using the content information.
  • the at least one key word may be, for example, a word whose setting value of at least one of a character type and a display position is set to be different from another character.
  • the at least one keyword may be set differently according to the genre of the content.
  • the processor 250 may determine at least one key word using the EPG information. For example, the processor 250 may determine at least one of a program title, a theme, a theme, a performer, a writer, a keyword, or a program synopsis among the EPG information as at least one key word. In this regard, the processor 250 determines some of the EPG information (e.g., title, subject, keyword, performer) as at least one key word without filtering and assigns a different part of the EPG information (e.g., program synopsis) And may selectively determine at least one keyword.
  • the EPG information e.g., title, subject, keyword, performer
  • processor 250 may obtain a similar word or association word associated with at least one keyword determined using the EPG information, and further determine the obtained similar word or association word as at least one keyword.
  • processor 250 may obtain a synonym or associated word from at least one server device 110 or memory 240.
  • the processor 250 communicates with at least one server device (e.g., a content server) that initiates descriptive information about the content on a web page via the communication circuitry 210 and includes at least one server device 110), it is possible to determine at least one key word of a word having a high appearance frequency, for example, by using the explanation information.
  • server device e.g., a content server
  • the processor 250 requests a specified number (e.g., ten) of real-time popular search queries to the portal server device via the communication circuitry 210,
  • the popular search term can be determined as at least one keyword.
  • the processor 250 may determine a real-time popular search term as at least one key word when the genre of the content is a designated genre (e.g., news).
  • the processor 250 may receive an associated query corresponding to a real-time popular query from the portal server and further determine the received associated query as at least one keyword. For example, when the processor 250 detects a word matched with a real-time popular search word from the caption information, the processor 250 requests an associated keyword of the detected word from the portal server, It can be decided by one key word.
  • the processor 250 may detect words that match at least one keyword from the caption information. For example, the processor 250 may remove ancillary characters including the search and adverb from the words included in the caption information by using a technique such as word2vec, and extract at least one key word among the removed words It is possible to detect words that are more likely to be associated than the specified threshold (for example, 70%).
  • the specified threshold for example, 70%
  • the processor 250 detects a word matching the keyword from the caption information, and detects a word matching the keyword using the verb of the sentence containing the detected word .
  • the processor 250 can check whether the detected word matches the keyword by analyzing the association between the verb of the sentence containing the detected word and the sibling of the homonym.
  • the processor 250 may output subtitle information including emphasized words on the content as the detected word is highlighted according to a specified setting.
  • the processor 250 may set at least one of a character type of a detected word or a character position to a value different from a set value of a word excluding detected words (hereinafter, referred to as 'another word') in the caption information
  • the detected word can be emphasized.
  • the character type may include at least one of, for example, a font, a display color, a degree of tilt, a character size, or a character.
  • the character position may correspond to a position of a layer in which the detected word is displayed in the entire area of the content.
  • the at least one set value may be stored in the memory 240 in association with the caption information.
  • the processor 250 can confirm the set word type from the caption information and emphasize the set word type in the caption information.
  • the word type may include at least one of, for example, a noun, a number, an affirmative expression word, a negative expression word or a key word (e.g., a keyword).
  • a key word e.g., a keyword
  • the processor 250 can emphasize all the nouns included in the caption information according to the specified setting.
  • processor 250 may determine whether a detected word corresponds to at least one of a motion stored in memory 240 (e.g., The motion effect corresponding to the detected word can be applied to the detected word based on the effect information.
  • the motion effect information includes, for example, a set value of a motion effect to be applied to a layer on which a specified word is to be displayed
  • the set value of the motion effect may include at least one of a motion speed of a layer, a motion direction of a layer, a movement pattern of a layer, a tilt angle of a layer, or a change in a size of a layer.
  • the processor 250 may further include a change in text (e.g., flicker, change in size, change in display speed) included in the fourth layer, for example. And outputs the detected word to a first position (e.g., an upper position) on the content, and if the detected word corresponds to at least one designated word.
  • the processor 250 may configure the second layer to output a word different from the first layer to output the detected word based on the caption information, A motion effect corresponding to a word can be applied.
  • the processor 250 may output the detected monaural / monaural words to a layer different from the monaural / non-monaural caption information.
  • the processor 250 may detect a word bundled with square brackets (e.g., []) from the caption information as a monophonic or antonym.
  • the processor 250 may include an explicit word or anonym of the third layer and output the third layer to the upper portion of the display 230, for example.
  • the processor 250 may include the on-offensive / off-offensive subtitle information in the fourth layer and output (display) the fourth layer on the lower side of the display (e.g., a consonant / a denomination).
  • the processor 250 analyzes characteristics (hereinafter referred to as 'audio characteristics') of the audio information included in the content, and performs a context highlighting effect, a karaoke effect, or an acoustic effect And at least one of the display subtitle effect can be further applied.
  • characteristics hereinafter referred to as 'audio characteristics'
  • the processor 250 may analyze the audio characteristics from the audio information and adjust the setting values of the subtitle information according to the analyzed audio characteristics.
  • the audio characteristic may include at least one of, for example, a sound intensity, a speaking speed, or a frequency of each speaker.
  • the processor 250 may vary the shape of the layer for outputting the caption information when the speaking speed of the speaker is fast or when the speaker is late, based on the analyzed audio characteristic. For example, the processor 250 may display a layer as a square if the speaking speed of the speaker is within a specified speed range including an average speaking speed of the speaker. Alternatively, the processor 250 may display the layer in a parallelogram shape in which the top of the layer is tilted to the right when the speaking speed of the speaker exceeds the upper limit of the specified speed range. As another example, the processor 250 may display the layer in a parallelogram shape in which the top of the layer is tilted to the left when the speaking speed of the speaker is lower than the lower limit of the specified speed range. According to various embodiments, the processor 250 may set the rate at which the layer is changed differently when the speaker's speech speed is fast or when it is late.
  • the processor 250 may change the setting values of the characters included in the caption information when the speaker's speech speed is fast or late based on the analyzed audio characteristics. For example, when the speaker's speaking speed is within a specified speed range (e.g., including the average speaking speed of the speaker), the processor 250 converts the characters included in the caption information into a shape Speed). In another example, if the speaker's speech speed exceeds the upper limit of the specified speed range, the processor 250 may display the characters included in the caption information in a shape (or speed) according to the second set value have. As another example, the processor 250 may display the characters included in the caption information in the shape (or speed) according to the third set value when the speaking speed of the speaker is less than the lower limit of the designated speed range.
  • the first through third set values may be related to at least one of a character spacing, a display color, a font, an inclination, and a font size.
  • Processor 250 may analyze the frequency of audio contained in the content and may vary the color of the speaker-specific metabolism based on the analyzed audio frequency.
  • the memory 240 stores frequency-band display color values
  • the processor 250 identifies the speaker-specific audio frequencies (e.g., average frequency values) based on the analyzed audio frequencies, The display color value corresponding to the audio frequency per speaker can be confirmed and the dialogue by speaker in the caption information can be displayed corresponding to the display color value per speaker.
  • the processor 250 can apply an audio subtitle display effect to a content by checking a designated symbol (e.g., " ⁇ ") indicating that only music is output without subtitle from the subtitle information.
  • a designated symbol e.g., " ⁇ "
  • the processor 250 may analyze audio characteristics of at least one of a tone color, a tone strength (sound pressure), a pitch (frequency), a rhythm, a tempo, a tone or a tone structure with respect to audio information.
  • An audio subtitle including symbols may be displayed on the content.
  • the symbols indicative of the audio characteristics may be displayed in the form of, for example, a sound intensity for each frequency band.
  • the processor 250 may separate the background music by instrument and display the second symbols per instrument on the content. The second symbols for each musical instrument may have different colors or shapes, for example.
  • the processor 250 distinguishes the words corresponding to the output audio information from the subtitle information by using a speech recognition technology, and displays the subtitle information so that the uttered characters can be distinguished from the characters that have not yet been uttered A karaoke effect can be applied).
  • the processor 250 may apply a default character set value to the characters included in the caption information, but may apply different set values to the uttered characters based on the speech recognition technique.
  • the processor 250 may apply a set value to the subtitle information to blur the spoken text and display relatively non-spoken characters relatively clearly. In this case, the processor 250 can blur the area including the ignited characters in the subtitle layer compared to other areas of the subtitle layer.
  • the processor 250 may apply settings that add shading to the ignited characters in the caption information.
  • the processor 250 may apply a setting value for adding a shadow of a pattern different for each speaker to the uttered characters in the caption information.
  • FIG. 3 is a diagram for explaining a keyword emphasis method using EPG information according to an embodiment.
  • the EPG information of the 'documentary HOME' may include, for example, an image (e.g., representative image), channel table information by time, and program description (e.g., title, story) information.
  • image e.g., representative image
  • program description e.g., title, story
  • processor 250 uses at least one of 'Earth', 'archeobateria', 'atmosphere', 'oxygen', 'organism' and 'heat' using EPG information of documentary content related to global warming using program description information
  • the processor 250 may determine a word having a high appearance frequency and a similar word or an associated word of the word as at least one keyword in the program description information. 250) determines at least one key word without filtering the part of the EPG information (e.g., title, subject, keyword, performer), and the other part of the EPG information (e.g., program plot) It can be decided by one key word.
  • the processor 250 detects the words 'archeobateria', 'earth' and 'heat' that match at least one key word from the caption information, and emits a detected word can do. Alternatively, the processor 250 may highlight the detected word by displaying the detected word in a different color from the other word.
  • FIG. 5 is an exemplary diagram of a user-settled key word enhancement method in accordance with one embodiment.
  • the processor 250 can check the set word type from the caption information and detect and emphasize the set word type in the caption information.
  • the word type may include at least one of, for example, a noun, a number, an affirmative expression word, a negative expression word or a key word (e.g., a keyword).
  • the sentence (sentence of the caption) included in the caption information may be " I can not believe that the global polar bear population is 20,000-25,000, but it is true. "
  • the processor 250 can detect and emphasize the nouns 'polar', 'bear', and 'population' in the sentence sentence.
  • the processor 250 can detect and emphasize the number '20, 000-25,000 'in the sentence of the caption.
  • the processor 250 determines whether 'can not believe', which corresponds to a positive expression word or a negative expression word, And " true " can be detected and emphasized.
  • the processor 250 When the word type to be emphasized is set to 'main word (key word)' as in the caption 540, the processor 250 generates words 'polar bear population' and '20,000-25,000' that match at least one key word among the sentence sentences Can be detected and emphasized.
  • the memory 240 may store a plurality of emoticons / abbreviations and a plurality of emoticons images corresponding to each of the emoticons / abbreviations, for example, in a first lookup table 610 .
  • the processor 250 When the processor 250 identifies the term 'Crowd laughing' from the caption information, it can display the 'Crowd laughing' as well as the caption 621 together with the emoticons corresponding to the 'laughter' (laugh).
  • the processor 250 can display the phrase 'Feet stomping' together with the emoticon corresponding to 'stomping' (rolling) like the subtitle 623 by confirming the phrase 'Feet stomping' from the caption information.
  • the processor 250 can display the 'Music playing' with the emoticon corresponding to 'instrumental music playing' have.
  • FIG. 6B is a diagram for explaining a second motion effect in a right-of-sight / on-right word according to an embodiment of the present invention.
  • the memory 240 may store a plurality of righteous words / expressions and a plurality of motion effect information corresponding to each righteous word / perineaural, for example, in a second lookup table 630 .
  • the second lookup table 630 includes a sentence describing each motion effect information for the sake of convenience.
  • each motion effect information may include a character set value corresponding to each sentence / Or a layer setting value (motion applied to the layer).
  • the processor 250 determines that the first 'Boom', such as the caption 641, is a rectangle (for example, And the second 'Boom' may be displayed on a second layer of a rectangular shape which is inclined by an angle (for example, about 45 degrees) set to the right, for example.
  • the first 'Boom' such as the caption 641
  • the second 'Boom' may be displayed on a second layer of a rectangular shape which is inclined by an angle (for example, about 45 degrees) set to the right, for example.
  • the processor 250 may shake the layer including 'shake', for example, left and right, like the subtitle 643.
  • the processor 250 determines the tone color, sound intensity (sound pressure) Rhythm, tempo, tone, or negative structure, and display the audio subtitle 710 on the content.
  • the sound display subtitle 710 may be, for example, a subtitle for displaying a symbol representing audio characteristics of music.
  • the processor 250 may display an audio characteristic corresponding to music with an audio indication subtitle including a graph of a frequency intensity sound intensity.
  • the horizontal axis may be a frequency value
  • the vertical axis may be a graph representing a sound intensity.
  • the sound display subtitle may display the intensity of each frequency as a plurality of symbols.
  • Processor 250 separates voice and background music based on the audio characteristics of the content and displays the audio characteristics of the voice as first symbols (speech) of a first size, The audio characteristics of the music can be displayed as second symbols (background music) of the second size.
  • the processor 250 may display background music classified by musical instruments. For example, the processor 250 may display the border thickness or pattern of the second symbols differently according to the musical instrument.
  • FIG. 8A is a diagram for explaining a context emphasis effect for adjusting a character type according to an embodiment.
  • processor 250 may be configured to determine a first situation in which the speaker's speaking rate exceeds a specified upper limit of the speed range, a second situation in which the speaker's speaking rate is within a specified speed range, The set values may be differently applied to the caption information in the third situation, which is less than the lower limit of the caption information.
  • the processor 250 sets the layer in which the caption information is to be displayed to a parallelogram shape in which the top of the layer is tilted to the right in the first situation in which the speaker's speaking speed exceeds the upper limit of the specified speed range, It is possible to apply the first set value for setting the character spacing in the information to the first interval and the character to be italicized for the caption information.
  • the processor 250 sets the layer in which the caption information is to be displayed to a parallelogram shape in which the top of the layer is tilted to the left when the speaking speed of the speaker is less than the lower limit of the specified speed range, It is possible to apply the second setting value for setting the character spacing to the second interval (> first interval) and setting the character to the first font (default font) to the caption information.
  • the processor 250 sets the layer for displaying the caption information to be a rectangle when the speaking speed of the speaker is within the specified speed range, and sets the character spacing as the third interval (first interval ⁇ third interval ⁇ And a third set value for setting a character included in the caption information to a default font can be applied to the caption information.
  • the processor 250 checks the sound intensity and sets the character size to exceed the default size for a character (RUN AWAY) whose sound intensity exceeds the average sound intensity (e.g., average sound intensity per speaker) A fourth set value can be applied.
  • FIG. 8B is a diagram for explaining a context emphasis effect for adjusting the character shadow according to an embodiment.
  • the memory 240 includes a display color value for each frequency band
  • the processor 250 uses the frequency characteristics of the audio information included in the content to determine a frequency band for each speaker (e.g., (For example, a color or a shade pattern) corresponding to the determined frequency band for each speaker, and apply a display color value per speaker to the metabolic caption for each speaker.
  • the processor 250 can support the user to easily distinguish the speaker-specific ambassadors by using the caption information.
  • FIG. 9 is a diagram illustrating an application example of a karaoke effect according to an embodiment.
  • the processor 250 distinguishes between the uttered characters and the non-uttered characters from the caption information using the voice recognition technology, and generates a karaoke effect capable of distinguishing between the uttered characters and the non-uttered characters Can be displayed.
  • the processor 250 may apply a setting value for adding the designated shadow pattern to the ignited character 'Somewhere' in the caption information.
  • the processor 250 may apply a setting value for blurring the uttered letter to the uttered letter 'AND YOU KNOW' in the caption information.
  • the processor 250 applies a setting value for adding different shading patterns to the characters uttered by the speakers in the caption information when two speakers simultaneously utter, for example, when two singers simultaneously sing .
  • FIG. 10 shows a criterion for classifying genres of contents according to an embodiment.
  • the genre of the content may be classified into, for example, first to fourth types depending on whether there is a crowd, facts, or fun.
  • the first type is a genre that has no spectators and pursues a fact, and may include a news genre, a documentary genre, a current news genre, a living information genre, or an education / art genre.
  • the second type is a genre with spectators, and may include discussion genres, quizzes and game genres, variety show genres, and comedy genres.
  • the third type is a genre for pursuing fun, and may include a sports genre, a drama genre, a movie genre, and a child genre.
  • the fourth type is a genre that is more fun than the third type, and may include a music show genre and an advertisement genre.
  • the processor 250 determines the number of effects or the change in the set value to be applied to the caption information in the order of the first type genre, the second type genre, the third type genre, the interaction level can be increased.
  • Figure 11 illustrates the effects that may be applied to content (e.g., subtitles) by genre type of content according to one embodiment.
  • content e.g., subtitles
  • the processor 250 may apply only the keyword emphasis effect to content belonging to the genre of the first type.
  • Processor 250 may apply key word enhancement effects, motion effects, and context highlighting effects to content that belongs to a genre of the second type.
  • the processor 250 may apply a keyword emphasis effect, a motion effect, a context emphasis effect, and an acoustic caption display effect to a content belonging to a genre of the third type.
  • Processor 250 may apply key word enhancement effects, motion effects, context highlighting effects, acoustic subtitle display effects, and karaoke effects to content that belongs to a genre of the fourth type.
  • the processor 250 may further apply the karaoke effect to the subtitles of the content belonging to the genre of the first type.
  • the processor 250 can support the user to further increase the real sensibility and visibility of the contents by providing the subtitle information of the contents differently according to the characteristics (e.g., genre) of the contents.
  • FIG. 12 is an exemplary diagram of a real-time subtitle rendering (or editing) method according to an embodiment.
  • processor 250 may verify that the genre of content from the content information (e.g., EPG information) is a talk show. If the content is a quiz show genre (type 2), the processor 250 can confirm that the effect to be applied to the caption information based on the genre-based effect information is the key word emphasis effect, the motion effect, and the context emphasis effect.
  • the content information e.g., EPG information
  • type 2 the processor 250 can confirm that the effect to be applied to the caption information based on the genre-based effect information is the key word emphasis effect, the motion effect, and the context emphasis effect.
  • the processor 250 may determine whether caption information includes at least one of a keyword or a specified word (e.g., whether a monologue / antonym is included).
  • the processor 250 analyzes the audio characteristics (e.g., tone strength) and determines whether the tone intensity corresponding to the letter in the characters included in the caption information is greater than or equal to the letter strength (e.g., the average speaking size of a plurality of speakers) You can see that 'DEFINITELY YES!' Is included.
  • the processor 250 may apply a setting value for increasing the character size to the character 'DEFINITELY YES!' Whose tone intensity corresponding to the character is equal to or higher than the designated tone intensity.
  • the processor 250 may detect the monaural word 'laughter' from the caption information and apply a motion effect setting value corresponding to 'laughter' to 'laughter' based on the motion effect information. For example, the processor 250 may apply a setting value that tilts to a specified angle with respect to the layer of the oath word " laughter ".
  • the processor 250 displays the layer to which the setting value of the motion effect corresponding to the acronym 'laughter' is applied on the first designated area (e.g., upper part of the content) on the content, and displays the on-
  • the second layer to be displayed can be displayed in a second designated area (e.g., a lower portion of the content) on the content.
  • 'DEFINITELY YES!' Among the more literal characters included in the second layer can be displayed relatively large.
  • FIG. 13 is an exemplary diagram illustrating a subtitle rendering method for a content of a news genre according to an embodiment.
  • the processor 250 may apply only the keyword emphasis effect to the caption information.
  • the processor 250 requests at least one server device (110 of FIG. 1) (e.g., portal server, content server) to receive the top four real-time popular queries, Can be determined as key words.
  • the processor 250 receives the associated keyword 'hurricane irma' of the keyword 'hurricane' determined using the Web page (eg, headline of the news) or EPG information related to the content, and determines 'hurricane irma' as the keyword .
  • the processor 250 may detect and highlight words that match 'Florida', which matches real-time popular search terms in the caption information, and the associated word 'hurricane irma'.
  • FIG. 14 is an exemplary diagram illustrating a subtitle rendering method for contents of a documentary genre according to an embodiment.
  • the processor 250 may apply only the keyword emphasis effect to the caption information based on the stored genre effect information.
  • the processor 250 may determine at least one key word using the EPG information of the documentary content.
  • the processor 250 may identify the keyword information received from the server device (e.g., 110 in FIG. 1) related to the content, and may determine at least one keyword for the keyword included in the identified keyword information.
  • the determined key words may include, for example, Cosmos, Space, Cosmic Calendar, Universe, and big bang.
  • the processor 250 may highlight the words 'Cosmic' 'calendar', 'January 1st', 'universe' that match the key word in the caption information. Processor 250 may further highlight an association word (date displayed on the calendar) " January 1st " associated with the keyword.
  • FIG. 15 is a diagram illustrating an example of a subtitle rendering method for contents of a quiz show genre according to an embodiment.
  • the processor 250 when the content is a quiz show genre (type 2), the processor 250 generates a key word emphasis effect on the subtitle information based on the genre effect information stored in the memory 240, Effects and context-highlighting effects can be applied.
  • the processor 250 may determine the name of the performer as a key word using the EPG information and determine the keyword 'answer' corresponding to the content of the talk show genre based on genre keyword information stored in the memory 240 as a key word .
  • the processor 250 detects the monophonic words' Beep ', keywords' Paige' (performer) and 'C' (correct answer) from the caption information and analyzes the audio characteristic to generate a speech C ' Which is emphasized by the user).
  • the processor 250 applies a set value of a motion effect (e.g., layer tilt) corresponding to 'Beep' to the first layer in which the oshine word 'Beep' is to be displayed and sets the first layer 1510 to a first designated area (E.g., upper part), and a setting value for increasing the thickness to the key words 'Paige' and 'C' in the subtitle layer 1520 in which the dialogue is to be displayed may be applied and displayed in the second designated area .
  • the processor 250 may increase the size of the character included in the layer 1520 to be displayed to 'C', which is ignited at a predetermined intensity or more, to emphasize 'C' .
  • the processor 250 may provide a motion effect to the omnidirectional / italicized words, display the key words in bold, and display the letters emphasized by the user in a larger size, Thereby improving the realism or visibility of the contents.
  • 16 is an exemplary diagram illustrating a subtitle rendering method for a content of a sports genre according to an embodiment.
  • the processor 250 when the content is a quiz show genre (type 3), the processor 250 adds key word emphasis effect, motion effect, context emphasis effect, and key word emphasis effect to the caption information based on the stored genre effect information An acoustic subtitle display effect can be applied.
  • the processor 250 determines the cast name (player name) as at least one key word by using the EPG information and generates at least one key word 'shoot' designated for the sports genre based on the genre keyword information stored in the memory 240 ) 'And' goal '.
  • Processor 250 extracts the wholeness word " WHAAAAA !!! " And words 'goal' and 'Ronaldo' (player name) that match at least one key word.
  • the processor 250 may analyze the audio characteristic and confirm that the 'goal' is uttered at a sound intensity or more.
  • the processor 250 applies a set value of a motion effect (e.g., increasing in size) corresponding to 'WHAAAAA' to the omnibus word 'WHAAAAA' and sets the first layer 1610 in which the moniker 'WHAAAAA' Is displayed on the first designated area (e.g., upper part), and the thickness is increased in the key words 'Ronaldo' and 'goal' of the second layer 1620 in which the dialogue is to be displayed and displayed on the second designated area .
  • the processor 250 may increase the magnitude of the 'goal' uttered above the designated intensity of the characters to be displayed on the second layer 1620 to emphasize (1620) the 'goal' uttered above the designated intensity have.
  • the processor 250 analyzes the audio characteristics of the crowd or the cheer of the audience and generates an acoustic indication subtitle 1630 corresponding to the audio characteristic and outputs the audio indication subtitle 1630 to a third designated area On the right side).
  • the processor 250 provides a motion effect to the omnidirectional / italicized words, displays the keyword in bold, displays the highlighted letters in a larger size by the user, According to the expression, the user who understands the contents through the subtitles can improve the real sensibility or visibility of the contents.
  • 17 is an exemplary view of a subtitle rendering method for content of a movie genre according to an embodiment.
  • the processor 250 adds key word emphasis effect, motion effect, and other effects to the subtitle information based on genre effect information stored in the memory 240, Context enhancement effect and acoustic subtitle display effect can be applied.
  • the processor 250 can confirm the effect of displaying the context emphasis effect specified for the movie genre, for example, metabolism so as to distinguish between a woman and a man.
  • the processor 250 can detect the monophonic word Boom from the caption information and analyze the audio characteristics to distinguish words SMALL TALK, NICE and metabolism of men and women that are uttered over a specified tone strength.
  • the processor 250 applies the set value of the motion effect (e.g., tilting the layer) corresponding to 'Boom' to the first layer 1710 on which the omission word 'Boom' is to be displayed and displays it on the upper part of the content, 'SMALL TALK' and 'NICE', which are ignited above the designated tone level, can be emphasized by increasing the size of 'SMALL TALK' and 'NICE' which are ignited at the second layer (1720) have.
  • the processor 250 may apply a setting value that applies different shades to the metabolism of men and women to be displayed on the second layer 1720.
  • the processor 250 When the processor 250 confirms that the music is reproduced from the caption information, the processor 250 analyzes the audio characteristics of the music, generates the sound display caption 1730 corresponding to the audio characteristics, and outputs the sound display caption 1730 to the third Can be displayed in the designated area (for example, lower right).
  • the processor 250 provides a motion effect to an ounce / phrase, displays a keyword in bold, displays a highlighted character emphasized by a user, and displays a music sound in a caption Accordingly, the user who understands the contents through the subtitles can improve the real sensibility or visibility of the contents.
  • FIG. 18 is an exemplary diagram illustrating a subtitle rendering method for contents of a music show genre according to an embodiment.
  • the processor 250 adds a key word emphasis effect, a motion effect, a context emphasis effect, An acoustic subtitle display effect and a karaoke effect can be applied.
  • the processor 250 can confirm the effect of displaying the song lyrics so as to distinguish the male number from the female number in the case of the context highlighting effect specified for the music show genre, for example, a duet song.
  • the processor 250 analyzes the audio characteristics to check the lyrics uttered by the singer, and can apply different setting values to the uttered utterances and the utterances that have not yet been uttered . Accordingly, the processor 250 can display the song lyrics subtitle 1810, which can distinguish between the uttered lyrics and the non-uttered lyrics, in the lower left region of the content. For example, the processor 250 may apply a set value such that the uttered 'AND YOU KNOW' is displayed in a relatively light color and the uttered utterance 'THAT' is displayed in a relatively dark color. As another example, the processor 250 may provide a fade-out effect, for example, such that the lyric disappears over time.
  • the processor 250 may analyze the audio characteristics to identify the sound intensity for each frequency, generate the sound indication sub-film 1820 indicating the sound intensity per frequency, and display the sound indication sub-film 1820 on the lower right side of the content .
  • the processor 250 enables the singer to check the singing number of singers in the singing state of a singer, and can express the music as a subtitle based on the analysis of the audio characteristic, The user who understands the content can improve the real sensibility or visibility of the content.
  • FIG. 19 shows a flowchart of a subtitle display method according to an embodiment.
  • the processor 250 may store content information in memory 240.
  • processor 250 may receive content information from at least one server device 110 and may receive content information from external memory. If all the content information necessary for editing the caption information is already stored in the memory 240, the operation 1910 may be omitted.
  • processor 250 may determine at least one key word using content information (e.g., side information). For example, the processor 250 may obtain additional information from at least one server device 110, including at least one of the information necessary for key word detection, for example, a real-time popular search query, an associated search term, a similar word, .
  • content information e.g., side information
  • processor 250 may obtain additional information from at least one server device 110, including at least one of the information necessary for key word detection, for example, a real-time popular search query, an associated search term, a similar word, .
  • the processor 250 may detect words that match at least one keyword from the caption information. For example, the processor 250 may detect words that match at least one keyword from the caption information.
  • the processor 250 may highlight the detected word according to the specified settings. For example, the processor 250 may apply a default set value to the detected word and highlight the detected word by applying another set value for emphasis to the other word.
  • the processor 250 may output subtitle information, including the highlighted word, on the content when outputting the content to the display 230.
  • FIG. 20 is a block diagram of an electronic device 2001 (e.g., electronic device 20 of FIG. 2) in a network environment 2000, in accordance with various embodiments.
  • electronic device 2001 in network environment 2000 may communicate with electronic device 2002 via a first network 2098 (e.g., a short-range wireless communication network) (E. G., A remote wireless communication network).
  • a first network 2098 e.g., a short-range wireless communication network
  • the electronic device 2001 may communicate with the electronic device 2004 through the server 2008.
  • electronic device 2001 includes a processor 2020 (e.g., processor 250 of FIG. 2), a memory 2030 (e.g., memory 240 of FIG. 2, input device 2050 (E.g., input device 220 of FIG.
  • electronic device 2001 may include at least one of these components (e.g., display device 2060 or camera module 2080)
  • a sensor module 2076 e.g., a fingerprint sensor, a touch sensor, etc.
  • Iris Sensor, or ambient light sensor may be embodied in the display device 2060 (e.g., a display)
  • the processor 2020 executes at least one other component (e.g., hardware or software component) of the electronic device 2001 that is coupled to the processor 2020 by executing, for example, software And can perform various data processing or arithmetic operations.
  • the processor 2020 may provide instructions or data received from other components (e.g., the sensor module 2076 or the communication module 2090) to the volatile memory 2032, And may process instructions or data stored in volatile memory 2032 and store the resulting data in nonvolatile memory 2034.
  • processor 2020 includes a main processor 2021 (e.g., a central processing unit or application processor), and a secondary processor 2023 (e.g., a graphics processing unit, an image signal processor , A sensor hub processor, or a communications processor). Additionally or alternatively, the coprocessor 2023 may use less power than the main processor 2021, or it may be set to be specific to the specified function. The coprocessor 2023 may be implemented separately from, or as part of, the main processor 2021.
  • main processor 2021 e.g., a central processing unit or application processor
  • secondary processor 2023 e.g., a graphics processing unit, an image signal processor , A sensor hub processor, or a communications processor.
  • the coprocessor 2023 may use less power than the main processor 2021, or it may be set to be specific to the specified function.
  • the coprocessor 2023 may be implemented separately from, or as part of, the main processor 2021.
  • the coprocessor 2023 e.g., an image signal processor or communication processor
  • Memory 2030 may store various data used by at least one component (e.g., processor 2020 or sensor module 2076) of electronic device 2001.
  • the data may include, for example, input data or output data for software (e.g., program 2040) and related instructions.
  • the memory 2030 may include a volatile memory 2032 or a non-volatile memory 2034.
  • the program 2040 may be stored as software in the memory 2030 and may include, for example, an operating system 2042, a middleware 2044 or an application 2046.
  • the input device 2050 may receive instructions or data to be used for components (e.g., processor 2020) of the electronic device 2001 from the outside (e.g., a user) of the electronic device 2001.
  • the input device 2050 may include, for example, a microphone, a mouse, or a keyboard.
  • the sound output device 2055 can output the sound signal to the outside of the electronic device 2001.
  • the sound output device 2055 may include, for example, a speaker or a receiver. Speakers can be used for general purposes, such as multimedia playback or record playback, and receivers can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker, or as part thereof.
  • Display device 2060 can visually provide information to an external (e.g., user) of electronic device 2001.
  • Display device 2060 may include, for example, a display, a hologram device, or a projector and control circuitry for controlling the device.
  • the display device 2060 can include a touch circuitry configured to sense a touch, or a sensor circuit (e.g., a pressure sensor) configured to measure the strength of a force generated by the touch have.
  • the audio module 2070 may convert the sound into an electrical signal, or vice versa. According to one embodiment, the audio module 2070 may acquire sound through an input device 2050, or may be coupled to an audio output device 2055, or to an external electronic device (e.g., Electronic device 2002) (e.g., a speaker or a headphone)).
  • an external electronic device e.g., Electronic device 2002
  • a speaker or a headphone e.g., a speaker or a headphone
  • the sensor module 2076 senses the operating state (e.g., power or temperature) of the electronic device 2001 or an external environmental condition (e.g., a user state) and generates an electrical signal or data value corresponding to the sensed condition can do.
  • the sensor module 2076 may be a gesture sensor, a gyro sensor, a barometric sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared sensor, A temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 2077 may support one or more designated protocols that may be used by the electronic device 2001 to be connected directly or wirelessly with an external electronic device (e.g., the electronic device 2002).
  • the interface 2077 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 2078 may include a connector through which the electronic device 2001 may be physically connected to an external electronic device (e.g., the electronic device 2002).
  • connection terminal 2078 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (e.g., a headphone connector).
  • the haptic module 2079 can convert an electrical signal into a mechanical stimulus (e.g., vibration or motion) or an electrical stimulus that the user can perceive through a tactile or kinesthetic sense.
  • the haptic module 2079 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 2080 can capture a still image and a moving image.
  • the camera module 2080 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 2088 can manage the power supplied to the electronic device 2001.
  • the power management module 388 may be implemented as at least a portion of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 2089 can supply power to at least one component of the electronic device 2001.
  • the battery 2089 can include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • the communication module 2090 may be a direct (e.g., wired) communication channel or a wireless communication channel between the electronic device 2001 and an external electronic device (e.g., an electronic device 2002, an electronic device 2004, or a server 2008) Establishment, and communication through the established communication channel.
  • the communication module 2090 may include one or more communication processors that operate independently of the processor 2020 (e.g., an application processor) and that support direct (e.g., wired) or wireless communication.
  • communication module 2090 includes a wireless communication module 2092 (e.g., a cellular communication module, a short range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 2094 : A local area network (LAN) communication module, or a power line communication module).
  • a corresponding one of these communication modules may be a first network 2098 (e.g., a short range communication network such as Bluetooth, WiFi direct, or infrared data association) or a second network 2099 (e.g., a cellular network, (E.g., a telecommunications network, such as a computer network (e.g., a LAN or WAN)).
  • the wireless communication module 2092 may be coupled to the first network 2098 or the second network 2099 in a communication network such as the first network 2098 or the second network 2099 using subscriber information (e.g., International Mobile Subscriber Identity (IMSI)
  • subscriber information e.g., International Mobile Subscriber Identity (IMSI)
  • IMSI International Mobile Subscriber Identity
  • the antenna module 2097 can transmit signals or power to the outside (e.g., an external electronic device) or receive it from the outside.
  • the antenna module 2097 may include one or more antennas from which at least one antenna suitable for the communication scheme used in the communication network, such as the first network 2098 or the second network 2099, For example, by the communication module 2090. [ A signal or power may be transmitted or received between the communication module 2090 and the external electronic device via the selected at least one antenna.
  • At least some of the components are connected to each other via a communication method (e.g., bus, general purpose input and output, SPI, or mobile industry processor interface (MIPI) For example, commands or data).
  • a communication method e.g., bus, general purpose input and output, SPI, or mobile industry processor interface (MIPI)
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 2001 and the external electronic device 2004 via the server 2008 connected to the second network 2099.
  • Each of the electronic devices 2002, 2004 may be the same or a different kind of device as the electronic device 2001.
  • all or a portion of the operations performed in the electronic device 2001 may be performed in one or more external devices of the external electronic devices 2002, 2004, or 2008. [ For example, if electronic device 2001 is to perform a function or service automatically, or in response to a request from a user or other device, electronic device 2001 may be used to perform a function or service itself, Or in addition, to one or more external electronic devices to perform the function or at least part of the service.
  • the one or more external electronic devices receiving the request may execute at least a portion of the requested function or service, or an additional function or service associated with the request, and forward the result of the execution to the electronic device 2001.
  • the electronic device 2001 may process the result, either directly or in addition, to provide at least a portion of the response to the request.
  • a display e.g., a display
  • a memory e.g., memory 240 in FIG. 2 in which content information including content and subtitle information is stored
  • a processor e.g., processor 250 of FIG.
  • the processor is operable to determine at least one key word using the content information, Detecting a word that matches a key word, highlighting the detected word according to a specified setting, and outputting the caption information including the emphasized word on the content when outputting the content to the display .
  • the content information may further include electronic program guide (EPG) information, and the processor may be configured to determine the at least one keyword using the EPG information.
  • EPG electronic program guide
  • the electronic device further comprises a communication circuit (e.g., communication circuit 210 of FIG. 2) that is capable of communicating with the server device, 1 < / RTI > keyword, receiving at least one associated keyword associated with the at least one first keyword from the server device via the communication circuit, and transmitting the at least one first keyword and the at least one associated keyword to the at least one Can be set to be determined as one key word.
  • a communication circuit e.g., communication circuit 210 of FIG. 2
  • the electronic device further comprises a communication circuit (e.g., communication circuit 210 of FIG. 2) that is capable of communicating with the server device, 1 < / RTI > keyword, receiving at least one associated keyword associated with the at least one first keyword from the server device via the communication circuit, and transmitting the at least one first keyword and the at least one associated keyword to the at least one Can be set to be determined as one key word.
  • the electronic device further includes a communication circuit capable of communicating with a server device that starts to explain information on the content on a web page, and the processor communicates with the server device via the communication circuit To receive the description information from the server apparatus, and to determine the at least one keyword using the description information.
  • an electronic device further comprises a communication circuit capable of communicating with a server device, said processor receiving at least one real time popularity query from the server device via the communication circuit, Of the real-time popular search term as the at least one keyword.
  • the processor detects a verb of a sentence containing the detected word if the at least one key word is an homonym, detecting a word matching the at least one keyword from the caption information, And analyzing the association between the at least one keyword and the sibling of the at least one keyword to determine whether the detected word matches the at least one keyword.
  • the processor may be configured to determine the genre of the content based on the content information, and to extract the at least one key word differently according to the genre of the content.
  • the electronic device further includes an input device (e.g., input device 220 of FIG. 2), and the processor is configured to, when a word type to be emphasized through the input device is set, It may be further set to check the set word type and to emphasize the set word type in the caption information.
  • an input device e.g., input device 220 of FIG. 2
  • the processor is configured to, when a word type to be emphasized through the input device is set, It may be further set to check the set word type and to emphasize the set word type in the caption information.
  • the caption information includes set value information for each character shape and the processor is configured to apply the set value of the detected word differently from the set value of the word excluding the detected word based on the set value information for each character shape
  • the detected word may be set to be emphasized.
  • the memory further stores motion effect information corresponding to a specified word of at least one of the at least one key word and wherein the processor is further configured to compare the motion effect information with the motion effect information if the detected word corresponds to the at least one designated word Based on the detected word, a motion effect corresponding to the detected word.
  • the processor forms a second layer for outputting the detected word and a first layer for outputting the subtitle information excluding the detected word based on the caption information, Can be set to apply motion effects.
  • the processor outputs the detected word to a first position on the content if the detected word corresponds to the at least one designated word and extracts the caption information excluding the detected word from the first position at a specified interval To a second position on the content that is more distant than the first position.
  • a method for caption presentation by an electronic device includes the steps of: storing content information including content and caption information in a memory; Determining at least one key word using the content information; Detecting a word matching the at least one keyword from the caption information; Highlighting the detected word according to a specified setting; And outputting the subtitle information including the highlighted word on the content when outputting the content to a display.
  • the content information may further include electronic program guide (EPG) information, and the determining operation may include determining the at least one keyword using the EPG information.
  • EPG electronic program guide
  • the determining the at least one keyword using the EPG information comprises: determining at least one first keyword using the EPG information; Receiving from the server device at least one associated query related to the at least one first keyword; And determining the at least one first keyword and the at least one associated keyword as the at least one keyword.
  • the subtitle presentation method includes: requesting the presentation information to a server device that starts description information on the content via a web page; Further comprising receiving the description information from the server device in response to a request, wherein the determining operation may include determining the at least one keyword using the description information.
  • a subtitle presentation method includes: requesting a server device for at least one real time popular search query; And receiving the at least one popular query from the server device in response to the request, wherein the determining operation includes determining the at least one real time popular query to be the at least one keyword can do.
  • the determining comprises: determining a genre of the content based on the content information; And determining the at least one key word differently for each genre of the content.
  • the caption information includes setting value information for each character shape and the emphasizing operation is performed by setting a set value of the detected word to a set value of a word excluding the detected word based on the setting value for each character shape And highlighting the detected words as they are applied differently.
  • Electronic devices according to various embodiments disclosed herein can be various types of devices.
  • An electronic device may include, for example, a portable communication device (e.g., a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • the electronic device according to the embodiment of the present document is not limited to the above-described devices.
  • any (e.g., first) component may be referred to as being “coupled” or “connected” to another (eg, second) component, with or without the term “functionally”
  • any (e.g., first) component may be referred to as being “coupled” or “connected” to another (eg, second) component, with or without the term “functionally”
  • module may include units implemented in hardware, software, or firmware, and may be used interchangeably with terms such as, for example, logic, logic blocks, components, or circuits.
  • a module may be an integrally constructed component or a minimum unit of the component or part thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document may include one or more instructions stored in a storage medium (e.g., internal memory 2036 or external memory 2038) readable by a machine (e.g., electronic device 2001) (E. G., Program 2040). ≪ / RTI >
  • a processor e.g., processor 2020 of a device (e.g., electronic device 2001) may invoke and execute at least one of the stored one or more instructions from a storage medium. This enables the device to be operated to perform at least one function in accordance with the at least one command being called.
  • the one or more instructions may include code generated by the compiler or code that may be executed by the interpreter.
  • a device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transient' means that the storage medium is a tangible device and does not include a signal (e.g., electromagnetic waves), which means that data is permanently stored on the storage medium Do not distinguish between cases where they are temporarily stored.
  • a method according to various embodiments disclosed herein may be provided in a computer program product.
  • a computer program product can be traded between a seller and a buyer as a product.
  • the computer program product may be distributed in the form of a machine readable storage medium (e.g., compact disc read only memory (CD-ROM)), or via an application store (e.g. PlayStore TM ) For example, smartphones), directly or online (e.g., downloaded or uploaded).
  • an application store e.g. PlayStore TM
  • smartphones e.g., smartphones
  • online e.g., downloaded or uploaded.
  • at least a portion of the computer program product may be temporarily stored, or temporarily created, on a storage medium readable by a machine, such as a manufacturer's server, a server of an application store, or a memory of a relay server.
  • each component e.g., a module or program of the components described above may include one or more entities.
  • one or more of the above-described components or operations may be omitted, or one or more other components or operations may be added.
  • a plurality of components e.g., modules or programs
  • the integrated component may perform one or more functions of each component of each of the plurality of components in a manner similar or similar to that performed by the corresponding one of the plurality of components prior to the integration .
  • operations performed by a module, program, or other component may be performed sequentially, in parallel, repetitively, or heuristically, or one or more of the operations may be performed in a different order, Or one or more other operations may be added. Accordingly, the scope of this document should be interpreted to include all modifications based on the technical idea of this document or various other embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

전자 장치 및 그 자막 표현 방법이 개시된다. 전자 장치는 디스플레이; 콘텐츠 및 자막 정보를 포함하는 콘텐츠 정보가 저장된 메모리; 및 상기 디스플레이 및 상기 메모리와 기능적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 콘텐츠 정보를 이용하여 적어도 하나의 핵심어를 결정하고, 상기 자막 정보로부터 상기 적어도 하나의 핵심어와 매칭되는 단어를 검출하고, 상기 검출된 단어를 지정된 설정에 따라 강조하고(highlight), 상기 콘텐츠를 상기 디스플레이에 출력할 때, 상기 강조된 단어를 포함하는 자막 정보를 상기 콘텐츠 상에 출력이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

전자 장치 및 그 자막 표현 방법
본 문서에서 개시되는 실시 예들은, 콘텐츠의 자막 표현 기술과 관련된다.
전자 장치는 콘텐츠를 출력할 때 콘텐츠 상에 자막을 출력할 수 있다. 예를 들어, 자막은 콘텐츠의 대사를 번역하거나, 콘텐츠 내용 중 일부(예: 대사, 감탄사, 상황)를 강조 또는 설명하기 위해 사용될 수 있다. 전자 장치는 방송국 서버로부터 콘텐츠와 텍스트 코드(자막)를 수신하고, 텍스트 코드를 디코딩(decoding)하여 콘텐츠 상에 자막을 표시할 수 있다. 예를 들어, 전자 장치는 콘텐츠 재생 시, 콘텐츠의 자막 파일의 텍스트 코드를 디코딩하여 콘텐츠 상에 자막을 표시할 수 있다. 이 경우, 전자 장치는 수신된 텍스트 코드에 대응하는 자막을 표시할 뿐이었다.
종래의 전자 장치는 콘텐츠의 자막의 일부를 편집하여 출력할 수 있다. 예를 들어, 종래의 전자 장치는 사용자의 설정에 따라 자막의 색상 또는 크기나, 자막의 위치를 조절할 수 있다. 이 같이, 종래의 전자 장치가 자막을 편집하는 정도는 단편적이었다.
본 문서에 개시되는 다양한 실시 예들은 콘텐츠의 자막에 대한 시인성을 향상시킬 수 있는 전자 장치 및 전자 장치에 의한 자막 표현 방법을 제공한다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 디스플레이; 콘텐츠 및 자막 정보를 포함하는 콘텐츠 정보가 저장된 메모리; 및 상기 디스플레이 및 상기 메모리와 기능적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 콘텐츠 정보를 이용하여 적어도 하나의 핵심어를 결정하고, 상기 자막 정보로부터 상기 적어도 하나의 핵심어와 매칭되는 단어를 검출하고, 상기 검출된 단어를 지정된 설정에 따라 강조하고(highlight), 상기 콘텐츠를 상기 디스플레이에 출력할 때, 상기 강조된 단어를 포함하는 자막 정보를 상기 콘텐츠 상에 출력하도록 설정될 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 자막 표현 방법은, 콘텐츠 및 자막 정보를 포함하는 콘텐츠 정보를 메모리에 저장하는 동작; 상기 콘텐츠 정보를 이용하여 적어도 하나의 핵심어를 결정하는 동작; 상기 자막 정보로부터 상기 적어도 하나의 핵심어와 매칭되는 단어를 검출하는 동작; 상기 검출된 단어를 지정된 설정에 따라 강조하는(highlight) 동작; 및 상기 콘텐츠를 디스플레이에 출력할 때, 상기 강조된 단어를 포함하는 자막 정보를 상기 콘텐츠 상에 출력하는 동작을 포함할 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 콘텐츠의 자막에 대한 실감성 또는 시인성을 향상시킬 수 있다. 이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시 예에 따른 전자 시스템의 구성도를 나타낸다.
도 2는 일 실시 예에 따른 전자 장치(예: 도 1의 120)의 구성도를 나타낸다.
도 3은 일 실시 예에 따른 EPG 정보를 이용한 핵심어 강조 방법을 설명하기 위한 도면이다.
도 4는 일 실시 예에 따른 핵심어가 동음이의어일 경우의 핵심어 결정 방법을 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 사용자 설정된 핵심어 강조 방법의 예시도이다.
도 6a는 일 실시 예에 따른 의성어/의태어에 적용되는 모션 효과를 설명하기 위한 도면이다.
도 6b는 일 실시 예에 따른 일 실시 예에 따른 의성어/의태어에 제 2 모션 효과를 설명하기 위한 도면이다.
도 7는 일 실시 예에 따른 음향 자막을 설명하기 위한 도면이다.
도 8a는 일 실시 예에 따른 글자 형태를 조절하는 문맥 강조 효과를 설명하기 위한 도면이다.
도 8b는 일 실시 예에 따른 글자 음영을 조절하는 문맥 강조 효과를 설명하기 위한 도면이다.
도 9은 일 실시 예에 따른 가라오케 효과의 적용 예시도이다.
도 10은 일 실시 예에 따른 콘텐츠의 장르를 분류하는 기준을 나타낸다.
도 11은 일 실시 예에 따른 유형 별로 콘텐츠(예: 자막)에 적용될 수 있는 효과들을 나타낸다.
도 12는 일 실시 예에 따른 실시간 자막 표현 방법의 예시도이다.
도 13은 일 실시 예에 따른 뉴스 장르의 콘텐츠에 대한 자막 표현 방법의 예시도이다.
도 14는 일 실시 예에 따른 다큐멘터리 장르의 콘텐츠에 대한 자막 표현 방법의 예시도이다.
도 15는 일 실시 예에 따른 퀴즈쇼 장르의 콘텐츠에 대한 자막 표현 방법의 예시도이다.
도 16은 일 실시 예에 따른 스포츠 장르의 콘텐츠에 대한 자막 표현 방법의 예시도이다.
도 17은 일 실시 예에 따른 영화 장르의 콘텐츠에 대한 자막 표현 방법의 예시도이다.
도 18은 일 실시 예에 따른 뮤직쇼 장르의 콘텐츠에 대한 자막 표현 방법의 예시도이다.
도 19은 일 실시 예에 따른 자막 표시 방법의 흐름도를 나타낸다.
도 20은 다양한 실시 예에 따른 네트워크 환경 내의 자막을 표현하는 전자 장치의 블록도를 나타낸다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은 일 실시 예에 따른 전자 시스템의 구성도를 나타낸다.
도 1을 참조하면, 일 실시 예에 따르면, 전자 시스템(10)은 적어도 하나의 서버 장치(110) 및 전자 장치(120)를 포함할 수 있다. 일 실시 예에서, 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함할 수 있다. 일 실시 예에서, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다. 도 1에 도시된 입출력 관계는 설명의 편의성을 위한 예시에 불과하며, 이에 한정되지 않을 수 있다.
일 실시 예에 따르면, 적어도 하나의 서버 장치(110)는 콘텐츠, 자막 정보 및 부가 정보 중 적어도 하나를 포함하는 콘텐츠 정보를 저장하고, 콘텐츠 정보를 송신할 수 있다. 상기 콘텐츠는 예를 들면, 실시간 방송 콘텐츠 또는 VOD 방송 콘텐츠를 포함할 수 있다. 상기 콘텐츠는 다른 예를 들면, 오디오 정보 및 이미지 정보 중 적어도 하나를 포함할 수 있다. 상기 자막 정보는 예를 들면, 콘텐츠 상에 출력되는 자막 내용 정보 및 자막 설정 값 정보를 포함할 수 있다. 상기 부가 정보는 예를 들면, EPG 정보, 실시간 인기 검색어, 연관 검색어 또는 핵심어 정보 중 적어도 하나를 포함할 수 있다. 적어도 하나의 서버 장치(110)는 예를 들면, 콘텐츠 서버, 콘텐츠 정보 서버 또는 포털 서버 중 적어도 하나를 포함할 수 있다. 상기 콘텐츠 서버는 예를 들면, 적어도 하나의 콘텐츠 정보를 저장하는 서버로서, 예컨대, 방송사의 콘텐츠 DB 서버일 수 있다. 상기 콘텐츠 서버는 예를 들면, 방송사의 서버로서, 콘텐츠 관련 정보(예: 프로그램 소개 정보, 프로그램 예고 정보, 촬영 에피소드 정보)를 개시하는 서버일 수 있다. 상기 포털 서버는 예를 들면, 핵심어(keyword)를 기반으로 검색 서비스를 제공하는 서버일 수 있다.
일 실시 예에 따르면, 전자 장치(120)는 적어도 하나의 서버 장치(110)로부터 콘텐츠 정보를 수신할 수 있다. 예를 들어, 전자 장치(120)는 콘텐츠 정보 중 적어도 일부(예: 콘텐츠 및 자막 정보)를 제 1 서버 장치로부터 콘텐츠 정보 중 다른 일부(예: 부가 정보)를 제 2 서버 장치로부터 수신할 수 있다. 전자 장치(120)는 수신된 콘텐츠 정보를 자체 메모리에 저장할 수 있다.
일 실시 예에 따르면, 전자 장치(120)는 콘텐츠를 디스플레이에 출력할 때, 콘텐츠 정보(예: 부가 정보)로부터 적어도 하나의 핵심어를 추출하고, 상기 적어도 하나의 핵심어를 상기 콘텐츠 정보 중 적어도 일부와 연관하여 자체 메모리에 저장하고, 상기 자막 정보로부터 상기 적어도 하나의 핵심어와 매칭되는 단어를 검출하고, 상기 검출된 단어를 지정된 설정에 따라 강조(highlight)하고, 상기 강조된 단어를 포함하는 자막 정보를 디스플레이에 출력할 수 있다.
도 2는 일 실시 예에 따른 전자 장치(예: 도 1의 120)의 구성도를 나타낸다.
도 2를 참조하면, 일 실시 예에 따르면, 전자 장치(20)는 통신 회로(210), 입력 장치(220), 디스플레이(230), 메모리(240) 및 프로세서(250)를 포함할 수 있다. 일 실시 예에서, 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함할 수 있다. 예를 들어, 전자 장치(20)는 오디오를 출력하는 스피커를 더 포함할 수 있다. 일 실시 예에서, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다. 도 2에 도시된 입출력 관계는 설명의 편의성을 위한 예시에 불과하며, 이에 한정되지 않을 수 있다.
일 실시 예에 따르면, 통신 회로(210)는 서버 장치(110)와 통신하기 위한 지정된 통신 채널을 형성할 수 있다. 예를 들어, 통신 회로(210)는 지정된 통신 채널을 통해 수신된 콘텐츠 정보를 프로세서(250)에 의해 해석 가능한 형태로 변환하여 출력하고, 프로세서(250)로부터의 정보(예: 콘텐츠 정보 요청)를 지정된 통신 방식의 정보로 변환하여 지정된 통신 채널을 통해 송신할 수 있다. 상기 지정된 통신 채널은 제 1 네트워크(2098)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(2099)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 포함할 수 있다.
일 실시 예에 따르면, 입력 장치(220)는 사용자 입력을 수신 또는 감지할 수 있다. 예를 들어, 입력 장치(220)은 터치 센서, 통신 회로, 또는 입력 버튼 중 적어도 하나를 포함할 수 있다. 상기 터치 센서는 터치 스크린 디스플레이로 구성될 수 있다. 입력 장치(220)의 통신 회로는 원격 제어 장치(예: 리모컨, 마우스)와 통신할 수 있다. 통신 회로는 예를 들어, 블루투스, NFC, IR 통신과 같은 다양한 통신 방식을 이용하여 원격 제어 장치와 통신할 수 있다. 입력 버튼은 전자 장치(20)에 구비된 물리적 버튼일 수 있다.
일 실시 예에 따르면, 디스플레이(230)는 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼)를 출력(표시)할 수 있다. 예를 들어, 디스플레이(230)는 프로세서(250)의 지시에 따라 콘텐츠 정보 중 이미지 정보(콘텐츠) 및 자막 정보를 출력할 수 있다. 디스플레이(230)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다.
일 실시 예에 따르면, 메모리(240)는, 전자 장치(20)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 예를 들어, 메모리(240)는 디스플레이(230)에 콘텐츠 및 자막 정보를 출력하기 위한 명령어들(instructions)을 저장할 수 있다. 다른 예를 들어, 메모리(240)는 콘텐츠 정보에 기반하여 자막 정보를 편집하기 위한 명령어들을 저장할 수 있다. 또 다른 예로, 메모리(240)는 콘텐츠 정보 및 모션 효과 정보를 저장할 수 있다. 상기 콘텐츠 정보를 예를 들면, 콘텐츠(오디오 정보 및 이미지 정보 중 적어도 하나), 자막 정보 및 부가 정보를 포함할 수 있다. 상기 자막 정보는 예를 들면, 콘텐츠 상에 출력되는 자막 내용 정보 및 자막 설정 값 정보를 포함할 수 있다. 상기 부가 정보는 예를 들면, EPG 정보, 실시간 인기 검색어, 실시간 인기 검색어에 대응하는 연관 검색어 또는 설정된 핵심어 정보 중 적어도 하나를 포함할 수 있다. 상기 EPG 정보는 예를 들면, 프로그램 제목, 시작 시간, 종료 시간, 남은 시간, 주제, 테마, 출연자, 작가, 프로덕션 스튜디오, 수상내역, 키워드, 발표 날짜, 감독 또는 프로그램 줄거리 중 적어도 하나의 정보를 포함할 수 있다. 상기 부가 정보는 예를 들면, 적어도 하나의 핵심어, 장르 별 핵심어 정보 또는 장르별 효과 정보 중 적어도 하나를 더 포함할 수 있다. 상기 장르 별 핵심어 정보는 예를 들면, 콘텐츠의 장르 별로 달리 설정된 핵심어 정보를 포함할 수 있다. 상기 장르별 효과 정보는 예를 들면, 콘텐츠의 장르 별로 적용되는 효과를 확인 가능한 정보를 포함할 수 있다. 메모리(240)는 휘발성 메모리(예를 들어, RAM, 비휘발성 메모리(예를 들어, ROM, 플래시 메모리) 또는 이들의 조합일 수 있다.
프로세서(250)는 메모리(240)에 저장된 명령어들을 이용하여 전자 장치(20)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 일 실시 예에 따르면,, 프로세서(250)는 콘텐츠 정보를 이용하여 적어도 하나의 핵심어를 추출하고, 자막 정보로부터 상기 적어도 하나의 핵심어와 매칭되는 단어를 검출하고, 상기 검출된 단어를 지정된 설정에 따라 강조(highlight)하고, 콘텐츠를 디스플레이(230)에 출력할 때 상기 강조된 단어를 포함하는 자막 정보를 상기 디스플레이(230)에 출력할 수 있다. 프로세서(250)는 예를 들어, 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 애플리케이션 프로세서(application processor), 주문형 반도체(ASIC(application specific integrated circuit), FPGA(field programmable gate arrays)) 중 적어도 하나를 포함할 수 있으며, 복수의 코어를 가질 수 있다.
일 실시 예에 따르면, 프로세서(250)는 통신 회로(210)를 통해 적어도 하나의 서버 장치(110)로부터 콘텐츠 정보 중 적어도 일부를 수신하면, 수신된 콘텐츠 정보를 메모리(240)에 저장할 수 있다. 예를 들어, 프로세서(250)는 콘텐츠 정보 중 일부(예: 콘텐츠 및 자막 정보)를 제 1 서버 장치로부터 수신하고, 콘텐츠 정보 중 다른 일부(예: 부가 정보)를 제 2 서버로부터 수신할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 콘텐츠 정보를 이용하여 적어도 하나의 핵심어를 결정할 수 있다. 상기 적어도 하나의 핵심어는 예를 들면, 글자 형태 또는 표시 위치 중 적어도 하나의 설정 값이 다른 글자와 다르게 설정 되어질 단어일 수 있다. 상기 적어도 하나의 핵심어는 콘텐츠의 장르 별로 다르게 설정될 수 있다.
한 실시 예에 따르면, 프로세서(250)는 EPG 정보를 이용하여 적어도 하나의 핵심어를 결정할 수 있다. 예를 들어, 프로세서(250)는 EPG 정보 중 프로그램 제목, 주제, 테마, 출연자, 작가, 키워드 또는 프로그램 줄거리 중 적어도 하나의 정보를 적어도 하나의 핵심어로 결정할 수 있다. 이와 관련하여, 프로세서(250)는 EPG 정보 중 일부(예: 제목, 주제, 키워드, 출연자)를 필터링 없이 적어도 하나의 핵심어로 결정하고, EPG 정보 중 다른 일부(예: 프로그램 줄거리)를 출연 빈도에 기반하여 선택적으로 적어도 하나의 핵심어로 결정할 수 있다. 다른 예를 들어, 프로세서(250)는 EPG 정보를 이용하여 결정된 적어도 하나의 핵심어와 관련된 유사어 또는 연관어를 획득하고, 획득된 유사어 또는 연관어를 적어도 하나의 핵심어로 더 결정할 수 있다. 이와 관련하여, 프로세서(250)는 적어도 하나의 서버 장치(110) 또는 메모리(240)로부터 유사어 또는 연관어를 획득할 수 있다.
한 실시 예에 따르면, 프로세서(250)는 통신 회로(210)를 통해 콘텐츠에 대한 설명 정보를 웹 페이지에 개시하는 적어도 하나의 서버 장치(예: 콘텐츠 서버)와 통신하고, 적어도 하나의 서버 장치(110)로부터 콘텐츠에 대한 설명 정보를 수신한 후 설명 정보를 이용하여 예컨대, 출연빈도가 높은 단어를 적어도 하나의 핵심어를 결정할 수 있다.
한 실시 예에 따르면, 프로세서(250)는 통신 회로(210)를 통해 포털 서버 장치로 지정된 개수(예: 10개)의 실시간 인기 검색어를 요청하고, 요청에 대한 응답으로 포털 서버 장치로부터 수신된 실시간 인기 검색어를 적어도 하나의 핵심어로 결정할 수 있다. 예를 들어, 프로세서(250)는 콘텐츠의 장르가 지정된 장르(예: 뉴스)일 경우, 실시간 인기 검색어를 적어도 하나의 핵심어로 결정할 수 있다.
한 실시 예에 따르면, 프로세서(250)는 포털 서버로부터 실시간 인기 검색어에 대응하는 연관 검색어를 수신하고, 수신된 연관 검색어를 적어도 하나의 핵심어로 더 결정할 수 있다. 예를 들어, 프로세서(250)는 자막 정보로부터 실시간 인기 검색어와 매칭되는 단어를 검출하면, 포털 서버에 검출된 단어의 연관 검색어를 요청하고, 요청에 대한 응답으로 포털 서버로부터 수신된 연관 검색어를 적어도 하나의 핵심어로 결정할 수 있다.
한 실시 예에 따르면, 프로세서(250)는 EPG 정보를 이용하여 적어도 하나의 제 1 핵심어(예: 프로그램 제목, 주제, 테마)를 결정하고, 통신 회로(210)를 통해 포털 서버에 적어도 하나의 제 1 핵심어의 연관 검색어를 요청하고, 포털 서버(예: 도 1의 110)로부터 요청에 대한 응답으로 수신된 적어도 하나의 제 1 핵심어의 연관 검색어(이하, '적어도 하나의 제 2 핵심어'라 함)를 확인하고, 적어도 하나의 제 1 핵심어 및 적어도 하나의 제 2 핵심어를 적어도 하나의 핵심어로 결정할 수 있다.
한 실시 예에 따르면, 프로세서(250)는 적어도 하나의 핵심어 중 동음이의어에 대해서는 해당 동음이의어가 포함된 문장의 동사와 해당 동음이의어의 형제어간의 연관성을 분석하고, 해당 동음이의어를 분석된 연관성이 상대적으로 높은 형제어의 의미로 결정할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 자막 정보로부터 적어도 하나의 핵심어와 매칭되는 단어를 검출할 수 있다. 예를 들어, 프로세서(250)는 word2vec와 같은 기술을 이용하여 자막 정보에 포함된 단어로부터 조사와 부사를 포함하는 부수적인 글자를 제거하고, 부수적인 글자가 제거된 단어들 중에서 적어도 하나의 핵심어와 연관될 가능성이 지정된 임계치(예: 70%) 이상인 단어를 검출할 수 있다.
일 실시 예에 따르면, 핵심어가 동음이의어인 경우, 프로세서(250)는 자막 정보로부터 핵심어와 매칭되는 단어를 검출하면, 검출된 단어가 포함된 문장의 동사를 이용하여 핵심어와 매칭되는 단어를 검출할 수 있다. 예를 들어, 프로세서(250)는 핵심어가 동음이의어인 경우, 검출된 단어가 포함된 문장의 동사와 동음이의어의 형제어간의 연관성을 분석함에 따라 검출된 단어가 핵심어와 매칭되는지를 확인할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 검출된 단어를 지정된 설정에 따라 강조(highlight)함에 따라 강조된 단어를 포함하는 자막 정보를 콘텐츠 상에 출력할 수 있다. 예를 들어, 프로세서(250)는 검출된 단어의 글자 형태 또는 글자 위치 중 적어도 하나의 설정 값을 자막 정보 중 검출된 단어를 제외한 단어(이하, '다른 단어'라 함)의 설정 값과 다르게 설정함에 따라 검출된 단어를 강조할 수 있다. 상기 글자 형태는 예를 들면, 글씨체, 표시 색상, 기울임 정도, 글자 크기 또는 자간 중 적어도 하나를 포함할 수 있다. 상기 글자 위치는 콘텐츠의 전체 영역 중 검출된 단어가 표시될 레이어의 위치에 해당할 수 있다. 상기 적어도 하나의 설정 값은 자막 정보와 연관되어 메모리(240)에 저장될 수 있다.
일 실시 예에 따르면, 프로세서(250)는 입력 장치(220)를 통해 강조될 단어 종류가 설정되면, 자막 정보로부터 설정된 단어 종류를 확인하고, 자막 정보 중 설정된 단어 종류를 강조할 수 있다. 상기 단어 종류는 예를 들면, 명사, 숫자, 긍정 표현 단어, 부정 표현 단어 또는 주요 단어(예: 핵심어) 중 적어도 하나를 포함할 수 있다. 예를 들어, 프로세서(250)는 강조될 단어의 종류가 명사이면, 자막 정보에 포함된 모든 명사를 지정된 설정에 따라 강조할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 검출된 단어가 적어도 하나의 지정된 단어(예: 의성어 또는 의태어(이하, '또는'은 '/'라 칭함) 에 해당하면, 메모리(240)에 저장된 모션 효과 정보를 기반으로 검출된 단어에 대하여, 상기 검출된 단어에 대응하는 모션 효과를 적용할 수 있다. 상기 모션 효과 정보는 예를 들면, 지정된 단어가 표시될 레이어에 대하여 적용할 모션 효과의 설정 값일 수 있다. 상기 모션 효과의 설정 값은 예를 들면, 레이어의 움직임 속도, 레이어의 움직임 방향, 레이어의 움직임 패턴, 레이어의 기울임 각도 또는 레이어의 크기 변화 중 적어도 하나를 포함할 수 있다. 상기 모션 효과의 설정 값은 예를 들면, 제 4 레이어에 포함된 텍스트의 변화(예: 깜빡임, 크기 변화, 표시 속도 변화)을 더 포함할 수 있다. 예를 들어, 프로세서(250)는 검출된 단어가 적어도 하나의 지정된 단어(예: 의성어/의태어)에 해당하면, 상기 검출된 단어를 콘텐츠 상의 제 1 위치(예: 상부)에 출력하고, 검출된 단어를 제외한 자막 정보를 상기 제 1 위치로부터 지정된 간격 이상 이격된 콘텐츠 상의 제 2 위치(예: 하단)에 출력할 수 있다. 이를 위해, 프로세서(250)는 검출된 단어가 출력될 제 1 레이어와 다른 단어가 출력될 제 2 레이어의 위치를 다르게 설정할 수 있다. 다른 예를 들어, 프로세서(250)는 자막 정보에 기반하여 검출된 단어를 출력할 제 1 레이어와 다른 단어를 출력할 제 2 레이어를 구성하고, 제 1 레이어에 대하여 검출된 단어에 대응하는 모션 효과를 적용할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 자막 정보로부터 의성어/의태어를 검출하면, 검출된 의성어/의태어를 의성어/의태어 외 자막 정보와 다른 레이어에 출력할 수 있다. 예를 들어, 프로세서(250)는 자막 정보로부터 대괄호(예: [])로 묶인 단어를 의성어/의태어로 검출할 수 있다. 프로세서(250)는 의성어 또는 의태어를 제 3 레이어에 포함시키고, 제 3 레이어를 예컨대, 디스플레이(230)의 상부에 출력할 수 있다. 프로세서(250)는 의성어/ 의태어 외 자막 정보를 제 4 레이어에 포함시키고, 제 4 레이어를 예컨대, 디스플레이(의성어/의태어)의 하단에 출력(표시)할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 모션 효과 정보를 기반으로 의성어/의태어에 대하여 모션 효과를 적용할 수 있다. 예를 들어, 프로세서(250)는 제 3 레이어에 의성어/의태어와 함께 해당 의성어/의태어에 대응하는 이모티콘을 출력할 수 있다. 이와 달리, 프로세서(250)는 제 3 레이어에 의성어/의태어를 대신하여 이모티콘을 출력할 수 있다. 다른 예를 들어, 프로세서(250)는 모션 효과 정보를 기반으로 의성어/의태어에 대응하는 모션 효과의 설정 값을 확인하고, 제 3 레이어에 대하여 확인된 모션 효과의 설정 값을 적용할 수 있다. 프로세서(250)가 제 3 레이어에 검출된 의성어/의태어에 대응하는 모션 효과의 설정 값을 적용함에 따라 제 3 레이어는 적용된 설정 값에 대응하도록 움직일 수 있다.
일 실시 예에 따르면, 프로세서(250)는 콘텐츠에 포함된 오디오 정보의 특성(이하, '오디오 특성'이라 함)을 분석하고, 분석된 오디오 특성을 기반으로 콘텐츠에 문맥 강조 효과, 가라오케 효과 또는 음향 표시 자막 효과 중 적어도 하나를 더 적용할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 오디오 정보로부터 오디오 특성을 분석하고, 분석된 오디오 특성에 따라 자막 정보의 설정 값을 달리 조절할 수 있다. 상기 오디오 특성은 예를 들면, 화자 별 음세기, 발화 속도 또는 주파수 중 적어도 하나를 포함할 수 있다.
프로세서(250)는 분석된 오디오 특성에 기반하여 화자의 발화 속도가 빠른 경우와 늦은 경우에 자막 정보를 출력하는 레이어의 형상을 달리할 수 있다. 예를 들어, 프로세서(250)는 화자의 발화 속도가 해당 화자의 평균 발화 속도를 포함하는 지정된 속도 범위 내에 있는 경우에는 레이어를 사각형으로 표시할 수 있다. 다른 예를 들어, 프로세서(250)는 화자의 발화 속도가 상기 지정된 속도 범위의 상한선을 초과하는 경우에는 레이어를 레이어의 상단이 우측으로 기울어진 평행사변형 형상으로 표시할 수 있다. 또 다른 예로, 프로세서(250)는 화자의 발화 속도가 상기 지정된 속도 범위의 하한선 미만인 경우에는 레이어를 레이어의 상단이 좌측으로 기울어진 평행사변형 형상으로 표시할 수 있다. 다양한 실시 예에 따르면, 프로세서(250)는 화자의 발화 속도가 빠른 경우와 늦은 경우에 레이어를 변화시키는 속도를 다르게 설정할 수 있다.
프로세서(250)는 분석된 오디오 특성에 기반하여 화자의 발화 속도가 빠른 경우와 늦은 경우에 자막 정보에 포함된 글자의 설정 값을 달리할 수 있다. 예를 들어, 프로세서(250)는 화자의 발화 속도가 지정된 속도 범위(예: 해당 화자의 평균 발화 속도를 포함함) 내에 있는 경우에는 자막 정보에 포함된 글자를 제 1 설정 값에 따른 형상(또는 속도)로 표시할 수 있다. 다른 예를 들어, 프로세서(250)는 화자의 발화 속도가 상기 지정된 속도 범위의 상한선을 초과하는 경우에는 경우에는 자막 정보에 포함된 글자를 제 2 설정 값에 따른 형상(또는 속도)로 표시할 수 있다. 또 다른 예로, 프로세서(250)는 화자의 발화 속도가 상기 지정된 속도 범위의 하한선 미만인 경우에는 자막 정보에 포함된 글자를 제 3 설정 값에 따른 형상(또는 속도)으로 표시할 수 있다. 상기 제 1 내지 제 3 설정 값은 자간, 표시 색상, 글씨체, 기울임 정도, 글씨 크기 중 적어도 하나에 관한 것일 수 있다.
프로세서(250)는 콘텐츠에 포함된 오디오의 주파수를 분석하고, 분석된 오디오 주파수에 기반하여 화자 별 대사의 색상을 달리할 수 있다. 예를 들어, 메모리(240)는 주파수 대역 별 표시 색상 값을 저장하고, 프로세서(250)는 분석된 오디오 주파수에 기반하여 화자 별 오디오 주파수(예: 평균 주파수 값)을 확인하고, 메모리(240)로부터 화자 별 오디오 주파수에 대응하는 표시 색상 값을 확인하고, 자막 정보 중 화자 별 대사를 화자 별 표시 색상 값에 대응하도록 표시할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 자막 정보로부터 대사 없이 음악만 출력되는 상태임을 의미하는 지정된 심볼(예: ♪)을 확인하면, 콘텐츠에 음향 자막 표시 효과를 적용할 수 있다. 예를 들어, 프로세서(250)는 오디오 정보에 대하여 음색, 음세기(음압), 음높이(주파수), 리듬, 템포, 음율 또는 음 구조 중 적어도 하나의 오디오 특성을 분석하고, 분석된 오디오 특성을 나타내는 심볼들을 포함하는 음향 자막을 콘텐츠 상에 표시할 수 있다. 상기 오디오 특성을 나타내는 심볼들은 예를 들면, 주파수 대역 별 음의 세기를 나타내는 형태로 표시될 수 있다. 다른 예를 들어, 프로세서(250)는 분석된 오디오 특성에 기반하여 음성(voice)과 배경음악(background music)을 분리하고 음성의 오디오 특성을 나타내는 제 1 심볼들과 배경음악의 오디오 특성을 나타내는 제 2 심볼들을 구분 가능하도록 콘텐츠 상에 표시할 수 있다. 이 경우, 제 1 심볼과 제 2 심볼은 색상 또는 형상이 서로 다를 수 있다. 또 다른 예로, 프로세서(250)는 배경음악을 악기 별로 분리하고, 악기 별 제 2 심볼들을 콘텐츠 상에 표시할 수 있다. 상기 악기 별 제 2 심볼들은 예를 들면, 색상 또는 형상이 서로 다를 수 있다.
일 실시 예에 따르면, 프로세서(250)는 음성 인식 기술을 이용하여 자막정보 중 출력된 오디오 정보에 대응하는 단어를 구분하고, 발화된 글자를 아직 발화되지 않은 글자와 구분 가능하도록 자막 정보를 표시(가라오케 효과를 적용)할 수 있다. 예를 들어, 프로세서(250)는 자막 정보에 포함된 글자들을 디폴트 글자 설정 값을 적용하되, 음성 인식 기술에 기반하여 발화된 글자에 대해서는 다른 설정 값을 적용할 수 있다. 다른 예를 들어, 프로세서(250)는 발화된 글자를 흐리게 표시하고 아직 발화되지 않은 글자를 상대적으로 선명하게 표시하도록 하는 설정 값을 자막 정보에 적용할 수 있다. 이 경우, 프로세서(250)는 자막 레이어 중 발화된 글자가 포함된 영역을 자막 레이어의 다른 영역에 비해 흐리게 처리할 수 있다. 또 다른 예로, 프로세서(250)는 자막 정보 중 발화된 글자에 대하여 음영을 더하는 설정 값을 적용할 수 있다. 또는, 프로세서(250)는 자막 정보 중 발화된 글자에 대하여 화자 별로 다른 패턴의 음영을 더하는 설정 값을 적용할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 콘텐츠 정보를 기반으로 콘텐츠의 장르를 구분하고, 콘텐츠의 장르에 따라 상술한 핵심어 강조 효과, 모션 효과, 문맥 강조 효과, 음향 자막 표시 효과 또는 가라오케 효과 중 적어도 하나를 선택적으로 적용할 수 있다. 예를 들어, 프로세서(250)는 콘텐츠의 장르가 정적인 장르(예: 액션)일 경우에는 콘텐츠에 대해 상대적으로 적은 효과를 적용하고, 콘텐츠의 장르가 동적인 장르(예: 드라마)일 경우에는 상대적으로 많은 효과를 적용할 수 있다.
상술한 실시 예에 따르면, 전자 장치(20)는 콘텐츠 정보를 기반으로 자막 정보 중 특정 부분을 강조하거나, 오디오를 심볼로 표현함에 따라 자막 정보를 이용하여 콘텐츠를 이해하는 사용자(예: 청각 장애인)로 하여금 콘텐츠의 실감성과 시인성을 향상시키는 효과를 줄 수 있다.
도 3은 일 실시 예에 따른 EPG 정보를 이용한 핵심어 강조 방법을 설명하기 위한 도면이다.
도 3을 참조하면, '다큐멘터리 HOME'의 EPG 정보는 예를 들면, 이미지(예: 대표 이미지), 시간 별 채널표 정보, 프로그램 설명(예: 제목, 줄거리) 정보를 포함할 수 있다.
동작 310에서, 프로세서(250)는 지구 온난화와 관련된 다큐멘터리 콘텐츠의 EPG 정보 중 프로그램 설명 정보를 이용하여 'Earth', 'archeobateria', 'atmosphere' 'oxyzen', 'organism' 및 'heat"를 적어도 하나의 핵심어로 결정할 수 있다. 예를 들어, 프로세서(250)는 프로그램 설명 정보에서 출연빈도가 높은 단어 및 해당 단어의 유사어 또는 연관어를 적어도 하나의 핵심어로 결정할 수 있다. 다른 예를 들어, 프로세서(250)는 EPG 정보 중 일부(예: 제목, 주제, 키워드, 출연자)는 필터링 없이 적어도 하나의 핵심어로 결정하고, EPG 정보는 중 다른 일부(예: 프로그램 줄거리)는 출연 빈도를 이용하여 선택적으로 적어도 하나의 핵심어로 결정할 수 있다.
동작 320에서, 프로세서(250)는 자막 정보로부터 적어도 하나의 핵심어와 매칭되는 단어 'archeobateria', 'Earth' 및 'heat'을 검출하고, 검출된 단어에 대해 예컨대, 음영 처리하여 검출된 단어를 강조할 수 있다. 이와 달리, 프로세서(250)는 검출된 단어를 다른 단어와 다른 색상으로 표시함에 따라 검출된 단어를 강조할 수 있다.
도 4는 일 실시 예에 따른 핵심어가 동음이의어일 경우의 핵심어 결정 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 일 실시 예에 따르면, 프로세서(250)는 적어도 하나의 핵심어가 동음이의어인 경우, 해당 동음이의어에 포함된 문장의 동사와 해당 동음이의어의 형제어간의 연관성을 분석하고, 해당 동음이의어를 분석된 연관성이 상대적으로 높은 형제어에 대응하는 의미인 것으로 결정할 수 있다. 예를 들어, EPG 정보를 이용하여 결정된 핵심어가 인사의 의미와 과일의 의미를 동시에 갖는 '사과'일 경우, 프로세서(250)는 '사과'의 형제어들 '배', '복숭아'와 다른 형제어들 '감사', '인사'을 확인할 수 있다. 프로세서(250)는 EPG 정보 중 '사과'가 포함된 문장의 동사 '맛있다' 또는 '먹다'를 확인함에 따라 '사과'가 과일임을 확인할 수 있다. 프로세서(250)는 자막 정보로부터 동음이의어와 매칭되는 단어를 검출할 때에도 동음이의어와 일치하는 단어가 포함된 문장의 동사를 이용하여 동음이의어와 매칭되는 단어를 검출할 수 있다.
도 5는 일 실시 예에 따른 사용자 설정된 핵심어 강조 방법의 예시도이다.
일 실시 예에 따르면, 프로세서(250)는 입력 장치(220)를 통해 강조될 단어 종류가 설정되면, 자막 정보로부터 설정된 단어 종류를 확인하고, 자막 정보 중 설정된 단어 종류를 검출 및 강조할 수 있다. 상기 단어 종류는 예를 들면, 명사, 숫자, 긍정 표현 단어, 부정 표현 단어 또는 주요 단어(예: 핵심어) 중 적어도 하나를 포함할 수 있다.
도 5를 참조하면, 자막 정보에 포함된 문장(자막의 문장)은 "I can't believe that the global polar bear population is 20,000-25,000, but it's true."일 수 있다.
자막 510과 같이, 강조될 단어 종류가 '명사'로 설정되면, 프로세서(250)는 자막의 문장 중에서 명사 'polar', 'bear', 'population'을 검출 및 강조할 수 있다.
자막 520과 같이, 강조될 단어 종류가 '숫자'로 설정되면, 프로세서(250)는 자막의 문장 중에서 숫자 '20,000-25,000'을 검출 및 강조할 수 있다.
자막 530과 같이, 강조될 단어 종류가 '긍정 표현 단어' 및 '부정 표현 단어'로 설정되면, 프로세서(250)는 자막의 문장 중 긍정 표현 단어 또는 부정 표현 단어에 해당하는 'can't believe' 및 'true'를 검출 및 강조할 수 있다.
자막 540과 같이, 강조될 단어 종류가 '주요 단어(핵심어)'로 설정되면, 프로세서(250)는 자막의 문장 중 적어도 하나의 핵심어에 매칭되는 단어 'polar bear population'및 '20,000-25,000'를 검출 및 강조할 수 있다.
도 6a는 일 실시 예에 따른 의성어/의태어에 적용되는 모션 효과를 설명하기 위한 도면이다.
도 6a를 참조하면, 일 실시 예에 따르면, 메모리(240)는 복수의 의성어/의태어들 및 각 의성어/의태어들에 대응하는 복수의 이모티콘 이미지들을 예컨대, 제 1 룩업 테이블(610)로 저장할 수 있다.
프로세서(250)는 자막 정보로부터 'Crowd laughing'(사람들 웃음)이라는 의태어를 확인하면, 자막 621과 같이 의태어'Crowd laughing'를 'laughter'(웃음)에 대응하는 이모티콘과 함께 표시할 수 있다.
프로세서(250)는 자막 정보로부터 'Feet stomping'(발 구르기)이라는 의태어를 확인하면, 자막 623과 같이 의태어'Feet stomping'을 'stomping'(구르기)에 대응하는 이모티콘과 함께 표시할 수 있다.
프로세서(250)는 자막 정보로부터 'Music playing'(음악 연주)이라는 의태어를 확인하면, 자막 625와 같이 의태어 'Music playing' 를'instrumental music playing'(기악 연주)에 대응하는 이모티콘과 함께 표시할 수 있다.
도 6b는 일 실시 예에 따른 일 실시 예에 따른 의성어/의태어에 제 2 모션 효과를 설명하기 위한 도면이다.
도 6b를 참조하면, 일 실시 예에 따르면, 메모리(240)는 복수의 의성어/의태어들 및 각 의성어/의태어에 대응하는 복수의 모션 효과 정보를 예컨대, 제 2 룩업 테이블(630)로 저장할 수 있다. 도 6b에서는 설명의 편의성을 위하여 제 2 룩업 테이블(630)이 각 모션 효과 정보를 설명한 문장을 포함하는 것처럼 도시하였지만, 각 모션 효과 정보는 상기 문장에 대응하는 각 의성어/의태어에 대응하는 글자 설정 값 또는 레이어 설정 값(레이어에 적용되는 모션) 중 적어도 하나를 포함할 수 있다.
프로세서(250)는 자막 정보로부터 의성어 'Boom'과 'Boom'의 반복을 확인하면, 자막 641과 같이 첫 번째 'Boom'을 예컨대, 좌측으로 지정된 각도(예: 약 30도)만큼 기울인 사각 형상의 제 1 레이어에 표시하고, 두 번째 'Boom'을 예컨대, 우측으로 지정된 각도(예: 약 45도)만큼 기울인 사각 형상의 제 2 레이어에 표시할 수 있다.
프로세서(250)는 의태어 'Shake'(흔들리다)를 확인하면, 자막 643과 같이, 를 예컨대, 'shake'가 포함된 레이어를 예컨대, 좌우로 흔들 수 있다.
도 7는 일 실시 예에 따른 음향 자막을 설명하기 위한 도면이다.
일 실시 예에 따르면, 프로세서(250)는 자막 정보로부터 음악이 출력되는 상태임을 의미하는 지정된 심볼(예: ♪)을 확인하면, 오디오 정보에 대해 음색, 음세기(음압), 음높이(주파수), 리듬, 템포, 음율 또는 음 구조 중 적어도 하나의 오디오 특성을 분석하고 콘텐츠 상에 음향 표시 자막(710)을 표시할 수 있다. 상기 음향 표시 자막(710)은 예를 들면, 음악의 오디오 특성을 나타내는 심볼을 표시하기 위한 자막일 수 있다.
도 7을 참조하면, 프로세서(250)는 주파수 별 음의 세기 그래프를 포함하는 음향 표시 자막으로 음악에 대응하는 오디오 특성을 표시할 수 있다. 상기 주파수 별 음의 세기 그래프는 예를 들면, 가로 축은 주파수 값이고 세로 축은 음 세기를 나타내는 그래프일 수 있다. 상기 음향 표시 자막은 주파수 별 음의 세기를 복수의 심볼들로 표시할 수 있다. 프로세서(250)는 콘텐츠의 오디오 특성에 기반하여 음성(voice)과 배경음악(background music)을 분리하고 음성(voice)의 오디오 특성을 제 1 크기의 제 1 심볼들(음성)로 표시하고, 배경음악의 오디오 특성을 제 2 크기의 제 2 심볼들(배경음악)로 표시할 수 있다.
프로세서(250)는 배경음악을 악기 별로 구분하여 표시할 수 있다. 예를 들어, 프로세서(250)는 제 2 심볼들의 테두리 굵기 또는 패턴을 악기에 따라 다르게 표시할 수 있다.
도 8a는 일 실시 예에 따른 글자 형태를 조절하는 문맥 강조 효과를 설명하기 위한 도면이다.
도 8a를 참조하면, 프로세서(250)는 화자의 발화 속도가 지정된 속도 범위의 상한선을 초과하는 제 1 상황, 화자의 발화 속도가 지정된 속도 범위 내에 있는 제 2 상황 및 화자의 발화 속도가 지정된 속도 범위의 하한선 미만인 제 3 상황에 각기 자막 정보에 대하여 설정 값을 다르게 적용할 수 있다.
자막 810과 같이, 프로세서(250)는 화자의 발화 속도가 지정된 속도 범위의 상한선을 초과하는 제 1 상황에는 자막 정보가 표시될 레이어를 레이어의 상단이 우측으로 기울어진 평행사변형 형상으로 설정하고, 자막 정보에 포함된 글자의 자간을 제 1 간격으로 설정하고 글자를 기울임꼴로 설정하는 제 1 설정 값을 자막 정보에 대하여 적용할 수 있다.
자막 820과 같이, 프로세서(250)는 화자의 발화 속도가 지정된 속도 범위의 하한선 미만인 경우에는 자막 정보가 표시될 레이어를 레이어의 상단이 좌측으로 기울어진 평행사변형 형상으로 설정하고, 자막 정보에 포함된 글자의 자간을 제 2 간격(> 제 1 간격)으로 설정하고 글자를 제 1 글씨체(디폴트 글씨체)로 설정하는 제 2 설정 값을 자막 정보에 대하여 적용할 수 있다.
자막 830과 같이, 프로세서(250)는 화자의 발화 속도가 지정된 속도 범위 내에 있는 경우에는 자막 정보를 표시하는 레이어를 사각형으로 설정하고, 글자의 자간을 제 3 간격(제 1 간격 < 제 3 간격 < 제 2 간격)으로 설정하고, 자막 정보에 포함된 글자를 디폴드 글씨체로 설정하는 제 3 설정 값을 자막 정보에 대하여 적용할 수 있다. 자막 830에서, 프로세서(250)는 음 세기를 확인하고, 음 세기가 평균 음세기(예: 화자 별 평균 음세기)를 초과하는 글자(RUN AWAY)에 대해서는 글자 크기를 디폴트 크기를 초과하도록 설정하는 제 4 설정 값을 적용할 수 있다.
도 8b는 일 실시 예에 따른 글자 음영을 조절하는 문맥 강조 효과를 설명하기 위한 도면이다.
일 실시 예에 따르면, 메모리(240)는 주파수 대역 별 표시 색상 값을 포함하고, 프로세서(250)는 콘텐츠에 포함된 오디오 정보의 주파수 특성을 이용하여 화자 별 주파수 대역(예: 화자 별 평균 주파수가 속한 대역)을 확인하고, 결정된 화자 별 주파수 대역에 대응하는 화자 별 표시 색상 값(예: 색상 또는 음영 패턴)을 확인하고, 화자 별 대사 자막에 대하여 화자 별 표시 색상 값을 적용할 수 있다. 상술한 실시 예에 따르면, 프로세서(250)는 사용자로 하여금 자막 정보를 이용하여 화자 별 대사를 용이하게 구분하도록 지원할 수 있다.
도 8b를 참조하면, 프로세서(250)는 제 1 주파수 특성(high end)을 갖는 제 1 화자의 대사에 대하여 제 1 주파수 특성에 대응하는 음영 패턴으로 음영 처리하고, 제 2 주파수 특성(base)을 갖는 제 2 화자의 대사에 대하여 제 2 주파수 특성에 대응하는 음영 패턴으로 음영 처리할 수 있다.
도 9은 일 실시 예에 따른 가라오케 효과의 적용 예시도이다.
일 실시 예에 따르면, 프로세서(250)는 음성 인식 기술을 이용하여 자막정보로부터 발화된 글자와 발화되지 않은 글자를 구분하고, 자막 정보에 대하여 발화된 글자와 발화되지 않은 글자를 구분 가능한 가라오케 효과를 표시할 수 있다.
자막 910과 같이, 프로세서(250)는 자막 정보 중 발화된 글자 'Somewhere' 에 대하여 지정된 음영 패턴을 더하는 설정 값을 적용할 수 있다.
자막 920과 같이, 프로세서(250)는 자막 정보 중 발화된 글자 'AND YOU KNOW'에 대하여 발화된 글자를 흐리게 만드는 설정 값을 적용할 수 있다.
자막 930과 같이, 프로세서(250)는 두 명의 화자가 동시에 발화할 경우, 예컨대, 두 명의 가수가 동시에 노래하는 경우, 자막 정보 중 화자 별로 발화된 글자에 대하여 다른 음영 패턴을 더하는 설정 값을 적용할 수 있다.
도 10은 일 실시 예에 따른 콘텐츠의 장르를 분류하는 기준을 나타낸다.
도 10을 참조하면, 콘텐츠의 장르는 관중이 있는지 여부와 사실을 추구하는지 아니면 재미를 추구하는지에 따라서 예컨대, 제 1 유형 내지 제 4 유형으로 분류될 수 있다. 예를 들어, 제 1 유형은 관중이 없고 사실을 추구하는 장르로서, 뉴스 장르, 다큐멘터리 장르, 시사보도 장르, 생활정보 장르 또는 교육/예술 장르를 포함할 수 있다. 제 2 유형은 관중이 있는 장르로서 토론 장르, 퀴즈와 게임 장르, 버라이어티쇼 장르, 코미디 장르를 포함할 수 있다. 제 3 유형은 재미를 추구하는 장르로서, 스포츠 장르, 드라마 장르, 영화 장르, 어린이 장르를 포함할 수 있다. 제 4 유형은 제3 유형 보다 더 재미를 추구하는 장르로서, 음악쇼 장르, 광고 장르를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(250)는 제 1 유형의 장르, 제 2 유형의 장르, 제 3 유형의 장르, 제 4 유형의 장르 순으로 자막 정보에 대하여 적용되는 효과의 개수 또는 설정 값의 변화(interaction level)를 증가시킬 수 있다.
도 11은 일 실시 예에 따른 콘텐츠의 장르 유형 별로 콘텐츠(예: 자막)에 적용될 수 있는 효과들을 나타낸다.
도 11을 참조하면, 프로세서(250)는 제 1 유형의 장르에 속하는 콘텐츠에 대하여 핵심어 강조 효과만을 적용할 수 있다. 프로세서(250)는 제 2 유형의 장르에 속하는 콘텐츠에 대하여 핵심어 강조 효과, 모션 효과 및 문맥 강조 효과를 적용할 수 있다. 프로세서(250)는 제 3 유형의 장르에 속하는 콘텐츠에 대하여 핵심어 강조 효과, 모션 효과, 문맥 강조 효과, 음향 자막 표시 효과를 적용할 수 있다. 프로세서(250)는 제 4 유형의 장르에 속하는 콘텐츠에 대하여 핵심어 강조 효과, 모션 효과, 문맥 강조 효과, 음향 자막 표시 효과 및 가라오케 효과를 적용할 수 있다. 다양한 실시예에 따르면, 프로세서(250)는 제1 유형의 장르에 속하는 콘텐츠의 자막에 대하여 가라오케 효과를 더 적용할 수 있다.
상술한 실시 예에 따르면, 프로세서(250)는 콘텐츠의 특성(예: 장르)에 따라 콘텐츠의 자막 정보를 달리 제공함에 따라 사용자로 하여금 콘텐츠의 실감성 및 시인성을 더욱 높이도록 지원할 수 있다.
도 12는 일 실시 예에 따른 실시간 자막 표현(또는, 편집) 방법의 예시도이다.
도 12를 참조하면, 동작 1210에서, 프로세서(250)는 콘텐츠 정보(예: EPG 정보)로부터 콘텐츠의 장르가 토크쇼임을 확인할 수 있다. 콘텐츠가 퀴즈쇼 장르(유형2)인 경우, 프로세서(250)는 장르별 효과 정보를 기반으로 자막 정보에 대하여 적용할 효과가 핵심어 강조 효과, 모션 효과 및 문맥 강조 효과임을 확인할 수 있다.
동작 1220에서, 프로세서(250)는 콘텐츠의 자막 정보를 획득하면, 자막 정보에 핵심어 또는 지정된 단어(예: 의성어/의태어가 포함되는지) 중 적어도 하나가 포함되는지를 확인할 수 있다.
동작 1230에서, 프로세서(250)는 오디오 특성(예: 음세기)을 분석하여 자막 정보에 포함된 글자 중 글자에 대응하는 음 세기가 지정된 음 세기(예: 복수의 화자의 평균 발화 크기) 이상인 글자 'DEFINITELY YES!'가 포함됨을 확인할 수 있다. 프로세서(250)는 글자에 대응하는 음 세기가 지정된 음세기 이상인 글자 'DEFINITELY YES!'에 대하여 글자 크기를 증가시키는 설정 값을 적용할 수 있다.
동작 1240에서, 프로세서(250)는 자막 정보로부터 의성어'laughter'를 검출하고, 모션 효과 정보를 기반으로 'laughter'에 대하여 'laughter' 대응하는 모션 효과의 설정 값을 적용할 수 있다. 예를 들어, 프로세서(250)는 의성어 'laughter'의 레이어에 대하여 지정된 각도로 기울이는 설정 값을 적용할 수 있다.
동작 1250에서, 프로세서(250)는 의성어 'laughter'에 대응하는 모션 효과의 설정 값이 적용된 레이어를 콘텐츠 상의 제 1 지정된 영역(예: 콘텐츠의 상부)에 표시하고, 의성어/의태어 외 자막 정보가 표시될 제 2 레이어를 콘텐츠 상의 제 2 지정된 영역(예: 콘텐츠의 하부)에 표시할 수 있다. 동작 1250에서, 제 2 레이어에 포함된 더 크게 발화된 글자 중 'DEFINITELY YES!'를 상대적으로 크게 표시할 수 있다.
도 13은 일 실시 예에 따른 뉴스 장르의 콘텐츠에 대한 자막 표현 방법의 예시도이다.
도 13을 참조하면, 콘텐츠의 장르가 뉴스 장르인 경우, 프로세서(250)는 자막 정보에 핵심어 강조 효과만을 적용할 수 있다.
동작 1310에서, 프로세서(250)는 적어도 하나의 서버 장치(도 1의110)(예: 포털 서버, 콘텐츠 서버)에 요청하여 실시간 인기 검색어들 중 상위 4개를 수신하고, 상위 4개의 실시간 인기 검색어들 모두를 핵심어로 결정할 수 있다. 프로세서(250)는 콘텐츠에 관련된 웹 페이지(예: * 뉴스의 헤드라인) 또는 EPG 정보를 이용하여 결정된 핵심어 ''hurricane'의 연관 검색어 'hurricane irma'를 수신하고, 'hurricane irma' 를 핵심어로 결정할 수 있다.
동작 1320에서, 프로세서(250)는 자막 정보 중 실시간 인기 검색어들과 매칭되는 'Florida' 및 상기 연관 검색어 'hurricane irma'와 매칭되는 단어들을 검출 및 강조할 수 있다.
도 14는 일 실시 예에 따른 다큐멘터리 장르의 콘텐츠에 대한 자막 표현 방법의 예시도이다.
도 14를 참조하면, 콘텐츠의 장르가 다큐멘터리인 경우, 프로세서(250)는 저장된 장르별 효과 정보를 기반으로 자막 정보에 대하여 핵심어 강조 효과만을 적용할 수 있다.
동작 1410에서, 프로세서(250)는 다큐멘터리 콘텐츠의 EPG 정보를 이용하여 적어도 하나의 핵심어를 결정할 수 있다. 프로세서(250)는 콘텐츠에 관련된 서버 장치(예: 도 1의 110)로부터 수신된 핵심어 정보를 확인하고, 확인된 핵심어 정보에 포함된 핵심어를 적어도 하나의 핵심어를 결정할 수 있다. 결정된 핵심어는 예를 들면, Cosmos, Space, Cosmic Calendar, Universe, big bang을 포함할 수 있다.
동작 1420에서, 프로세서(250)는 자막 정보 중 핵심어와 일치하는 단어 'Cosmic' 'calendar', 'January 1st', 'universe'를 강조할 수 있다. 프로세서(250)는 핵심어에 관련된 연관어(달력에 표시되는 날짜)'January 1st'를 더 강조할 수 있다.
도 15는 일 실시 예에 따른 퀴즈쇼 장르의 콘텐츠에 대한 자막 표현 방법의 예시도이다.
도 15를 참조하면, 일 실시 예에 따르면, 콘텐츠가 퀴즈쇼 장르(유형2)인 경우, 프로세서(250)는 메모리(240)에 저장된 장르별 효과 정보를 기반으로 자막 정보에 대하여 핵심어 강조 효과, 모션 효과 및 문맥 강조 효과를 적용할 수 있다. 프로세서(250)는 EPG 정보를 이용하여 출연자 이름을 핵심어로 결정하고, 메모리(240)에 저장된 장르별 핵심어 정보를 기반으로 토크쇼 장르의 콘텐츠에 대응하는 단어 '정답(answer)'을 핵심어로 결정할 수 있다.
프로세서(250)는 자막 정보로부터 의성어'Beep' 및 키워드'Paige'(출연자) 및 'C'(정답)을 검출하고, 오디오 특성을 분석하여 글자'C'가 지정된 음세기 이상으로 발화됨(사용자에 의해 강조되어 발화됨)을 확인할 수 있다.
프로세서(250)는 의성어 'Beep'이 표시될 제 1 레이어에 'Beep'에 대응하는 모션 효과(예: 레이어 기울임)의 설정 값을 적용하고 제 1 레이어(1510)를 콘텐츠의 제 1 지정된 영역(예: 상부)에 표시하고, 대사가 표시될 자막 레이어(1520)에서 핵심어 'Paige'와 'C'에 굵기를 증가시키는 설정값을 적용하여 제 2 지정된 영역(예: 하부)에 표시할 수 있다. 프로세서(250)는 대사가 표시될 레이어(1520)에 포함된 글자 중 지정된 세기 이상으로 발화된'C'에 크기를 상대적으로 증가시킴에 따라 지정된 세기 이상으로 발화된'C'를 강조할 수 있다.
상술한 실시 예에 따르면, 프로세서(250)는 의성어/의태어에 모션 효과를 주고, 핵심어를 굵게 표시하고, 사용자에 의해 강조되어 발화된 글자를 더 크게 표시함에 따라 자막을 통하여 콘텐츠를 이해하는 사용자로 하여금 콘텐츠에 대한 실감성 또는 시인성을 향상시킬 수 있다.
도 16은 일 실시 예에 따른 스포츠 장르의 콘텐츠에 대한 자막 표현 방법의 예시도이다.
도 16을 참조하면, 일 실시 예에 따르면, 콘텐츠가 퀴즈쇼 장르(유형3)인 경우, 프로세서(250)는 저장된 장르별 효과 정보를 기반으로 자막 정보에 핵심어 강조 효과, 모션 효과, 문맥 강조 효과 및 음향 자막 표시 효과를 적용할 수 있다. 프로세서(250)는 EPG 정보를 이용하여 출연자 이름(선수 이름)을 적어도 하나의 핵심어로 결정하고, 메모리(240)에 저장된 장르별 핵심어 정보를 기반으로 스포츠 장르에 대하여 지정된 적어도 하나의 핵심어 '슛(shoot)'및 '골(goal)'을 확인할 수 있다.
프로세서(250)는 자막 정보로부터 의성어 'WHAAAAA!!!' 및 적어도 하나의 핵심어와 매칭되는 단어 'goal', 'Ronaldo'(선수 이름)을 검출할 수 있다. 프로세서(250)는 오디오 특성을 분석하여 'goal'이 지정된 음세기 이상으로 발화됨을 확인할 수 있다.
프로세서(250)는 의성어 'WHAAAAA'에 ''WHAAAAA'에 대응하는 모션 효과(예: 크기를 점점 증가)의 설정 값을 적용하고, 의성어 'WHAAAAA'가 표시될 제 1 레이어(1610)을 콘텐츠의 제 1 지정된 영역(예: 상부)에 표시하고, 대사가 표시될 제 2 레이어(1620)의 핵심어 'Ronaldo'와 'goal'에 굵기를 증가시켜 제 2 지정된 영역(예: 하부 좌측)에 표시할 수 있다. 프로세서(250)는 제 2 레이어(1620)에 표시될 글자 중 지정된 음세기 이상으로 발화된'goal'에 크기를 증가시킴에 따라 지정된 음세기 이상으로 발화된 'goal'을 강조(1620)할 수 있다.
프로세서(250)는 관중의 함성소리나, 응원가에 대하여 오디오 특성을 분석하고, 오디오 특성에 대응하는 음향 표시 자막(1630)을 생성하고, 음향 표시 자막(1630)을 제 3 지정된 영역(예: 하부 우측)에 표시할 수 있다.
상술한 실시 예에 따르면, 프로세서(250)는 의성어/의태어에 모션 효과를 주고, 핵심어를 굵게 표시하고, 사용자에 의해 강조되어 발화된 글자를 더 크게 표시함을 물론, 관중의 함성소리를 자막으로 표현함에 따라 특히 자막을 통하여 콘텐츠를 이해하는 사용자로 하여금 콘텐츠에 대한 실감성 또는 시인성을 향상시킬 수 있다.
도 17은 일 실시 예에 따른 영화 장르의 콘텐츠에 대한 자막 표현 방법의 예시도이다.
도 17을 참조하면, 일 실시 예에 따르면, 콘텐츠가 영화 장르(유형3)인 경우, 프로세서(250)는 메모리(240)에 저장된 장르별 효과 정보를 기반으로 자막 정보에 핵심어 강조 효과, 모션 효과, 문맥 강조 효과 및 음향 자막 표시 효과를 적용할 수 있다. 프로세서(250)는 영화 장르에 대하여 지정된 문맥 강조 효과 예컨대, 여성과 남성을 구분할 수 있도록 대사를 표시하는 효과를 확인할 수 있다.
프로세서(250)는 자막 정보로부터 의성어 'Boom'을 검출하고, 오디오 특성을 분석하여 지정된 음세기 이상으로 발화된 단어들'SMALL TAlK', 'NICE' 및 남녀의 대사를 구분할 수 있다.
프로세서(250)는 의성어 'Boom'가 표시될 제 1 레이어(1710)에 'Boom'에 대응하는 모션 효과(예: 레이어를 기울임)의 설정 값을 적용하여 콘텐츠의 상부에 표시하고, 대사가 표시될 제 2 레이어(1720)에서 지정된 음세기 이상으로 발화된 'SMALL TAlK', 'NICE'의 글자 크기를 증가시킴에 따라 지정된 음세기 이상으로 발화된 'SMALL TAlK', 'NICE'를 강조할 수 있다. 프로세서(250)는 제 2 레이어(1720)에 표시될 남녀의 대사에 대하여 다른 음영을 적용하는 설정 값을 적용할 수 있다.
프로세서(250)는 자막 정보로부터 음악이 재생되는 상황임을 확인하면, 음악에 대하여 오디오 특성을 분석하고, 오디오 특성에 대응하는 음향 표시 자막(1730)을 생성하고, 음향 표시 자막(1730)을 제 3 지정된 영역(예: 하부 우측)에 표시할 수 있다.
상술한 실시 예에 따르면, 프로세서(250)는 의성어/의태어에 모션 효과를 주고, 핵심어를 굵게 표시하고, 사용자에 의해 강조되어 발화된 글자를 더 크게 표시함을 물론, 음악 소리를 자막으로 표현함에 따라 특히 자막을 통하여 콘텐츠를 이해하는 사용자로 하여금 콘텐츠에 대한 실감성 또는 시인성을 향상시킬 수 있다.
도 18은 일 실시 예에 따른 뮤직쇼 장르의 콘텐츠에 대한 자막 표현 방법의 예시도이다.
도 18을 참조하면, 일 실시 예에 따르면, 콘텐츠가 뮤직쇼 장르(유형4)인 경우, 프로세서(250)는 저장된 장르별 효과 정보를 기반으로 자막 정보에 핵심어 강조 효과, 모션 효과, 문맥 강조 효과, 음향 자막 표시 효과 및 가라오케 효과를 적용할 수 있다. 프로세서(250)는 뮤직쇼 장르에 대하여 지정된 문맥 강조 효과 예컨대, 듀엣 곡의 경우 여가수와 남성가수를 구분할 수 있도록 노래 가사를 표시하는 효과를 확인할 수 있다.
프로세서(250)는 자막 정보로부터 노래 가사 자막을 확인하면, 오디오 특성을 분석하여 가수에 의해 발화된 가사를 확인하고, 발화된 가사와 아직 발화되지 않은 가사에 대하여 각기 다른 설정 값을 적용할 수 있다. 이에, 프로세서(250)는 발화된 가사와 발화되지 않은 가사를 구분 가능한 노래 가사 자막(1810)을 콘텐츠의 하부 좌측 영역에 표시할 수 있다. 예를 들어, 프로세서(250)는 발화된 가사 'AND YOU KNOW'가 상대적으로 연한 색상으로 표시되고, 발화되지 않은 가사 'THAT'가 상대적으로 진한 색상으로 표시되도록 설정 값을 적용할 수 있다. 다른 예를 들어, 프로세서(250)는 발화된 시간이 지날수록 가사가 없어지도록 하는 예컨대, 페이드 아웃 효과를 줄 수 있다.
프로세서(250)는 오디오 특성을 분석하여 주파수 별 음 세기를 확인하고, 주파수 별 음 세기를 나타내는 음향 표시 자막(1820)을 생성하고, 음향 표시 자막(1820)을 콘텐츠 상의 하부 우측에 표시할 수 있다.
상술한 실시 예에 따르면, 프로세서(250)는 가수가 노래를 부르는 상황에서 가수가 부르고 있는 노래 가수를 확인할 수 있도록 지원하고, 오디오 특성에 대한 분석을 기반으로 음악을 자막으로 표현할 수 있어, 특히 자막을 통하여 콘텐츠를 이해하는 사용자로 하여금 콘텐츠에 대한 실감성 또는 시인성을 향상시킬 수 있다.
도 19은 일 실시 예에 따른 자막 표시 방법의 흐름도를 나타낸다.
도 19를 참조하면, 동작 1910에서, 프로세서(250)는 콘텐츠 정보를 메모리(240)에 저장할 수 있다. 예를 들어, 프로세서(250)는 적어도 하나의 서버 장치(110)로부터 콘텐츠 정보를 수신할 수 있고, 외장 메모리로부터 콘텐츠 정보를 수신할 수 있다. 메모리(240)에 자막 정보의 편집에 필요한 모든 콘텐츠 정보가 이미 저장되어 있는 경우에는 동작 1910은 생략될 수 있다.
동작 1920에서, 프로세서(250)는 콘텐츠 정보(예: 부가 정보)를 이용하여 적어도 하나의 핵심어를 결정할 수 있다. 예를 들어, 프로세서(250)는 핵심어 검출에 필요한 정보 예컨대, 실시간 인기 검색어, 연관 검색어, 유사어 또는 장르 별 핵심어 중 적어도 하나를 포함하는 부가 정보를 적어도 하나의 서버 장치(110)로부터 획득할 수 있다.
동작 1930에서, 프로세서(250)는 자막 정보로부터 적어도 하나의 핵심어와 매칭되는 단어를 검출할 수 있다. 예를 들어, 프로세서(250)는 자막 정보로부터 적어도 하나의 핵심어와 일치하는 단어를 검출할 수 있다.
동작 1940에서, 프로세서(250)는 검출된 단어를 지정된 설정에 따라 강조할 수 있다. 예를 들어, 프로세서(250)는 검출된 단어에 디폴트 설정 값을 적용하고, 그 외 단어에 대하여 강조를 위한 다른 설정 값을 적용함에 따라 검출된 단어를 강조할 수 있다.
동작 1950에서, 프로세서(250)는 콘텐츠를 디스플레이(230)에 출력할 때 강조된 단어를 포함하는 자막 정보를 콘텐츠 상에 출력할 수 있다.
도 20은, 다양한 실시예들에 따른, 네트워크 환경(2000) 내의 전자 장치(2001)(예: 도 2의 전자 장치(20))의 블럭도이다. 도 20을 참조하면, 네트워크 환경(2000)에서 전자 장치(2001)는 제 1 네트워크(2098)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(2002)와 통신하거나, 또는 제 2 네트워크(2099)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(2004) 또는 서버(2008)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(2001)는 서버(2008)를 통하여 전자 장치(2004)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(2001)는 프로세서(2020)(예: 도 2의 프로세서(250)), 메모리(2030)(예: 도 2의 메모리(240), 입력 장치(2050)(예: 도 2의 입력 장치(220)), 음향 출력 장치(2055), 표시 장치(2060)(예: 도 2의 디스플레이(230)), 오디오 모듈(2070), 센서 모듈(2076), 인터페이스(2077), 햅틱 모듈(2079), 카메라 모듈(2080), 전력 관리 모듈(2088), 배터리(2089), 통신 모듈(2090)(예: 도 2의 통신 회로(210)), 가입자 식별 모듈(2096), 또는 안테나 모듈(2097)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(2001)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(2060) 또는 카메라 모듈(2080))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(2076)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(2060)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(2020)는, 예를 들면, 소프트웨어(예: 프로그램(2040))를 실행하여 프로세서(2020)에 연결된 전자 장치(2001)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(2020)는 다른 구성요소(예: 센서 모듈(2076) 또는 통신 모듈(2090))로부터 수신된 명령 또는 데이터를 휘발성 메모리(2032)에 로드하고, 휘발성 메모리(2032)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(2034)에 저장할 수 있다. 일실시예에 따르면, 프로세서(2020)는 메인 프로세서(2021)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(2023)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(2023)은 메인 프로세서(2021)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(2023)는 메인 프로세서(2021)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(2023)는, 예를 들면, 메인 프로세서(2021)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(2021)를 대신하여, 또는 메인 프로세서(2021)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(2021)와 함께, 전자 장치(2001)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(2060), 센서 모듈(2076), 또는 통신 모듈(2090))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(2023)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(2080) 또는 통신 모듈(2090))의 일부로서 구현될 수 있다.
메모리(2030)는, 전자 장치(2001)의 적어도 하나의 구성요소(예: 프로세서(2020) 또는 센서모듈(2076))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(2040)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(2030)는, 휘발성 메모리(2032) 또는 비휘발성 메모리(2034)를 포함할 수 있다.
프로그램(2040)은 메모리(2030)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(2042), 미들 웨어(2044) 또는 어플리케이션(2046)을 포함할 수 있다.
입력 장치(2050)는, 전자 장치(2001)의 구성요소(예: 프로세서(2020))에 사용될 명령 또는 데이터를 전자 장치(2001)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(2050)은, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(2055)는 음향 신호를 전자 장치(2001)의 외부로 출력할 수 있다. 음향 출력 장치(2055)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(2060)는 전자 장치(2001)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(2060)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(2060)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(2070)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(2070)은, 입력 장치(2050)를 통해 소리를 획득하거나, 음향 출력 장치(2055), 또는 전자 장치(2001)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(2002)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(2076)은 전자 장치(2001)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(2076)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(2077)는 전자 장치(2001)이 외부 전자 장치(예: 전자 장치(2002))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(2077)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(2078)는, 그를 통해서 전자 장치(2001)가 외부 전자 장치(예: 전자 장치(2002))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(2078)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(2079)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(2079)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(2080)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(2080)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(2088)은 전자 장치(2001)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(2089)는 전자 장치(2001)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(2089)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(2090)은 전자 장치(2001)와 외부 전자 장치(예: 전자 장치(2002), 전자 장치(2004), 또는 서버(2008))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(2090)은 프로세서(2020)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(2090)은 무선 통신 모듈(2092)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(2094)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(2098)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(2099)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(2092)은 가입자 식별 모듈(2096)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(2098) 또는 제 2 네트워크(2099)와 같은 통신 네트워크 내에서 전자 장치(2001)를 확인 및 인증할 수 있다.
안테나 모듈(2097)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(2097)은 하나 이상의 안테나들을 포함할 수 있고, 이로부터, 제 1 네트워크 2098 또는 제 2 네트워크 2099와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(2090)에 의하여 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(2090)과 외부 전자 장치 간에 송신되거나 수신될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(2099)에 연결된 서버(2008)를 통해서 전자 장치(2001)와 외부의 전자 장치(2004)간에 송신 또는 수신될 수 있다. 전자 장치(2002, 2004) 각각은 전자 장치(2001)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(2001)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(2002, 2004, or 2008) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(2001)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(2001)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(2001)로 전달할 수 있다. 전자 장치(2001)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.일 실시예에 따르면, 전자 장치(예: 도 2의 전자 장치(20))는, 디스플레이(예: 도 2의 디스플레이(230)); 콘텐츠 및 자막 정보를 포함하는 콘텐츠 정보가 저장된 메모리(예: 도 2의 메모리(240)); 및 상기 디스플레이 및 상기 메모리와 기능적으로 연결된 프로세서(예: 도 2의 프로세서(250))를 포함하고, 상기 프로세서는, 상기 콘텐츠 정보를 이용하여 적어도 하나의 핵심어를 결정하고, 상기 자막 정보로부터 상기 적어도 하나의 핵심어와 매칭되는 단어를 검출하고, 상기 검출된 단어를 지정된 설정에 따라 강조하고(highlight), 상기 콘텐츠를 상기 디스플레이에 출력할 때, 상기 강조된 단어를 포함하는 자막 정보를 상기 콘텐츠 상에 출력하도록 설정될 수 있다.
상기 콘텐츠 정보는, EPG(electronic program guide) 정보를 더 포함하고, 상기 프로세서는, 상기 EPG 정보를 이용하여 상기 적어도 하나의 핵심어를 결정하도록 설정될 수 있다.
일 실시예에 따르면, 전자 장치는, 서버 장치와 통신할 수 있는 통신 회로(예: 도 2의 통신 회로(210))를 더 포함하고, 상기 프로세서는, 상기 EPG 정보를 이용하여 적어도 하나의 제 1 핵심어를 결정하고, 상기 통신 회로를 통해 상기 서버 장치에 상기 적어도 하나의 제 1 핵심어에 관련된 적어도 하나의 연관 검색어를 수신하고, 상기 적어도 하나의 제 1 핵심어 및 상기 적어도 하나의 연관 검색어를 상기 적어도 하나의 핵심어로 결정하도록 설정될 수 있다.
일 실시예에 따르면, 전자 장치는, 상기 콘텐츠에 대한 설명 정보를 웹 페이지에 개시하는 서버 장치와 통신할 수 있는 통신 회로를 더 포함하고, 상기 프로세서는, 상기 통신 회로를 통해 상기 서버 장치와 통신하여 상기 서버 장치로부터 상기 설명 정보를 수신하고, 상기 설명 정보를 이용하여 상기 적어도 하나의 핵심어를 결정하도록 설정될 수 있다.
일 실시예에 따르면, 전자 장치는, 서버 장치와 통신할 수 있는 통신 회로를 더 포함하고, 상기 프로세서는, 상기 통신 회로를 통해 상기 서버 장치로부터 적어도 하나의 실시간 인기 검색어를 수신하고, 상기 적어도 하나의 실시간 인기 검색어를 상기 적어도 하나의 핵심어로 결정하도록 설정될 수 있다.
상기 프로세서는, 상기 적어도 하나의 핵심어가 동음이의어인 경우, 상기 자막 정보로부터 상기 적어도 하나의 핵심어와 일치하는 단어를 검출하면, 상기 검출된 단어가 포함된 문장의 동사를 검출하고, 상기 검출된 동사와 상기 적어도 하나의 핵심어의 형제어간의 연관성을 분석함에 따라 상기 검출된 단어가 상기 적어도 하나의 핵심어와 매칭되는지를 확인하도록 설정될 수 있다.
상기 프로세서는, 상기 콘텐츠 정보를 기반으로 상기 콘텐츠의 장르를 결정하고, 상기 콘텐츠의 장르 별로 상기 적어도 하나의 핵심어를 다르게 추출하도록 설정될 수 있다.
일 실시예에 따르면, 전자 장치는, 입력 장치(예: 도 2의 입력 장치(220))를 더 포함하고, 상기 프로세서는, 상기 입력 장치를 통해 강조될 단어 종류가 설정되면, 상기 자막 정보로부터 상기 설정된 단어 종류를 확인하고, 상기 자막 정보 중 상기 설정된 단어 종류를 강조하도록 더 설정될 수 있다.
상기 자막 정보는, 글자 형상 별 설정 값 정보들을 포함하고, 상기 프로세서는, 상기 글자 형상 별 설정값 정보에 기반하여 상기 검출된 단어의 설정 값을 상기 검출된 단어를 제외한 단어의 설정 값과 다르게 적용함에 따라 상기 검출된 단어를 강조하도록 설정될 수 있다.
상기 메모리는, 상기 적어도 하나의 핵심어 중 적어도 하나의 지정된 단어에 대응하는 모션 효과 정보를 더 저장하고, 상기 프로세서는, 상기 검출된 단어가 상기 적어도 하나의 지정된 단어에 해당하면, 상기 모션 효과 정보를 기반으로 상기 검출된 단어에 대하여, 상기 검출된 단어에 대응하는 모션 효과를 적용하도록 설정될 수 있다.
상기 프로세서는, 상기 자막 정보에 기반하여 상기 검출된 단어를 출력할, 제 1 레이어(layer)와 상기 검출된 단어를 제외한 자막 정보를 출력할, 제 2 레이어를 구성하고, 상기 제 1 레이어에 상기 모션 효과를 적용하도록 설정될 수 있다.
상기 프로세서는, 상기 검출된 단어가 상기 적어도 하나의 지정된 단어에 해당하면, 상기 검출된 단어를 상기 콘텐츠 상의 제 1 위치에 출력하고, 상기 검출된 단어를 제외한 자막 정보를 상기 제 1 위치로부터 지정된 간격 이상 이격된 상기 콘텐츠 상의 제 2 위치에 출력하도록 설정될 수 있다.
일 실시예에 따르면, 전자 장치에 의한 자막 표현 방법은, 콘텐츠 및 자막 정보를 포함하는 콘텐츠 정보를 메모리에 저장하는 동작; 상기 콘텐츠 정보를 이용하여 적어도 하나의 핵심어를 결정하는 동작; 상기 자막 정보로부터 상기 적어도 하나의 핵심어와 매칭되는 단어를 검출하는 동작; 상기 검출된 단어를 지정된 설정에 따라 강조하는(highlight) 동작; 및 상기 콘텐츠를 디스플레이에 출력할 때, 상기 강조된 단어를 포함하는 자막 정보를 상기 콘텐츠 상에 출력하는 동작을 포함할 수 있다.
상기 콘텐츠 정보는, EPG(electronic program guide) 정보를 더 포함하고, 상기 결정하는 동작은, 상기 EPG 정보를 이용하여 상기 적어도 하나의 핵심어를 결정하는 동작을 포함할 수 있다.
상기 EPG 정보를 이용하여 상기 적어도 하나의 핵심어를 결정하는 동작은, 상기 EPG 정보를 이용하여 적어도 하나의 제 1 핵심어를 결정하는 동작; 서버 장치로부터 상기 적어도 하나의 제 1 핵심어에 관련된 적어도 하나의 연관 검색어를 수신하는 동작; 및 상기 적어도 하나의 제 1 핵심어 및 상기 적어도 하나의 연관 검색어를 상기 적어도 하나의 핵심어로 결정하는 동작을 포함할 수 있다.
일 실시예에 따르면, 자막 표현 방법은, 웹 페이지를 통해 상기 콘텐츠에 대한 설명 정보를 개시하는 서버 장치에 상기 설명 정보를 요청하는 동작; 요청에 대한 응답으로 상기 서버 장치로부터 상기 설명 정보를 수신하는 동작을 더 포함하고, 상기 결정하는 동작은, 상기 설명 정보를 이용하여 상기 적어도 하나의 핵심어를 결정하는 동작을 포함할 수 있다.
일 실시예에 따르면, 자막 표현 방법은, 서버 장치에 적어도 하나의 실시간 인기 검색어를 요청하는 동작; 및 요청에 대한 응답으로 상기 서버 장치로부터 상기 적어도 하나의 인기 검색어를 수신하는 동작을 더 포함하고, 상기 결정하는 동작은, 상기 적어도 하나의 실시간 인기 검색어를 상기 적어도 하나의 핵심어로 결정하는 동작을 포함할 수 있다.
상기 검출하는 동작은, 상기 적어도 하나의 핵심어가 동음이의어인 경우, 상기 자막 정보로부터 상기 적어도 하나의 핵심어와 일치하는 단어를 검출하면, 상기 검출된 단어가 포함된 문장의 동사를 검출하는 동작; 상기 검출된 동사와 상기 적어도 하나의 핵심어의 형제어간의 연관성을 분석함에 따라 상기 검출된 단어가 상기 적어도 하나의 핵심어와 매칭되는지를 확인하는 동작을 포함할 수 있다.
상기 결정하는 동작은, 상기 콘텐츠 정보를 기반으로 상기 콘텐츠의 장르를 결정하는 동작; 및 상기 콘텐츠의 장르 별로 상기 적어도 하나의 핵심어를 다르게 결정하는 동작을 포함할 수 있다.
상기 자막 정보는, 글자 형상 별 설정 값 정보들을 포함하고, 상기 강조하는 동작은, 상기 글자 형상 별 설정값 정보에 기반하여 상기 검출된 단어의 설정 값을 상기 검출된 단어를 제외한 단어의 설정 값과 다르게 적용함에 따라 상기 검출된 단어를 강조하는 동작을 포함할 수 있다.본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나,""A, B 또는 C," "A, B 및 C 중 적어도 하나,"및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(2001)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(2036) 또는 외장 메모리(2038))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(2040))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(2001))의 프로세서(예: 프로세서(2020))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    콘텐츠 및 자막 정보를 포함하는 콘텐츠 정보가 저장된 메모리; 및
    상기 디스플레이 및 상기 메모리와 기능적으로 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 콘텐츠 정보를 이용하여 적어도 하나의 핵심어를 결정하고,
    상기 자막 정보로부터 상기 적어도 하나의 핵심어와 매칭되는 단어를 검출하고,
    상기 검출된 단어를 지정된 설정에 따라 강조하고(highlight),
    상기 콘텐츠를 상기 디스플레이에 출력할 때, 상기 강조된 단어를 포함하는 자막 정보를 상기 콘텐츠 상에 출력하도록 설정된 전자 장치.
  2. 제 1 항에 있어서,
    상기 콘텐츠 정보는,
    EPG(electronic program guide) 정보를 더 포함하고,
    상기 프로세서는,
    상기 EPG 정보를 이용하여 상기 적어도 하나의 핵심어를 결정하도록 설정된 전자 장치.
  3. 제 2 항에 있어서,
    서버 장치와 통신할 수 있는 통신 회로를 더 포함하고,
    상기 프로세서는,
    상기 EPG 정보를 이용하여 적어도 하나의 제 1 핵심어를 결정하고,
    상기 통신 회로를 통해 상기 서버 장치에 상기 적어도 하나의 제 1 핵심어에 관련된 적어도 하나의 연관 검색어를 수신하고,
    상기 적어도 하나의 제 1 핵심어 및 상기 적어도 하나의 연관 검색어를 상기 적어도 하나의 핵심어로 결정하도록 설정된 전자 장치.
  4. 제 1 항에 있어서,
    상기 콘텐츠에 대한 설명 정보를 웹 페이지에 개시하는 서버 장치와 통신할 수 있는 통신 회로를 더 포함하고,
    상기 프로세서는,
    상기 통신 회로를 통해 상기 서버 장치와 통신하여 상기 서버 장치로부터 상기 설명 정보를 수신하고,
    상기 설명 정보를 이용하여 상기 적어도 하나의 핵심어를 결정하도록 설정된 전자 장치.
  5. 제 1 항에 있어서,
    서버 장치와 통신할 수 있는 통신 회로를 더 포함하고,
    상기 프로세서는,
    상기 통신 회로를 통해 상기 서버 장치로부터 적어도 하나의 실시간 인기 검색어를 수신하고,
    상기 적어도 하나의 실시간 인기 검색어를 상기 적어도 하나의 핵심어로 결정하도록 설정된 전자 장치.
  6. 제 1 항에 있어서, 상기 프로세서는,
    상기 적어도 하나의 핵심어가 동음이의어인 경우, 상기 자막 정보로부터 상기 적어도 하나의 핵심어와 일치하는 단어를 검출하면, 상기 검출된 단어가 포함된 문장의 동사를 검출하고,
    상기 검출된 동사와 상기 적어도 하나의 핵심어의 형제어간의 연관성을 분석함에 따라 상기 검출된 단어가 상기 적어도 하나의 핵심어와 매칭되는지를 확인하도록 설정된 전자 장치.
  7. 제 1 항에 있어서, 상기 프로세서는,
    상기 콘텐츠 정보를 기반으로 상기 콘텐츠의 장르를 결정하고,
    상기 콘텐츠의 장르 별로 상기 적어도 하나의 핵심어를 다르게 추출하도록 설정된 전자 장치.
  8. 제 1 항에 있어서,
    입력 장치를 더 포함하고,
    상기 프로세서는,
    상기 입력 장치를 통해 강조될 단어 종류가 설정되면, 상기 자막 정보로부터 상기 설정된 단어 종류를 확인하고,
    상기 자막 정보 중 상기 설정된 단어 종류를 강조하도록 더 설정된 전자 장치.
  9. 제 1 항에 있어서,
    상기 자막 정보는,
    글자 형상 별 설정 값 정보들을 포함하고,
    상기 프로세서는,
    상기 글자 형상 별 설정값 정보에 기반하여 상기 검출된 단어의 설정 값을 상기 검출된 단어를 제외한 단어의 설정 값과 다르게 적용함에 따라 상기 검출된 단어를 강조하도록 설정된 전자 장치.
  10. 제 1 항에 있어서,
    상기 메모리는,
    상기 적어도 하나의 핵심어 중 적어도 하나의 지정된 단어에 대응하는 모션 효과 정보를 더 저장하고,
    상기 프로세서는,
    상기 검출된 단어가 상기 적어도 하나의 지정된 단어에 해당하면, 상기 모션 효과 정보를 기반으로 상기 검출된 단어에 대하여, 상기 검출된 단어에 대응하는 모션 효과를 적용하도록 설정된 전자 장치.
  11. 제 10 항에 있어서, 상기 프로세서는,
    상기 자막 정보에 기반하여 상기 검출된 단어를 출력할, 제 1 레이어(layer)와 상기 검출된 단어를 제외한 자막 정보를 출력할, 제 2 레이어를 구성하고,
    상기 제 1 레이어에 상기 모션 효과를 적용하도록 설정된 전자 장치.
  12. 제 10 항에 있어서, 상기 프로세서는,
    상기 검출된 단어가 상기 적어도 하나의 지정된 단어에 해당하면, 상기 검출된 단어를 상기 콘텐츠 상의 제 1 위치에 출력하고,
    상기 검출된 단어를 제외한 자막 정보를 상기 제 1 위치로부터 지정된 간격 이상 이격된 상기 콘텐츠 상의 제 2 위치에 출력하도록 설정된 전자 장치.
  13. 전자 장치에 의한 자막 표현 방법으로서,
    콘텐츠 및 자막 정보를 포함하는 콘텐츠 정보를 메모리에 저장하는 동작;
    상기 콘텐츠 정보를 이용하여 적어도 하나의 핵심어를 결정하는 동작;
    상기 자막 정보로부터 상기 적어도 하나의 핵심어와 매칭되는 단어를 검출하는 동작;
    상기 검출된 단어를 지정된 설정에 따라 강조하는(highlight) 동작; 및
    상기 콘텐츠를 디스플레이에 출력할 때, 상기 강조된 단어를 포함하는 자막 정보를 상기 콘텐츠 상에 출력하는 동작을 포함하는 자막 표현 방법.
  14. 제 13 항에 있어서,
    상기 콘텐츠 정보는,
    EPG(electronic program guide) 정보를 더 포함하고,
    상기 결정하는 동작은,
    상기 EPG 정보를 이용하여 상기 적어도 하나의 핵심어를 결정하는 동작을 포함하는 자막 표현 방법.
  15. 제 14 항에 있어서, 상기 EPG 정보를 이용하여 상기 적어도 하나의 핵심어를 결정하는 동작은,
    상기 EPG 정보를 이용하여 적어도 하나의 제 1 핵심어를 결정하는 동작;
    서버 장치로부터 상기 적어도 하나의 제 1 핵심어에 관련된 적어도 하나의 연관 검색어를 수신하는 동작; 및
    상기 적어도 하나의 제 1 핵심어 및 상기 적어도 하나의 연관 검색어를 상기 적어도 하나의 핵심어로 결정하는 동작을 포함하는 자막 표현 방법.
PCT/KR2019/000097 2018-01-09 2019-01-03 전자 장치 및 그 자막 표현 방법 WO2019139301A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/772,839 US20210168460A1 (en) 2018-01-09 2019-01-03 Electronic device and subtitle expression method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0002970 2018-01-09
KR1020180002970A KR102523135B1 (ko) 2018-01-09 2018-01-09 전자 장치 및 전자 장치에 의한 자막 표현 방법

Publications (1)

Publication Number Publication Date
WO2019139301A1 true WO2019139301A1 (ko) 2019-07-18

Family

ID=67219795

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/000097 WO2019139301A1 (ko) 2018-01-09 2019-01-03 전자 장치 및 그 자막 표현 방법

Country Status (3)

Country Link
US (1) US20210168460A1 (ko)
KR (1) KR102523135B1 (ko)
WO (1) WO2019139301A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110798636A (zh) * 2019-10-18 2020-02-14 腾讯数码（天津）有限公司 字幕生成方法及装置、电子设备
US11638405B2 (en) 2019-12-20 2023-05-02 Kyocera Corporation Vegetable production method
EP4213039A4 (en) * 2020-11-17 2024-03-06 Beijing Zitiao Network Technology Co Ltd METHOD AND APPARATUS FOR DISPLAYING SPECIAL EFFECTS FOR LYRICS, ELECTRONIC DEVICE AND COMPUTER READABLE MEDIUM

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11211053B2 (en) * 2019-05-23 2021-12-28 International Business Machines Corporation Systems and methods for automated generation of subtitles
US20220321951A1 (en) * 2021-04-02 2022-10-06 Rovi Guides, Inc. Methods and systems for providing dynamic content based on user preferences
KR102318122B1 (ko) * 2021-06-17 2021-10-27 (주)헤이트럭 커뮤니케이션을 지원하는 물류관제장치 및 물류관제방법
CN113781988A (zh) * 2021-07-30 2021-12-10 北京达佳互联信息技术有限公司 字幕显示方法、装置、电子设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150066915A (ko) * 2013-12-09 2015-06-17 주식회사 케이티 방송 컨텐츠에 대한 부가 정보를 생성하는 서버 및 방법, 그리고 부가 정보를 표시하는 디바이스
KR20160001902A (ko) * 2014-06-27 2016-01-07 주식회사 포워드벤처스 콘텐츠 디스플레이 시스템 및 콘텐츠 디스플레이 방법
KR20170111161A (ko) * 2016-03-25 2017-10-12 김준모 음성 데이터 기반 멀티미디어 콘텐츠 태깅 방법 및 이를 이용한 시스템
KR101789831B1 (ko) * 2010-12-24 2017-10-25 한국전자통신연구원 방송 컨텐츠 처리 장치 및 방법
JP6223678B2 (ja) * 2012-12-21 2017-11-01 株式会社東芝 電子機器及び再生制御方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948568B2 (en) * 2012-07-31 2015-02-03 Google Inc. Customized video
US20170065888A1 (en) * 2015-09-04 2017-03-09 Sri International Identifying And Extracting Video Game Highlights

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101789831B1 (ko) * 2010-12-24 2017-10-25 한국전자통신연구원 방송 컨텐츠 처리 장치 및 방법
JP6223678B2 (ja) * 2012-12-21 2017-11-01 株式会社東芝 電子機器及び再生制御方法
KR20150066915A (ko) * 2013-12-09 2015-06-17 주식회사 케이티 방송 컨텐츠에 대한 부가 정보를 생성하는 서버 및 방법, 그리고 부가 정보를 표시하는 디바이스
KR20160001902A (ko) * 2014-06-27 2016-01-07 주식회사 포워드벤처스 콘텐츠 디스플레이 시스템 및 콘텐츠 디스플레이 방법
KR20170111161A (ko) * 2016-03-25 2017-10-12 김준모 음성 데이터 기반 멀티미디어 콘텐츠 태깅 방법 및 이를 이용한 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110798636A (zh) * 2019-10-18 2020-02-14 腾讯数码（天津）有限公司 字幕生成方法及装置、电子设备
US11638405B2 (en) 2019-12-20 2023-05-02 Kyocera Corporation Vegetable production method
EP4213039A4 (en) * 2020-11-17 2024-03-06 Beijing Zitiao Network Technology Co Ltd METHOD AND APPARATUS FOR DISPLAYING SPECIAL EFFECTS FOR LYRICS, ELECTRONIC DEVICE AND COMPUTER READABLE MEDIUM

Also Published As

Publication number Publication date
KR102523135B1 (ko) 2023-04-21
US20210168460A1 (en) 2021-06-03
KR20190084809A (ko) 2019-07-17

Similar Documents

Publication Publication Date Title
WO2019139301A1 (ko) 전자 장치 및 그 자막 표현 방법
WO2017160073A1 (en) Method and device for accelerated playback, transmission and storage of media files
WO2016035933A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2020105856A1 (en) Electronic apparatus for processing user utterance and controlling method thereof
WO2019112342A1 (en) Voice recognition apparatus and operation method thereof cross-reference to related application
WO2020162709A1 (en) Electronic device for providing graphic data based on voice and operating method thereof
WO2020122677A1 (en) Method of performing function of electronic device and electronic device using same
WO2019112181A1 (ko) 오디오 데이터에 포함된 음소 정보를 이용하여 어플리케이션을 실행하기 위한 전자 장치 및 그의 동작 방법
WO2021060728A1 (ko) 사용자 발화를 처리하는 전자 장치 및 그 작동 방법
WO2020116930A1 (en) Electronic device for outputting sound and operating method thereof
WO2021020825A1 (ko) 전자장치와 그의 제어방법, 및 기록매체
WO2021118229A1 (en) Information providing method and electronic device for supporting the same
WO2021045503A1 (en) Electronic apparatus and control method thereof
WO2020101174A1 (ko) 개인화 립 리딩 모델 생성 방법 및 장치
WO2022216059A1 (ko) 개인화 오디오 정보를 제공하기 위한 전자 장치 및 방법
WO2022177224A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2020075998A1 (ko) 전자 장치 및 그 제어 방법
WO2020122271A1 (ko) 디스플레이 장치
WO2020159047A1 (ko) 보이스 어시스턴트 서비스를 이용한 컨텐츠 재생 장치 및 그 동작 방법
WO2022211413A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2024085290A1 (ko) 인공지능 기기 및 그 동작 방법
WO2024075978A1 (ko) 음원 편집 기능 제공 방법 및 이를 지원하는 전자 장치
WO2024043670A1 (ko) 사용자 발화를 분석하기 위한 방법 및 이를 지원하는 전자 장치
WO2024080745A1 (ko) 발화 캐시에 기반하여 사용자 발화를 분석하기 위한 방법 및 이를 지원하는 전자 장치
WO2020197256A1 (ko) 탈취된 사용자 발화를 검출하기 위한 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19738467

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19738467

Country of ref document: EP

Kind code of ref document: A1