WO2021149884A1 - 키네틱 타이포그래피가 적용된 자막에 대한 편집방법 및 그 전자장치 - Google Patents

키네틱 타이포그래피가 적용된 자막에 대한 편집방법 및 그 전자장치 Download PDF

Info

Publication number
WO2021149884A1
WO2021149884A1 PCT/KR2020/009601 KR2020009601W WO2021149884A1 WO 2021149884 A1 WO2021149884 A1 WO 2021149884A1 KR 2020009601 W KR2020009601 W KR 2020009601W WO 2021149884 A1 WO2021149884 A1 WO 2021149884A1
Authority
WO
WIPO (PCT)
Prior art keywords
subtitle
time
kinetic
kinetic motion
motion
Prior art date
Application number
PCT/KR2020/009601
Other languages
English (en)
French (fr)
Inventor
임순범
전자연
김민지
Original Assignee
숙명여자대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숙명여자대학교산학협력단 filed Critical 숙명여자대학교산학협력단
Publication of WO2021149884A1 publication Critical patent/WO2021149884A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Definitions

  • the present invention relates to a method for editing a subtitle to which kinetic typography is applied and an electronic device thereof, and more particularly, to a method for editing a subtitle to which kinetic typography is applied and an electronic device for providing various motions of the subtitle.
  • Video content basically includes video and audio, and subtitles are used in addition to basic video and audio to help content users understand and generate interest.
  • subtitles are used in addition to basic video and audio to help content users understand and generate interest.
  • a caption the actions, movements, voices, sounds, etc. of a person or object appearing in an image are processed as text or graphics and displayed on the image.
  • the process of making subtitles takes time and effort.
  • the video editor edits the subtitles or corrects the completed subtitles while watching the video through the editing program.
  • a manual method in which an image editor individually determines subtitles suitable for a scene of a corresponding image, inputs the determined subtitles one by one, and performs editing is generally used.
  • Korean Patent Laid-Open No. 2016-0079436 discloses subtitle content for correcting an edited subtitle file in response to editing information for a subtitle file corresponding to playback information of a multimedia file Disclosed is a method for providing a subtitle service by a server.
  • Korean Patent Application Laid-Open No. 10-2019-0138109 (December 12, 2019) recognizes a voice included in an audio file received from a broadcasting terminal and extracts subtitle text uttered by the speaker. and generating voice reference information using the speaker's voice within one hour, and generating subtitle style information, which is screen output control information of the subtitle text, using the speaker's voice and the voice reference information, and the subtitle text and a method and system for generating subtitles for transmitting subtitle information including the subtitle style information to a viewer terminal.
  • the present invention has been devised to solve the above problems, and an object of the present invention is to automatically designate or recommend a position of a subtitle and a motion of a subtitle. Another object of the present invention is to produce and edit a subtitle so that at least one of a plurality of words, a plurality of letters, and a plurality of characters included in the subtitle is separated from each other and individually performed. Another object of the present invention is to provide a template of subtitle motion or a template of content to which subtitle motion is applied as a library.
  • an editing method for a subtitle to which kinetic typography is applied includes a process of determining a type of an object included in an image, a process of forming a subtitle based on audio of the image; determining a type of kinetic motion for the subtitle based on the type of the object and the subtitle; determining whether the audio is generated from the object based on the type of the object and the subtitle; is generated from the object, determining a region located in one direction from the object determined based on a predetermined distance from the object and the position of the object in the image as the position of the subtitle; and and displaying the subtitle to which the type of kinetic motion is applied at the position of the subtitle.
  • an electronic device for editing a caption to which kinetic typography is applied determines a type of an object included in a storage unit and an image, forms a caption based on audio of the image, and the determine a type of kinetic motion for the subtitle based on a type of an object and the subtitle, determine whether the audio is generated in the object based on the type of the object and the subtitle, and determine whether the audio is generated from the object , a region located in one direction from the object determined based on a preset distance from the object and the position of the object in the image is determined as the position of the subtitle, and the subtitle is located at the position of the subtitle. and a processor for displaying the caption to which the type of kinetic motion is applied.
  • subtitles may be created and edited so that at least one of a plurality of words, a plurality of letters, and a plurality of characters included in the subtitles is separated from each other to individually perform motions.
  • a template of subtitle motion or a template of content to which subtitle motion is applied may be provided as a library.
  • FIG. 1 is an exemplary diagram of a subtitle editing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of an electronic device according to an embodiment of the present invention.
  • 3A to 3E illustrate captions according to an embodiment of the present invention.
  • FIG. 4 is an exemplary diagram of a method for automatically recommending subtitles according to an embodiment of the present invention.
  • FIG. 5 illustrates a motion of a text box unit according to an embodiment of the present invention.
  • FIG. 6 illustrates a caption motion for each word according to an embodiment of the present invention.
  • FIG. 7 illustrates a caption motion for each character according to an embodiment of the present invention.
  • 8A to 8C illustrate a caption motion according to an embodiment of the present invention.
  • 9A to 9D illustrate a caption motion according to another embodiment of the present invention.
  • 10A to 10D show caption motion according to another embodiment of the present invention.
  • 11A to 11D illustrate a caption motion according to another embodiment of the present invention.
  • 12A to 12D illustrate a caption motion according to another embodiment of the present invention.
  • 13A to 13E illustrate a caption motion according to another embodiment of the present invention.
  • 15a to 15c show caption motions in 3D space according to an embodiment of the present invention.
  • 16 is a block diagram of a detailed configuration of an electronic device according to an embodiment of the present invention.
  • FIG. 17 is a flowchart of a caption editing method according to an embodiment of the present invention.
  • FIG. 1 is an exemplary diagram of a subtitle editing apparatus according to an embodiment of the present invention.
  • the subtitle editing apparatus 1 is a basic motion library 10 , a subtitle motion template editor 20 , a subtitle motion template library 30 , a video subtitle editor 40 , and an SNS 50 in the order of can be performed.
  • the basic motion library 10, the subtitle motion template editor 20, the subtitle motion template library 30, the video subtitle editor 40 and the SNS 50 are defined as software or modules driven by a processor, or individual hardware may be defined, but is not limited thereto.
  • the basic motion library 10 may store basic motions of subtitles.
  • Examples of basic motions of subtitles include vertical, horizontal, straight line motion, arc motion, circle motion, shaking motion, and rising motion.
  • the subtitle motion template editor 20 may receive the basic motion template 21 from the basic motion library 10 .
  • the subtitle motion template editor 20 can create a new subtitle motion template by modifying/transforming/adding the basic motion template 21 received using the kinetic motion authoring tool 22 and the kinetic typography engine 23 . .
  • the subtitle motion template library 30 may be constructed as a library by registering or storing a new subtitle motion template received through the subtitle motion template editor 20 .
  • the video subtitle editor 40 may edit video (or video) and audio (41, 42).
  • the video caption editor 40 may generate a caption from audio for the edited video using a speech to text (STT) tool (43).
  • STT speech to text
  • the video subtitle editor 40 may recommend kinetic subtitles based on the subtitle motion template 44 received or purchased from the subtitle motion template library 30 .
  • the video caption editor 40 may recommend at least one of the position and the type of motion of the kinetic caption.
  • the video subtitle editor 40 may edit the generated subtitle by referring to the subtitle motion template 44 and the position and motion of the recommended kinetic subtitle.
  • the social network service (SNS) 50 may receive and post the edited video and edited subtitles.
  • the edited video and edited subtitles may be stored in the sample content template 46 and used for subtitle editing of the video subtitle editor 40 .
  • FIG. 2 is a block diagram of an electronic device according to an embodiment of the present invention.
  • an electronic device 100 for editing subtitles to which kinetic typography is applied may include a storage unit 110 and a processor 120 .
  • the storage unit 110 stores data.
  • the storage 110 may store subtitles to which kinetic typography is applied.
  • the storage 110 may provide the basic motion template library 10 of subtitles and the library 30 of subtitle motion templates.
  • the processor 120 may control the electronic device 110 as a whole.
  • the processor 120 may determine the type of object included in the image.
  • the processor 120 may learn the type of the object using a deep learning algorithm.
  • the type of the object may be various types such as a car, an airplane, a human face, a human eye, an organ such as a nose and a mouth, a dog, and a bird.
  • the processor 120 may generate a subtitle based on the audio of the image. For example, the processor 120 may automatically generate subtitles using a speech to text (STT) tool and store the subtitles in the storage 110 .
  • STT speech to text
  • the processor 120 may determine the type of kinetic motion for the caption based on the determined object type and the generated caption.
  • the processor 120 may store, in the storage 110 , a table including a matching relationship between the type of object and the caption and the type of kinetic motion.
  • the type of kinetic motion for the subtitle may be defined as the first type.
  • the first type may be defined as a kinetic motion in which at least one text included in the subtitle moves while drawing a heart.
  • the type of kinetic motion for the subtitle may be defined as the second type.
  • the second type may be defined as a kinetic motion in which at least one text included in the subtitle is separated and scattered like the wind.
  • the processor 120 may determine whether audio is generated from the object based on the type of the object and the caption.
  • the processor 120 may determine that the audio is generated from the object. In this case, the processor 120 may store a table including a matching relationship between object types and words in the storage 110 .
  • the processor ( 120) may determine that the audio is generated from the corresponding object.
  • the processor 120 may determine that the audio is generated from a corresponding object.
  • the processor 120 determines a region located in one direction from the object determined based on a predetermined distance from the object and the position of the object in the image. can be determined as the location of the subtitle.
  • one direction from the object may be determined based on one direction with respect to a region in which the size of a region required to display a subtitle to which the determined kinetic type is applied among regions around the object in the image can be secured. That is, the one region may be determined to have a size that can include a region necessary for displaying the caption to which the kinetic type is applied.
  • the processor 120 may determine that the object included in the image is the cake 301 . In this case, the processor 120 may determine a region included in the image as the location of the subtitle 302 .
  • the processor 120 may determine an area at a predetermined distance from the cake 301 as a candidate location for the subtitle 302 .
  • the preset distance may be determined based on the size of the cake 301 occupied in the image and the size of the caption 302 occupied in the image.
  • the processor 120 may determine a region located in one direction from the cake 301 determined based on the position of the cake 301 in the image as the position of the caption.
  • the processor 120 may caption an area located in the other direction from the center (A) of the image in which more space is secured. It can be determined by the location of (302).
  • the processor 120 selects a region located in one of the one direction or the other direction from the center (A) of the image. It can be determined by the location of the subtitle 302 . This is because the space secured in both directions (one direction and the other direction) from the center A of the image is the same or similar.
  • the region located in one direction from the object determined based on the position of the object in the image may be further determined based on the moving direction of the object and the position of a candidate object accommodating audio generated from the object.
  • the processor 120 may position the one region in the moving direction of the object.
  • the processor 120 may set the caption 302 to be positioned in the moving direction of the cake 301 .
  • the area B located in a direction different from the moving direction of the cake 301 may be set as a lower priority in determining the location of the one area.
  • the processor 120 may determine a direction from the object to be close to a direction indicating a location of a candidate object accommodating the audio generated from the object. For example, the processor 120 may determine a direction close to the moving direction of the object and close to the direction pointing to the position of the candidate object accommodating the audio generated from the object as one direction from the object. From this, the processor 120 may determine a region located in one direction from the object as the position of the subtitle.
  • the candidate object may be defined as an object determined to receive audio from the object through learning using a deep learning algorithm.
  • the processor 120 may determine the person C located in the moving direction of the cake 301 as the candidate object C. As shown in FIG.
  • the processor 120 may determine whether audio is generated from the object based on the type and subtitle of the object.
  • the processor 120 may determine the first object 303 included in the image as a person. Also, the processor 120 may determine who the speaker is based on the caption based on the type of the first object 303 and the audio.
  • the processor 120 determines the first object 303 based on a predetermined distance from the first object 303 and the position of the first object 303 in the image.
  • a region 305 located in one direction from 303 may be determined as the position of the caption 305 .
  • the processor 120 may determine the location of the subtitle 305 by determining a region 305 positioned at a predetermined distance from the face (or mouth) of the first object 303 and in one direction from the first object 303 . can be decided with
  • the processor 120 may determine the second object 304 included in the image as a person. Also, the processor 120 may determine who the speaker is based on the motion and the audio of the second object 304 .
  • the processor 120 determines the second object based on a predetermined distance from the second object 304 and the position of the second object 304 in the image.
  • An area 306 located in one direction from 304 may be determined as the location of the caption 306 .
  • the processor 120 may determine the location of the subtitle 306 in one area 306 located at a predetermined distance from the face (or mouth) of the second object 304 and in one direction from the second object 304 . can be decided with
  • the processor 120 may determine whether audio is generated from the object based on the type and subtitle of the object.
  • the processor 120 may determine that the third object 307 included in the image is a train 307 . Also, the processor 120 may determine whether the audio is generated by the train 307 based on the type of the third object 307 and the subtitle based on the audio.
  • the processor 120 moves in one direction from the train 307 determined based on a predetermined distance from the train 307 and the position of the train 307 in the image.
  • One region 308 located may be determined as the position of the subtitle 308 .
  • the processor 120 may determine the fourth object 309 included in the image as the hand 309 and the fifth object 310 as the doorbell 310 . Also, the processor 120 may determine whether the audio is generated by the hand 309 and the doorbell 310 based on the type of the fourth object 309 and the fifth object 310 and the audio-based caption.
  • the processor 120 determines that the audio is at a preset distance from the hand 309 and the doorbell 310 and the audio within the image is the hand 309 and the doorbell 310.
  • the hand 309 determined based on the position of the doorbell 310 and an area 311 located in one direction from the doorbell 310 may be determined as the position of the caption 311 .
  • the processor 120 may display a caption to which a kinetic motion type is applied at the location of the caption.
  • the processor 120 may automatically designate or recommend the position of the subtitle and the motion of the subtitle.
  • FIG. 4 is an exemplary diagram of a method for automatically recommending subtitles according to an embodiment of the present invention.
  • the processor 120 may generate a video clip by analyzing a video (or image) using the video analysis engine 402 .
  • the processor 120 may analyze the video/audio using the automatic dialogue generation engine (STT automatic generation) to generate 406 subtitles.
  • STT automatic generation automatic dialogue generation engine
  • the processor 120 may refer to the subtitle motion template 407 to recommend a position and motion for the kinetic subtitle ( 408 ). Also, the processor 120 may edit the kinetic subtitle motion ( 409 ).
  • the existing subtitle editor can only process subtitles in units of text boxes (or sentence blocks), so it is difficult to induce interest in users.
  • 5 shows motions in units of text boxes provided by the existing subtitle editor.
  • subtitles may be separated (or segmented) in units of words or characters to individually perform motions.
  • subtitles may be separated (or segmented) in units of letters (or graphes) to individually take motions.
  • 8A to 8C illustrate a caption motion according to an embodiment of the present invention.
  • 8A shows a state in which the subtitle 'Font Nalda' 801 starts motion.
  • FIG. 8B the left side of the 'Font Nalda' 801 moves to the left side of the box as the left side of the 'Font Nalda' 801 is gradually tilted upward than the right side of the 'Font Nalda' 801 .
  • 8C shows a state in which the 'Font Nalda' 801 moves to the upper left area of the box and ends the motion.
  • 9A to 9D illustrate a caption motion according to another embodiment of the present invention.
  • FIG. 9A shows a state in which the subtitles 'Font fly' 901 and 902 are separated into 'Font' (first word) 901 and 'Fly' (second word) 902 and start motion.
  • the position of the 'font' 901 is defined as the first position
  • the position of the 'fly' 902 is defined as the third position.
  • FIG. 9B shows a state in which 'font' 901 is moved to the left of the box in a first position with a first kinetic motion, and 'fly' 902 is moved to the left of the box in a third position with a first kinetic motion.
  • the distance between 'font' 901 and 'fly' 902 in FIG. 9B is narrower than the distance between 'font' 901 and 'fly' 902 in FIG. 9A .
  • 9C shows a state in which the 'font' 901 and 'fly' 902 are tilted while moving to the left side of the box with the first kinetic motion.
  • 'font' 901 and 'fly' 902 are aligned with each other in a second position (left side of 903) and a fourth position (right side of 903).
  • the 'font' 901 and 'fly' 902 may be displayed in an integrated state of one box 903 .
  • the 'font' 901 may start an operation according to the first kinetic motion at a first time and end the operation according to the first kinetic motion at a second time.
  • 'fly' 902 starts an operation according to the first kinetic motion at a third time delayed by a preset time from the first time, and the first kinetic motion at a fourth time delayed by a preset time from the second time The operation according to the may be terminated.
  • 10A to 10D illustrate a caption motion according to another embodiment of the present invention.
  • 10A shows that the subtitles 'Font Nalda' (1001, 1002, 1003, 1004) are 'phone' (first word) 1001, 't' (second word) 1002, and 'day' (third word). (1003) and 'da' (fourth word) 1004 shows a state in which motion starts.
  • 'phone' 1001 and 't' 1002 among 'phone' 1001, 't' 1002, 'day' 1003 and 'da' 1004 There will be a part describing the motion, but the description of the motion will be applicable to each other 'phone' 1001 , 't' 1002 , 'na' 1003 and 'da' 1004 .
  • the position of the 'phone' 1001 is defined as the first position and the position of the 'tee' 1002 is defined as the third position.
  • FIG. 10B shows a state in which the 'phone' 1001 moves to the left of the box in the first position with the first kinetic motion, and the 't' 1002 moves to the left of the box in the third position with the first kinetic motion. .
  • the distance between the 'phone' 1001 and the 't' 1002 in FIG. 10B is narrower than the distance between the 'phone' 1001 and the 'T' 1002 in FIG. 10A .
  • 10C shows a state in which 'pawn' 1001 , 't' 1002 , 'day' 1003 and 'da' 1004 are tilted while moving to the left side of the box with a first kinetic motion.
  • 'phone' 1001 and 't' 1002 are aligned with each other in a second position (far left of 105) and a fourth position (next to far left of 105).
  • 'phone' 1001 , 't' 1002 , 'day' 1003 , and 'da' 1004 may be displayed in an integrated state into one box 105 .
  • the 'phone' 1001 may start an operation according to the first kinetic motion at a first time and end the operation according to the first kinetic motion at a second time.
  • the 't' 1002 starts an operation according to the first kinetic motion at a third time delayed by a preset time from the first time, and the first kinetic motion at a fourth time delayed by a preset time from the second time The operation according to the may be terminated.
  • 11A to 11D illustrate a caption motion according to another embodiment of the present invention.
  • 11A illustrates a state in which the subtitle 'kinetic typography' 1101 starts motion.
  • the 'kinetic typo' 1101 rotates clockwise while the left side of the 'kinetic typo' 1101 is gradually inclined upward than the right side of the 'kinetic typo' 1101 .
  • 11C illustrates a state in which the 'kinetic typo' 1101 continuously rotates in a clockwise direction.
  • 11D shows a state in which the 'kinetic typography' 1101 ends the motion.
  • 12A to 12D illustrate a caption motion according to another embodiment of the present invention.
  • FIG. 12B shows a state in which 'kinetic typo' 1201 is divided into 'kinetic' (first word) 1202 and 'typo' (second word) 1203 and rotated in a clockwise direction by performing a rotation motion. do.
  • FIG. 12B illustrates a state in which the 'kinetic' 1202 is rotated by a first angle in the first kinetic motion and the 'typo' 1203 is rotated by a first angle in the first kinetic motion.
  • FIG. 12C illustrates a state in which the 'kinetic' 1202 is rotated by a second angle in the first kinetic motion and the 'typo' 1203 is rotated by a second angle in the first kinetic motion.
  • FIG. 12D shows a state in which 'kinetic' 1202 and 'typo' 1203 are aligned.
  • the 'kinetic' 1202 and the 'typo' 1203 may be displayed in an integrated state of one box 1204 .
  • the 'kinetic' 1202 may start an operation according to the first kinetic motion at a first time and end the operation according to the first kinetic motion at a second time.
  • the 'typo' 1203 starts an operation according to the first kinetic motion at a third time delayed by a preset time from the first time, and the first kinetic motion at a fourth time delayed by a preset time from the second time The operation according to the may be terminated.
  • 13A to 13E illustrate a caption motion according to another embodiment of the present invention.
  • 13A shows a state in which the subtitle 'kinetic typography' 1301 starts motion.
  • FIG. 13B shows that 'kinetic typography' 1301 is 'key' 1302, 'yes' 1303, 'tic' 1304, 'ta' 1305, 'i' 1306 and 'po' ( 1307) and shows a clockwise rotation by performing rotation motions individually. Specifically, FIG.
  • 13B shows that 'key' 1302 rotates by a first angle in a clockwise direction in a first kinetic motion, and 'yes' 1303 rotates by a first angle in a clockwise direction in a first kinetic motion, 'Tick' 1304 rotates a first angle clockwise with a first kinetic motion, 'ta' 1305 rotates a first angle clockwise with a first kinetic motion, 'teeth' 1306 It shows a state in which is rotated by a first angle in the clockwise direction in the first kinetic motion, and the 'po' 1307 is rotated by a first angle in the clockwise direction in the first kinetic motion.
  • 13C shows that 'key' 1302 rotates a second angle clockwise in a first kinetic motion, 'yes' 1303 rotates a second angle clockwise in a first kinetic motion, and 'tick' 1304 rotates a second angle in a clockwise direction with a first kinetic motion, 'Ta' 1305 rotates a second angle clockwise with a first kinetic motion, and 'Lee' 1306 rotates a first It shows a state in which the 'po' 1307 rotates by a second angle in the clockwise direction in the kinetic motion by a second angle in the clockwise direction in the first kinetic motion.
  • 13D shows that 'key' 1302 rotates a third angle clockwise in a first kinetic motion
  • 'yes' 1303 rotates a third angle clockwise in a first kinetic motion
  • 'tick' 1304 rotates a third angle clockwise with a first kinetic motion
  • 'ta' 1305 rotates a third angle clockwise with a first kinetic motion
  • 'teeth' 1306 rotates a first It shows a state in which the 'po' 1307 rotates by a third angle in the clockwise direction in the kinetic motion by a third angle in the clockwise direction in the first kinetic motion.
  • 13E shows a state in which 'key' 1302, 'yes' 1303, 'tic' 1304, 'ta' 1305, 'this' 1306 and 'po' 1307 are aligned. do.
  • 'key' 1302, 'yes' 1303, 'tick' 1304, 'ta' 1305, 'this' 1306 and 'po' 1307 are one box 1308 ) can be displayed as an integrated state.
  • the 'key' 1302 may start an operation according to the first kinetic motion at a first time and end the operation according to the first kinetic motion at a second time.
  • 'Yes' 1303 starts the operation according to the first kinetic motion at a third time delayed by a preset time from the first time, and starts the first kinetic motion at a fourth time delayed by a preset time from the second time.
  • the operation according to the may be terminated.
  • the 'tic' 1304 starts an operation according to the first kinetic motion at a fifth time delayed by a preset time from the third time, and the first kinetic motion at a sixth time delayed by a preset time from the fourth time The operation according to the may be terminated.
  • the 'ta' 1305 starts an operation according to the first kinetic motion at a seventh time delayed by a preset time from the fifth time, and the first kinetic motion at an eighth time delayed by a preset time from the sixth time.
  • the operation according to the may be terminated.
  • 'this' 1306 starts an operation according to the first kinetic motion at a ninth time delayed by a preset time from the seventh time, and a first kinetic motion at a tenth time delayed by a preset time from the eighth time.
  • the operation according to the may be terminated.
  • the 'four' 1307 starts an operation according to the first kinetic motion at an eleventh time delayed by a preset time from the ninth time, and the first kinetic motion at a twelfth time delayed by a preset time from the tenth time.
  • the operation according to the may be terminated.
  • subtitles may be created and edited so that at least one of a plurality of words, a plurality of letters, and a plurality of characters included in the subtitle is separated from each other and individually performed.
  • a template of subtitle motion or a template of content to which subtitle motion is applied may be provided as a library.
  • FIG. 14A shows a 2D caption motion in units of phrases (or sentences).
  • the phrase 'kinetic typography' curves from the first position 1401 to the second position 1402 .
  • 14B shows a 2D caption motion in units of words.
  • the words 'kinetic' and 'typo' curve from a third position (1403, 1404) to a fourth position (1405, 1406).
  • 14C shows a 2D caption motion in character units.
  • the letters 'key', 'yes', 'tic', 'ta', 'i' and 'po' move from the fifth positions 1407 to 1412 to the sixth positions 1413 to 1418 in a curved manner.
  • 15a to 15c show caption motions in 3D space according to an embodiment of the present invention.
  • the 15A shows a 3D caption motion in units of phrases (or sentences).
  • the phrase 'kinetic typography' curves from the seventh position 1501 to the eighth position 1502 .
  • the text 'kinetic typography' moves along a curved path so that the text faces the front.
  • 15B shows the 3D caption motion in word units.
  • the words 'kinetic' and 'typo' curve from an eighth position ( 1503 , 1504 ) to a ninth position ( 1505 , 1506 ).
  • the words 'kinetic' and 'typo' move along a curved path so that the text faces the front.
  • 15C shows a 3D caption motion in character units.
  • the letters 'key', 'yes', 'tic', 'ta', 'i' and 'po' move from the tenth positions 1507 to 1512 to the eleventh positions 1513 and 1518 in a curved manner.
  • the letters 'key', 'yes', 'tick', 'ta', 'i' and 'po' move along a curved path so that the text can face the front.
  • 16 is a block diagram of a detailed configuration of an electronic device according to an embodiment of the present invention.
  • the electronic device 1600 includes a communication unit 1610 , a storage unit 1620 , and a processor 1630 .
  • the communication unit 1610 performs communication.
  • the communication unit 1610 may communicate with an external device through various communication methods such as BT (BlueTooth), WI-FI (Wireless Fidelity), Zigbee, IR (Infrared), NFC (Near Field Communication), and the like.
  • BT Bluetooth
  • WI-FI Wireless Fidelity
  • Zigbee Zigbee
  • IR Infrared
  • NFC Near Field Communication
  • the storage unit 1620 may store an O/S (Operating System) software module for driving the electronic device 1600 , data for configuring various UI screens provided in the display area, and the like. Also, the storage unit 1620 is readable and writable.
  • O/S Operating System
  • the processor 1630 generally controls the operation of the electronic device 1600 using various programs stored in the storage 1630 .
  • the processor 1630 includes a RAM 1631 , a ROM 1632 , a main CPU 1633 , a graphics processing unit 1634 , the first to n interfaces 1635-1 to 1635-n and a bus 1636 .
  • the RAM 1631 , the ROM 1632 , the main CPU 1633 , the graphic processing unit 1634 , the first to n-th interfaces 1635-1 to 1635-n, etc. may be connected to each other through the bus 1636 .
  • the first to n-th interfaces 1635-1 to 1635-n are connected to the various components described above.
  • One of the interfaces may be a network interface connected to an external device through a network.
  • the ROM 1632 stores an instruction set for system booting and the like.
  • the main CPU 1633 copies the O/S stored in the storage unit 1620 to the RAM 1631 according to the command stored in the ROM 1632, and executes the O/S. Boot the system.
  • the main CPU 1633 copies various stored application programs to the RAM 1631 , and executes the application programs copied to the RAM 1631 to perform various operations.
  • the main CPU 1633 accesses the storage unit 1620 and performs booting using the O/S stored in the storage unit 1620 . In addition, the main CPU 1633 performs various operations using various programs, contents, data, etc. stored in the storage unit 1620 .
  • the graphic processing unit 1634 generates a screen including various objects such as icons, images, and texts by using the operation unit and the rendering unit.
  • FIG. 17 is a flowchart of a caption editing method according to an embodiment of the present invention.
  • the editing method for a subtitle to which kinetic typography is applied includes a process of determining the type of an object included in an image ( 1710 ), a process of generating a subtitle based on audio of the image ( 1720 ), and the Determining a type of kinetic motion for the subtitle based on the type of the object and the subtitle (1730), determining whether the audio is generated from the object based on the type of the object and the subtitle (Step 1730) 1740), when the audio is generated from the object, a region located in one direction from the object determined based on a preset distance from the object and the position of the object in the image is used as the position of the subtitle. It may include a step of determining (1750) and a step of displaying (1760) a caption to which the type of the kinetic motion is applied at the location of the caption.
  • the one region located in one direction from the object is an area in which the size of the region required to display the subtitle to which the determined kinetic type is applied among regions around the object in the image can be secured. It may be determined further based on the direction.
  • the one region located in one direction from the object may be further determined based on a movement direction of the object and a position of a candidate object accommodating the audio generated from the object.
  • a first word among a plurality of words included in the caption is moved from a first position to a second location by a first kinetic motion
  • a second word among a plurality of words included in the caption is moved to a second location.
  • the first word and the second word may be aligned with each other at the second position and the fourth position.
  • the first word starts the operation according to the first kinetic motion at a first time, ends the operation according to the first kinetic motion at a second time
  • the second word includes the first Start the operation according to the first kinetic motion at a third time delayed by a preset time from the time, and end the operation according to the first kinetic motion at a fourth time delayed by the preset time from the second time there is.
  • a first character among a plurality of characters included in the subtitle moves from a first position to a second position by a first kinetic motion
  • a second character among the plurality of characters included in the subtitle is the second character.
  • the third position may be moved from the third position to the fourth position with one kinetic motion, and the first character and the second character may be aligned with each other at the second position and the fourth position.
  • the first character starts the operation according to the first kinetic motion at a first time, ends the operation according to the first kinetic motion at a second time
  • the second character includes the first Start the operation according to the first kinetic motion at a third time delayed by a preset time from the time, and end the operation according to the first kinetic motion at a fourth time delayed by the preset time from the second time there is.
  • a first letter of the plurality of letters included in the subtitle is moved from a first position to a second position by a first kinetic motion
  • a second letter of the plurality of letters included in the caption is the The first kinetic motion may move from the third position to the fourth position, and the first letter and the second letter may be aligned with each other at the second position and the fourth position.
  • the first word starts the operation according to the first kinetic motion at a first time, ends the operation according to the first kinetic motion at a second time, and the second word starts the operation according to the first kinetic motion.
  • the above-described caption editing method is implemented as a computer-executable program code, stored in various non-transitory computer readable media, and executed by a processor. It may be provided to each server or devices.
  • the above-described caption editing method includes the steps of determining the type of an object included in an image, generating a caption based on audio for the video, and adding the caption to the caption based on the type of the object and the caption. a process of determining a type of kinetic motion for the object; a process of determining whether the audio is generated from the object based on the type of the object and the subtitle; and a preset distance from the object when the audio is generated from the object and determining, as the position of the subtitle, a region located in one direction from the object determined based on the position of the object in the image, wherein the type of kinetic motion is applied to the position of the subtitle.
  • a non-transitory computer readable medium in which a program for performing a display process is stored may be provided.
  • the non-transitory readable medium refers to a medium that stores data semi-permanently, rather than a medium that stores data for a short moment, such as a register, cache, memory, and the like, and can be read by a device.
  • a non-transitory readable medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Circuits (AREA)

Abstract

키네틱 타이포그래피(kinetic typography)가 적용된 자막에 대한 편집방법이 제공된다. 자막 편집방법은 영상에 포함된 오브젝트의 타입을 판단하는 과정, 상기 영상에 대한 오디오에 기초하여 자막을 형성하는 과정, 상기 오브젝트의 타입 및 상기 자막에 기초하여, 상기 자막에 대한 키네틱 모션의 타입을 결정하는 과정, 상기 오브젝트의 타입 및 상기 자막에 기초하여, 상기 오디오가 상기 오브젝트에서 생성된 것인지 판단하는 과정, 상기 오디오가 상기 오브젝트에서 생성된 경우, 상기 오브젝트로부터 기설정된 거리 및 상기 영상 내에서의 상기 오브젝트의 위치에 기초하여 결정된 상기 오브젝트로부터의 일 방향에 위치하는 일 영역을 상기 자막의 위치로 결정하는 과정 및 상기 자막의 위치에 상기 키네틱 모션의 상기 타입이 적용된 자막을 디스플레이하는 과정을 포함할 수 있다.

Description

키네틱 타이포그래피가 적용된 자막에 대한 편집방법 및 그 전자장치
본 발명은 키네틱 타이포그래피가 적용된 자막에 대한 편집방법 및 그 전자장치에 대한 것으로, 보다 상세하게는 자막의 다양한 모션을 제공하는 키네틱 타이포그래피가 적용된 자막에 대한 편집방법 및 그 전자장치에 대한 것이다.
최근, 기존의 멀티미디어 매체뿐만 아니라 SNS(social network service)가 대중화되면서 동영상 콘텐트의 제작 및 유통이 활발하다.
동영상 콘텐트는 기본적으로 영상과 오디오를 포함하는데, 콘텐트 이용자들의 이해를 돕고 흥미를 유발하기 위해 기본적인 영상 및 오디오 이외에 자막이 활용되고 있다. 자막은 영상에 등장하는 인물이나 오브젝트(object)의 행동, 움직임, 음성, 소리 등이 문자나 그래픽으로 처리되어 영상에 표시되는 것이 일반적이다.
자막을 제작하는 과정에는 시간과 노력이 소요된다. 영상 편집자는 편집 프로그램을 통해 동영상을 시청하면서 자막의 편집이나 완성된 자막의 수정을 진행한다. 여기서는, 영상 편집자가 일일이 해당 영상의 장면에 맞는 자막을 판단하고, 판단한 자막을 일일이 입력하여 편집을 수행하는 수동방식이 일반적으로 활용된다.
본 발명의 배경이 되는 기술의 예로, 대한민국공개특허 제2016-0079436호(2016.07.06.)는 멀티미디어 파일의 재생 정보에 대응하는 자막 파일에 대한 편집정보에 대응하여 편집 자막 파일을 수정하는 자막 컨텐트 서버의 자막 서비스 제공 방법을 개시한다.
본 발명의 배경이 되는 기술의 다른 예로, 대한민국공개특허 제10-2019-0138109호(2019.12.12.)는 방송 단말로부터 전송받은 오디오 파일에 포함된 음성을 인식하여 화자가 발화한 자막 텍스트를 추출하고, 일 시간 내의 상기 화자의 음성을 이용하여 음성 기준 정보를 생성하고, 상기 화자의 음성 및 상기 음성 기준 정보를 이용하여 상기 자막 텍스트의 화면 출력 제어 정보인 자막 스타일 정보를 생성하고, 상기 자막 텍스트 및 상기 자막 스타일 정보를 포함하는 자막 정보를 시청자 단말로 전송하는 자막 생성 방법 및 시스템을 개시한다.
일반적으로, 자막 편집은 자막의 위치 및 모션을 수동으로 지정해야 하기 때문에 매우 번거로운 작업이 동반되었다. 또한, 자막의 모션은 텍스트 박스 단위로 단조롭게 동작하여 시청자의 흥미를 유발하기 어려웠다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 자막의 위치 및 자막의 모션을 자동으로 지정 또는 추천하는데 그 목적이 있다. 또한, 자막에 포함된 복수의 단어, 복수의 글자, 복수의 낱자 중 적어도 하나가 서로 분리되어 개별적으로 모션을 수행하도록 자막을 제작 및 편집하는데 그 목적이 있다. 또한, 자막 모션의 템플릿 또는 자막 모션이 적용된 콘텐트의 템플릿을 라이브러리로 제공하는데 그 목적이 있다.
본 발명의 일 실시 예에 따른, 키네틱 타이포그래피(kinetic typography)가 적용된 자막에 대한 편집방법은, 영상에 포함된 오브젝트의 타입을 판단하는 과정, 상기 영상에 대한 오디오에 기초하여 자막을 형성하는 과정, 상기 오브젝트의 타입 및 상기 자막에 기초하여, 상기 자막에 대한 키네틱 모션의 타입을 결정하는 과정, 상기 오브젝트의 타입 및 상기 자막에 기초하여, 상기 오디오가 상기 오브젝트에서 생성된 것인지 판단하는 과정, 상기 오디오가 상기 오브젝트에서 생성된 경우, 상기 오브젝트로부터 기설정된 거리 및 상기 영상 내에서의 상기 오브젝트의 위치에 기초하여 결정된 상기 오브젝트로부터의 일 방향에 위치하는 일 영역을 상기 자막의 위치로 결정하는 과정 및 상기 자막의 위치에 상기 키네틱 모션의 상기 타입이 적용된 자막을 디스플레이하는 과정을 포함할 수 있다.
본 발명의 일 실시 예에 따른, 키네틱 타이포그래피가 적용된 자막의 편집을 위한 전자장치는, 저장부 및 영상에 포함된 오브젝트의 타입을 판단하고, 상기 영상에 대한 오디오에 기초하여 자막을 형성하고, 상기 오브젝트의 타입 및 상기 자막에 기초하여, 상기 자막에 대한 키네틱 모션의 타입을 결정하고, 상기 오브젝트의 타입 및 상기 자막에 기초하여, 상기 오디오가 상기 오브젝트에서 생성된 것인지 판단하고, 상기 오디오가 상기 오브젝트에서 생성된 경우, 상기 오브젝트로부터 기설정된 거리 및 상기 영상 내에서의 상기 오브젝트의 위치에 기초하여 결정된 상기 오브젝트로부터의 일 방향에 위치하는 일 영역을 상기 자막의 위치로 결정하고, 상기 자막의 위치에 상기 키네틱 모션의 상기 타입이 적용된 자막을 디스플레이하는 프로세서를 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 자막의 위치 및 자막의 모션을 자동으로 지정 또는 추천할 수 있다.
본 발명의 다양한 실시 예에 따르면, 자막에 포함된 복수의 단어, 복수의 글자, 복수의 낱자 중 적어도 하나가 서로 분리되어 개별적으로 모션을 수행하도록 자막을 제작 및 편집할 수 있다.
본 발명의 다양한 실시 예에 따르면, 자막 모션의 템플릿 또는 자막 모션이 적용된 콘텐트의 템플릿을 라이브러리로 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 자막편집 장치에 대한 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 전자장치에 대한 블록도이다.
도 3a 내지 3e는 본 발명의 일 실시 예에 따른 자막을 도시한다.
도 4는 본 발명의 일 실시 예에 따른 자막 자동추천방법에 대한 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 텍스트 박스 단위의 모션을 도시한다.
도 6은 본 발명의 일 실시 예에 따른 단어별 자막 모션을 도시한다.
도 7은 본 발명의 일 실시 예에 따른 낱자별 자막 모션을 도시한다.
도 8a 내지 도 8c는 본 발명의 일 실시 예에 따른 자막 모션을 도시한다.
도 9a 내지 도 9d는 본 발명의 다른 실시 예에 따른 자막 모션을 도시한다.
도10a 내지 도 10d는 본 발명의 또 다른 실시 예에 따른 자막 모션을 도시한다.
도 11a 내지 도 11d는 본 발명의 또 다른 실시 예에 따른 자막 모션을 도시한다.
도 12a 내지 도 12d는 본 발명의 또 다른 실시 예에 따른 자막 모션을 도시한다.
도 13a 내지 도 13e는 본 발명의 또 다른 실시 예에 따른 자막 모션을 도시한다.
14a 내지 14c는 본 발명의 일 실시 예에 따른 2D 공간의 자막 모션을 도시한다.
15a 내지 15c는 본 발명의 일 실시 예에 따른 3D 공간의 자막 모션을 도시한다.
도 16은 본 발명의 일 실시 예에 따른 전자장치의 세부 구성에 대한 블록도이다.
도 17은 본 발명의 일 실시 예에 따른 자막 편집 방법에 대한 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대한 동작원리를 상세히 설명한다. 또한, 발명에 대한 실시 예를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 하기에서 사용되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로써, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 사용된 용어들의 정의는 본 명세서 전반에 걸친 내용 및 이에 상응한 기능을 토대로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 자막편집 장치에 대한 예시도이다.
도 1을 참조하면, 자막편집 장치(1)는 기본모션 라이브러리(10), 자막모션 템플릿 편집기(20), 자막모션 템플릿 라이브러리(30), 비디오 자막 편집기(40) 및 SNS(50)의 순서로 수행될 수 있다. 여기서, 기본모션 라이브러리(10), 자막모션 템플릿 편집기(20), 자막모션 템플릿 라이브러리(30), 비디오 자막 편집기(40) 및 SNS(50)는 프로세서로 구동되는 소프트웨어 또는 모듈로 정의되거나, 개별 하드웨어로 정의될 수 있으며 이에 제한되지 않는다.
기본모션 라이브러리(10)는 자막의 기본 모션을 저장할 수 있다. 자막의 기본 모션의 예로는 상하좌우 직선이동 모션, 호 이동 모션, 원 이동 모션, 흔들림 모션, 상승 모션 등이 있다.
자막모션 템플릿 편집기(20)는 기본 모션 라이브러리(10)로부터 기본 모션 템플릿(21)을 전달받을 수 있다. 자막 모션 템플릿 편집기(20)는 키네틱 모션의 저작도구(22) 및 키네틱 타이포 엔진(23)을 이용하여 전달받은 기본 모션 템플릿(21)을 수정/변형/첨가하여 새로운 자막 모션 템플릿을 생성할 수 있다.
자막모션 템플릿 라이브러리(30)는 자막모션 템플릿 편집기(20)를 통해 전달받은 새로운 자막 모션 템플릿을 등록 또는 저장하여 라이브러리로 구축될 수 있다.
비디오 자막 편집기(40)는 비디오(또는 영상) 및 오디오를 편집할 수 있다(41, 42). 비디오 자막 편집기(40)는 STT(speech to text) 툴을 이용하여 편집된 비디오에 대한 오디오로부터 자막을 생성할 수 있다(43).
비디오 자막 편집기(40)는 자막 모션 템플릿 라이브러리(30)로부터 전달받거나 구매한 자막 모션 템플릿(44)에 기초하여 키네틱 자막을 추천할 수 있다. 이 경우, 비디오 자막 편집기(40)는 키네틱 자막의 위치 및 모션의 유형 중 적어도 하나를 추천할 수 있다.
비디오 자막 편집기(40)는 자막 모션 템플릿(44)과 추천된 키네틱 자막의 위치 및 모션을 참조하여 상기 생성된 자막을 편집할 수 있다.
SNS(social network service)(50)는 편집된 비디오 및 편집된 자막을 전달받아 게시할 수 있다. 여기서, 편집된 비디오 및 편집된 자막은 샘플 콘텐트 템플릿(46)에 저장되어 비디오 자막 편집기(40)의 자막 편집에 이용될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 전자장치에 대한 블록도이다.
도 2를 참조하면, 키네틱 타이포그래피(kinetic typography)가 적용된 자막의 편집을 위한 전자장치(이하, 전자장치)(100)는 저장부(110) 및 프로세서(120)를 포함할 수 있다.
저장부(110)는 데이터를 저장한다. 예를 들면, 저장부(110)는 키네틱 타이포그래피가 적용된 자막을 저장할 수 있다. 이 경우, 저장부(110)는 자막의 기본모션 템플릿 라이브러리(10), 자막 모션 템플릿의 라이브러리(30)를 제공할 수 있다.
프로세서(120)는 전자장치(110)를 전반적으로 제어할 수 있다.
구체적으로, 프로세서(120)는 영상에 포함된 오브젝트의 타입을 판단할 수 있다. 여기서, 프로세서(120)는 딥러닝 알고리즘을 이용하여 오브젝트의 타입을 학습할 수 있다. 일 예로, 오브젝트의 타입은 자동차, 비행기, 사람의 얼굴, 사람의 눈, 코 입 등의 기관, 강아지, 새 등 다양한 유형일 수 있다.
프로세서(120)는 영상에 대한 오디오에 기초하여 자막을 생성할 수 있다. 일 예로, 프로세서(120)는 STT(speech to text) 툴을 이용하여 자막을 자동생성하여 저장부(110)에 저장할 수 있다.
프로세서(120)는 판단된 오브젝트의 타입 및 생성된 자막에 기초하여, 자막에 대한 키네틱 모션의 타입을 결정할 수 있다.
예를 들면, 프로세서(120)는 오브젝트의 타입 및 자막과, 키네틱 모션의 타입 간의 매칭관계를 포함하는 테이블을 저장부(110)에 저장할 수 있다.
일 예로, 상기 테이블에서, 오브젝트 타입이 '사람의 입'이고, 자막에 '사랑'이 포함되는 경우, 자막에 대한 키네틱 모션의 타입은 제1 타입으로 정의될 수 있다. 여기서, 제1 타입은 자막에 포함된 적어도 하나의 텍스트가 하트를 그리며 이동하는 키네틱 모션으로 정의될 수 있다.
다른 예로, 상기 테이블에서, 오브젝트의 타입이 '자동차'이고, 자막이 자동차 소리를 인식한 결과로 생성된 '싱싱'인 경우, 자막에 대한 키네틱 모션의 타입은 제2 타입으로 정의될 수 있다. 여기서, 제2 타입은 자막에 포함된 적어도 하나의 텍스트가 분리되어 바람이 불듯이 흩어지는 키네틱 모션으로 정의될 수 있다.
프로세서(120)는 오브젝트의 타입 및 자막에 기초하여, 오디오가 오브젝트에서 생성된 것인지 판단할 수 있다.
예를 들면, 프로세서(120)는 오브젝트의 타입에 매칭된 적어도 하나의 단어가 자막에 포함된 경우, 오디오는 오브젝트에서 생성된 것으로 판단할 수 있다. 이 경우, 프로세서(120)는 오브젝트 타입 및 단어 간의 매칭관계를 포함하는 테이블을 저장부(110)에 저장할 수 있다.
일 예로, 오브젝트 타입이 '강아지'이고 상기 '강아지'에 매칭된 단어가 '멍멍'이고, 오브젝트의 오디오로부터 생성된 자막에 '멍멍' 또는 '멍멍'과 유사한 단어가 포함된 경우, 상기 프로세서(120)는 오디오가 해당 오브젝트에서 생성된 것으로 판단할 수 있다.
다른 예로, 오브젝트 타입이 '아기'이고 상기 '아기'에 매칭된 단어가 '응애응애'이고, 오브젝트의 오디오로부터 생성된 자막에 '응애응애' 또는 '응애응애'와 유사한 단어가 포함된 경우, 상기 프로세서(120)는 오디오가 해당 오브젝트에서 생성된 것으로 판단할 수 있다.
상술한 본 발명의 다양한 실시 예에서, 오디오가 오브젝트에서 생성된 경우, 프로세서(120)는 오브젝트로부터 기설정된 거리 및 영상 내에서의 오브젝트의 위치에 기초하여 결정된 오브젝트로부터의 일 방향에 위치하는 일 영역을 자막의 위치로 결정할 수 있다.
여기서, 오브젝트로부터의 일 방향은 영상 내에서의 오브젝트의 주변의 영역 중 결정된 키네틱 타입이 적용된 자막을 디스플레이하는데 필요한 영역의 크기가 확보 가능한 영역에 대한 일 방향에 기초하여 결정될 수 있다. 즉, 상기 일 영역은 키네틱 타입이 적용된 자막이 디스플레이하는데 필요한 영역을 포함할 수 있는 크기로 결정될 수 있다.
본 발명의 일 실시 예에 따른 도 3a를 참조하면, 프로세서(120)는 영상에 포함된 오브젝트가 케익(301)임을 판단할 수 있다. 이 경우, 프로세서(120)는 영상에 포함된 일 영역을 자막(302)의 위치로 판단할 수 있다.
예를 들면, 프로세서(120)는 케익(301)으로부터 기설정된 거리에 있는 영역을 자막(302)의 후보 위치로 판단할 수 있다. 여기서, 기설정된 거리는 영상에서 차지하는 케익(301)의 크기 및 영상에서 차지하는 자막(302)의 크기에 기초하여 결정될 수 있다.
또한, 프로세서(120)는 영상 내에서의 케익(301)의 위치에 기초하여 결정된 케익(301)으로부터의 일 방향에 위치하는 일 영역을 자막의 위치로 결정할 수 있다.
일 예로, 프로세서(120)는 영상 내의 케익(301)의 위치가 영상의 중심(A)으로부터 일 방향으로 치우친 경우, 공간이 더 확보된 영상의 중심(A)으로부터 타 방향에 위치한 일 영역을 자막(302)의 위치로 결정할 수 있다. 다른 예로, 프로세서(120)는 영상 내의 케익(301)의 위치가 영상의 중심(B)으로부터 타 방향으로 치우친 경우, 영상의 중심(A)으로부터의 일 방향 또는 타 방향 중 하나에 위치한 일 영역을 자막(302)의 위치로 결정할 수 있다. 이는, 영상의 중심(A)로부터 양 방향(일 방향 및 타 방향)에 확보된 공간이 같거나 비슷하기 때문이다.
또한, 상기 영상 내에서의 오브젝트의 위치에 기초하여 결정된 오브젝트로부터의 일 방향에 위치하는 일 영역은 오브젝트의 이동 방향 및 오브젝트에서 생성된 오디오를 수용하는 후보 오브젝트의 위치에 더 기초하여 결정될 수 있다.
예를 들어, 프로서세(120)는 오브젝트의 이동 방향에 상기 일 영역이 위치하도록 할 수 있다. 일 예로 도 3a를 참조하면, 프로세서(120)는 케익(301)의 이동 방향에 자막(302)이 위치하도록 설정할 수 있다. 이 경우, 케익(301)의 이동 방향과 다른 방향에 위치한 영역(B)은 상기 일 영역의 위치 결정에서 후 순위로 설정될 수 있다.
또한, 프로세서(120)는 오브젝트에서 생성된 오디오를 수용하는 후보 오브젝트의 위치를 가리키는 방향과 근접하도록 상기 오브젝트로부터의 방향을 결정할 수 있다. 일 예로, 프로세서(120)는 오브젝트의 이동 방향과 가까우면서 오브젝트에서 생성된 오디오를 수용하는 후보 오브젝트의 위치를 가리키는 방향과 가까운 방향을 상기 오브젝트로부터의 일 방향으로 결정할 수 있다. 이로부터, 프로세서(120)는 오브젝트로부터의 일 방향에 위치하는 일 영역을 자막의 위치로 결정할 수 있다. 상술한 예에서, 상기 후보 오브젝트는 딥러닝 알고리즘을 이용한 학습을 통해 상기 오브젝트로부터의 오디오를 수용할 것으로 판단되는 오브젝트로 정의될 수 있다. 일 예로, 도 3a를 참조하면, 프로세서(120)는 케익(301)의 이동 방향에 위치하는 사람(C)을 후보 오브젝트(C)로 판단할 수 있다.
본 발명의 다른 실시 예에 따른 도 3b 및 도 3c를 참조하면, 프로세서(120)는 오브젝트의 타입 및 자막에 기초하여, 오디오가 오브젝트에서 생성된 것인지 판단할 수 있다.
도 3b를 참조하여 예를 들면, 프로세서(120)는 영상에 포함된 제1 오브젝트(303)를 사람으로 판단할 수 있다. 또한, 프로세서(120)는 제1 오브젝트(303)의 유형 및 오디오에 기초한 자막에 기초하여 발화자가 누구인지 판단할 수 있다.
여기서, 오디오가 제1 오브젝트(303)에서 생성된 경우, 프로세서(120)는 제1 오브젝트(303)로부터 기설정된 거리 및 영상 내에서의 제1 오브젝트(303)의 위치에 기초하여 결정된 제1 오브젝트(303)로부터의 일 방향에 위치하는 일 영역(305)을 자막(305)의 위치로 결정할 수 있다. 일 예로, 프로세서(120)는 제1 오브젝트(303)의 얼굴(또는 입)로부터 기설정된 거리 및 제1 오브젝트(303)로부터의 일 방향에 위치하는 일 영역(305)을 자막(305)의 위치로 결정할 수 있다.
다른 예로, 도 3c를 참조하면, 프로세서(120)는 영상에 포함된 제2 오브젝트(304)를 사람으로 판단할 수 있다. 또한, 프로세서(120)는 제2 오브젝트(304)의 모션 및 오디오에 기초하여 발화자가 누구인지 판단할 수 있다.
여기서, 오디오가 제2 오브젝트(304)에서 생성된 경우, 프로세서(120)는 제2 오브젝트(304)로부터 기설정된 거리 및 영상 내에서의 제2 오브젝트(304)의 위치에 기초하여 결정된 제2 오브젝트(304)로부터의 일 방향에 위치하는 일 영역(306)을 자막(306)의 위치로 결정할 수 있다. 일 예로, 프로세서(120)는 제2 오브젝트(304)의 얼굴(또는 입)로부터 기설정된 거리 및 제2 오브젝트(304)로부터의 일 방향에 위치하는 일 영역(306)을 자막(306)의 위치로 결정할 수 있다.
또한, 본 발명의 다른 실시 예에 따른 도 3d 및 도 3e를 참조하면, 프로세서(120)는 오브젝트의 타입 및 자막에 기초하여, 오디오가 오브젝트에서 생성된 것인지 판단할 수 있다.
도 3d를 참조하여 예를 들면, 프로세서(120)는 영상에 포함된 제3 오브젝트(307)를 기차(307)로 판단할 수 있다. 또한, 프로세서(120)는 제3 오브젝트(307)의 유형 및 오디오에 기초한 자막에 기초하여 오디오가 기차(307)에 의해 생성되었는지 판단할 수 있다.
여기서, 오디오가 기차(307)에서 생성된 경우, 프로세서(120)는 기차(307)로부터 기설정된 거리 및 영상 내에서의 기차(307)의 위치에 기초하여 결정된 기차(307)로부터의 일 방향에 위치하는 일 영역(308)을 자막(308)의 위치로 결정할 수 있다.
도 3e를 참조하여 예를 들면, 프로세서(120)는 영상에 포함된 제4 오브젝트(309)를 손(309)으로, 제5 오브젝트(310)를 초인종(310)으로 판단할 수 있다. 또한, 프로세서(120)는 제4 오브젝트(309) 및 제5 오브젝트(310)의 유형 및 오디오에 기초한 자막에 기초하여 오디오가 손(309) 및 초인종(310)에 의해 생성되었는지 판단할 수 있다.
여기서, 오디오가 손(309) 및 초인종(310)에서 생성된 경우, 프로세서(120)는 오디오가 손(309) 및 초인종(310)으로부터 기설정된 거리 및 영상 내에서의 오디오가 손(309) 및 초인종(310)의 위치에 기초하여 결정된 손(309) 및 초인종(310)으로부터의 일 방향에 위치하는 일 영역(311)을 자막(311)의 위치로 결정할 수 있다.
상술한 본 발명의 다양한 실시 예에 따라, 프로세서(120)는 자막의 위치에 키네틱 모션의 타입이 적용된 자막을 디스플레이할 수 있다.
상술한 본 발명의 다양한 실시 예에 따르면, 프로세서(120)는 자막의 위치 및 자막의 모션을 자동으로 지정 또는 추천할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 자막 자동추천방법에 대한 예시도이다.
도 4를 참조하면, 프로세서(120)는 동영상 분석 엔진(402)을 이용하여 비디오(또는 영상)를 분석하여 비디오 클립을 생성할 수 있다. 또한, 프로세서(120)는 대사 자동 생성 엔진(STT 자동 생성)을 이용하여 비디오/오디오를 분석하여 자막을 생성(406)할 수 있다.
프로세서(120)는 자막 모션 템플릿(407)을 참조하여 키네틱 자막에 대한 위치 및 모션을 추천할 수 있다(408). 또한, 프로세서(120)는 키네틱 자막 모션을 편집할 수 있다(409).
한편, 기존의 자막 편집기는 텍스트 박스(또는 문장 블록) 단위의 자막 처리만 가능하여 사용자로 하여금 흥미를 유발하기 어려웠다. 도 5는 기존의 자막 편집기에서 제공하는 텍스트 박스 단위의 모션을 도시한다.
본 발명의 일 실시 예에 따른 도 6을 참조하면, 자막은 단어(word) 또는 글자(character) 단위로 분리(또는 분절)되어 개별적으로 모션을 수행할 수 있다.
본 발명의 다른 실시 예에 따른 도 7을 참조하면, 자막은 낱자(letter)(또는 자소) 단위로 분리(또는 분절)되어 개별적으로 모션을 취할 수 있다.
이하 도 8a 내지 15c를 참조하여, 단어, 글자, 낱자 중 하나의 단위로 분리되어 모션을 수행하는 자막의 다양한 실시 예에 대하여 상세히 설명한다.
도 8a 내지 도 8c는 본 발명의 일 실시 예에 따른 자막 모션을 도시한다.
도 8a는 자막 '폰트날다'(801)가 모션을 시작하는 상태를 도시한다. 도 8b에서는, '폰트날다'(801)가 '폰트날다'(801)의 좌측이 '폰트날다'(801)의 우측보다 점차 위로 기울어지면서 박스 좌측 영역으로 이동한다. 도 8c는 '폰트날다'(801)가 박스의 좌측 상단 영역으로 이동하여 모션을 종료하는 상태를 도시한다.
도 9a 내지 도 9d는 본 발명의 다른 실시 예에 따른 자막 모션을 도시한다.
도 9a는 자막 '폰트날다'(901, 902)가 '폰트'(제1 단어)(901) 및 '날다'(제2 단어)(902)로 분리되어 모션을 시작하는 상태를 도시한다. 여기서, '폰트'(901)의 위치를 제1 위치로, '날다'(902)의 위치를 제3 위치로 정의한다.
도 9b는 '폰트'(901)가 제1 키네틱 모션으로 제1 위치에서 박스 좌측으로 이동하고, '날다'(902)가 제1 키네틱 모션으로 제3 위치에서 박스 좌측으로 이동한 상태를 도시한다. 도 9b에서의 '폰트'(901) 및 '날다'(902) 간의 거리는 도 9a에서의 '폰트'(901) 및 '날다'(902) 간의 거리보다 좁다.
도 9c는 '폰트'(901) 및 '날다'(902)는 제1 키네틱 모션으로 박스의 좌측으로 이동하면서 기울어진 상태를 도시한다.
도 9d에서, '폰트'(901) 및 '날다'(902)는 제2 위치(903의 좌측) 및 제4 위치(903의 우측)에서 서로 정렬된다. 이 경우, '폰트'(901) 및 '날다'(902)는 하나의 박스(903)의 통합된 상태로 디스플레이될 수 있다.
도 9a 내지 9d에서, '폰트'(901)는 제1 시각에 제1 키네틱 모션에 따른 동작을 시작하고, 제2 시각에 제1 키네틱 모션에 따른 동작을 종료할 수 있다. 또한, '날다'(902)는 제1 시각으로부터 기설정된 시간이 지연된 제3 시각에 제1 키네틱 모션에 따른 동작을 시작하고, 제2 시각으로부터 기설정된 시간이 지연된 제4 시각에 제1 키네틱 모션에 따른 동작을 종료할 수 있다.
도 10a 내지 도 10d는 본 발명의 또 다른 실시 예에 따른 자막 모션을 도시한다.
도 10a는 자막 '폰트날다'(1001, 1002, 1003, 1004)가 '폰'(제1 단어)(1001), '트'(제2 단어)(1002), '날'(제3 단어)(1003) 및 '다'(제4 단어)(1004)로 분리되어 모션을 시작하는 상태를 도시한다.
이하에서, 설명의 편의를 위해 '폰'(1001), '트'(1002), '날'(1003) 및 '다'(1004) 중 '폰'(1001) 및 '트'(1002)의 모션에 대해 설명하는 부분이 있을 것이나, 이러한 모션에 대한 설명은 '폰'(1001), '트'(1002), '날'(1003) 및 '다'(1004) 서로 간에 적용 가능할 것이다. 또한, '폰'(1001)의 위치를 제1 위치로, '트'(1002)의 위치를 제3 위치로 정의한다.
도 10b는 '폰'(1001)이 제1 키네틱 모션으로 제1 위치에서 박스 좌측으로 이동하고, '트'(1002)가 제1 키네틱 모션으로 제3 위치에서 박스 좌측으로 이동한 상태를 도시한다. 도 10b에서의 '폰'(1001) 및 '트'(1002) 간의 거리는 도 10a에서의 '폰'(1001) 및 '트'(1002) 간의 거리보다 좁다.
도 10c는 '폰'(1001), '트'(1002), '날'(1003) 및 '다'(1004)는 제1 키네틱 모션으로 박스의 좌측으로 이동하면서 기울어진 상태를 도시한다.
도 10d에서, '폰'(1001) 및 '트'(1002)는 제2 위치(105의 맨 좌측) 및 제4 위치(105의 맨 좌측 다음)에서 서로 정렬된다. 이 경우, '폰'(1001), '트'(1002), '날'(1003) 및 '다'(1004)는 하나의 박스(105로 통합된 상태로 디스플레이될 수 있다.
도 10a 내지 10d에서, '폰'(1001)은 제1 시각에 제1 키네틱 모션에 따른 동작을 시작하고, 제2 시각에 제1 키네틱 모션에 따른 동작을 종료할 수 있다. 또한, '트'(1002)는 제1 시각으로부터 기설정된 시간이 지연된 제3 시각에 제1 키네틱 모션에 따른 동작을 시작하고, 제2 시각으로부터 기설정된 시간이 지연된 제4 시각에 제1 키네틱 모션에 따른 동작을 종료할 수 있다.
도 11a 내지 도 11d는 본 발명의 또 다른 실시 예에 따른 자막 모션을 도시한다.
도 11a는 자막 '키네틱 타이포'(1101)가 모션을 시작하는 상태를 도시한다. 도 11b에서는, '키네틱 타이포'(1101)가 '키네틱 타이포'(1101)의 좌측이 '키네틱 타이포'(1101)의 우측보다 점차 위로 기울어지면서 시계 방향으로 회전한다. 도 11c는 '키네틱 타이포'(1101)가 시계 방향으로 연속적으로 회전하는 상태를 도시한다. 도 11d는 '키네틱 타이포'(1101)가 모션을 종료하는 상태를 도시한다.
도 12a 내지 도 12d는 본 발명의 또 다른 실시 예에 따른 자막 모션을 도시한다.
도 12a는 자막 '키네틱 타이포'(1201)가 모션을 시작하는 상태를 도시한다.
도 12b는 '키네틱 타이포'(1201)가 '키네틱'(제1 단어)(1202) 및 '타이포'(제2 단어)(1203)로 분리되어 회전 모션을 수행하여 시계 방향으로 회전한 상태를 도시한다. 구체적으로, 도 12b는 '키네틱'(1202)이 제1 키네틱 모션으로 제1 각도만큼 회전하고, '타이포'(1203)가 제1 키네틱 모션으로 제1 각도만큼 회전한 상태를 도시한다.
도 12c는 '키네틱'(1202)이 제1 키네틱 모션으로 제2 각도만큼 회전하고, '타이포'(1203)가 제1 키네틱 모션으로 제2 각도만큼 회전한 상태를 도시한다.
도 12d는 '키네틱'(1202) 및 '타이포'(1203)가 정렬된 상태를 도시한다. 이 경우, '키네틱'(1202) 및 '타이포'(1203)는 하나의 박스(1204)의 통합된 상태로 디스플레이될 수 있다.
도 12a 내지 12d에서, '키네틱'(1202)은 제1 시각에 제1 키네틱 모션에 따른 동작을 시작하고, 제2 시각에 제1 키네틱 모션에 따른 동작을 종료할 수 있다. 또한, '타이포'(1203)는 제1 시각으로부터 기설정된 시간이 지연된 제3 시각에 제1 키네틱 모션에 따른 동작을 시작하고, 제2 시각으로부터 기설정된 시간이 지연된 제4 시각에 제1 키네틱 모션에 따른 동작을 종료할 수 있다.
도 13a 내지 도 13e는 본 발명의 또 다른 실시 예에 따른 자막 모션을 도시한다.
도 13a는 자막 '키네틱 타이포'(1301)가 모션을 시작하는 상태를 도시한다.
도 13b는 '키네틱 타이포'(1301)가 '키'(1302), '네'(1303), '틱'(1304), '타'(1305), '이'(1306) 및 '포'(1307)로 분리되어 회전 모션을 개별적으로 수행하여 시계 방향으로 회전한 상태를 도시한다. 구체적으로, 도 13b는 '키'(1302)가 제1 키네틱 모션으로 시계 방향으로 제1 각도만큼 회전하고, '네'(1303)가 제1 키네틱 모션으로 시계 방향으로 제1 각도만큼 회전하고, '틱'(1304)이 제1 키네틱 모션으로 시계 방향으로 제1 각도만큼 회전하고, '타'(1305)가 제1 키네틱 모션으로 시계 방향으로 제1 각도만큼 회전하고, '이'(1306)가 제1 키네틱 모션으로 시계 방향으로 제1 각도만큼 회전하고, '포'(1307)가 제1 키네틱 모션으로 시계 방향으로 제1 각도만큼 회전한 상태를 도시한다.
도 13c는 '키'(1302)가 제1 키네틱 모션으로 시계 방향으로 제2 각도만큼 회전하고, '네'(1303)가 제1 키네틱 모션으로 시계 방향으로 제2 각도만큼 회전하고, '틱'(1304)이 제1 키네틱 모션으로 시계 방향으로 제2 각도만큼 회전하고, '타'(1305)가 제1 키네틱 모션으로 시계 방향으로 제2 각도만큼 회전하고, '이'(1306)가 제1 키네틱 모션으로 시계 방향으로 제2 각도만큼 회전하고, '포'(1307)가 제1 키네틱 모션으로 시계 방향으로 제2 각도만큼 회전한 상태를 도시한다.
도 13d는 '키'(1302)가 제1 키네틱 모션으로 시계 방향으로 제3 각도만큼 회전하고, '네'(1303)가 제1 키네틱 모션으로 시계 방향으로 제3 각도만큼 회전하고, '틱'(1304)이 제1 키네틱 모션으로 시계 방향으로 제3 각도만큼 회전하고, '타'(1305)가 제1 키네틱 모션으로 시계 방향으로 제3 각도만큼 회전하고, '이'(1306)가 제1 키네틱 모션으로 시계 방향으로 제3 각도만큼 회전하고, '포'(1307)가 제1 키네틱 모션으로 시계 방향으로 제3 각도만큼 회전한 상태를 도시한다.
도 13e는 '키'(1302), '네'(1303), '틱'(1304), '타'(1305), '이'(1306) 및 '포'(1307)가 정렬된 상태를 도시한다. 이 경우, '키'(1302), '네'(1303), '틱'(1304), '타'(1305), '이'(1306) 및 '포'(1307)는 하나의 박스(1308)의 통합된 상태로 디스플레이될 수 있다.
도 13a 내지 13e에서, '키'(1302)는 제1 시각에 제1 키네틱 모션에 따른 동작을 시작하고, 제2 시각에 제1 키네틱 모션에 따른 동작을 종료할 수 있다.
또한, '네'(1303)는 제1 시각으로부터 기설정된 시간이 지연된 제3 시각에 제1 키네틱 모션에 따른 동작을 시작하고, 제2 시각으로부터 기설정된 시간이 지연된 제4 시각에 제1 키네틱 모션에 따른 동작을 종료할 수 있다.
또한, '틱'(1304)은 제3 시각으로부터 기설정된 시간이 지연된 제5 시각에 제1 키네틱 모션에 따른 동작을 시작하고, 제4 시각으로부터 기설정된 시간이 지연된 제6 시각에 제1 키네틱 모션에 따른 동작을 종료할 수 있다.
또한, '타'(1305)는 제5 시각으로부터 기설정된 시간이 지연된 제7 시각에 제1 키네틱 모션에 따른 동작을 시작하고, 제6 시각으로부터 기설정된 시간이 지연된 제8 시각에 제1 키네틱 모션에 따른 동작을 종료할 수 있다.
또한, '이'(1306)는 제7 시각으로부터 기설정된 시간이 지연된 제9 시각에 제1 키네틱 모션에 따른 동작을 시작하고, 제8 시각으로부터 기설정된 시간이 지연된 제10 시각에 제1 키네틱 모션에 따른 동작을 종료할 수 있다.
또한, '포'(1307)는 제9 시각으로부터 기설정된 시간이 지연된 제11 시각에 제1 키네틱 모션에 따른 동작을 시작하고, 제10 시각으로부터 기설정된 시간이 지연된 제12 시각에 제1 키네틱 모션에 따른 동작을 종료할 수 있다.
상술한 본 발명의 다양한 실시 예에 따르면, 자막에 포함된 복수의 단어, 복수의 글자, 복수의 낱자 중 적어도 하나가 서로 분리되어 개별적으로 모션을 수행하도록 자막을 제작 및 편집할 수 있다. 또한, 본 발명의 다양한 실시 예에 따르면, 자막 모션의 템플릿 또는 자막 모션이 적용된 콘텐트의 템플릿을 라이브러리로 제공할 수 있다.
14a 내지 14c는 본 발명의 일 실시 예에 따른 2D 공간의 자막 모션을 도시한다.
도 14a는 구(또는 문장) 단위의 2D 자막 모션을 도시한다. 예를 들면, 구 '키네틱타이포'는 제1 위치(1401)에서 제2 위치(1402)로 곡선 이동한다.
도 14b는 단어 단위의 2D 자막 모션을 도시한다. 예를 들면, 단어 '키네틱' 및 '타이포'는 제3 위치(1403, 1404)에서 제4 위치(1405, 1406)로 곡선 이동한다.
도 14c는 글자 단위의 2D 자막 모션을 도시한다. 예를 들면, 글자 '키', '네', '틱', '타', '이' '포'는 제5 위치(1407 내지 1412)에서 제6 위치(1413 내지 1418)로 곡선 이동한다.
15a 내지 15c는 본 발명의 일 실시 예에 따른 3D 공간의 자막 모션을 도시한다.
도 15a는 구(또는 문장) 단위의 3D 자막 모션을 도시한다. 예를 들면, 구 '키네틱타이포'는 제7 위치(1501)에서 제8 위치(1502)로 곡선 이동한다. 이 경우, 구 '키네틱타이포'는 곡선 경로를 따라 이동하면서 텍스트가 정면을 바라볼 수 있다.
도 15b는단어 단위의 3D 자막 모션을 도시한다. 예를 들면, 단어 '키네틱' 및 '타이포'는 제8 위치(1503, 1504)에서 제9 위치(1505, 1506)로 곡선 이동한다. 이 경우, 단어 '키네틱' 및 '타이포'는 곡선 경로를 따라 이동하면서 텍스트가 정면을 바라볼 수 있다.
도 15c는 글자 단위의 3D 자막 모션을 도시한다. 예를 들면, 글자 '키', '네', '틱', '타', '이' '포'는 제10 위치(1507 내지 1512)에서 제11 위치(1513, 1518)로 곡선 이동한다. 이 경우, 글자 '키', '네', '틱', '타', '이' '포'는 곡선 경로를 따라 이동하면서 텍스트가 정면을 바라볼 수 있다.
도 16은 본 발명의 일 실시 예에 따른 전자장치의 세부 구성에 대한 블록도이다.
도 16을 참조하면, 전자장치(1600)는 통신부(1610), 저장부(1620) 및 프로세서(1630)를 포함한다.
통신부(1610)는 통신을 수행한다. 통신부(1610)는 BT(BlueTooth), WI-FI(Wireless Fidelity), Zigbee, IR(Infrared), NFC(Near Field Communication) 등과 같은 다양한 통신 방식을 통해 외부 기기와 통신을 수행할 수 있다.
저장부(1620)는 전자장치(1600)을 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 디스플레이 영역에서 제공되는 다양한 UI 화면을 구성하기 위한 데이터 등을 저장할 수 있다. 또한, 저장부(1620)는 읽고 쓰기가 가능하다.
프로세서(1630)는 저장부(1630)에 저장된 각종 프로그램을 이용하여 전자장치(1600)의 동작을 전반적으로 제어한다.
구체적으로, 프로세서(1630)는 RAM(1631), ROM(1632), 메인 CPU(1633), 그래픽 처리부(1634), 제1 내지 n 인터페이스(1635-1 ~ 1635-n) 및 버스(1636)를 포함한다.
RAM(1631), ROM(1632), 메인 CPU(1633), 그래픽 처리부(1634), 제1 내지 n 인터페이스(1635-1 ~ 1635-n) 등은 버스(1636)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(1635-1 내지 1635-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
ROM(1632)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(1633)는 ROM(1632)에 저장된 명령어에 따라 저장부(1620)에 저장된 O/S를 RAM(1631)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(1633)는 저장된 각종 어플리케이션 프로그램을 RAM(1631)에 복사하고, RAM(1631)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
메인 CPU(1633)는 저장부(1620)에 액세스하여, 저장부(1620)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(1633)는 저장부(1620)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
그래픽 처리부(1634)는 연산부 및 렌더링부를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다.
도 17은 본 발명의 일 실시 예에 따른 자막 편집 방법에 대한 흐름도이다.
도 17을 참조하면, 키네틱 타이포그래피가 적용된 자막에 대한 편집방법은, 영상에 포함된 오브젝트의 타입을 판단하는 과정(1710), 상기 영상에 대한 오디오에 기초하여 자막을 생성하는 과정(1720), 상기 오브젝트의 타입 및 상기 자막에 기초하여, 상기 자막에 대한 키네틱 모션의 타입을 결정하는 과정(1730), 상기 오브젝트의 타입 및 상기 자막에 기초하여, 상기 오디오가 상기 오브젝트에서 생성된 것인지 판단하는 과정(1740), 상기 오디오가 상기 오브젝트에서 생성된 경우, 상기 오브젝트로부터 기설정된 거리 및 상기 영상 내에서의 상기 오브젝트의 위치에 기초하여 결정된 상기 오브젝트로부터의 일 방향에 위치하는 일 영역을 상기 자막의 위치로 결정하는 과정(1750) 및 상기 자막의 위치에 상기 키네틱 모션의 상기 타입이 적용된 자막을 디스플레이하는 과정(1760)을 포함할 수 있다.
이 경우, 상기 오브젝트의 타입에 매칭된 적어도 하나의 단어가 상기 자막에 포함된 경우, 상기 오디오는 상기 오브젝트에서 생성된 것으로 판단될 수 있다.
일 예로, 상기 오브젝트로부터의 일 방향에 위치하는 상기 일 영역은, 상기 영상 내에서의 상기 오브젝트의 주변의 영역 중 상기 결정된 키네틱 타입이 적용된 상기 자막을 디스플레이하는데 필요한 영역의 크기가 확보 가능한 영역에 대한 방향에 더 기초하여 결정될 수 있다.
여기서, 상기 오브젝트로부터의 일 방향에 위치하는 상기 일 영역은, 상기 오브젝트의 이동 방향 및 상기 오브젝트에서 생성된 오디오를 수용하는 후보 오브젝트의 위치에 더 기초하여 결정될 수 있다.
상술한 자막 편집방법에서 일 예로, 상기 자막에 포함된 복수의 단어 중 제1 단어는 제1 키네틱 모션으로 제1 위치에서 제2 위치로 이동하고, 상기 자막에 포함된 복수의 단어 중 제2 단어는 상기 제1 키네틱 모션으로 제3 위치에서 제4 위치로 이동하고, 상기 제1 단어 및 상기 제2 단어는, 상기 제2 위치 및 상기 제4 위치에서 서로 정렬될 수 있다.
이 경우, 상기 제1 단어는, 제1 시각에 상기 제1 키네틱 모션에 따른 동작을 시작하고, 제2 시각에 상기 제1 키네틱 모션에 따른 동작을 종료하고, 상기 제2 단어는, 상기 제1 시각으로부터 기설정된 시간이 지연된 제3 시각에 상기 제1 키네틱 모션에 따른 동작을 시작하고, 상기 제2 시각으로부터 상기 기설정된 시간이 지연된 제4 시각에 상기 제1 키네틱 모션에 따른 동작을 종료할 수 있다.
다른 예로, 상기 자막에 포함된 복수의 글자(character) 중 제1 글자는 제1 키네틱 모션으로 제1 위치에서 제2 위치로 이동하고, 상기 자막에 포함된 복수의 글자 중 제2 글자는 상기 제1 키네틱 모션으로 제3 위치에서 제4 위치로 이동하고, 상기 제1 글자 및 상기 제2 글자는, 상기 제2 위치 및 상기 제4 위치에서 서로 정렬될 수 있다.
이 경우, 상기 제1 글자는, 제1 시각에 상기 제1 키네틱 모션에 따른 동작을 시작하고, 제2 시각에 상기 제1 키네틱 모션에 따른 동작을 종료하고, 상기 제2 글자는, 상기 제1 시각으로부터 기설정된 시간이 지연된 제3 시각에 상기 제1 키네틱 모션에 따른 동작을 시작하고, 상기 제2 시각으로부터 상기 기설정된 시간이 지연된 제4 시각에 상기 제1 키네틱 모션에 따른 동작을 종료할 수 있다.
또 다른 예로, 상기 자막에 포함된 복수의 낱자(letter) 중 제1 낱자는 제1 키네틱 모션으로 제1 위치에서 제2 위치로 이동하고, 상기 자막에 포함된 복수의 낱자 중 제2 낱자는 상기 제1 키네틱 모션으로 제3 위치에서 제4 위치로 이동하고, 상기 제1 낱자 및 상기 제2 낱자는, 상기 제2 위치 및 상기 제4 위치에서 서로 정렬될 수 있다.
이 경우, 상기 제1 낱자는, 제1 시각에 상기 제1 키네틱 모션에 따른 동작을 시작하고, 제2 시각에 상기 제1 키네틱 모션에 따른 동작을 종료하고, 상기 제2 낱자는, 상기 제1 시각으로부터 기설정된 시간이 지연된 제3 시각에 상기 제1 키네틱 모션에 따른 동작을 시작하고, 상기 제2 시각으로부터 상기 기설정된 시간이 지연된 제4 시각에 상기 제1 키네틱 모션에 따른 동작을 종료할 수 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 자막 편집방법은, 은 컴퓨터로 실행 가능한 프로그램 코드로 구현되어 다양한 비 일시적 판독 가능 매체(non-transitory computer readable medium)에 저장된 상태로 프로세서에 의해 실행되도록 각 서버 또는 기기들에 제공될 수 있다.
일 예로, 상술한 자막 편집방법은, 영상에 포함된 오브젝트의 타입을 판단하는 과정, 상기 영상에 대한 오디오에 기초하여 자막을 생성하는 과정, 상기 오브젝트의 타입 및 상기 자막에 기초하여, 상기 자막에 대한 키네틱 모션의 타입을 결정하는 과정, 상기 오브젝트의 타입 및 상기 자막에 기초하여, 상기 오디오가 상기 오브젝트에서 생성된 것인지 판단하는 과정, 상기 오디오가 상기 오브젝트에서 생성된 경우, 상기 오브젝트로부터 기설정된 거리 및 상기 영상 내에서의 상기 오브젝트의 위치에 기초하여 결정된 상기 오브젝트로부터의 일 방향에 위치하는 일 영역을 상기 자막의 위치로 결정하는 과정, 상기 자막의 위치에 상기 키네틱 모션의 상기 타입이 적용된 자막을 디스플레이하는 과정을 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비 일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
이상으로, 본 발명의 실시 예들이 도시되고 설명되었지만, 당업자는 첨부된 청구항들 및 그에 동등한 것들에 의해 정의되는 바와 같은 본 실시 예의 사상 및 범위를 벗어나지 않고 형태 및 세부 사항들에 있어 다양한 변경이 이루어질 수 있음을 이해할 것이다.

Claims (20)

  1. 키네틱 타이포그래피(kinetic typography)가 적용된 자막에 대한 편집방법에 있어서,
    영상에 포함된 오브젝트의 타입을 판단하는 과정;
    상기 영상에 대한 오디오에 기초하여 자막을 생성하는 과정;
    상기 오브젝트의 타입 및 상기 자막에 기초하여, 상기 자막에 대한 키네틱 모션의 타입을 결정하는 과정;
    상기 오브젝트의 타입 및 상기 자막에 기초하여, 상기 오디오가 상기 오브젝트에서 생성된 것인지 판단하는 과정;
    상기 오디오가 상기 오브젝트에서 생성된 경우, 상기 오브젝트로부터 기설정된 거리 및 상기 영상 내에서의 상기 오브젝트의 위치에 기초하여 결정된 상기 오브젝트로부터의 일 방향에 위치하는 일 영역을 상기 자막의 위치로 결정하는 과정; 및
    상기 자막의 위치에 상기 키네틱 모션의 상기 타입이 적용된 자막을 디스플레이하는 과정;을 포함하는, 자막 편집방법.
  2. 제1항에 있어서,
    상기 오브젝트의 타입에 매칭된 적어도 하나의 단어가 상기 자막에 포함된 경우, 상기 오디오는 상기 오브젝트에서 생성된 것으로 판단되는, 자막 편집방법.
  3. 제1항에 있어서,
    상기 오브젝트로부터의 상기 일 방향에 위치하는 상기 일 영역은,
    상기 영상 내에서의 상기 오브젝트의 주변의 영역 중 상기 결정된 키네틱 타입이 적용된 상기 자막을 디스플레이하는데 필요한 영역의 크기가 확보 가능한 영역에 대한 방향에 더 기초하여 결정되는, 자막 편집방법.
  4. 제3항에 있어서,
    상기 오브젝트로부터의 상기 일 방향에 위치하는 상기 일 영역은,
    상기 오브젝트의 이동 방향 및 상기 오브젝트에서 생성된 오디오를 수용하는 후보 오브젝트의 위치에 더 기초하여 결정되는, 자막 편집방법.
  5. 제1항에 있어서,
    상기 자막에 포함된 복수의 단어 중 제1 단어는 제1 키네틱 모션으로 제1 위치에서 제2 위치로 이동하고, 상기 자막에 포함된 복수의 단어 중 제2 단어는 상기 제1 키네틱 모션으로 제3 위치에서 제4 위치로 이동하고,
    상기 제1 단어 및 상기 제2 단어는, 상기 제2 위치 및 상기 제4 위치에서 서로 정렬되는, 자막 편집방법.
  6. 제5항에 있어서,
    상기 제1 단어는,
    제1 시각에 상기 제1 키네틱 모션에 따른 동작을 시작하고, 제2 시각에 상기 제1 키네틱 모션에 따른 동작을 종료하고,
    상기 제2 단어는,
    상기 제1 시각으로부터 기설정된 시간이 지연된 제3 시각에 상기 제1 키네틱 모션에 따른 동작을 시작하고, 상기 제2 시각으로부터 상기 기설정된 시간이 지연된 제4 시각에 상기 제1 키네틱 모션에 따른 동작을 종료하는, 자막 편집방법.
  7. 제1항에 있어서,
    상기 자막에 포함된 복수의 글자(character) 중 제1 글자는 제1 키네틱 모션으로 제1 위치에서 제2 위치로 이동하고, 상기 자막에 포함된 복수의 글자 중 제2 글자는 상기 제1 키네틱 모션으로 제3 위치에서 제4 위치로 이동하고,
    상기 제1 글자 및 상기 제2 글자는, 상기 제2 위치 및 상기 제4 위치에서 서로 정렬되는, 자막 편집방법.
  8. 제7항에 있어서,
    상기 제1 글자는, 제1 시각에 상기 제1 키네틱 모션에 따른 동작을 시작하고, 제2 시각에 상기 제1 키네틱 모션에 따른 동작을 종료하고,
    상기 제2 글자는, 상기 제1 시각으로부터 기설정된 시간이 지연된 제3 시각에 상기 제1 키네틱 모션에 따른 동작을 시작하고, 상기 제2 시각으로부터 상기 기설정된 시간이 지연된 제4 시각에 상기 제1 키네틱 모션에 따른 동작을 종료하는, 자막 편집 방법.
  9. 제1항에 있어서,
    상기 자막에 포함된 복수의 낱자(letter) 중 제1 낱자는 제1 키네틱 모션으로 제1 위치에서 제2 위치로 이동하고, 상기 자막에 포함된 복수의 낱자 중 제2 낱자는 상기 제1 키네틱 모션으로 제3 위치에서 제4 위치로 이동하고,
    상기 제1 낱자 및 상기 제2 낱자는, 상기 제2 위치 및 상기 제4 위치에서 서로 정렬되는, 자막 편집 방법.
  10. 제9항에 있어서,
    상기 제1 낱자는, 제1 시각에 상기 제1 키네틱 모션에 따른 동작을 시작하고, 제2 시각에 상기 제1 키네틱 모션에 따른 동작을 종료하고,
    상기 제2 낱자는, 상기 제1 시각으로부터 기설정된 시간이 지연된 제3 시각에 상기 제1 키네틱 모션에 따른 동작을 시작하고, 상기 제2 시각으로부터 상기 기설정된 시간이 지연된 제4 시각에 상기 제1 키네틱 모션에 따른 동작을 종료하는, 자막 편집 방법.
  11. 키네틱 타이포그래피(kinetic typography)가 적용된 자막의 편집을 위한 전자장치에 있어서,
    저장부; 및
    영상에 포함된 오브젝트의 타입을 판단하고,
    상기 영상에 대한 오디오에 기초하여 자막을 생성하고,
    상기 오브젝트의 타입 및 상기 자막에 기초하여, 상기 자막에 대한 키네틱 모션의 타입을 결정하고,
    상기 오브젝트의 타입 및 상기 자막에 기초하여, 상기 오디오가 상기 오브젝트에서 생성된 것인지 판단하고,
    상기 오디오가 상기 오브젝트에서 생성된 경우, 상기 오브젝트로부터 기설정된 거리 및 상기 영상 내에서의 상기 오브젝트의 위치에 기초하여 결정된 상기 오브젝트로부터의 일 방향에 위치하는 일 영역을 상기 자막의 위치로 결정하고,
    상기 자막의 위치에 상기 키네틱 모션의 상기 타입이 적용된 자막을 디스플레이하는 프로세서;를 포함하는, 전자장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 오브젝트의 타입에 매칭된 적어도 하나의 단어가 상기 자막에 포함된 경우, 상기 오디오는 상기 오브젝트에서 생성된 것으로 판단하는, 전자장치.
  13. 제11항에 있어서,
    상기 오브젝트로부터의 일 방향에 위치하는 상기 일 영역은,
    상기 영상 내에서의 상기 오브젝트의 주변의 영역 중 상기 결정된 키네틱 타입이 적용된 상기 자막을 디스플레이하는데 필요한 영역의 크기가 확보 가능한 영역에 대한 방향에 더 기초하여 결정되는, 전자장치.
  14. 제13항에 있어서,
    상기 오브젝트로부터의 일 방향에 위치하는 상기 일 영역은,
    상기 오브젝트의 이동 방향 및 상기 오브젝트에서 생성된 오디오를 수용하는 후보 오브젝트의 위치에 더 기초하여 결정되는, 전자장치.
  15. 제11항에 있어서,
    상기 자막에 포함된 복수의 단어 중 제1 단어는 제1 키네틱 모션으로 제1 위치에서 제2 위치로 이동하고, 상기 자막에 포함된 복수의 단어 중 제2 단어는 상기 제1 키네틱 모션으로 제3 위치에서 제4 위치로 이동하고,
    상기 제1 단어 및 상기 제2 단어는, 상기 제2 위치 및 상기 제4 위치에서 서로 정렬되는, 전자장치.
  16. 제15항에 있어서,
    상기 제1 단어는,
    제1 시각에 상기 제1 키네틱 모션에 따른 동작을 시작하고, 제2 시각에 상기 제1 키네틱 모션에 따른 동작을 종료하고,
    상기 제2 단어는,
    상기 제1 시각으로부터 기설정된 시간이 지연된 제3 시각에 상기 제1 키네틱 모션에 따른 동작을 시작하고, 상기 제2 시각으로부터 상기 기설정된 시간이 지연된 제4 시각에 상기 제1 키네틱 모션에 따른 동작을 종료하는, 전자장치.
  17. 제11항에 있어서,
    상기 자막에 포함된 복수의 글자(character) 중 제1 글자는 제1 키네틱 모션으로 제1 위치에서 제2 위치로 이동하고, 상기 자막에 포함된 복수의 글자 중 제2 글자는 상기 제1 키네틱 모션으로 제3 위치에서 제4 위치로 이동하고,
    상기 제1 글자 및 상기 제2 글자는, 상기 제2 위치 및 상기 제4 위치에서 서로 정렬되는, 전자장치.
  18. 제17항에 있어서,
    상기 제1 글자는, 제1 시각에 상기 제1 키네틱 모션에 따른 동작을 시작하고, 제2 시각에 상기 제1 키네틱 모션에 따른 동작을 종료하고,
    상기 제2 글자는, 상기 제1 시각으로부터 기설정된 시간이 지연된 제3 시각에 상기 제1 키네틱 모션에 따른 동작을 시작하고, 상기 제2 시각으로부터 상기 기설정된 시간이 지연된 제4 시각에 상기 제1 키네틱 모션에 따른 동작을 종료하는, 전자장치.
  19. 제11항에 있어서,
    상기 자막에 포함된 복수의 낱자(letter) 중 제1 낱자는 제1 키네틱 모션으로 제1 위치에서 제2 위치로 이동하고, 상기 자막에 포함된 복수의 낱자 중 제2 낱자는 상기 제1 키네틱 모션으로 제3 위치에서 제4 위치로 이동하고,
    상기 제1 낱자 및 상기 제2 낱자는, 상기 제2 위치 및 상기 제4 위치에서 서로 정렬되는, 전자장치.
  20. 제19항에 있어서,
    상기 제1 낱자는, 제1 시각에 상기 제1 키네틱 모션에 따른 동작을 시작하고, 제2 시각에 상기 제1 키네틱 모션에 따른 동작을 종료하고,
    상기 제2 낱자는, 상기 제1 시각으로부터 기설정된 시간이 지연된 제3 시각에 상기 제1 키네틱 모션에 따른 동작을 시작하고, 상기 제2 시각으로부터 상기 기설정된 시간이 지연된 제4 시각에 상기 제1 키네틱 모션에 따른 동작을 종료하는, 전자장치.
PCT/KR2020/009601 2020-01-20 2020-07-21 키네틱 타이포그래피가 적용된 자막에 대한 편집방법 및 그 전자장치 WO2021149884A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0007570 2020-01-20
KR1020200007570A KR102265102B1 (ko) 2020-01-20 2020-01-20 키네틱 타이포그래피가 적용된 자막에 대한 편집방법 및 그 전자장치

Publications (1)

Publication Number Publication Date
WO2021149884A1 true WO2021149884A1 (ko) 2021-07-29

Family

ID=76417307

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/009601 WO2021149884A1 (ko) 2020-01-20 2020-07-21 키네틱 타이포그래피가 적용된 자막에 대한 편집방법 및 그 전자장치

Country Status (2)

Country Link
KR (1) KR102265102B1 (ko)
WO (1) WO2021149884A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130119249A (ko) * 2012-04-23 2013-10-31 엘지전자 주식회사 영상표시장치 및 그 동작방법
KR20160079436A (ko) * 2014-12-26 2016-07-06 주식회사 엘지유플러스 자막 컨텐츠 서버의 자막 서비스 제공 방법 및 그 서버
KR20190138109A (ko) * 2018-06-04 2019-12-12 주식회사 엔씨소프트 자막 생성 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130119249A (ko) * 2012-04-23 2013-10-31 엘지전자 주식회사 영상표시장치 및 그 동작방법
KR20160079436A (ko) * 2014-12-26 2016-07-06 주식회사 엘지유플러스 자막 컨텐츠 서버의 자막 서비스 제공 방법 및 그 서버
KR20190138109A (ko) * 2018-06-04 2019-12-12 주식회사 엔씨소프트 자막 생성 방법 및 시스템

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Easy, Fast and Inexpensive Subtitle Editor for Amateur Video Editors Using Kinetic Typography", 2019 STARTUP ITEM PROTOTYPE PRODUCTION AND ADVANCEMENT (2ND) FINAL ANNOUNCEMENT, 23 December 2019 (2019-12-23), pages 1 - 5 *
HA YEA-YOUNG, KIM SO-YEON, PARK IN-SUN, LIM SOON-BUM: "Development of Video Caption Editor with Kinetic Typography", JOURNAL OF KOREA MULTIMEDIA SOCIETY, KOREA MULTIMEDIA SOCIETY, KR, vol. 17, no. 3, 31 March 2014 (2014-03-31), KR, pages 385 - 392, XP055831232, ISSN: 1229-7771, DOI: 10.9717/kmms.2014.17.3.385 *
JUNG, SEUNG-AH; SOON-BUM, LIM: "Design of Kinetic Typography Motion API for Kinetic Typography of Word or Character Units", PROCEEDINGS OF KOREAN INSTITUTE OF INFORMATION SCIENTISTS AND ENGINEERS CONFERENCE, 1 December 2015 (2015-12-01), pages 1149 - 1150, XP009529240 *

Also Published As

Publication number Publication date
KR102265102B1 (ko) 2021-06-14

Similar Documents

Publication Publication Date Title
WO2012161359A1 (ko) 사용자 인터페이스 방법 및 장치
WO2015064903A1 (en) Displaying messages in an electronic device
WO2020164281A1 (zh) 基于文字定位识别的表格解析方法、介质及计算机设备
WO2011068284A1 (ko) 어학학습 전자기기 구동 방법, 시스템 및 이를 응용한 동시통역 학습기
WO2013077589A1 (ko) 음성인식 부가 서비스 제공 방법 및 이에 적용되는 장치
WO2021025536A1 (ko) 만화 컨텐츠의 재배치 방법
WO2018131825A1 (ko) 전자책 서비스 제공방법 및 그를 위한 컴퓨터 프로그램
WO2020153785A1 (ko) 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법
WO2020054978A1 (ko) 이미지 생성 장치 및 그 방법
WO2014200223A1 (ko) 외국어 동영상 컨텐츠를 이용한 대화형 외국어 학습 방법 및 그것을 위한 장치
WO2014107025A1 (en) Method and apparatus for controlling contents in electronic device
WO2017010690A1 (ko) 동영상 제공 장치, 동영상 제공 방법, 및 컴퓨터 프로그램
WO2015126022A1 (ko) 완구 조립영상 제공방법
WO2019107799A1 (ko) 입력 필드의 이동 방법 및 장치
WO2020184935A1 (en) Electronic apparatus and method for controlling thereof
WO2020091431A1 (ko) 그래픽 객체를 이용한 자막 생성 시스템
WO2020159073A1 (ko) 단말기의 음성인식 기능과 tts 기능을 이용한 상호 음성전달에 의한 대화형 외국어 학습방법
WO2020204256A1 (ko) 음성합성엔진을 이용한 멀티미디어 음성인식 자동 평가시스템
WO2021149884A1 (ko) 키네틱 타이포그래피가 적용된 자막에 대한 편집방법 및 그 전자장치
WO2018074658A1 (ko) 하이브리드 자막 효과 구현 단말 및 방법
WO2011145848A2 (ko) 온라인 교육 시스템 및 이를 위한 통신 단말기
WO2020080812A1 (en) Electronic device and controlling method of electronic device
EP3640940A1 (en) Method, program, and information processing apparatus for presenting correction candidates in voice input system
WO2020226270A1 (ko) 커스텀 이모티콘을 생성하고 전송하는 장치 및 방법
WO2013065948A1 (ko) 게임 이벤트 효과 제작 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20916161

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20916161

Country of ref document: EP

Kind code of ref document: A1