WO2017051955A1 - 동영상 이펙트 적용 장치 및 방법 - Google Patents

동영상 이펙트 적용 장치 및 방법 Download PDF

Info

Publication number
WO2017051955A1
WO2017051955A1 PCT/KR2015/010179 KR2015010179W WO2017051955A1 WO 2017051955 A1 WO2017051955 A1 WO 2017051955A1 KR 2015010179 W KR2015010179 W KR 2015010179W WO 2017051955 A1 WO2017051955 A1 WO 2017051955A1
Authority
WO
WIPO (PCT)
Prior art keywords
effect
video
frame
image
unit
Prior art date
Application number
PCT/KR2015/010179
Other languages
English (en)
French (fr)
Inventor
이정빈
Original Assignee
이정빈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이정빈 filed Critical 이정빈
Priority to PCT/KR2015/010179 priority Critical patent/WO2017051955A1/ko
Publication of WO2017051955A1 publication Critical patent/WO2017051955A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream

Definitions

  • the present invention relates to an apparatus and method for applying a moving image effect, and more particularly, to an apparatus and method for applying a moving image effect for providing an effect on a pre-stored image or a captured image.
  • a user who wants to vary his opinions, feelings, and information expression methods may transmit image contents photographed using a user device equipped with a camera directly to the counterpart. By doing so, the user can express through an image containing an opinion, an emotional state, or information.
  • An object of the present invention is to provide a composite video that can maximize a user's interest using a video and to expand a user's expression form using a video, thereby promoting communication between users using the video.
  • the present invention can easily apply the effect image to the frame to which the user wants to apply the effect in the video, the effect image is played on the still image during playback of the video image to the effect on the frame that the user wants to highlight in the video The purpose of this is to highlight the frame desired by the user.
  • an object of the present invention is to maximize the effect effect according to the effect image by allowing the effect image to be completely reproduced regardless of the playback position of the frame to which the user wants to apply the effect in the video.
  • An apparatus for applying a video effect includes a frame extractor for extracting a selected frame selected from a video, an effect selector for selecting an effect image applied to the selected frame, and an entire playback section of the effect image.
  • a frame inserting unit for generating an effect section in the video by inserting one or more duplicated frames generated by duplicating the selection frame so as to be later than a playback time point of the selection frame in the video and the effect in each frame included in the effect section. It may include a rendering unit for generating a composite video by sequentially synthesizing and rendering each effect frame constituting the image in the playback order.
  • the method may further include an encoding unit encoding the synthesized video using a preset codec.
  • the apparatus for applying a video effect may further include a messenger unit for transmitting a composite video encoded with selected contact information from one or more previously stored contact information.
  • the messenger unit selects one of the composite frames included in the final video file as a representative composite frame in association with the frame extractor and selects the representative composite frame selected in association with the frame inserter.
  • the first composite frame may be additionally inserted into the first frame of the final video file so that the representative composite frame is displayed as a thumbnail of the final video file.
  • a playback section of the effect voice information is extracted to extract the voice information corresponding to the video and the effect voice information corresponding to the effect image, and to output the effect voice information from the effect section.
  • Update effect audio information is generated by adjusting the playback start time and the playback end time of the audio signal, and the playback section corresponding to the effect section of the speech information is reproduced after the effect section to generate the updated speech information. It may be characterized in that it further comprises a voice extraction unit provided to the unit to be encoded together with the composite video.
  • the effect image may be one of a video clip, a flash, and a video template.
  • the apparatus for applying a video effect may further include a playback unit for playing any one of the video, effect video, and composite video.
  • the playback unit may provide a still image or a thumbnail image of a frame corresponding to a playback time point selected in the video.
  • the apparatus for applying a video effect may further include a camera unit generating the video through shooting.
  • the apparatus for applying a video effect may further include a storage configured to store one or more of the effect images.
  • the detector may further include a detector configured to detect a region corresponding to the foreground in the selection frame, and detect a blank region from any one of the effect frames of the effect image selected by the effect selector.
  • the effect image may be updated by adjusting at least one of a size and a position of each effect frame included in the effect image so that the foreground area and the blank area most overlap.
  • a method for applying a video effect wherein the apparatus for applying a video effect selects any one of frames constituting a pre-stored video and a pre-stored effect image, and the apparatus for applying a video effect is selected from the video.
  • An apparatus for applying a video effect duplicates a frame to be emphasized by a user so that the same frame is continuously reproduced, and synthesizes an effect image on the same frame to express a specific part of the user's emotional state, expression, or emphasis. This can give the same effect as stopping the specific screen desired by the user, and further emphasizes the emotion state or expression on the specific screen through the effect video, thereby making various expression methods using the video. It expands and doubles the user's interest and fun.
  • the present invention is configured to extend the entire playback section of the video by duplicating the frame to which the effect is applied in the video by the play length of the effect video, so that even if the selected frame is located at the end of the video It is possible to maximize the effect of applying the effect to the video by ensuring that the effect video is played perfectly without interruption.
  • the apparatus for applying a video effect may output the sound of the effect image in the effect section, and the process of generating the synthesized video is simple because no separate synthesis process is required for the voice information included in the video and the effect image. The load can be reduced.
  • the present invention has the effect of activating the use of the effect image applied to the video, thereby promoting the production of the content for the effect image to greatly activate the communication between users using the video.
  • the present invention can activate the production of the effect image applied to the video, through which anyone can easily produce the effect image by using various production tools of the effect image to promote the development of creative and novel effect image and accordingly It has the effect of supporting market formation.
  • FIG. 1 is a detailed block diagram of a video effect application apparatus according to an embodiment of the present invention.
  • FIG. 2 is an exemplary view illustrating a frame selection process in a video of an apparatus for applying a video effect according to an embodiment of the present invention.
  • Figure 3 is an illustration of the effect image selection of the video effect application device according to an embodiment of the present invention.
  • FIG. 4 is an exemplary view illustrating a process of generating a composite video by the apparatus for applying a video effect according to the embodiment of the present invention.
  • FIG 5 is an exemplary view of a composite video generated by the video effect application device according to an embodiment of the present invention.
  • FIG. 6 is an exemplary diagram of a frame order during playback of a composite video according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a process of selecting an effect image according to foreground and background separation of a video effect applying apparatus according to an exemplary embodiment of the present invention.
  • FIG. 8 is an exemplary diagram for generating a composite video having a plurality of effect sections of the apparatus for applying a video effect according to the embodiment of the present invention.
  • FIG. 9 is an exemplary diagram of a server configuration of an apparatus for applying a video effect according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a method for applying a video effect according to an embodiment of the present invention.
  • FIG. 1 is a detailed configuration diagram of an apparatus 100 for applying a video effect according to an exemplary embodiment of the present invention. As illustrated, the frame extractor 110, the playback unit 120, the effect selector 130, and the frame insertion are illustrated.
  • the unit 140 may include a rendering unit 150, an encoding unit 160, and a voice extractor 170.
  • Apparatus for applying video effects 100 is a tablet PC (Tablet PC), laptop (Laptop), smart phone (Smart Phone), personal digital assistant (PDA), mobile communication terminal ( It may be configured in the user device 1 such as a mobile communication terminal) and a camera, or may be implemented in an application form.
  • Tablet PC Tablet PC
  • laptop laptop
  • smart phone Smart Phone
  • PDA personal digital assistant
  • mobile communication terminal It may be configured in the user device 1 such as a mobile communication terminal
  • a camera or may be implemented in an application form.
  • the video effect application apparatus 100 may be configured in a server that communicates with the user device 1 through a communication network, and in this case, a variety of well-known communication methods may be applied to the communication network.
  • the playback unit 120 is captured by a video stored in the memory unit 210 configured in the user device 1 or the camera unit 230 configured in the user device 1 and stored in the memory unit 210.
  • the selected video may be loaded according to a user input through the user interface 240 configured in the user device 1, and the loaded video may be output and played through the output unit 250 configured in the user device 1.
  • the camera unit 230, the memory unit 210, the user interface unit 240, the output unit 250, and the communication unit 220 which will be described later may be included in the video effect applying apparatus 100.
  • the output unit 250 may include a speaker, a display, a touch screen, and the like, and the user interface unit 240 may provide various input means for receiving user input and various communication methods supporting an interface with an external device. It may include a connection port of the, in conjunction with the output unit 250 may provide a user input according to the touch input through the touch screen.
  • the video may be an image having an extension such as avi, wmv, mpeg, mkv, mp4, mov, m4v, and the like.
  • the frame extractor 110 is interlocked with the playback unit 120 according to a user input through the user interface 240 in the video loaded through the playback unit 120. After selecting the frame to apply the effect, you can extract it.
  • the playback unit 120 outputs a still image or thumbnail image corresponding to a frame at a playback time selected according to a user input such as a drag input among frames constituting the video. ) And through the still image or thumbnail image, the user can easily select a frame to be emphasized through the effect.
  • the frame extractor 110 extracts a selection frame selected according to a user input through the user interface 240 in the video, generates selection frame information for the selection frame, and selects the selection frame by the frame insertion unit 140.
  • the frame may be provided along with the extracted video.
  • the frame extractor 110 extracts the frame 10 when the frame 10 is selected and generates selection frame information corresponding to the frame 10 to the frame insertion unit 140. Can be provided together.
  • the frame extractor 110 may activate the effect selector 130 when the frame is extracted.
  • the activated effect selector 130 may provide list information on the effect image stored in the memory 210 through the output unit 250.
  • the list information may include thumbnail information of the representative frame of each effect image stored in the memory unit 210.
  • the effect image is an image for providing an effect on a frame that the user wants to emphasize, and may include images of various formats such as video clips, flashes, and animation files, as well as dedicated images generated through various video editing programs. It may also include a video template, but is not limited thereto.
  • the effect selector 130 communicates with a server that provides an effect image through the communication unit 220 and receives the list information from the server, and then selects the effect image selected according to a user input from the server from the server.
  • the downloaded effect image may be stored in the memory unit 210.
  • the effect selector 130 may play an effect image selected according to a user input in cooperation with the playback unit 120, and the playback unit 120 may play the effect image to be reproduced through the output unit 250. You can print
  • the frame extractor 110 activates the effect selector 130.
  • the frame extractor It may also be configured to activate the 110 to extract the selection frame and the generation of the selection frame information through the frame extraction unit 110.
  • the effect selector 130 may extract the selected effect image from the list information and provide it to the frame inserter 140.
  • the frame inserter 140 may assign an effect according to the effect image to a specific frame, which will be described in detail with reference to FIG. 4.
  • the frame inserter 140 selects a selected frame in the entire playback section n of the video based on the video and the selected frame information received from the frame extractor 110. Can be identified.
  • the frame inserter 140 may recognize the entire playback section a of the effect image provided from the effect selector 130.
  • the frame insertion unit 140 duplicates the selection frame (frame 10) according to the selection frame information to generate one or more duplicate frames, and at the time of reproduction of the selection frame. Subsequently, each of the duplicate frames may be inserted to have a reproduction length (a) corresponding to the entire reproduction section of the effect image, and an effect section (a) consisting of the selected frame and the duplicate frame may be inserted into the video. .
  • the frame inserter 140 may configure the effect section only by the one or more duplicate frames.
  • the entire playback section of the effect image and the effect section may have the same playback length (playback time), and the entire playback section of the video is lengthened (longer) by the effect section.
  • the frame inserter 140 designates a start frame and an end frame of an effect section or designates a play start time and a play end time to add to the header information of the inserted video, or to a separate effect section. After generating the effect information for the rendering unit 150 may be provided.
  • an effect section corresponding to the playing length of the effect video can be generated to secure a section in which the effect video is played. Even if the selected frame is positioned at the end of the video, the video can be generated according to the effect video regardless of the playing length of the video. All effect frames are played so that the effect picture can be applied without interruption.
  • the frame inserter 140 generates an effect section including a plurality of identical frames identical to the selection frame to be emphasized by the user, so that playback of the effect section appears to stop at the selection frame highlighted by the effect image.
  • the frame of the video may be emphasized by using a still effect in addition to the effect effect by the effect image.
  • the rendering unit 150 receives the video having the effect section inserted therein and the effect image, and at least one corresponding to the effect section based on the header information or the effect information of the video.
  • a frame (frame 10) may be extracted or selected, and each effect frame (frames E1 to En) included in the effect image may be extracted.
  • the renderer 150 may be configured with a decoder for extracting a frame or an effect frame for each of the video and the effect image.
  • the renderer 150 sequentially synthesizes and renders each frame (frame 10) included in the effect section and the effect frames E1 to En included in the effect image in a playback order as shown. You can create a composite frame.
  • the rendering unit 150 synthesizes and renders each frame (frame 10) included in the effect section and each effect frame (frames E1 to En) of the effect image by synchronizing with each other in a frame-by-frame order. For example, one or more composite frames may be generated in the effect section.
  • the renderer 150 may generate a composite video generated by applying one or more composite frames to the effect section of the video.
  • the composite video may be configured such that one or more composite frames are positioned in the effect section as shown, and one or more frames corresponding to the video are located in the playback section other than the effect section.
  • the rendering unit 150 may be provided in the form of a preview in the form of a preview playback in conjunction with the playback unit 120 in accordance with the user input through the user interface unit 240, the playback unit 120 The composite video reproduced through) may be output through the output unit 250.
  • the video effect application apparatus 100 provides a user to determine whether the effect video is correctly applied to the video.
  • the rendering unit 150 controls the resolution of the frame and the effect frame included in the video and the effect image, respectively, by resizing if the resolution of the video and the effect image does not match before generating the composite video. It is also possible to match the resolutions of the effect images.
  • the rendering unit 150 may provide the composite video to the encoding unit 160, and the encoding unit 160 may encode the composite video using a preset codec.
  • the encoding unit 160 may encode the composite video in a format for transmitting the composite video to a server according to a user input through the user interface 240, and encode the composite video encoded through the communication unit 220 to the server. Can be sent to.
  • the video effect application apparatus 100 supports sharing of the composite video with other users through various servers such as a messenger server and a cloud server.
  • the voice extractor 170 extracts the voice information corresponding to the video and the effect voice information corresponding to the effect image from the frame inserter 140 and based on the header information or the effect information of the video. Recognizing the effect section, it is possible to generate the update effect voice information by adjusting the playback section of the effect voice information to the playback start time and the playback end time so that the effect voice information is output in the effect section.
  • the voice extractor 170 may generate updated voice information in which the voice reproducing section corresponding to the effect section is reproduced after the effect section in the voice information of the video.
  • the updated voice information and the updated effect voice information may be transmitted to the encoder 160.
  • the encoder 160 may generate the final video file by encoding the updated voice information and the updated effect voice information provided from the voice extractor 170 together with the synthesized video in a playback order.
  • the encoding unit 160 may store the final video file in the memory unit 210.
  • the playback unit 120 may load and play the final video file according to a user input through the user interface unit 240, and output the final video file to be played through the output unit 250. .
  • the apparatus 100 for applying a video effect duplicates the selection frame to be emphasized by the user in the video by the playing length of the effect image so that the same frame as the selection frame to be highlighted is continuously played. It provides the same highlighting effect as the still image, and allows the effect image to be played on the still image so that the user can highlight the selected image to be highlighted by playing the effect image.
  • Such a configuration of the present invention provides an effect on a still image through an effect image while the screen to be highlighted by the user is momentarily stopped, and the emotion state or expression appearing on a specific facial expression appearing in the video is further enhanced through the effect image.
  • Emphasis can be extended to various ways of expressing video.
  • the configuration of the present invention by duplicating the selection frame to apply the effect so that the still image continues during the playback of the effect image, further highlighting the specific expression of the user and at the same time adding the effect image to the still image of the user's emotion You can highlight the state, expressions, or specific parts you want to emphasize.
  • the configuration of the present invention is configured to extend the entire playback section of the video by duplicating the selection frame to which the effect is applied by the playing length of the effect video, so that even if the selection frame is located at the end of the video It maximizes the effect of the effect by securing the effect playback section for the effect video playback so that the effect video is played completely without interruption.
  • FIG. 6 is an exemplary view of a composite video generated according to the above-described configuration.
  • the apparatus for applying a video effect 100 reproduces a frame of a video until frame 10, which is the selected frame, when the composite video is played. Subsequently, the composite frame 1 starts at the playback time of the frame 10, which is the selection frame, to play the effect movie on the selection frame.
  • an effect image such as a volcanic eruption is played on the background of the angry expression to further emphasize the angry expression.
  • the video effect applying apparatus 100 may be played back from frame 11, which is a frame of the video, so that the frame of the video may be continuously played after the effect section.
  • the apparatus 100 for applying a video effect causes the effect video to be played on the specific frame while stopping the specific frame of the video, and when the effect video ends, the video is played again, thereby connecting the video to the effect video. You can keep it smooth.
  • the apparatus 100 for applying a video effect may output the sound of the effect image in the effect section, and may not generate a separate synthesis process for the voice information included in the video and the effect image, thereby generating a synthesized video.
  • the process is simple and the load can be greatly reduced.
  • FIG. 7 is a block diagram showing another embodiment of the video effect application device 100 according to an embodiment of the present invention, as shown in the video effect application device 100 separates the foreground and the background in the selection frame and
  • the apparatus may further include a detector 180 that adjusts an arrangement of the selection frame of the effect image.
  • the detection unit 180 receives selection frame information from the frame extracting unit, separates the foreground and the background according to a preset algorithm from the selection frame, and converts the foreground or background information of the separated foreground or background into an effect selection unit ( 130).
  • the detection unit 180 may recognize the face in the selected frame, separate the face region corresponding to the face, and generate the face region as foreground information.
  • the effect image may be classified corresponding to any one of the foreground and the background, and the effect selector 130 may include the foreground and the background according to the foreground or background information received from the detector 180 of the effect image.
  • One or more effect information corresponding to any one may be provided.
  • the detector 180 may generate blank information by detecting a blank area from any one of a plurality of effect frames included in the effect image selected by the effect selector 130.
  • representative frame information including an effect frame in which the most effects appear among the plurality of effect frames included in the effect image as the representative frame may be preset in the effect image, and the representative frame is a thumbnail of the effect image. Used is as described above.
  • the detector 180 generates blank information in the representative frame corresponding to the representative frame information, compares the foreground information with the blank information, and compares at least the size and position of the representative frame so that the overlapping area is the largest. You can adjust one.
  • the detection unit 180 may output through the output unit 250 so that the representative frame is overlaid on the background of the selection frame, and the detection unit 180 may input a user through the user interface unit 240.
  • the representative frame may be adjusted based on the selection frame.
  • the detector 180 may adjust the size and position of the selection frame.
  • the size of each effect frame constituting the effect image is preferably configured to be large enough, through which the detection unit 180 ) Adjusts the size and position so that the area of the effect frame is entirely reflected in the remaining area of the selection frame even when the blank area is aligned with the face area.
  • the detector 180 may preset a guide frame for a suitable composite frame size, and crop an area out of the guide frame by adjusting the representative frame to correspond to the size of the composite frame. Can be created in size.
  • the detection unit 180 generates meta information according to the adjustment and crop of the representative frame, and adjusts the same as the representative frame for all effect frames of the effect image corresponding to the representative frame according to the meta information.
  • the cropped image may be provided to the effect selector 130 by performing the crop.
  • the detection unit 180 may crop an area deviating from the guide frame with respect to the selection frame, and generates meta information about the adjustment and crop of the selection frame, and based on the meta information,
  • the updated video may be provided to the frame extractor 110 by performing the same adjustment and cropping as the selection frame for all frames.
  • the frame extractor 110 and the effect selector 130 insert a frame of the effect image and the updated video updated by the detector 180 instead of the effect image and the video before the update according to the above description. It can be provided to the unit 140 to support the most overlapping and overlapping the face area of the video and the blank area of the effect image, as a result it is possible to synthesize the effect image avoiding the face area, highlighting the face area effect effect Can be maximized.
  • the video effect application apparatus 100 may generate a plurality of effect sections in a video and synthesize different effect videos in each effect section.
  • the video effect application apparatus 100 may further include a messenger unit 190 for sharing a composite video generated based on the above-described configuration as shown in FIG. 2.
  • the frame extractor 110, the playback unit 120, the effect selector 130, the frame inserter 140, the renderer 150, the encoder 160, the voice extractor 170, and the detector 180 may be composed of one composite video generating unit 101, and the composite video generating unit 101 may interoperate with the messenger unit 190.
  • Each of the 180 may be individually configured to communicate with the messenger 190 and interoperate with each other.
  • the messenger unit 190 stores the address book information in synchronization with address book information including contact information about a phone number and an e-mail corresponding to one or more other user devices stored in the memory unit 210, and among the address book information.
  • the message, voice information, and video information may be transmitted through the communication unit 220 as the contact information selected according to the user input.
  • the messenger unit 190 controls the composite video generating unit 101 according to a user input to select the selection frame required for generating the above-described composite video, to play the video and the composite video, and to synthesize the video. All of the above-described processes, including selection of an effect image, adjustment of an effect image for the video, and the like, may be performed, and the final video file corresponding to the synthesized video generated through the synthesis video generating unit 101 may be performed. Can be received from.
  • the messenger unit 190 selects one of the composite frames included in the final video file as a representative composite frame in cooperation with the frame extractor 110 of the composite video generator 101, and generates the composite video.
  • the selected representative composite frame may be duplicated in association with the frame insertion unit 140 of the unit 101 and additionally inserted into the first frame of the final video file.
  • the messenger unit 190 may interwork with the frame extractor 110 and the frame inserter 140 to allow a user through the user interface 240 of the composite frames included in the final video file.
  • Representative composite frames selected according to the input can be duplicated and inserted into the first frame of the final video file.
  • the messenger 190 may receive the final video file to which the representative composite frame is additionally inserted through the renderer 150 and the encoder 160.
  • the messenger unit 190 may display the representative composite frame as a thumbnail of the final video file.
  • the messenger unit 190 may transmit the final video file to another user device corresponding to the selected contact information through the communication unit 220 according to a user input through the user interface unit 240.
  • the video effect application device 100 may be configured in the other user device, and the messenger unit 190 included in the video effect application device 100 configured in the other user device receives the final video file.
  • the final video file may be automatically reproduced through the playback unit 120 to output the final video file through an output unit configured in the other user device.
  • the video effect application apparatus 100 configured in the other user device may display the representative composite frame of the final video file as a thumbnail after completion of the playback of the final video file, whereby playback of the final video file is performed. After completion, the representative composite frame is displayed, so that the effect effect corresponding to the final video file can be displayed in the form of an emoticon.
  • the video effect application device 100 provides for sharing a composite video between users.
  • the video effect application device 100 is configured in the user device 1 .
  • the video effect application device 100 according to the embodiment of the present invention may be configured in a server.
  • the video effect application apparatus 100 communicates with the user device 1 through a communication network to display a video DB (based on the member information corresponding to the user device 1 in the member DB 340).
  • a video corresponding to the user device 1 may be selected or a video may be received from the user device 1.
  • each of the components 110, 120, 130, 140, 150, 160, 170, 180, and 190 configuring the above-described video effect application apparatus 100 may be configured as a user through a communication unit configured in the server. It can communicate with the device 1 to receive video, user input information and selection information.
  • the video effect application apparatus 100 selects an effect selected based on the selection information among a selection frame selected from the video and at least one effect image stored in the effect image DB 320 based on the selection information received from the user device 1.
  • the image can be extracted.
  • the video effect application apparatus 100 may generate a composite video and store the composite video in the composite video DB 330.
  • the video effect applying apparatus 100 may be configured as a shared server such as a messenger server or a cloud server, and may transmit the synthesized video to another user device 2 so as to share the composite video between users.
  • a shared server such as a messenger server or a cloud server
  • the video effect application apparatus 100 generates a composite video or a final video file encoded corresponding to the user device 1 according to the above-described configuration, and stores the synthesized video or the final video file in the composite video DB 330, and the encoded composite video.
  • the final video file may be transmitted to the other user device 2.
  • FIG. 10 is a flowchart illustrating a method for applying a video effect according to an embodiment of the present invention.
  • the apparatus for applying a video effect 100 selects any one of frames constituting a pre-stored video and a pre-stored effect image. It may be (S1).
  • the video effect application apparatus 100 duplicates the selected frame selected in the video (S2) and inserts it into the video so as to be played after the playback of the selected frame. Can be generated in the video (S3).
  • the apparatus 100 for applying a video effect may sequentially synthesize and render a plurality of effect frames included in the effect image in each frame included in the effect section (S4) to generate a synthesized video (S4). S5).
  • the video effect application apparatus 100 may encode the composite video with a preset codec (S6).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 동영상 이펙트 적용 장치 및 방법에 관한 것으로서, 더욱 상세히는 미리 저장된 영상 또는 촬영 영상에 대한 이펙트를 제공하는 동영상 이펙트 적용 장치 및 방법에 관한 것이다. 본 발명의 실시예에 따른 동영상 이펙트 적용 장치는 사용자가 강조하고자 하는 프레임을 복제하여 동일 프레임이 연속 재생되도록 하고 해당 동일 프레임상에 이펙트 영상을 합성하여 사용자의 감정상태나 표현, 강조하고자 하는 특정 부분을 크게 부각시킬 수 있으며, 이를 통해 사용자가 원하는 특정 화면을 정지시킨 것과 같은 효과를 부여하는 동시에 해당 특정 화면에서의 감정상태나 표현 등을 이펙트 영상을 통해 더욱 강조하여 동영상을 이용한 표현 방식을 다양하게 확장시키고 사용자의 흥미와 재미를 배가하는 효과가 있다.

Description

동영상 이펙트 적용 장치 및 방법
본 발명은 동영상 이펙트 적용 장치 및 방법에 관한 것으로서, 더욱 상세히는 미리 저장된 영상 또는 촬영 영상에 대한 이펙트를 제공하는 동영상 이펙트 적용 장치 및 방법에 관한 것이다.
소셜 네트워킹 시스템의 발전과 더불어 사용자간 다양한 컨텐츠를 상호 공유하는 환경이 조성되어 있으며, 이를 통한 사용자간 커뮤니케이션에서 이모티콘이나 플래시콘과 같은 컨텐츠를 텍스트 메시지와 함께 상대방에게 전달하여, 사용자가 별도의 가공 없이 텍스트 메시지를 통해 작성된 현재 감정상태나 의견, 정보 등을 컨텐츠를 통해 강조하는 형태로 사용할 수 있다.
그러나, 특정 서비스를 통해 제공되는 컨텐츠들은 한정되어 있으므로, 자신의 의견, 감정, 정보의 표현 방식에 대한 다양함을 원하는 사용자는 직접 카메라가 구비된 사용자 장치를 이용하여 촬영된 영상 컨텐츠를 상대방에게 전송함으로써 사용자가 전달하고자 하는 의견이나 감정상태 또는 정보 등을 담은 영상을 통해 표현할 수 있다.
하지만, 이러한 동영상은 텍스트 메시지와 다르게 다른 컨텐츠와의 상호 연동 없이 개별적으로 전송되며, 사용자가 촬영한 영상에서 특정 부분을 강조하는 등의 별도 가공을 위한 장치 및 이를 이용한 서비스가 지원되지 않아, 사용자간 커뮤니케이션 서비스에서 동영상 이용률이 극히 미비하다.
다시 말해, 텍스트 또는 2차원 이미지를 이용한 커뮤니케이션에서 다양한 이모티콘, 플래시콘과 같은 다양한 컨텐츠를 통해 사용자가 전달하고자 하는 의견이나 감정상태를 강조할 수 있도록 지원하여 사용자의 흥미와 커뮤니케이션의 재미를 충족시키는 것과 달리, 동영상을 이용한 커뮤니케이션에서는 다른 컨텐츠를 이용하여 동영상의 특정 부분을 강조할 수 있도록 지원하는 장치가 마련되지 않아 사용자의 흥미와 재미를 충족시키는데 한계가 있으며 이에 따라 텍스트 메시지에 비해 동영상의 이용률이 극히 미비하다.
따라서, 동영상에서 사용자가 강조하고픈 부분을 다른 컨텐츠를 이용하여 강조할 수 있도록 지원함으로써, 사용자간 커뮤니케이션에서 동영상의 생성에 대한 사용자의 흥미를 극대화하고 동영상을 활용한 사용자의 표현 형태를 확장시킬 수 있는 장치의 개발이 요구되고 있다.
[선행기술문헌]
[특허문헌]
한국공개특허 제10-2004-0058854호
본 발명은 동영상을 이용하여 사용자의 흥미를 극대화하고 동영상을 활용한 사용자의 표현 형태를 확장시킬 수 있는 합성 동영상을 제작할 수 있도록 제공하여, 동영상을 이용한 사용자간 커뮤니케이션 확대를 도모하는데 그 목적이 있다.
또한, 본 발명은 동영상에서 사용자가 이펙트를 적용하고자 하는 프레임에 용이하게 이펙트 영상을 적용하여, 동영상의 재생 중에 정지된 화면 상에서 이펙트 영상이 재생되어 동영상에서 사용자가 강조하고자 하는 프레임에 대한 이펙트를 영상으로서 제공하여 사용자가 원하는 프레임을 부각시키도록 하는데 그 목적이 있다.
더하여, 본 발명은 동영상에서 사용자가 이펙트를 적용하고자 하는 프레임의 재생위치에 관계없이 이펙트 영상이 완벽히 재생되도록 하여 이펙트 영상에 따른 이펙트 효과를 극대화하는데 그 목적이 있다.
본 발명의 실시예에 따른 동영상 이펙트 적용 장치는 동영상에서 선택된 선택 프레임을 추출하는 프레임 추출부와, 상기 선택 프레임에 적용되는 이펙트 영상을 선택하는 이펙트 선택부와, 상기 이펙트 영상의 전체 재생 구간에 대응되도록 상기 선택 프레임을 복제하여 생성된 하나 이상의 복제 프레임을 상기 동영상에서 상기 선택 프레임의 재생 시점 이후에 삽입하여 상기 동영상에 이펙트 구간을 생성하는 프레임 삽입부 및 상기 이펙트 구간에 포함된 각 프레임에 상기 이펙트 영상을 구성하는 각 이펙트 프레임을 재생 순서에 따라 순차 합성 및 렌더링하여 합성 동영상을 생성하는 렌더링부를 포함할 수 있다.
본 발명과 관련된 일 예로서, 상기 합성 동영상을 미리 설정된 코덱으로 인코딩하는 인코딩부를 더 포함하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 동영상 이펙트 적용 장치는 미리 저장된 하나 이상의 연락정보 중 선택된 연락정보로 인코딩된 합성 동영상을 전송하는 메신저부를 더 포함하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 메신저부는 상기 프레임 추출부와 연동하여 상기 최종 동영상 파일에 포함된 합성 프레임 중 하나를 대표 합성 프레임으로 선택하며, 상기 프레임 삽입부와 연동하여 선택된 상기 대표 합성 프레임을 복제한 후 상기 최종 동영상 파일의 첫번째 프레임으로 추가 삽입하여 상기 대표 합성 프레임이 상기 최종 동영상 파일의 썸네일로 표시되도록 하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 동영상에 대응되는 음성정보 및 상기 이펙트 영상에 대응되는 이펙트 음성정보를 추출하여 상기 이펙트 구간에서 상기 이펙트 음성정보가 출력되도록 상기 이펙트 음성정보의 재생구간을 상기 이펙트 구간의 재생 시작 시점 및 재생 종료 시점으로 조정하여 갱신 이펙트 음성 정보를 생성하며, 상기 음성정보 중 상기 이펙트 구간에 대응되는 재생구간을 상기 이펙트 구간 이후에 재생되도록 조정하여 갱신 음성 정보를 생성한 후 상기 인코딩부에 제공하여 상기 합성 동영상과 함께 인코딩되도록 하는 음성 추출부를 더 포함하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 이펙트 영상은 동영상 클립, 플래시 및 동영상 템플릿 중 어느 하나인 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 동영상 이펙트 적용 장치는 상기 동영상, 이펙트 영상 및 합성 동영상 중 어느 하나를 재생하는 재생부를 더 포함하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 재생부는 상기 동영상에서 선택된 재생 시점에 대응되는 프레임에 대한 스틸 이미지 또는 썸네일 이미지를 제공하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 동영상 이펙트 적용 장치는 촬영을 통해 상기 동영상을 생성하는 카메라부를 더 포함하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 동영상 이펙트 적용 장치는 하나 이상의 상기 이펙트 영상을 저장하는 저장부를 더 포함하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 선택 프레임에서 전경에 해당하는 영역을 검출하며, 상기 이펙트 선택부를 통해 선택된 이펙트 영상의 이펙트 프레임 중 어느 하나로부터 공백 영역을 검출하는 검출부를 더 포함하며, 상기 검출부는 상기 전경 영역과 상기 공백 영역이 가장 많이 중복되도록 상기 이펙트 영상에 포함된 각 이펙트 프레임의 사이즈 및 위치 중 적어도 하나를 조정하여 상기 이펙트 영상을 갱신시키는 것을 특징으로 할 수 있다.
본 발명의 실시예에 따른 동영상 이펙트 적용 방법은 동영상 이펙트 적용 장치가 미리 저장된 동영상을 구성하는 프레임 중 어느 하나와 미리 저장된 이펙트 영상 중 하나를 선택하는 단계와, 상기 동영상 이펙트 적용 장치가 상기 동영상에서 선택된 선택 프레임을 복제한 후 상기 선택 프레임의 재생시점 이후에 재생되도록 상기 동영상에 삽입하여 상기 이펙트 영상의 전체 재생 구간에 대응되는 이펙트 구간을 상기 동영상에 생성하는 단계와, 상기 동영상 이펙트 적용 장치가 상기 이펙트 구간에 포함된 각 프레임에 상기 이펙트 영상에 포함된 각 이펙트 프레임을 재생 순서에 따라 순차 합성 및 렌더링하여 합성 동영상을 생성하는 단계 및 상기 동영상 이펙트 적용 장치가 상기 합성 동영상을 미리 설정된 코덱으로 인코딩하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 동영상 이펙트 적용 장치는 사용자가 강조하고자 하는 프레임을 복제하여 동일 프레임이 연속 재생되도록 하고 해당 동일 프레임상에 이펙트 영상을 합성하여 사용자의 감정상태나 표현, 강조하고자 하는 특정 부분을 크게 부각시킬 수 있으며, 이를 통해 사용자가 원하는 특정 화면을 정지시킨 것과 같은 효과를 부여하는 동시에 해당 특정 화면에서의 감정상태나 표현 등을 이펙트 영상을 통해 더욱 강조하여 동영상을 이용한 표현 방식을 다양하게 확장시키고 사용자의 흥미와 재미를 배가하는 효과가 있다.
또한, 본 발명은 이펙트 영상의 재생길이만큼 동영상에서 이펙트가 적용되는 프레임을 복제하여 동영상의 전체 재생 구간을 늘이도록 구성되므로, 이를 통해 선택 프레임이 동영상의 마지막에 위치하는 경우라도 이펙트 영상의 재생을 위한 이펙트 재생 구간을 확보하여 이펙트 영상이 도중에 끊기지 않고 완벽히 재생되도록 지원함으로써 동영상에 대한 이펙트 적용 효과를 극대화시킬 수 있다.
더하여, 상술한 바와 같이 동영상 이펙트 적용 장치는 이펙트 구간에서 이펙트 영상의 음성이 출력되도록 할 수 있으며, 동영상과 이펙트 영상에 포함된 음성정보에 대한 별도의 합성 과정이 필요 없으므로 합성 동영상의 생성 과정이 간편하며 부하를 줄일 수 있다.
이외에도, 본 발명은 동영상에 적용되는 이펙트 영상의 이용을 활성화시키고, 이에 따른 이펙트 영상에 대한 컨텐츠의 제작을 촉진하여 동영상을 이용한 사용자간 커뮤니케이션을 크게 활성화시키는 효과가 있다.
그밖에, 본 발명은 동영상에 적용되는 이펙트 영상의 제작을 활성화시킬 수 있으며, 이를 통해 다양한 이펙트 영상의 제작도구를 활용하여 누구나 이펙트 영상을 용이하게 제작하여 창의적이고 참신한 이펙트 영상의 개발을 촉진시키고 이에 따른 시장형성이 이루어지도록 지원하는 효과가 있다.
도 1은 본 발명의 실시예에 따른 동영상 이펙트 적용 장치에 대한 상세 구성도.
도 2는 본 발명의 실시예에 따른 동영상 이펙트 적용 장치의 동영상에서 프레임 선택 과정에 대한 예시도.
도 3은 본 발명의 실시예에 따른 동영상 이펙트 적용 장치의 이펙트 영상 선택에 대한 예시도.
도 4는 본 발명의 실시예에 따른 동영상 이펙트 적용 장치가 합성 동영상을 생성하는 과정에 대한 예시도.
도 5는 본 발명의 실시예에 따른 동영상 이펙트 적용 장치에 의해 생성된 합성 동영상의 예시도.
도 6은 본 발명의 실시예에 따른 합성 동영상의 재생시 프레임 순서에 대한 예시도.
도 7은 본 발명의 실시예에 따른 동영상 이펙트 적용 장치의 전경 및 배경 분리에 따른 이펙트 영상의 선택 과정에 대한 구성도.
도 8은 본 발명의 실시예에 따른 동영상 이펙트 적용 장치의 복수 이펙트 구간을 가지는 합성 동영상 생성에 대한 예시도.
도 9는 본 발명의 실시예에 따른 동영상 이펙트 적용 장치의 서버 구성에 대한 예시도.
도 10은 본 발명의 실시예에 따른 동영상 이펙트 적용 방법에 대한 순서도.
이하, 도면을 참고하여 본 발명의 상세 실시예를 설명한다.
도 1은 본 발명의 실시예에 따른 동영상 이펙트 적용 장치(100)에 대한 상세 구성도로서, 도시된 바와 같이 프레임 추출부(110), 재생부(120), 이펙트 선택부(130), 프레임 삽입부(140), 렌더링부(150), 인코딩부(160) 및 음성추출부(170)를 포함할 수 있다.
본 발명의 실시예에 따른 동영상 이펙트 적용 장치(100)는 태블릿 PC(Tablet PC), 랩톱(Laptop), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant), 이동통신 단말기(Mobile Communication Terminal) 및 카메라(Camera) 등과 같은 사용자 장치(1)에 구성될 수 있으며, 어플리케이션 형태로 구현될 수도 있다.
또한, 동영상 이펙트 적용 장치(100)는 사용자 장치(1)와 통신망을 통해 통신하는 서버에 구성될 수도 있으며, 이때 통신망은 널리 알려진 다양한 통신방식이 적용될 수 있다.
이하, 동영상 이펙트 적용 장치(100)가 사용자 장치(1)에 구성된 실시예를 상세히 설명한다.
우선, 재생부(120)는 사용자 장치(1)에 구성된 메모리부(210)에 미리 저장된 동영상이나 상기 사용자 장치(1)에 구성된 카메라부(230)를 통해 촬영되어 상기 메모리부(210)에 저장된 동영상 중 사용자 장치(1)에 구성된 사용자 인터페이스부(240)를 통한 사용자 입력에 따라 선택된 동영상을 로드할 수 있으며, 사용자 장치(1)에 구성된 출력부(250)를 통해 로드된 동영상을 출력하여 재생할 수 있다.
이때, 상기 카메라부(230), 메모리부(210), 사용자 인터페이스부(240), 출력부(250) 및 후술하는 통신부(220)는 동영상 이펙트 적용 장치(100)에 포함될 수도 있음은 물론이다.
또한, 상기 출력부(250)는 스피커, 디스플레이, 터치 스크린 등을 포함할 수 있으며, 사용자 인터페이스부(240)는 사용자 입력을 수신하기 위한 다양한 입력수단 및 외부기기와의 인터페이스를 지원하는 다양한 통신방식의 연결포트를 포함할 수 있으며, 상기 출력부(250)와 연동하여 터치스크린을 통한 터치 입력에 따른 사용자 입력을 제공할 수 있다.
더하여, 상기 동영상은 avi, wmv, mpeg, mkv, mp4, mov, m4v 등과 같은 형태의 확장자를 가지는 영상일 수 있다.
다음, 프레임 추출부(110)는 도 2(a)에 도시된 바와 같이 재생부(120)와 연동하여 재생부(120)를 통해 로드된 동영상에서 사용자 인터페이스부(240)를 통한 사용자 입력에 따라 이펙트를 적용하고자 하는 프레임을 선택한 후 추출할 수 있다.
이때, 재생부(120)는 도 2(b)에 도시된 바와 같이 동영상을 구성하는 프레임 중 드래그 입력과 같은 사용자 입력에 따라 선택된 재생시점의 프레임에 대응되는 스틸이미지 또는 썸네일 이미지를 출력부(250)를 통해 제공하며, 상기 스틸이미지 또는 썸네일 이미지를 통해 사용자가 이펙트를 통해 강조하고자 하는 프레임을 용이하게 선택할 수 있도록 제공한다.
한편, 프레임 추출부(110)는 동영상에서 사용자 인터페이스부(240)를 통한 사용자 입력에 따라 선택된 선택 프레임을 추출하고, 해당 선택 프레임에 대한 선택 프레임 정보를 생성하여 프레임 삽입부(140)로 상기 선택 프레임이 추출된 동영상과 함께 제공할 수 있다.
일례로, 도 2(c)에 도시된 바와 같이 프레임 추출부(110)는 프레임 10이 선택된 경우 프레임 10을 추출하고 프레임 10에 대응되는 선택 프레임 정보를 생성하여 프레임 삽입부(140)로 동영상과 함께 제공할 수 있다.
또한, 프레임 추출부(110)는 프레임 추출시 이펙트 선택부(130)를 활성화할 수 있다.
이에 따라, 활성화된 이펙트 선택부(130)는 메모리부(210)에 저장된 이펙트 영상에 대한 리스트 정보를 상기 출력부(250)를 통해 제공할 수 있다. 이때, 리스트 정보는 메모리부(210)에 저장된 각 이펙트 영상의 대표 프레임에 대한 썸네일 정보를 포함할 수 있다.
여기서, 상기 이펙트 영상은 사용자가 강조하고자 하는 프레임에 대한 이펙트를 제공하기 위한 영상으로서, 동영상 클립, 플래시, 애니메이션 파일과 같은 다양한 포맷의 영상이 포함될 수 있을 뿐만 아니라 다양한 동영상 편집 프로그램을 통해 생성된 전용 동영상 템플릿을 포함할 수도 있으며 이에 한정되는 것은 아니다.
또한, 상기 이펙트 선택부(130)는 통신부(220)를 통해 이펙트 영상을 제공하는 서버와 통신하여 상기 서버로부터 상기 리스트 정보를 수신한 후 상기 리스트 정보에서 사용자 입력에 따라 선택된 이펙트 영상을 상기 서버로부터 다운로드할 수 있으며, 다운로드된 이펙트 영상을 메모리부(210)에 저장할 수 있다.
더하여, 상기 이펙트 선택부(130)는 재생부(120)와 연동하여 사용자 입력에 따라 선택된 이펙트 영상을 재생할 수 있으며, 상기 재생부(120)는 재생되는 이펙트 영상을 상기 출력부(250)를 통해 출력할 수 있다.
상술한 구성에서, 상기 프레임 추출부(110)가 상기 이펙트 선택부(130)를 활성화시키는 것으로 설명하였으나, 상기 이펙트 선택부(130)가 사용자 입력을 기초로 이펙트 영상을 선택한 후 상기 프레임 추출부(110)를 활성화시켜 상기 프레임 추출부(110)를 통한 선택 프레임의 추출 및 선택 프레임 정보의 생성이 이루어지도록 구성될 수도 있음은 물론이다.
상술한 구성에 따라, 도 3에 도시된 바와 같이 이펙트 선택부(130)는 리스트 정보에서 사용자 입력에 따라 선택된 이펙트 영상을 추출하여 상기 프레임 삽입부(140)로 제공할 수 있다.
이후, 프레임 삽입부(140)는 특정 프레임에 이펙트 영상에 따른 이펙트를 부여할 수 있는데 이를 도 4를 통해 상세히 설명한다.
우선, 도 4(a)에 도시된 바와 같이 상기 프레임 삽입부(140)는 상기 프레임 추출부(110)로부터 수신되는 동영상 및 선택 프레임 정보를 기초로 동영상의 전체 재생 구간(n)에서 선택 프레임을 식별할 수 있다.
이후, 도 4(b)에 도시된 바와 같이 프레임 삽입부(140)는 상기 이펙트 선택부(130)로부터 제공된 이펙트 영상의 전체 재생 구간(a)을 인식할 수 있다.
이에 따라, 도 4(c)에 도시된 바와 같이 상기 프레임 삽입부(140)는 상기 선택 프레임 정보에 따른 선택 프레임(프레임 10)을 복제하여 하나 이상의 복제 프레임을 생성하고, 상기 선택 프레임의 재생 시점 이후에 상기 각 복제 프레임을 삽입하여 상기 이펙트 영상의 전체 재생 구간에 대응되는 재생길이(a)를 가지며 상기 선택 프레임 및 복제 프레임으로 구성되는 이펙트 구간(a)을 상기 동영상에 삽입하여 추가할 수 있다.
이때, 상기 프레임 삽입부(140)는 상기 하나 이상의 복제 프레임만으로 상기 이펙트 구간을 구성할 수도 있다.
또한, 상기 이펙트 영상의 전체 재생 구간과 상기 이펙트 구간은 동일한 재생길이(재생시간)를 가질 수 있으며, 상기 동영상의 전체 재생 구간은 상기 이펙트 구간에 의해 늘어나게(길어지게) 된다.
한편, 상기 프레임 삽입부(140)는 이펙트 구간의 시작 프레임 및 종료 프레임을 지정하거나 재생 시작 시점 및 재생 종료 시점을 지정하여 상기 이펙트 구간이 삽입된 동영상의 헤더정보에 추가하거나, 별도의 이펙트 구간에 대한 이펙트 정보를 생성한 후 상기 렌더링부(150)로 제공할 수도 있다.
이를 통해, 이펙트 영상의 재생길이에 대응되는 이펙트 구간을 생성하여 이펙트 영상이 재생되는 구간을 확보할 수 있으며, 선택 프레임이 동영상의 마지막에 위치하는 경우라도 동영상의 재생길이에 관계없이 이펙트 영상에 따른 모든 이펙트 프레임이 재생되도록 하여 이펙트 영상이 도중에 끊기지 않고 적용될 수 있다.
또한, 프레임 삽입부(140)는 사용자가 강조하고자 하는 선택 프레임과 동일한 복수의 동일 프레임으로 구성된 이펙트 구간을 생성하여, 이펙트 구간의 재생시 이펙트 영상에 의해 강조되는 선택 프레임에서 재생이 정지된 것처럼 보이도록 하여 동영상의 프레임을 이펙트 영상에 의한 이펙트 효과 이외에도 정지 효과를 통한 프레임의 강조가 이루어지도록 할 수 있다.
이후, 도 4(d)에 도시된 바와 같이 렌더링부(150)는 이펙트 구간이 삽입된 동영상과 상기 이펙트 영상을 수신하며, 상기 동영상의 헤더정보 또는 이펙트 정보를 기초로 이펙트 구간에 대응되는 하나 이상의 프레임(프레임 10)을 추출 또는 선택할 수 있으며, 상기 이펙트 영상에 포함된 각 이펙트 프레임(프레임 E1~En)을 추출할 수 있다.
이때, 상기 렌더링부(150)는 동영상 및 이펙트 영상 각각에 대하여 프레임 또는 이펙트 프레임 추출을 위한 디코더가 구성될 수 있다.
다음, 상기 렌더링부(150)는 도시된 바와 같이 상기 이펙트 구간에 포함된 각 프레임(프레임 10)과 상기 이펙트 영상에 포함된 이펙트 프레임(E1~En)을 재생순서에 따라 순차적으로 합성하여 렌더링함으로써 합성 프레임을 생성할 수 있다.
이때, 상기 렌더링부(150)는 상기 이펙트 구간에 포함된 각 프레임(프레임 10)과 상기 이펙트 영상의 각 이펙트 프레임(프레임 E1~En)을 재생 순서에 따라 프레임별로 상호 동기화하여 서로 합성 및 렌더링함으로써, 이펙트 구간에 하나 이상의 합성 프레임을 생성할 수 있다.
이에 따라, 상기 렌더링부(150)는 도 5에 도시된 바와 같이 상기 동영상의 이펙트 구간에 하나 이상의 합성 프레임이 적용되어 생성된 합성 동영상을 생성할 수 있다. 이때, 상기 합성 동영상은 도시된 바와 같이 이펙트 구간에 하나 이상의 합성 프레임이 위치하며, 이펙트 구간 이외의 재생 구간에 하나 이상의 상기 동영상에 대응되는 프레임이 위치하도록 구성될 수 있다.
한편, 상기 렌더링부(150)는 상기 사용자 인터페이스부(240)를 통한 사용자 입력에 따라 상기 재생부(120)와 연동하여 상기 합성 동영상을 미리보기 형태로 제공하여 재생할 수 있으며, 상기 재생부(120)를 통해 재생되는 합성 동영상이 상기 출력부(250)를 통해 출력될 수 있다.
이를 통해, 본 발명의 실시예에 따른 동영상 이펙트 적용 장치(100)는 동영상에 이펙트 영상이 정확하게 적용되었는지 여부를 사용자가 판단할 수 있도록 제공한다.
또한, 상기 렌더링부(150)는 상기 합성 동영상 생성 이전에 상기 동영상과 이펙트 영상의 해상도가 일치하지 않는 경우 리사이징을 통해 상기 동영상과 이펙트 영상에 각각 포함된 프레임 및 이펙트 프레임의 해상도를 조절하여 동영상과 이펙트 영상의 해상도를 상호 일치시킬 수도 있다.
한편, 상기 렌더링부(150)는 상기 합성 동영상을 인코딩부(160)로 제공할 수 있으며, 상기 인코딩부(160)는 미리 설정된 코덱을 이용하여 합성 동영상을 인코딩할 수 있다.
또한, 상기 인코딩부(160)는 사용자 인터페이스부(240)를 통한 사용자 입력에 따라 상기 합성 동영상을 서버에 전송하기 위한 포맷으로 인코딩할 수 있으며, 상기 통신부(220)를 통해 인코딩된 합성 동영상을 서버로 전송할 수 있다.
이에 따라, 본 발명의 실시예에 따른 동영상 이펙트 적용 장치(100)는 메신저 서버, 클라우드 서버와 같은 다양한 서버를 통해 합성 동영상을 다른 사용자와 공유할 수 있도록 지원한다.
한편, 상기 음성추출부(170)는 상기 프레임 삽입부(140)로부터 상기 동영상에 대응되는 음성정보 및 이펙트 영상에 대응되는 이펙트 음성정보를 추출하며, 상기 동영상의 헤더정보 또는 이펙트 정보를 기초로 상기 이펙트 구간을 인식하여 상기 이펙트 구간에서 상기 이펙트 음성정보가 출력되도록 상기 이펙트 음성정보의 재생구간을 상기 이펙트 구간의 재생 시작 시점 및 재생 종료 시점으로 조정한 갱신 이펙트 음성정보를 생성할 수 있다.
또한, 상기 음성추출부(170)는 동영상의 음성정보에서 상기 이펙트 구간에 대응되는 음성재생 구간을 상기 이펙트 구간 이후에 재생되도록 조정한 갱신 음성정보를 생성할 수 있다.
이후, 상기 갱신 음성정보와 갱신 이펙트 음성정보를 상기 인코딩부(160)로 전송할 수 있다.
이에 따라, 상기 인코딩부(160)는 상기 음성추출부(170)로부터 제공되는 갱신 음성정보와 갱신 이펙트 음성정보를 재생순서에 따라 상기 합성 동영상과 함께 인코딩하여 최종 동영상 파일을 생성할 수 있다.
이때, 상기 인코딩부(160)는 상기 최종 동영상 파일을 메모리부(210)에 저장할 수 있다.
또한, 상기 재생부(120)는 상기 사용자 인터페이스부(240)를 통한 사용자 입력에 따라 상기 최종 동영상 파일을 로드하여 재생할 수 있으며, 재생되는 최종 동영상 파일을 출력부(250)를 통해 출력할 수 있다.
이와 같이, 본 발명의 실시예에 따른 동영상 이펙트 적용 장치(100)는 동영상에서 사용자가 강조하고자 하는 선택 프레임을 이펙트 영상의 재생길이만큼 복제하여 강조하고자 하는 선택 프레임과 동일한 프레임이 연속 재생되도록 하여 화면이 정지된 것과 같은 강조 효과를 제공하며, 정지된 화면 상에서 이펙트 영상이 재생되도록 하여 사용자가 강조하고자 하는 선택 프레임을 정지시킨 상태로 이펙트 영상의 재생을 통해 부각시킬 수 있다.
이러한 본 발명의 구성은 사용자가 부각시키고자 하는 화면이 순간적으로 정지되면서 이펙트 영상을 통해 해당 정지화면에 대한 이펙트를 제공하여, 동영상에 나타나는 특정 표정에 나타나는 감정상태나 표현 등을 이펙트 영상을 통해 더욱 강조하여 동영상의 표현 방식을 다양하게 확장시킬 수 있다.
또한, 본 발명의 구성은 이펙트를 적용하고자 하는 선택 프레임을 복제하여 정지화면이 이펙트 영상의 재생동안 이어지도록 함으로써, 사용자의 특정 표정을 더욱 부각시키는 동시에 해당 정지화면에 이펙트 영상을 가미하여 사용자의 감정상태나 표현, 강조하고자 하는 특정 부분을 크게 부각시킬 수 있다.
더하여, 본 발명의 구성은 이펙트 영상의 재생길이만큼 이펙트가 적용되는 선택 프레임을 복제하여 동영상의 전체 재생 구간을 늘이도록 구성되므로, 이를 통해 선택 프레임이 상기 동영상의 마지막에 위치하는 경우라도 상기 동영상에서 이펙트 영상의 재생을 위한 이펙트 재생 구간을 확보하여 이펙트 영상이 도중에 끊기지 않고 완전히 재생되도록 지원함으로써 이펙트 적용 효과를 극대화한다.
도 6은 상술한 구성에 따라 생성된 합성 동영상에 대한 예시도로서, 도시된 바와 같이 동영상 이펙트 적용 장치(100)는 합성 동영상의 재생시 상기 선택 프레임인 프레임 10 이전까지는 동영상의 프레임이 재생되면서, 이후 선택 프레임인 프레임 10의 재생 시점에 합성 프레임 1이 시작되면서 선택 프레임 상에서 이펙트 동영상이 재생되도록 한다.
이를 통해, 동영상에 포함된 특정 프레임을 이펙트 영상을 통해 강조함으로써, 사용자의 감정상태나 특정 장면 또는 영역을 부각시킬 수 있다.
예를 들어, 프레임 10부터 분노하는 표정이 나타나는 경우 프레임 10을 연속 재생하여 분노 표정을 정지시키면서, 분노 표정의 바탕에 화산이 폭발하는 등의 이펙트 영상이 재생되어 분노 표정을 더욱 강조할 수 있다.
이후, 동영상 이펙트 적용 장치(100)는 합성 동영상에서 상기 이펙트 구간의 재생이 종료되면, 동영상의 프레임인 프레임 11부터 재생되어 다시 동영상의 프레임이 상기 이펙트 구간 이후에 연속 재생되도록 할 수 있다.
이와 같이, 동영상 이펙트 적용 장치(100)는 동영상의 특정 프레임을 정지시킨 효과를 주면서 해당 특정 프레임 상에서 이펙트 영상이 재생되도록 하고, 이펙트 영상이 종료되면 다시 동영상이 재생되도록 함으로써 동영상과 이펙트 영상의 연결이 부드럽게 이어지도록 할 수 있다.
더하여, 상술한 바와 같이 동영상 이펙트 적용 장치(100)는 이펙트 구간에서 이펙트 영상의 음성이 출력되도록 할 수 있으며, 동영상과 이펙트 영상에 포함된 음성정보에 대한 별도의 합성 과정이 필요 없으므로 합성 동영상의 생성 과정이 간편하며 부하를 크게 줄일 수 있다.
도 7은 본 발명의 실시예에 따른 동영상 이펙트 적용 장치(100)의 다른 실시예를 도시한 구성도로서, 도시된 바와 같이 동영상 이펙트 적용 장치(100)는 상기 선택 프레임에서 전경과 배경을 분리하고, 상기 이펙트 영상의 상기 선택 프레임에 대한 배치를 조정하는 검출부(180)를 더 포함할 수 있다.
상기 검출부(180)는 상기 프레임 추출부로부터 선택 프레임 정보를 수신하여 상기 선택 프레임에서 미리 설정된 알고리즘에 따라 전경 및 배경을 분리하고, 분리된 전경 또는 배경에 대한 전경정보 또는 배경정보를 이펙트 선택부(130)로 제공할 수 있다.
이때, 검출부(180)는 선택 프레임에서 얼굴을 인식하여 얼굴에 해당하는 얼굴 영역을 분리하고, 해당 얼굴 영역을 전경정보로 생성할 수도 있다.
한편, 상기 이펙트 영상은 전경 및 배경 중 어느 하나에 대응되어 구분될 수 있으며, 상기 이펙트 선택부(130)는 이펙트 영상 중 상기 검출부(180)로부터 수신된 전경정보 또는 배경정보에 따라 전경 및 배경 중 어느 하나에 대응되는 하나 이상의 이펙트 정보를 제공할 수 있다.
또 다른 예로서, 상기 검출부(180)는 상기 이펙트 선택부(130)를 통해 선택된 이펙트 영상에 포함되는 복수의 이펙트 프레임 중 어느 하나로부터 공백영역을 검출하여 공백정보를 생성할 수 있다.
이때, 상기 이펙트 영상에 포함된 복수의 이펙트 프레임 중 가장 많은 효과가 나타나는 이펙트 프레임을 상기 대표 프레임으로 하는 대표 프레임 정보가 상기 이펙트 영상에 미리 설정될 수 있으며, 상기 대표 프레임은 상기 이펙트 영상의 썸네일로 사용됨은 상술한 바와 같다.
이에 따라, 상기 검출부(180)는 상기 대표 프레임 정보에 대응되는 대표 프레임에서 공백정보를 생성하고, 상기 전경정보와 공백정보를 비교하여 중복되는 영역이 가장 많도록 상기 대표 프레임의 사이즈 및 위치 중 적어도 하나를 조정할 수 있다.
이때, 상기 검출부(180)는 상기 선택 프레임의 바탕에 상기 대표 프레임이 오버레이 되도록 상기 출력부(250)를 통해 출력할 수 있으며, 상기 검출부(180)는 상기 사용자 인터페이스부(240)를 통한 사용자 입력에 따라 상기 선택 프레임을 바탕으로 상기 대표 프레임을 조정할 수도 있다.
또한, 상술한 구성에서 상기 검출부(180)는 상기 선택 프레임의 사이즈 및 위치를 조정할 수도 있음은 물론이다.
한편, 일례로 전경에 해당하는 얼굴영역이 전체 영상의 코너에 위치하고 있는 경우 등을 감안하여, 이펙트 영상을 구성하는 각 이펙트 프레임의 사이즈가 충분히 크도록 구성되는 것이 바람직하며, 이를 통해 상기 검출부(180)는 사이즈 및 위치 조정을 통해 상기 얼굴영역에 상기 공백영역을 맞추더라도 상기 선택 프레임의 나머지 영역에 상기 이펙트 프레임의 영역이 전체적으로 반영되도록 할 수 있다.
한편, 상기 검출부(180)는 적합한 합성 프레임의 사이즈에 대한 가이드 프레임이 미리 설정될 수 있으며, 상기 대표 프레임의 조정을 통해 가이드 프레임을 벗어나는 영역을 크롭(crop)하여, 합성 프레임의 사이즈에 대응되는 사이즈로 생성할 수 있다.
이에 따라, 상기 검출부(180)는 상기 대표 프레임의 조정 및 크롭에 따른 메타정보를 생성하며, 상기 메타정보에 따라 상기 대표 프레임에 대응되는 이펙트 영상의 모든 이펙트 프레임에 대해서 상기 대표 프레임과 동일한 조정 및 크롭을 수행하여 갱신된 이펙트 영상을 이펙트 선택부(130)로 제공할 수 있다.
또한, 상기 검출부(180)는 상기 선택 프레임에 대해서도 가이드 프레임을 벗어나는 영역을 크롭할 수 있음은 당연하며, 상기 선택 프레임의 조정 및 크롭에 대해서 메타정보를 생성하고, 해당 메타정보를 기초로 동영상의 모든 프레임에 대해서 상기 선택 프레임과 동일한 조정 및 크롭을 수행하여 갱신된 동영상을 상기 프레임 추출부(110)로 제공할 수 있다.
상술한 바에 따라, 프레임 추출부(110) 및 이펙트 선택부(130)는 갱신 이전의 이펙트 영상 및 동영상 대신 상기 검출부(180)를 통해 갱신된 이펙트 영상 및 갱신된 동영상을 상술한 내용에 따라 프레임 삽입부(140)로 제공하여 동영상의 얼굴 영역과 이펙트 영상의 공백 영역이 가장 많이 중복되어 합성되도록 지원할 수 있으며, 그 결과 얼굴 영역을 피해서 이펙트 영상이 합성되도록 할 수 있어, 얼굴 영역을 부각시켜 이펙트 효과를 극대화할 수 있다.
한편, 상술한 구성을 바탕으로, 도 8에 도시된 바와 같이 상기 동영상 이펙트 적용 장치(100)는 동영상에 복수의 이펙트 구간을 생성하고, 각 이펙트 구간에 서로 다른 이펙트 동영상을 합성할 수도 있다.
본 발명의 실시예에 따른 동영상 이펙트 적용 장치(100)는 도 2에 도시된 바와 같이 상술한 구성을 바탕으로 생성된 합성 동영상을 공유하기 위한 메신저부(190)를 더 포함할 수 있다.
또한, 상기 프레임 추출부(110), 재생부(120), 이펙트 선택부(130), 프레임 삽입부(140), 렌더링부(150), 인코딩부(160), 음성추출부(170) 및 검출부(180)는 하나의 합성 동영상 생성부(101)로 구성될 수도 있으며, 상기 합성 동영상 생성부(101)는 상기 메신저부(190)와 상호 연동할 수 있다.
이때, 상기 프레임 추출부(110), 재생부(120), 이펙트 선택부(130), 프레임 삽입부(140), 렌더링부(150), 인코딩부(160), 음성추출부(170) 및 검출부(180)가 각각 개별 구성되어 상기 메신저부(190)와 상호 통신하여 연동할 수 있음은 물론이다.
상기 메신저부(190)는 상기 메모리부(210)에 저장된 하나 이상의 타사용자 장치에 대응되는 전화번호, 이메일 등에 대한 연락정보를 포함하는 주소록 정보와 동기화되어 상기 주소록 정보를 저장하며, 상기 주소록 정보 중 사용자 입력에 따라 선택된 연락정보로 메시지, 음성정보, 동영상 정보를 통신부(220)를 통해 전송할 수 있다.
또한, 상기 메신저부(190)는 사용자 입력에 따라 상기 합성 동영상 생성부(101)를 제어하여 상술한 합성 동영상의 생성에 필요한 상기 선택 프레임의 선택, 상기 동영상 및 합성 동영상의 재생, 상기 동영상에 합성되는 이펙트 영상의 선택, 상기 동영상에 대한 이펙트 영상의 조정 등을 포함하는 상술한 모든 과정을 수행할 수 있으며, 이를 통해 생성된 합성 동영상에 대응되는 상기 최종 동영상 파일을 상기 합성 동영상 생성부(101)로부터 수신할 수 있다.
더하여, 상기 메신저부(190)는 상기 합성 동영상 생성부(101)의 프레임 추출부(110)와 연동하여 상기 최종 동영상 파일에 포함된 합성 프레임 중 하나를 대표 합성 프레임으로 선택하며, 상기 합성 동영상 생성부(101)의 상기 프레임 삽입부(140)와 연동하여 상기 선택된 대표 합성 프레임을 복제하여 상기 최종 동영상 파일의 첫번째 프레임으로 추가 삽입할 수 있다.
일례로, 상기 메신저부(190)는 상기 프레임 추출부(110) 및 상기 프레임 삽입부(140)와 연동하여, 상기 최종 동영상 파일에 포함된 상기 합성 프레임 중 상기 사용자 인터페이스부(240)를 통한 사용자 입력에 따라 선택된 대표 합성 프레임을 복제하여 상기 최종 동영상 파일의 첫번째 프레임으로 추가 삽입할 수 있다.
이후, 상기 메신저부(190)는 상기 렌더링부(150) 및 인코딩부(160)를 통해 상기 대표 합성 프레임이 추가 삽입된 최종 동영상 파일을 수신할 수 있다.
이에 따라, 상기 메신저부(190)는 상기 대표 합성 프레임을 상기 최종 동영상 파일의 썸네일로 표시되도록 할 수 있다.
한편, 상기 메신저부(190)는 사용자 인터페이스부(240)를 통한 사용자 입력에 따라 상기 통신부(220)를 통해 상기 최종 동영상 파일을 상기 선택된 연락정보에 대응되는 타사용자 장치로 전송할 수 있다.
또한, 상기 타사용자 장치에 상기 동영상 이펙트 적용 장치(100)가 구성될 수 있으며, 상기 타사용자 장치에 구성된 상기 동영상 이펙트 적용 장치(100)에 포함되는 상기 메신저부(190)는 상기 최종 동영상 파일 수신시 상기 재생부(120)를 통해 상기 최종 동영상 파일을 자동 재생하여 상기 타사용자 장치에 구성된 출력부를 통해 상기 최종 동영상 파일이 출력되도록 할 수 있다.
더하여, 상기 타사용자 장치에 구성된 상기 동영상 이펙트 적용 장치(100)는 상기 최종 동영상 파일의 재생완료 후에 상기 최종 동영상 파일의 상기 대표 합성 프레임을 썸네일로 표시할 수 있으며, 이를 통해 최종 동영상 파일의 재생이 완료된 이후에도 대표 합성 프레임이 표시되어 최종 동영상 파일에 대응되는 이펙트 효과를 이모티콘과 같은 형태로 표시할 수 있다.
상술한 바와 같은 구성을 통해, 상기 동영상 이펙트 적용 장치(100)는 사용자간 합성 동영상을 상호 공유할 수 있도록 제공한다.
한편, 상술한 실시예에서 동영상 이펙트 적용 장치(100)가 사용자 장치(1)에 구성된 경우를 예시하였으나, 본 발명의 실시예에 따른 동영상 이펙트 적용 장치(100)는 서버에 구성될 수도 있다.
이를 도 9를 통해 설명하면, 상기 동영상 이펙트 적용 장치(100)는 사용자 장치(1)와 통신망을 통해 통신하여 회원 DB(340)에서 사용자 장치(1)에 대응되는 회원정보를 기초로 동영상 DB(310)에서 사용자 장치(1)에 대응되는 동영상을 선택하거나 사용자 장치(1)로부터 동영상을 수신할 수 있다.
일례로, 상술한 동영상 이펙트 적용 장치(100)를 구성하는 각 구성부(110, 120, 130, 140, 150, 160, 170, 180, 190)는 서버에 구성되는 경우 서버에 구성된 통신부를 통해 사용자 장치(1)와 상호 통신하여 동영상, 사용자 입력정보 및 선택정보를 수신할 수 있다.
이후, 동영상 이펙트 적용 장치(100)는 사용자 장치(1)로부터 수신되는 선택정보를 기초로 동영상에서 선택된 선택 프레임 및 이펙트 영상 DB(320)에 저장된 하나 이상의 이펙트 영상 중 상기 선택정보를 기초로 선택된 이펙트 영상을 추출할 수 있다.
이를 통해, 상술한 구성과 마찬가지로 상기 동영상 이펙트 적용 장치(100)는 합성 동영상을 생성하여 합성 동영상 DB(330)에 저장할 수 있다.
또한, 상기 동영상 이펙트 적용 장치(100)는 메신저 서버나 클라우드 서버와 같은 공유 서버로 구성되어, 상기 합성 동영상을 타사용자 장치(2)로 전송하여 사용자간 합성 동영상을 상호 공유하도록 제공할 수 있다.
더하여, 상기 동영상 이펙트 적용 장치(100)는 상술한 구성에 따라 사용자 장치(1)에 대응되어 인코딩된 합성 동영상 또는 최종 동영상 파일을 생성하여 합성 동영상 DB(330)에 저장하고, 상기 인코딩된 합성 동영상 또는 최종 동영상 파일을 타사용자 장치(2)로 전송할 수도 있다.
도 10은 본 발명의 실시예에 따른 동영상 이펙트 적용 방법에 대한 순서도로서, 도시된 바와 같이 동영상 이펙트 적용 장치(100)는 미리 저장된 동영상을 구성하는 프레임 중 어느 하나와 미리 저장된 이펙트 영상 중 하나를 선택할 수 있다(S1).
이후, 동영상 이펙트 적용 장치(100)는 상기 동영상에서 선택된 선택 프레임을 복제한 후(S2) 상기 선택 프레임의 재생시점 이후에 재생되도록 상기 동영상에 삽입하여 상기 이펙트 영상의 전체 재생 구간에 대응되는 이펙트 구간을 상기 동영상에 생성할 수 있다(S3).
다음, 동영상 이펙트 적용 장치(100)는 상기 이펙트 구간에 포함된 각 프레임에 상기 이펙트 영상에 포함된 복수의 이펙트 프레임을 재생 순서에 따라 순차 합성 및 렌더링하여(S4) 합성 동영상을 생성할 수 있다(S5).
이후, 동영상 이펙트 적용 장치(100)는 상기 합성 동영상을 미리 설정된 코덱으로 인코딩할 수 있다(S6).
이상에서는 본 발명에 따른 바람직한 실시예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.

Claims (12)

  1. 동영상에서 선택된 선택 프레임을 추출하는 프레임 추출부;
    상기 선택 프레임에 적용되는 이펙트 영상을 선택하는 이펙트 선택부;
    상기 이펙트 영상의 전체 재생 구간에 대응되도록 상기 선택 프레임을 복제하여 생성된 하나 이상의 복제 프레임을 상기 동영상에서 상기 선택 프레임의 재생 시점 이후에 삽입하여 상기 동영상에 이펙트 구간을 생성하는 프레임 삽입부; 및
    상기 이펙트 구간에 포함된 각 프레임에 상기 이펙트 영상을 구성하는 각 이펙트 프레임을 재생 순서에 따라 순차 합성 및 렌더링하여 합성 동영상을 생성하는 렌더링부
    를 포함하는 동영상 이펙트 적용 장치.
  2. 청구항 1에 있어서,
    상기 합성 동영상을 미리 설정된 코덱으로 인코딩하는 인코딩부를 더 포함하는 것을 특징으로 하는 동영상 이펙트 적용 장치.
  3. 청구항 2에 있어서,
    미리 저장된 하나 이상의 연락정보 중 선택된 연락정보로 인코딩된 합성 동영상을 전송하는 메신저부를 더 포함하는 것을 특징으로 하는 동영상 이펙트 적용 장치.
  4. 청구항 3에 있어서,
    상기 메신저부는 상기 프레임 추출부와 연동하여 상기 합성 동영상에 대응되는 최종 동영상 파일에 포함된 합성 프레임 중 하나를 대표 합성 프레임으로 선택하며, 상기 프레임 삽입부와 연동하여 선택된 상기 대표 합성 프레임을 복제한 후 상기 최종 동영상 파일의 첫번째 프레임으로 추가 삽입하여 상기 대표 합성 프레임이 상기 최종 동영상 파일의 썸네일로 표시되도록 하는 것을 특징으로 하는 동영상 이펙트 적용 장치.
  5. 청구항 2에 있어서,
    상기 동영상에 대응되는 음성정보 및 상기 이펙트 영상에 대응되는 이펙트 음성정보를 추출하여 상기 이펙트 구간에서 상기 이펙트 음성정보가 출력되도록 상기 이펙트 음성정보의 재생구간을 상기 이펙트 구간의 재생 시작 시점 및 재생 종료 시점으로 조정하여 갱신 이펙트 음성 정보를 생성하며, 상기 동영상에 대응되는 음성정보 중 상기 이펙트 구간에 대응되는 재생구간을 상기 이펙트 구간 이후에 재생되도록 조정하여 갱신 음성 정보를 생성한 후 상기 인코딩부에 제공하여 상기 합성 동영상과 함께 인코딩되도록 하는 음성 추출부를 더 포함하는 것을 특징으로 하는 동영상 이펙트 적용 장치.
  6. 청구항 1에 있어서,
    상기 이펙트 영상은 동영상 클립, 플래시 및 동영상 템플릿 중 어느 하나인 것을 특징으로 하는 동영상 이펙트 적용 장치.
  7. 청구항 1에 있어서,
    상기 동영상, 이펙트 영상 및 합성 동영상 중 어느 하나를 재생하는 재생부를 더 포함하는 것을 특징으로 하는 동영상 이펙트 적용 장치.
  8. 청구항 7에 있어서,
    상기 재생부는 상기 동영상에서 선택된 재생 시점에 대응되는 프레임에 대한 스틸 이미지 또는 썸네일 이미지를 제공하는 것을 특징으로 하는 동영상 이펙트 적용 장치.
  9. 청구항 1에 있어서,
    촬영을 통해 상기 동영상을 생성하는 카메라부를 더 포함하는 것을 특징으로 하는 동영상 이펙트 적용 장치.
  10. 청구항 1에 있어서,
    하나 이상의 상기 이펙트 영상을 저장하는 저장부를 더 포함하는 것을 특징으로 하는 동영상 이펙트 적용 장치.
  11. 청구항 1에 있어서,
    상기 선택 프레임에서 전경에 해당하는 전경 영역을 검출하며, 상기 이펙트 선택부를 통해 선택된 이펙트 영상의 이펙트 프레임 중 어느 하나로부터 공백 영역을 검출하는 검출부를 더 포함하며,
    상기 검출부는 상기 전경 영역과 상기 공백 영역이 가장 많이 중복되도록 상기 이펙트 영상에 포함된 각 이펙트 프레임의 사이즈 및 위치 중 적어도 하나를 조정하여 상기 이펙트 영상을 갱신시키는 것을 특징으로 하는 동영상 이펙트 적용 장치.
  12. 동영상 이펙트 적용 장치가 미리 저장된 동영상을 구성하는 프레임 중 어느 하나와 미리 저장된 이펙트 영상 중 하나를 선택하는 단계;
    상기 동영상 이펙트 적용 장치가 상기 동영상에서 선택된 선택 프레임을 복제한 후 상기 선택 프레임의 재생시점 이후에 재생되도록 상기 동영상에 삽입하여 상기 이펙트 영상의 전체 재생 구간에 대응되는 이펙트 구간을 상기 동영상에 생성하는 단계;
    상기 동영상 이펙트 적용 장치가 상기 이펙트 구간에 포함된 각 프레임에 상기 이펙트 영상에 포함된 각 이펙트 프레임을 재생 순서에 따라 순차 합성 및 렌더링하여 합성 동영상을 생성하는 단계; 및
    상기 동영상 이펙트 적용 장치가 상기 합성 동영상을 미리 설정된 코덱으로 인코딩하는 단계
    를 포함하는 동영상 이펙트 적용 방법.
PCT/KR2015/010179 2015-09-25 2015-09-25 동영상 이펙트 적용 장치 및 방법 WO2017051955A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/010179 WO2017051955A1 (ko) 2015-09-25 2015-09-25 동영상 이펙트 적용 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/010179 WO2017051955A1 (ko) 2015-09-25 2015-09-25 동영상 이펙트 적용 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2017051955A1 true WO2017051955A1 (ko) 2017-03-30

Family

ID=58386172

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/010179 WO2017051955A1 (ko) 2015-09-25 2015-09-25 동영상 이펙트 적용 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2017051955A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961304A (zh) * 2017-05-23 2018-12-07 阿里巴巴集团控股有限公司 识别视频中运动前景的方法和确定视频中目标位置的方法
CN115460466A (zh) * 2022-08-23 2022-12-09 北京泰豪智能工程有限公司 一种视频通信中视频画面定制方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040150723A1 (en) * 2002-11-25 2004-08-05 Jeong-Wook Seo Apparatus and method for displaying pictures in a mobile terminal
KR100776433B1 (ko) * 2006-05-19 2007-11-16 주식회사 팬택앤큐리텔 개선된 영상 합성이 가능한 이동통신 단말기
KR20080060531A (ko) * 2006-12-27 2008-07-02 에이알비전 (주) 인터레이스 방식의 동영상에서 이미지를 합성하는 장치 및방법
KR100860510B1 (ko) * 2007-04-23 2008-09-26 엠엠비 주식회사 모바일 장치에서 시각 효과가 삽입된 슬라이드 쇼의 생성방법
KR20080104415A (ko) * 2007-03-26 2008-12-03 이병환 동영상 편집 시스템 및 방법과 그 방법을 구현한프로그램이 기록된 기록매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040150723A1 (en) * 2002-11-25 2004-08-05 Jeong-Wook Seo Apparatus and method for displaying pictures in a mobile terminal
KR100776433B1 (ko) * 2006-05-19 2007-11-16 주식회사 팬택앤큐리텔 개선된 영상 합성이 가능한 이동통신 단말기
KR20080060531A (ko) * 2006-12-27 2008-07-02 에이알비전 (주) 인터레이스 방식의 동영상에서 이미지를 합성하는 장치 및방법
KR20080104415A (ko) * 2007-03-26 2008-12-03 이병환 동영상 편집 시스템 및 방법과 그 방법을 구현한프로그램이 기록된 기록매체
KR100860510B1 (ko) * 2007-04-23 2008-09-26 엠엠비 주식회사 모바일 장치에서 시각 효과가 삽입된 슬라이드 쇼의 생성방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961304A (zh) * 2017-05-23 2018-12-07 阿里巴巴集团控股有限公司 识别视频中运动前景的方法和确定视频中目标位置的方法
CN115460466A (zh) * 2022-08-23 2022-12-09 北京泰豪智能工程有限公司 一种视频通信中视频画面定制方法及系统

Similar Documents

Publication Publication Date Title
JP3784289B2 (ja) メディア編集方法及びその装置
WO2015076537A1 (ko) 동영상 제공 방법 및 동영상 제공 시스템
JP2002150317A (ja) 映像表示装置
CN103428555A (zh) 一种多媒体文件的合成方法、系统及应用方法
WO2013172636A1 (en) Display apparatus, server, and controlling method thereof
WO2017051955A1 (ko) 동영상 이펙트 적용 장치 및 방법
KR101571687B1 (ko) 동영상 이펙트 적용 장치 및 방법
US20190074036A1 (en) System and method for live video production monitoring and annotation
JP2010157906A (ja) 映像表示装置
KR101663085B1 (ko) 휴대형 스마트기기에서의 동영상 기반의 알파채널 영상합성을 이용한 비디오 카드 제작 시스템 및 그 방법
WO2018124794A1 (ko) 카메라워크 기반 영상합성 시스템 및 영상합성방법
JP2007026090A (ja) 映像作成装置
WO2017065334A1 (ko) 콘텐츠 생성 방법 및 장치
WO2020091431A1 (ko) 그래픽 객체를 이용한 자막 생성 시스템
WO2020116740A1 (ko) 실시간 방송 편집 시스템 및 편집 방법
JP2021090172A (ja) 字幕データ生成装置、コンテンツ配信システム、映像再生装置、プログラム及び字幕データ生成方法
US10616724B2 (en) Method, device, and non-transitory computer-readable recording medium for supporting relay broadcasting using mobile device
WO2017217787A1 (ko) 스튜디오 장비 제어 시퀀스 공유 서비스 제공 시스템 및 제공방법
WO2022119119A1 (ko) 멀티채널 미디어 송수신 방법 및 시스템
WO2022080670A1 (ko) 컨텐츠 제공 방법 및 장치와, 컨텐츠 재생 방법
KR101695209B1 (ko) 실시간영상과 크로마키 피사체영상의 합성 제작시스템 및 그 방법
KR102155690B1 (ko) 중계 서버, 컨텐츠 생성 장치 및 이들을 포함하는 컨텐츠 생성 시스템
JP4254297B2 (ja) 画像処理装置及びその方法並びにそれを用いた画像処理システム及びプログラム
JP2013097240A (ja) 聴覚障がい者支援装置およびその動作方法
WO2018155910A1 (ko) 중계 방송을 지원하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15904766

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15904766

Country of ref document: EP

Kind code of ref document: A1