WO2015105215A1 - Method and apparatus for editing media using touch input - Google Patents

Method and apparatus for editing media using touch input Download PDF

Info

Publication number
WO2015105215A1
WO2015105215A1 PCT/KR2014/000313 KR2014000313W WO2015105215A1 WO 2015105215 A1 WO2015105215 A1 WO 2015105215A1 KR 2014000313 W KR2014000313 W KR 2014000313W WO 2015105215 A1 WO2015105215 A1 WO 2015105215A1
Authority
WO
WIPO (PCT)
Prior art keywords
touch
media
resource
editing
module
Prior art date
Application number
PCT/KR2014/000313
Other languages
French (fr)
Korean (ko)
Inventor
이용수
김재은
유병국
성혁화
Original Assignee
이용수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이용수 filed Critical 이용수
Publication of WO2015105215A1 publication Critical patent/WO2015105215A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • the present invention relates to a media editing method and apparatus, and more particularly, to a media editing method and apparatus for editing media such as a video, a flash, etc. in real time using a touch input.
  • the need to share images and videos based on SNS is expanding, and users who simply want to edit videos through simple operations are exploding.
  • SNS Social Network Service
  • the conventional video editing method since the edit screen and the screen on which the result of the edit are expressed are divided, it is difficult to directly check the edit result on the edit screen.
  • the conventional method uses a method of separately setting the object, the position, the angle, the transparency, the time, etc. of the object in order to express the movement of the object included in the video. Therefore, in order to check the movement of the actual object, there is a problem in that the video cannot be played after setting.
  • Most video editing software includes a timeline-based interface that expresses time in the form of a time bar and adjusts the intervals that appear on the bar to insert elements such as video, image and music animation effects.
  • Korean Patent Laid-Open Publication No. 10-2005-0041641 relates to a mobile communication terminal capable of video editing and a method thereof, and more particularly, to a mobile communication terminal having a camcorder function and a method thereof.
  • Korean Patent No. 10-0768048 relates to a video service providing method and a system thereof, and more particularly, to edit a video jointly by several users or to edit a video edited by one user effectively by another user. A method and a system for enabling the same.
  • the present invention provides a method and apparatus for editing a media using a touch input for editing as time passes through a touch input during media playback.
  • Another object of the present invention is to provide a media editing method and apparatus using a touch input that simultaneously stores media and edits the edited data and displays the edited contents in real time.
  • the media data is objectized to generate a manageable resource, receiving a touch input, and executing a touch command which is an editing command corresponding to the touch input to the generated resource.
  • Editing the resource controlling an entire framework of the media data except for a resource associated with the resource and the touch command, decoding the media data requiring decoding among the generated resources, the resource Collecting and rendering at least two or more of a resource related to the touch command and the decoded media data, and encoding the rendered media data.
  • the method may further include objectizing an effect to be applied to the media data and generating the resource as a manageable resource.
  • the editing may enable management of transform data used to represent at least one of position, size, and rotation, attributes used for resource editing of the media data, and information about the media itself.
  • the touch input is detected by converting a change in pressure or capacitance applied to a specific portion from a touch sensor, which is one of a touch film, a touch sheet, and a touch pad, into an electrical signal.
  • a touch sensor which is one of a touch film, a touch sheet, and a touch pad
  • the editing may store and display data of the edited resource in a memory in real time.
  • a media editing apparatus using a touch input may include an object management module that objectizes media data and generates a manageable resource, receives a touch input, and executes a touch command that is an editing command corresponding to the touch input to the generated resource.
  • a touch module for editing the resource a media control module for controlling an entire framework of the media data except for a resource associated with the resource and the touch command, and decoding media data for decoding among the generated resources
  • a media decoding module a rendering module that collects and renders at least two or more of the resource, the resource related to the touch command, and the decoded media data, and a media encoding module that encodes the rendered media data.
  • the object management module objectizes an effect to be applied to the media data and creates a manageable resource.
  • the object management module makes it possible to manage transform data used to express at least one of position, size, and rotation, attributes used for resource editing of the media data, and information about the media itself.
  • the touch module detects the touch input by converting a change in pressure or capacitance applied to a specific portion from a touch sensor, which is one of a touch film, a touch sheet, and a touch pad, into an electrical signal.
  • the touch module When the pattern of the touch input and the pattern of the touch command stored in the memory match, the touch module simultaneously executes a command corresponding to the touch command and edits the command.
  • the touch module When the media data is playing, the touch module simultaneously edits and renders the resource and provides the result of the edited resource in real time.
  • the touch module stores and displays data of the edited resource in a memory in real time.
  • editing can be performed over time through a touch input during video playback.
  • the data of the edited video can be stored in memory at the same time as the video is edited, and the edited content can be displayed in real time.
  • FIG. 1 is a block diagram illustrating a mobile terminal according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating the media editing apparatus of FIG. 1 in detail.
  • FIG. 3 is a flowchart illustrating a real-time media editing method using a touch input according to an embodiment of the present invention.
  • 4A to 4D are diagrams for describing an animation editing method while playing a video, according to an exemplary embodiment.
  • 5A through 5B are diagrams for describing a method of enlarging a screen while playing a video, according to an exemplary embodiment.
  • 6A to 6C are diagrams for describing a method of changing a property of a screen after stopping a video according to an embodiment of the present invention.
  • the mobile terminal described in the present specification may include a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigation device, and the like.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • FIG. 1 is a block diagram illustrating a mobile terminal according to an embodiment of the present invention.
  • the mobile terminal 100 may include a wireless communication unit 110, an A / V input unit 120, a user input unit 130, a sensing unit 140, an output unit 150,
  • the memory 160, the controller 170, the interface 180, the power supply 190, and the media editing apparatus 200 may be included.
  • the components shown in FIG. 1 are not essential, so that a mobile terminal having more or fewer components may be implemented.
  • the wireless communication unit 110 may include one or more modules that enable wireless communication between the mobile terminal 100 and the wireless communication system or between the mobile terminal 100 and a network in which the mobile terminal 100 is located.
  • the A / V input unit 120 is for inputting an audio signal or a video signal, and may include a camera and a microphone.
  • the camera processes image frames such as still images or moving images obtained by an image sensor in a video call mode or a photographing mode.
  • the processed picture frame can be displayed on the display.
  • the user input unit 130 generates input data for the user to control the operation of the terminal.
  • the user input unit 130 may include a key pad dome switch, a touch pad (static pressure / capacitance), a jog wheel, a jog switch, and the like.
  • the sensing unit 140 may determine the current state of the mobile terminal 100 such as the open / closed state of the mobile terminal 100, the position of the mobile terminal 100, the presence or absence of user contact, the orientation of the mobile terminal, the acceleration / deceleration of the mobile terminal, and the like. Sensing and generating a sensing signal for controlling the operation of the mobile terminal 100.
  • the sensing unit 140 may sense whether the power supply unit 190 supplies power or whether the interface unit 180 is coupled to an external device.
  • the output unit 150 is for generating output related to visual, auditory, or tactile, and may include a display, a sound output, an alarm, a haptic, a projector, and the like.
  • the display displays (outputs) information processed by the mobile terminal 100.
  • the mobile terminal displays a user interface (UI) or a graphic user interface (GUI) related to the call.
  • UI user interface
  • GUI graphic user interface
  • the mobile terminal 100 displays a photographed and / or received image, a UI, or a GUI.
  • Displays include liquid crystal displays (LCDs), thin film transistor-liquid crystal displays (TFT LCDs), organic light-emitting diodes (OLEDs), flexible displays, It may include at least one of a 3D display.
  • LCDs liquid crystal displays
  • TFT LCDs thin film transistor-liquid crystal displays
  • OLEDs organic light-emitting diodes
  • flexible displays It may include at least one of a 3D display.
  • the memory 160 may store a program for the operation of the controller 170 and may temporarily store input / output data (eg, a phone book, a message, a still image, a video, etc.).
  • the memory 160 may store data regarding vibration and sound of various patterns output during a touch input.
  • the memory 160 may include a flash memory type, a hard disk type, a media card micro type, a card type memory (for example, SD or XD memory), Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, It may include a storage medium of at least one type of magnetic disk, optical disk.
  • the mobile terminal 100 may operate in association with a web storage that executes a storage function of the memory 160 on the Internet.
  • the controller 170 typically controls the overall operation of the mobile terminal 100. For example, perform related control and processing for voice calls, data communications, video calls, and the like.
  • the controller 170 may perform pattern recognition processing for recognizing a writing input or a drawing input for a touch as a character and an image, respectively.
  • the interface unit 180 serves as a passage with all external devices connected to the mobile terminal 100.
  • the interface unit 180 receives data from an external device, receives power, transfers the power to each component inside the mobile terminal 100, or transmits the data inside the mobile terminal 100 to an external device.
  • the power supply unit 190 receives an external power source and an internal power source under the control of the controller 170 to supply power for operation of each component.
  • the media editing apparatus 200 edits the media stored in the memory 160.
  • the media editing apparatus 200 edits the media according to the touch input.
  • the mobile terminal referred to herein may include at least one of the components shown in FIG. 1, and in particular, may include a wireless communication unit 110 capable of transmitting and receiving data with an external server through a network. .
  • FIG. 2 is a block diagram illustrating the media editing apparatus 200 of FIG. 1 in detail.
  • the media editing apparatus 200 may edit media data over time in real time.
  • the media editing apparatus 200 may store the edited media data in the memory 160 at the same time as the media data is edited.
  • the media data may include at least one of an image, a video, a flash file, and audio.
  • the media editing apparatus 200 may include an object management module 210, a touch module 220, a media control module 230, a media decoding module 240, a rendering module 250, and a media encoding module 260. have.
  • the object management module 210 may object and generate at least one of media data stored in the memory 160 and effects to be applied to the media data as resources.
  • the resource is for importing media data, selecting effects to be used for media data editing, and adding editing related data to the editing and management.
  • the object management module 210 may manage a plurality of media data in the form of multiple layers on one screen.
  • the object management module 210 may object the multi-layered media data, and may generate a plurality of resources that can be edited and managed through this.
  • the object management module 210 may designate a specific resource among a plurality of resources.
  • the effect may be at least one of a filter effect, animation effect, and scale effect.
  • the object management module 210 combines the edited resource management, information on the convertible resource itself, and additional data to be used for editing.
  • the object management module 210 may store the data of the edited resource in the memory 160 in real time.
  • the object management module 210 may apply and store the changed information when the information of the object is changed due to media editing.
  • the object management module 210 may manage a video and a filter as a resource generated by objectization.
  • the video is information about the video itself and may include at least one of a file path, a codec, a picture quality, and a playback time.
  • the video may include at least one of an output position, an extraction time, a conversion size, a conversion angle, and transparency as additional data to be used in editing.
  • the object management module 210 may generate a Gaussian blur filter, a noise filter, and the like, which are information about the filter itself, as an object for the filter.
  • the object management module 210 may generate a location to be applied as additional edit data and a time to be applied as a resource.
  • the object management module 210 may generate a matrix to be used for transform and attributes to be used for resource editing of the media data as manageable resources.
  • the matrix may include at least one information of position, scale, and rotation.
  • Meta data as defined herein is data of attributes for effects used to convert or edit original media data.
  • the object management module 210 may share data to the touch module 220, the media control module 230, and the rendering module 250.
  • the touch module 220 may recognize a touch used for editing the media data.
  • the touch module 220 may be connected to a sensor (hereinafter, a touch sensor) that detects a touch operation.
  • the touch sensor may have, for example, a form of a touch film, a touch sheet, a touch pad, or the like.
  • the touch sensor may be configured to convert a change in pressure applied to a specific portion of the display unit 151 or capacitance generated at a specific portion of the display unit 151 into an electrical input signal.
  • the touch sensor is configured to detect not only the touched position and area but also the pressure at the touch. As a result, the touch module 220 may determine which area of the display unit 151 is touched.
  • the touch module 220 may search the matched touch pattern by comparing the recognized touch with the touch pattern stored in the memory 160.
  • the touch module 220 may control corresponding to the touch pattern by the search. That is, the touch module 220 may recognize a touch on a user input and then perform a control corresponding thereto.
  • the touch pattern may include at least one of multitouch, pinch to zoom, drag, click, and zigzag. In addition, the touch pattern may be regular or irregular.
  • the touch module 220 may intuitively respond to touch patterns not stored in the memory 160. When a touch pattern which is not stored in the memory 160 is input, the touch module 220 may directly edit the touch pattern 220 according to the input touch input.
  • the touch module 220 may select and control only the recognition of the touch patterns stored in the memory 160 or the recognition of the touch patterns that are not stored.
  • the command for the touch pattern (hereinafter, a touch command) is a command for editing each resource.
  • the touch module 220 may edit the resource at the same time as executing the command corresponding to the touch command. That is, the screen for executing the touch command may be a screen in which the resource is edited.
  • the touch module 220 when the video is not played, the touch module 220 is applied to the property change on one screen of each resource.
  • the touch module 220 may intuitively change and edit resources as time passes. Also, the speed at which the video is played can be arbitrarily adjusted.
  • the touch module 220 may arbitrarily designate output positions of effect resources as well as video resources, and convert the conversion angle.
  • the touch module 220 applies the modified matters to the editing or encoding.
  • the signal (s) corresponding thereto are sent to the touch module 220.
  • the touch module 220 transmits data whose resources are edited by the signal (s) to the object management module 210 and the media control module 230.
  • the media control module 230 may control the entire framework to be edited instead of individual resources in the media editing situation.
  • the framework refers to the entire editing space currently being edited. That is, the framework may be a play / pause, a change in play time, a reverse play, and a change in the total time of the resultant media by the media control module 230.
  • the media control module 230 may transmit data controlling the entire framework to the media decoding module 240 and the rendering module 250.
  • the media decoding module 240 may extract at least one media of an image, a video, a flash file, and audio from a file.
  • the media file includes information about media, that is, metadata (play time, image quality, FPS, codec) and raw data indicated by the metadata are compressed and included.
  • metadata play time, image quality, FPS, codec
  • extracting the actual media from the media file actually converts the data compressed in binary based on the metadata, which can be provided by a plurality of published libraries.
  • the media decoding module 240 may extract only a portion necessary for changing a frame in the output. Accordingly, the media decoding module 240 may reduce the rotational efficiency of the usability efficiency and the objectization time of the memory 160.
  • Media decoding module 240 may maintain a playback frames per second (fps) of at least 24 to provide real-time editing.
  • the media decoding module 240 may provide media hardware acceleration because a large amount of work may not guarantee that the playback fps is at least 24.
  • Media hardware acceleration is typical of hardware decoding through OpenMax in Android.
  • the media hardware acceleration is used instead of the CPU (Graph Processing Unit), hardware such as hardware decoding chip to process media effectively in devices with low specification Central Processing Units (CPUs) such as embedded. It is a technology that increases the overall performance and increases the battery efficiency by processing.
  • the CPU is in charge of all processing of the media editing apparatus 200. Therefore, overusing CPU resources slows down other tasks. For example, if the CPU consumes the entire processing power for expensive tasks such as video decoding, the processing power for the UI may be degraded and the user experience may be degraded. In addition, since the CPU performs general processing, it can use an inefficient processing method compared to a chip specialized for video decoding only.
  • the CPU only makes processing requests and moves on to other tasks, and processes them on chips that are specialized for video decoding.
  • the processed result is returned to the CPU and the CPU proceeds to the next task based on the result.
  • the rendering module 250 may convert and output resources to be present at any point in time commanded by the media control module 230 according to the attributes provided by the object management module 210.
  • the rendering module 250 converts and outputs the resources in real time so that the user can edit the media and view the edited result.
  • the rendering module 250 may use the acceleration function of the GPU hardware to solve the performance degradation problem that may occur by providing the resources to be edited in real time.
  • the rendering module 250 may store the edited resources in the memory 160 in real time.
  • the rendering module 250 may generate one rendering data by collecting resources, changed attributes, and attributes of the resultant image in the media decoding module 240 in the object management module 210.
  • the rendering module 250 may provide the rendering data to the media encoding model 260.
  • the media encoding module 260 may generate and output rendering data provided by the rendering module 250 as an actual video.
  • the media encoding module 260 may encode data decoded by the object management module 210, the touch module 220, the media control module 230, the media decoding module 240, and the rendering module 250.
  • FIG. 3 is a flowchart illustrating a real-time video editing method using a touch input according to an embodiment of the present invention.
  • the media editing apparatus 200 may edit media in real time over time.
  • the media editing apparatus 200 may store the data of the edited media in the memory 160 at the same time as the media editing.
  • This operation may be implemented through, for example, a mobile terminal equipped with the above-described media editing apparatus 200.
  • the object management module 210 may load media data stored in the memory 160.
  • the media data represents the media itself, not managed by the app. That is, the media data may include an image (including a still image, a video), a flash file, audio, text, an image, and the like.
  • the object management module 210 may generate a manageable resource by objecting at least one of media data stored in the memory 160 and effects to be applied to the media data.
  • the resource selects effects to be used for importing media data or editing media data, and adds edit-related data to the media data to enable editing and management.
  • the effect may be at least one of a filter effect, animation effect, and scale effect.
  • touch control is performed (S120).
  • the touch module 220 may recognize a touch input input by a user and perform a touch command corresponding to the touch. For example, when the touch input is pin-to-zoom for enlargement, the screen may be enlarged.
  • the touch module 220 may execute the touch command and edit the resource at the same time. That is, the screen on which the touch command is executed may be a screen on which the resource is edited. The execution of the touch command and the editing are simultaneously driven, and the edited screen can be displayed at the same time.
  • the touch module 220 may apply a resizing animation for the corresponding time.
  • the touch module 220 may apply a size conversion animation to the video for the corresponding time.
  • the touch module 220 may simultaneously apply the two examples to multi-touch.
  • the touch module 220 may apply a color conversion animation to the text.
  • the media control module 230 performs media control (S130).
  • the media control module 230 may control the entire framework to be edited instead of individual resources in a media editing situation. That is, the media control module 230 may play / pause, change the play time, reverse play, and change the total time of the resultant media.
  • the media decoding module 240 performs media decoding (S140).
  • the media decoding module 240 may work to extract media such as video or audio from a file.
  • the media decoding module 240 may extract only a portion necessary for changing a frame in the output. Accordingly, the media decoding module 240 can reduce the rotational delay of the usability efficiency and the objectization time of the memory 160.
  • the media decoding module 240 may decode all the frames in the file, put the frames that are actually available in the memory, and access them when necessary.
  • the access speed may be very high when editing.
  • the media editing apparatus 200 skips the process of decoding each frame in the file and puts the frames that are actually available in the memory, extracts only the necessary parts in real time, and uses as much memory as necessary at that time, and initially loads the media. A method of eliminating time can be used.
  • the rendering module 250 renders (S150).
  • the rendering module 250 may convert and output resources to be present at any point in time according to the attribute.
  • the rendering module 250 may load the edit data stored in the memory 160 by the touch module 220.
  • the edited data may include at least one of a resource of media data, a resource related to a touch command, and decoded media data.
  • the rendering module 250 may collect at least two or more of the edited data to render.
  • the rendering module 250 may use the acceleration function of the GPU hardware to solve the performance degradation problem that may occur by providing the resources to be edited in real time.
  • the media encoding module 260 performs media encoding (S160).
  • the media encoding module 260 may generate and output rendering data as an actual video.
  • the media encoding module 260 encodes the edited media data so that it can be output in a general purpose device.
  • the order of the real-time video editing method using the touch input may not be sequential in accordance with the disclosed order, and may be changed flexibly.
  • 4A to 4D are diagrams for describing an animation editing method while playing a video, according to an exemplary embodiment.
  • the media editing apparatus 200 may insert an animation while playing a video.
  • the media editing apparatus 200 may receive a touch input and edit a video by executing a touch command corresponding to the received touch input.
  • the media editing apparatus 200 may select a menu 410 by a touch input.
  • the touch input may be a click.
  • the media editing apparatus 200 may search for a pattern that matches the touch pattern stored in the memory 160. If the media editing apparatus 200 has a pattern in which the touch input coincides with the touch pattern, the media editing apparatus 200 may execute a command indicated by the corresponding pattern.
  • the media editing apparatus 200 may provide a transportation pop-up 430.
  • the transportation popup window 430 may include at least one menu of an airplane, a car, and a ship.
  • the media editing apparatus 200 may select a vehicle by a touch input.
  • the media editing apparatus 200 may generate an animation corresponding to the car 440, release the touch, and insert the car 440 at the point where the touch input is received. have.
  • the media editing apparatus 200 may edit an animation of moving the car 440 in real time while a video is being played.
  • the media editing apparatus 200 can edit over time.
  • the media editing apparatus 200 may provide a playback time bar 420 showing the passage of time.
  • the playback time bar 420 may be divided into M1 421, which is a point in time already played based on M2 422, which is a point in time at which the current video is played, and M3 423, which is a point in time not yet played.
  • the car 440 may be generated as an animation at a point where a touch input is received.
  • the reproduction time point at which the vehicle 440 is generated may be M2 423.
  • the vehicle 440 may add a moving animation effect. After clicking the car 440 and dragging the touch input, the car 440 may obtain an effect of moving. Since the car 440 moves as time passes, the playback time point of the video in which the car arrives at the final purpose may be M3 434.
  • the editing method allows the user to be provided with an intuitive touch interface and to edit the image according to the passage of time in real time.
  • 5A through 5B are diagrams for describing a method of enlarging a screen while playing a video, according to an exemplary embodiment.
  • the media editing apparatus 200 may enlarge or reduce the screen while the video is played.
  • the media editing apparatus 200 may receive a touch input and edit a video by executing a touch command corresponding to the received touch input.
  • the media editing apparatus 200 may enlarge or reduce the video by a touch input.
  • the touch input may be pinch to zoom.
  • the media editing apparatus 200 may receive a touch input and execute a touch command corresponding to the touch input. Since the video is edited while the video is being played, the time at which the touch input is input and the time at which the video is edited may be different.
  • the time point at which the touch is input may be M2 522, and the time point at which the video is edited may be M3 523.
  • 6A to 6C are diagrams for describing a method of changing a property of a screen after stopping a video according to an embodiment of the present invention.
  • the media editing apparatus 200 may change a property of each resource on one screen.
  • the media editing apparatus 200 may also change the property of the screen in the still picture.
  • the media editing apparatus 200 may generate a property popup window 630.
  • the property popup window 630 may include at least one of brightness, saturation, and contrast.
  • the media editing apparatus 200 is provided with a brightness adjustment bar 640 that can adjust the brightness.
  • the media editing apparatus 200 may adjust the brightness of the screen using the brightness adjustment bar 640.
  • the media editing apparatus 200 may edit images such as contrast, rotation, filters, and switching effects over time, even during the playback of moving images as well as still images.
  • the invention can also be embodied as computer readable code on a computer readable recording medium.
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer device is stored. Examples of computer-readable recording media include hard disks, ROMs, RAM, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like in the form of carrier waves (for example, transmission over the Internet). It includes what is implemented.
  • the computer readable recording medium can also be distributed over network coupled computer devices so that the computer readable code is stored and executed in a distributed fashion.
  • sensing unit 150 output unit
  • control unit 190 power supply unit
  • touch module 230 media control module

Abstract

Disclosed are a method and an apparatus for editing media using a touch input. The method comprises the steps of: generating a manageable resource by objectifying media data; after a touch input is received, editing the generated resource by executing a touch command for the resource as an edit command corresponding to the touch input; controlling the whole framework of the media data, except for the resource and the touch command-related resource; decoding the media data requiring decoding of the generated resource; collectively rendering at least two of the resource, the touch command-related resource and the decoded media data; and encoding the rendered media data.

Description

터치입력을 이용한 미디어 편집 방법 및 장치Method and device for editing media using touch input
본 발명은 미디어 편집 방법 및 장치에 관한 것으로, 상세하게는 터치입력을 이용하여 실시간으로 동영상, 플래시 등의 미디어를 편집하는 미디어 편집 방법 및 장치에 관한 것이다.The present invention relates to a media editing method and apparatus, and more particularly, to a media editing method and apparatus for editing media such as a video, a flash, etc. in real time using a touch input.
현재 동영상 편집 소프트웨어는 PC를 기반으로 한 고가의 소프트웨어가 주류를 이루고 있다. 이에 간단한 동영상을 편집하고자 하는 사용자는 고가의 소프트웨어를 구입할 수 밖에 없으며, 이는 사회적으로 볼 때 막대한 비용을 낭비하는 효과를 초래한다.Currently, video editing software is dominated by expensive software based on PCs. Therefore, a user who wants to edit a simple video can only purchase expensive software, which causes a huge waste of money in social terms.
최근 들어, SNS(Social Network Service)를 기반으로 이미지, 동영상을 공유하고자 하는 필요성이 확대되고 있으며, 단순한 조작을 통해 간단하게 동영상을 편집하고자 하는 사용자들이 폭발적으로 늘어나고 있다. 또한 종래의 동영상 편집 방법은 편집 화면과 편집의 결과물이 표현되는 화면이 구분되어 있기 때문에, 편집 결과를 편집 화면에서 바로 확인하기 힘든 구조이다. 한편 종래의 방법은 동영상에 포함된 객체의 움직임을 표현하기 위해서, 객체, 객체의 위치, 각도, 투명도, 시간 등을 별도로 설정하는 방법을 이용한다. 따라서, 실제 객체의 움직임을 확인하기 위해서는 설정 후에 동영상을 재생할 수 밖에 없는 문제점이 있다.Recently, the need to share images and videos based on SNS (Social Network Service) is expanding, and users who simply want to edit videos through simple operations are exploding. In addition, in the conventional video editing method, since the edit screen and the screen on which the result of the edit are expressed are divided, it is difficult to directly check the edit result on the edit screen. Meanwhile, the conventional method uses a method of separately setting the object, the position, the angle, the transparency, the time, etc. of the object in order to express the movement of the object included in the video. Therefore, in order to check the movement of the actual object, there is a problem in that the video cannot be played after setting.
대부분의 동영상 편집 소프트웨어는 시간을 막대기(time bar) 형태로 표현하고, 막대기 위에 나타나는 구간을 조정하여 동영상, 이미지, 음악 애니메이션 효과 등의 요소들을 삽입하는 타임라인 기반의 인터페이스를 포함하고 있다. Most video editing software includes a timeline-based interface that expresses time in the form of a time bar and adjusts the intervals that appear on the bar to insert elements such as video, image and music animation effects.
한국 공개특허 10-2005-0041641은 동영상 편집이 가능한 이동통신단말기 및 그 방법에 관한 것으로, 보다 상세하게는 캠코더 기능을 갖는 이동통신단말기 및 그 방법에 관한 것이다.Korean Patent Laid-Open Publication No. 10-2005-0041641 relates to a mobile communication terminal capable of video editing and a method thereof, and more particularly, to a mobile communication terminal having a camcorder function and a method thereof.
한국 등록특허 10-0768048은 동영상 서비스 제공방법 및 그 시스템에 관한 것으로, 보다 상세하게는 하나의 동영상을 여러 사용자들이 공동으로 편집하거나, 어느 한 사용자가 편집한 동영상을 다른 사용자가 효과적으로 추가하여 편집할 수 있도록 하는 방법 및 그 시스템에 관한 것이다.Korean Patent No. 10-0768048 relates to a video service providing method and a system thereof, and more particularly, to edit a video jointly by several users or to edit a video edited by one user effectively by another user. A method and a system for enabling the same.
본 발명이 이루고자 하는 기술적 과제는 미디어 재생 중 터치입력을 통해 시간의 흐름에 따라 편집을 하는 터치입력을 이용한 미디어 편집 방법 및 장치를 제공한다.SUMMARY OF THE INVENTION The present invention provides a method and apparatus for editing a media using a touch input for editing as time passes through a touch input during media playback.
본 발명이 이루고자 하는 다른 기술적 과제는 미디어 편집과 동시에 편집 데이터를 메모리 저장하고, 편집된 내용은 실시간으로 디스플레이하는 터치입력을 이용한 미디어 편집 방법 및 장치를 제공한다.Another object of the present invention is to provide a media editing method and apparatus using a touch input that simultaneously stores media and edits the edited data and displays the edited contents in real time.
터치입력을 이용한 미디어 편집 방법은, 미디어 데이터를 객체화하여 관리 가능한 리소스(resource)로 생성하는 단계, 터치입력을 수신받고, 상기 생성된 리소스에 상기 터치입력에 대응하는 편집 명령인 터치명령을 실행하여 상기 리소스를 편집하는 단계, 상기 리소스 및 상기 터치명령이 관련된 리소스를 제외한 상기 미디어 데이터의 전체 프레임워크(framework)를 제어하는 단계, 상기 생성된 리소스 중 디코딩이 필요한 미디어 데이터를 디코딩하는 단계, 상기 리소스, 상기 터치명령이 관련된 리소스 및 상기 디코딩된 미디어 데이터 중 적어도 두 개 이상을 취합하여 렌더링하는 단계 및 상기 렌더링된 미디어 데이터를 인코딩하는 단계를 포함한다.In the media editing method using a touch input, the media data is objectized to generate a manageable resource, receiving a touch input, and executing a touch command which is an editing command corresponding to the touch input to the generated resource. Editing the resource, controlling an entire framework of the media data except for a resource associated with the resource and the touch command, decoding the media data requiring decoding among the generated resources, the resource Collecting and rendering at least two or more of a resource related to the touch command and the decoded media data, and encoding the rendered media data.
상기 미디어 데이터에 적용될 효과를 객체화하여 관리 가능한 리소스로 생성하는 단계를 더 포함한다.The method may further include objectizing an effect to be applied to the media data and generating the resource as a manageable resource.
상기 편집하는 단계는, 위치, 크기 및 회전 중 적어도 하나를 표현하는데 이용되는 변환(transform) 데이터, 상기 미디어 데이터의 리소스 편집에 이용되는 속성 및 상기 미디어 자체에 대한 정보를 관리 가능하도록 한다.The editing may enable management of transform data used to represent at least one of position, size, and rotation, attributes used for resource editing of the media data, and information about the media itself.
상기 편집하는 단계는, 상기 터치입력을 터치필름, 터치시트, 터치패드 중 어느 하나의 형태인 터치센서로부터 특정부위에 가해지는 압력 또는 정전용량의 변화를 전기적인 신호로 변환하여 감지한다.In the editing, the touch input is detected by converting a change in pressure or capacitance applied to a specific portion from a touch sensor, which is one of a touch film, a touch sheet, and a touch pad, into an electrical signal.
상기 편집하는 단계는, 상기 터치입력의 패턴과 메모리에 저장된 상기 터치명령의 패턴이 일치하면 상기 터치명령에 해당하는 명령 실행 및 상기 명령에 대한 편집이 동시에 동작한다.In the editing, if the pattern of the touch input and the pattern of the touch command stored in the memory match, execution of the command corresponding to the touch command and editing of the command are simultaneously performed.
상기 편집하는 단계는, 상기 미디어 데이터가 재생 중인 경우, 상기 리소스의 편집과 렌더링을 동시에 하며, 상기 편집된 리소스의 결과를 실시간으로 제공한다.In the editing, when the media data is being played, the editing and rendering of the resource are simultaneously performed, and the result of the edited resource is provided in real time.
상기 편집하는 단계는, 상기 편집된 리소스의 데이터를 실시간으로 메모리에 저장 및 디스플레이한다.The editing may store and display data of the edited resource in a memory in real time.
터치입력을 이용한 미디어 편집 장치는, 미디어 데이터를 객체화하여 관리 가능한 리소스(resource)로 생성하는 객체관리 모듈, 터치입력을 수신받고 상기 생성된 리소스에 상기 터치입력에 대응하는 편집 명령인 터치명령을 실행하여 상기 리소스를 편집하는 터치모듈, 상기 리소스 및 상기 터치명령이 관련된 리소스를 제외한 상기 미디어 데이터의 전체 프레임워크(framework)를 제어하는 미디어 제어 모듈, 상기 생성된 리소스 중 디코딩이 필요한 미디어 데이터를 디코딩하는 미디어 디코딩 모듈, 상기 리소스, 상기 터치명령이 관련된 리소스 및 상기 디코딩된 미디어 데이터 중 적어도 두 개 이상 취합하여 렌더링하는 랜더링 모듈 및 상기 렌더링된 미디어 데이터를 인코딩하는 미디어 인코딩 모듈을 포함한다.A media editing apparatus using a touch input may include an object management module that objectizes media data and generates a manageable resource, receives a touch input, and executes a touch command that is an editing command corresponding to the touch input to the generated resource. A touch module for editing the resource, a media control module for controlling an entire framework of the media data except for a resource associated with the resource and the touch command, and decoding media data for decoding among the generated resources And a media decoding module, a rendering module that collects and renders at least two or more of the resource, the resource related to the touch command, and the decoded media data, and a media encoding module that encodes the rendered media data.
상기 객체관리 모듈은, 상기 미디어 데이터에 적용될 효과를 객체화하여 관리 가능한 리소스로 생성한다.The object management module objectizes an effect to be applied to the media data and creates a manageable resource.
상기 객체관리 모듈은, 위치, 크기 및 회전 중 적어도 하나를 표현하는데 이용되는 변환(transform) 데이터, 상기 미디어 데이터의 리소스 편집에 이용되는 속성 및 상기 미디어 자체에 대한 정보를 관리 가능하도록 한다.The object management module makes it possible to manage transform data used to express at least one of position, size, and rotation, attributes used for resource editing of the media data, and information about the media itself.
상기 터치모듈은, 상기 터치입력을 터치필름, 터치시트, 터치패드 중 어느 하나의 형태인 터치센서로부터 특정부위에 가해지는 압력 또는 정전용량의 변화를 전기적인 신호로 변환하여 감지한다.The touch module detects the touch input by converting a change in pressure or capacitance applied to a specific portion from a touch sensor, which is one of a touch film, a touch sheet, and a touch pad, into an electrical signal.
상기 터치모듈은, 상기 터치입력의 패턴과 메모리에 저장된 상기 터치명령의 패턴이 일치하면 상기 터치명령에 해당하는 명령 실행 및 상기 명령에 대한 편집이 동시에 동작한다.When the pattern of the touch input and the pattern of the touch command stored in the memory match, the touch module simultaneously executes a command corresponding to the touch command and edits the command.
상기 터치모듈은, 상기 미디어 데이터가 재생 중인 경우, 상기 리소스의 편집과 렌더링을 동시에 하며, 상기 편집된 리소스의 결과를 실시간으로 제공한다.When the media data is playing, the touch module simultaneously edits and renders the resource and provides the result of the edited resource in real time.
상기 터치모듈은, 상기 편집된 리소스의 데이터를 실시간으로 메모리에 저장 및 디스플레이한다.The touch module stores and displays data of the edited resource in a memory in real time.
본 발명에 따른 터치입력을 이용한 미디어 편집 방법 및 장치에 의하면 동영상 재생 중 터치입력을 통해 시간의 흐름에 따라 편집을 할 수 있다.According to the method and apparatus for editing a media using a touch input according to the present invention, editing can be performed over time through a touch input during video playback.
또한 동영상 편집과 동시에 편집된 동영상의 데이터를 실시간으로 메모리에 저장하고, 편집된 내용은 실시간으로 디스플레이할 수 있다.In addition, the data of the edited video can be stored in memory at the same time as the video is edited, and the edited content can be displayed in real time.
도 1은 본 발명의 일 실시예에 따른 이동단말기를 설명하기 위한 블록도이다.1 is a block diagram illustrating a mobile terminal according to an embodiment of the present invention.
도 2는 도 1의 미디어 편집 장치를 상세하게 설명하기 위한 블록도이다.FIG. 2 is a block diagram illustrating the media editing apparatus of FIG. 1 in detail.
도 3은 본 발명의 일 실시예에 따른 터치입력을 이용한 실시간 미디어 편집 방법을 설명하기 위한 순서도이다.3 is a flowchart illustrating a real-time media editing method using a touch input according to an embodiment of the present invention.
도 4a 내지 도 4d는 본 발명의 일 실시예에 따른 동영상을 재생하면서 애니메이션 편집 방법을 설명하기 위한 도면이다.4A to 4D are diagrams for describing an animation editing method while playing a video, according to an exemplary embodiment.
도 5a 내지 도 5b는 본 발명의 일 실시예에 따른 동영상을 재생하면서 화면을 확대하는 방법을 설명하기 위한 도면이다.5A through 5B are diagrams for describing a method of enlarging a screen while playing a video, according to an exemplary embodiment.
도 6a 내지 도 6c은 본 발명의 일 실시예에 따른 동영상을 정지한 후 화면의 속성을 변경하는 방법을 설명하기 위한 도면이다.6A to 6C are diagrams for describing a method of changing a property of a screen after stopping a video according to an embodiment of the present invention.
이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명할 수 있다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 할 수 있다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. First, in adding reference numerals to the elements of each drawing, it may be noted that the same elements are denoted by the same reference numerals as much as possible even though they are displayed on different drawings. In addition, in the following description of the present invention, if it is determined that the detailed description of the related well-known configuration or function is apparent to those skilled in the art or may obscure the gist of the present invention, the detailed description may be omitted.
본 발명과 관련된 이동단말기에 대하여 도면을 참조하여 더욱 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.A mobile terminal related to the present invention will be described in more detail with reference to the drawings. The suffixes "module" and "unit" for components used in the following description are given or used in consideration of ease of specification, and do not have distinct meanings or roles from each other.
**
본 명세서에서 설명되는 이동단말기에는 휴대폰, 스마트폰(smart-phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 내비게이션 등 이 포함될 수 있다.The mobile terminal described in the present specification may include a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigation device, and the like.
그러나, 본 명세서에 기재된 실시예에 따른 구성은 이동단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.However, it will be readily apparent to those skilled in the art that the configuration according to the embodiments described herein may also be applied to fixed terminals such as digital TVs, desktop computers, and the like, except where applicable only to mobile terminals.
도 1은 본 발명의 일 실시예에 따른 이동단말기를 설명하기 위한 블록도이다.1 is a block diagram illustrating a mobile terminal according to an embodiment of the present invention.
도 1을 참조하면, 이동단말기(100)는, 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 제어부(170), 인터페이스부(180), 전원 공급부(190) 및 미디어 편집 장치(200)를 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 이동단말기가 구현될 수도 있다.Referring to FIG. 1, the mobile terminal 100 may include a wireless communication unit 110, an A / V input unit 120, a user input unit 130, a sensing unit 140, an output unit 150, The memory 160, the controller 170, the interface 180, the power supply 190, and the media editing apparatus 200 may be included. The components shown in FIG. 1 are not essential, so that a mobile terminal having more or fewer components may be implemented.
무선 통신부(110)는, 이동단말기(100)와 무선 통신 시스템 사이 또는 이동단말기(100)와 이동단말기(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. The wireless communication unit 110 may include one or more modules that enable wireless communication between the mobile terminal 100 and the wireless communication system or between the mobile terminal 100 and a network in which the mobile terminal 100 is located.
A/V(Audio/Video) 입력부(120)는, 오디오 신호 또는 동영상 신호 입력을 위한 것으로, 카메라와 마이크 등이 포함될 수 있다. 카메라는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이에 표시될 수 있다.The A / V input unit 120 is for inputting an audio signal or a video signal, and may include a camera and a microphone. The camera processes image frames such as still images or moving images obtained by an image sensor in a video call mode or a photographing mode. The processed picture frame can be displayed on the display.
사용자 입력부(130)는, 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는, 키 패드(key pad) 돔 스위치 (dome switch), 터치패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.The user input unit 130 generates input data for the user to control the operation of the terminal. The user input unit 130 may include a key pad dome switch, a touch pad (static pressure / capacitance), a jog wheel, a jog switch, and the like.
센싱부(140)는, 이동단말기(100)의 개폐 상태, 이동단말기(100)의 위치, 사용자 접촉 유무, 이동단말기의 방위, 이동단말기의 가속/감속 등과 같이 이동단말기(100)의 현 상태를 감지하여 이동단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. The sensing unit 140 may determine the current state of the mobile terminal 100 such as the open / closed state of the mobile terminal 100, the position of the mobile terminal 100, the presence or absence of user contact, the orientation of the mobile terminal, the acceleration / deceleration of the mobile terminal, and the like. Sensing and generating a sensing signal for controlling the operation of the mobile terminal 100.
센싱부(140)는 전원 공급부(190)의 전원 공급 여부, 인터페이스부(180)의 외부 기기 결합 여부 등을 센싱할 수도 있다. The sensing unit 140 may sense whether the power supply unit 190 supplies power or whether the interface unit 180 is coupled to an external device.
출력부(150)는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이, 음향 출력, 알람, 햅틱 및 프로젝터 등이 포함될 수 있다.The output unit 150 is for generating output related to visual, auditory, or tactile, and may include a display, a sound output, an alarm, a haptic, a projector, and the like.
특히, 디스플레이는, 이동단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 이동단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 이동단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.In particular, the display displays (outputs) information processed by the mobile terminal 100. For example, when the mobile terminal is in a call mode, the mobile terminal displays a user interface (UI) or a graphic user interface (GUI) related to the call. When the mobile terminal 100 is in a video call mode or a photographing mode, the mobile terminal 100 displays a photographed and / or received image, a UI, or a GUI.
디스플레이는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.Displays include liquid crystal displays (LCDs), thin film transistor-liquid crystal displays (TFT LCDs), organic light-emitting diodes (OLEDs), flexible displays, It may include at least one of a 3D display.
메모리(160)는, 제어부(170)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리(160)는 터치입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.The memory 160 may store a program for the operation of the controller 170 and may temporarily store input / output data (eg, a phone book, a message, a still image, a video, etc.). The memory 160 may store data regarding vibration and sound of various patterns output during a touch input.
메모리(160)는, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 이동단말기(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 실행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.The memory 160 may include a flash memory type, a hard disk type, a media card micro type, a card type memory (for example, SD or XD memory), Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, It may include a storage medium of at least one type of magnetic disk, optical disk. The mobile terminal 100 may operate in association with a web storage that executes a storage function of the memory 160 on the Internet.
제어부(170)는, 통상적으로 이동단말기(100)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 실행한다. 제어부(170)는 터치에 대한 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.The controller 170 typically controls the overall operation of the mobile terminal 100. For example, perform related control and processing for voice calls, data communications, video calls, and the like. The controller 170 may perform pattern recognition processing for recognizing a writing input or a drawing input for a touch as a character and an image, respectively.
인터페이스부(180)는, 이동단말기(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(180)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 이동단말기(100) 내부의 각 구성 요소에 전달하거나, 이동단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. The interface unit 180 serves as a passage with all external devices connected to the mobile terminal 100. The interface unit 180 receives data from an external device, receives power, transfers the power to each component inside the mobile terminal 100, or transmits the data inside the mobile terminal 100 to an external device.
전원 공급부(190)는 제어부(170)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.The power supply unit 190 receives an external power source and an internal power source under the control of the controller 170 to supply power for operation of each component.
미디어 편집 장치(200)는 메모리(160)에 저장된 미디어를 편집한다. 미디어 편집 장치(200)는 터치입력에 따라 미디어를 편집한다.The media editing apparatus 200 edits the media stored in the memory 160. The media editing apparatus 200 edits the media according to the touch input.
*본 명세서에서 언급되는 이동단말기는 도 1에 도시된 구성요소들 중 적어도 하나를 포함할 수 있고, 특히, 네트워크를 통하여 외부 서버와 데이터를 송수신할 수 있는 무선 통신부(110)를 포함할 수 있다.The mobile terminal referred to herein may include at least one of the components shown in FIG. 1, and in particular, may include a wireless communication unit 110 capable of transmitting and receiving data with an external server through a network. .
도 2는 도 1의 미디어 편집 장치(200)를 상세하게 설명하기 위한 블록도이다.FIG. 2 is a block diagram illustrating the media editing apparatus 200 of FIG. 1 in detail.
도 2를 참조하면, 미디어 편집 장치(200)는 미디어 데이터를 실시간으로 시간의 흐름에 따라 편집할 수 있다. 미디어 편집 장치(200)는 미디어 데이터의 편집과 동시에 편집된 미디어 데이터를 실시간으로 메모리(160)에 저장할 수 있다. 상기 미디어 데이터는 이미지, 동영상, 플래시 파일 및 오디오 중 적어도 하나를 포함할 수 있다. 미디어 편집 장치(200)는 객체관리 모듈(210), 터치모듈(220), 미디어 제어 모듈(230), 미디어 디코딩 모듈(240), 렌더링 모듈(250) 및 미디어 인코딩 모듈(260)을 포함할 수 있다.Referring to FIG. 2, the media editing apparatus 200 may edit media data over time in real time. The media editing apparatus 200 may store the edited media data in the memory 160 at the same time as the media data is edited. The media data may include at least one of an image, a video, a flash file, and audio. The media editing apparatus 200 may include an object management module 210, a touch module 220, a media control module 230, a media decoding module 240, a rendering module 250, and a media encoding module 260. have.
객체관리 모듈(210)은 메모리(160)에 저장된 미디어 데이터 및 미디어 데이터에 적용될 효과 중 적어도 하나를 객체화하여 리소스로 생성할 수 있다. 상기 리소스는 미디어 데이터를 불러오거나, 미디어 데이터 편집에 사용될 효과들을 선택하고 이에 편집 관련 데이터를 추가하여 편집 및 관리를 가능하게 만든 것이다. 객체관리 모듈(210)은 복수의 미디어 데이터를 하나의 화면에 다중 레이어 형태로 관리할 수 있다. 객체관리 모듈(210)은 상기 다중 레이어 형태의 미디어 데이터를 객체화할 수 있고, 이를 통해 편집 및 관리가 가능한 복수의 리소스로 생성할 수 있다. 객체관리 모듈(210)은 복수의 리소스 중에서 특정 리소스를 지정할 수 있다. 상기 효과는 필터 효과, 애니메이션 효과 및 크기변환 효과 중 적어도 하나일 수 있다.The object management module 210 may object and generate at least one of media data stored in the memory 160 and effects to be applied to the media data as resources. The resource is for importing media data, selecting effects to be used for media data editing, and adding editing related data to the editing and management. The object management module 210 may manage a plurality of media data in the form of multiple layers on one screen. The object management module 210 may object the multi-layered media data, and may generate a plurality of resources that can be edited and managed through this. The object management module 210 may designate a specific resource among a plurality of resources. The effect may be at least one of a filter effect, animation effect, and scale effect.
객체관리 모듈(210)은 편집된 리소스 관리, 변환 가능한 리소스 자체에 대한 정보 및 편집에 사용될 추가 데이터를 하나로 묶는다. 또한 객체관리 모듈(210)은 편집된 리소스의 데이터를 실시간으로 메모리(160)에 저장할 수 있다. 특히, 객체관리 모듈(210)은 미디어 편집으로 인해 객체의 정보가 변경되면 그 변경된 정보를 적용하여 저장할 수 있다. 예를 들면, 객체관리 모듈(210)은 동영상 및 필터를 객체화하여 생성된 리소스로 관리할 수 있다.The object management module 210 combines the edited resource management, information on the convertible resource itself, and additional data to be used for editing. In addition, the object management module 210 may store the data of the edited resource in the memory 160 in real time. In particular, the object management module 210 may apply and store the changed information when the information of the object is changed due to media editing. For example, the object management module 210 may manage a video and a filter as a resource generated by objectization.
상기 동영상은 비디오 자체에 대한 정보로써, 파일 경로, 코덱, 화질, 및 재생시간 중 적어도 하나의 정보를 포함할 수 있다. 또한 상기 동영상은 편집에서 이용될 추가 데이터로 출력위치, 추출시간, 변환크기, 변환각도 및 투명도 중 적어도 하나의 정보를 포함할 수 있다. The video is information about the video itself and may include at least one of a file path, a codec, a picture quality, and a playback time. In addition, the video may include at least one of an output position, an extraction time, a conversion size, a conversion angle, and transparency as additional data to be used in editing.
객체관리 모듈(210)은 필터 자체에 대한 정보인 가우시안 블러 필터, 노이즈 필터 등을 객체화하여 필터에 대한 리소스로 생성할 수 있다. 또한 객체관리 모듈(210)은 추가 편집 데이터로 적용될 위치, 적용될 시간 등도 리소스로 생성할 수 있다. 객체관리 모듈(210)은 변환(transform)에 이용될 매트릭스(matrix) 및 상기 미디어 데이터의 리소스(resource) 편집에 이용될 속성들을 관리 가능한 리소스로 생성할 수 있다. 상기 매트릭스는 위치(position), 크기(scale) 및 회전(rotation) 중 적어도 하나의 정보가 포함될 수 있다. The object management module 210 may generate a Gaussian blur filter, a noise filter, and the like, which are information about the filter itself, as an object for the filter. In addition, the object management module 210 may generate a location to be applied as additional edit data and a time to be applied as a resource. The object management module 210 may generate a matrix to be used for transform and attributes to be used for resource editing of the media data as manageable resources. The matrix may include at least one information of position, scale, and rotation.
상기 속성들을 메타 데이터로 정의될 수 있다. 본 명세서에서 정의하는 메타 데이터는 원본 미디어 데이터를 변환 또는 편집하는데 이용되는 효과에 대한 속성의 데이터이다.The attributes may be defined as metadata. Meta data as defined herein is data of attributes for effects used to convert or edit original media data.
객체관리 모듈(210)은 터치모듈(220), 미디어 제어 모듈(230) 및 렌더링 모듈(250)에 데이터를 공유할 수 있다.The object management module 210 may share data to the touch module 220, the media control module 230, and the rendering module 250.
터치모듈(220)은 미디어 데이터의 편집에 사용되는 터치를 인식할 수 있다. 터치모듈(220)은 터치 동작을 감지하는 센서(이하 '터치센서')와 연결될 수 있다. 터치센서는, 예를 들어, 터치필름, 터치시트, 터치패드 등의 형태를 가질 수 있다.The touch module 220 may recognize a touch used for editing the media data. The touch module 220 may be connected to a sensor (hereinafter, a touch sensor) that detects a touch operation. The touch sensor may have, for example, a form of a touch film, a touch sheet, a touch pad, or the like.
터치센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성된다. 이로써, 터치모듈(220)은 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.The touch sensor may be configured to convert a change in pressure applied to a specific portion of the display unit 151 or capacitance generated at a specific portion of the display unit 151 into an electrical input signal. The touch sensor is configured to detect not only the touched position and area but also the pressure at the touch. As a result, the touch module 220 may determine which area of the display unit 151 is touched.
터치모듈(220)은 인식된 터치를 메모리(160)에 저장된 터치패턴과 비교하여 일치하는 터치패턴을 검색할 수 있다. 터치모듈(220)은 상기 검색으로 동일하게 터치패턴에 대응되는 제어할 수 있다. 즉, 터치모듈(220)은 사용자 입력에 대한 터치를 인식한 후 그에 대응하는 제어를 할 수 있다. 상기 터치패턴은 멀티터치(multitouch), 핀치 투 줌(pinch to zoom), 이동(drag), 클릭(click) 및 지그재그(zigzag) 중 적어도 하나의 패턴이 포함될 수 있다. 또한 상기 터치패턴은 규칙적일 수 도 있고, 불규칙적일 수도 있다.The touch module 220 may search the matched touch pattern by comparing the recognized touch with the touch pattern stored in the memory 160. The touch module 220 may control corresponding to the touch pattern by the search. That is, the touch module 220 may recognize a touch on a user input and then perform a control corresponding thereto. The touch pattern may include at least one of multitouch, pinch to zoom, drag, click, and zigzag. In addition, the touch pattern may be regular or irregular.
터치모듈(220)은 메모리(160)에 저장되지 않은 터치패턴에 대해서도 직관적으로 대응할 수 있다. 메모리(160)에 저장되지 않은 터치패턴이 입력되는 경우, 터치모듈(220)은 입력되는 터치입력에 따라 직접적으로 편집할 수 있다.The touch module 220 may intuitively respond to touch patterns not stored in the memory 160. When a touch pattern which is not stored in the memory 160 is input, the touch module 220 may directly edit the touch pattern 220 according to the input touch input.
터치모듈(220)은 메모리(160)에 저장된 터치패턴만을 인식하거나 저장되지 않은 터치패턴도 인식하는 것을 선택하여 제어할 수 있다.The touch module 220 may select and control only the recognition of the touch patterns stored in the memory 160 or the recognition of the touch patterns that are not stored.
또한 상기 터치패턴에 대한 명령(이하 '터치명령')은 각각의 리소스 편집에 관한 명령이다. 터치모듈(220)은 상기 터치명령에 해당하는 명령을 실행과 동시에 상기 리소스를 편집할 수 있다. 즉, 터치명령을 실행하는 화면은 상기 리소스가 편집되는 화면일 수 있다.In addition, the command for the touch pattern (hereinafter, a touch command) is a command for editing each resource. The touch module 220 may edit the resource at the same time as executing the command corresponding to the touch command. That is, the screen for executing the touch command may be a screen in which the resource is edited.
일 실시예로, 동영상이 재생되지 않는 경우에는, 터치모듈(220)은 각각의 리소스들의 한 화면에서의 속성 변경에 적용된다. 동영상이 재생 중인 경우에는, 터치모듈(220)은 시간의 흐름에 따라 직관적으로 리소스들을 변화시켜 편집할 수 있다. 또한 상기 동영상을 재생하는 속도는 임의로 조절할 수 있다.In one embodiment, when the video is not played, the touch module 220 is applied to the property change on one screen of each resource. When the video is being played, the touch module 220 may intuitively change and edit resources as time passes. Also, the speed at which the video is played can be arbitrarily adjusted.
특히, 터치모듈(220)은 동영상 리소스뿐만 아니라 효과 리소스들의 출력위치를 임의로 지정하고, 변환각도를 변환할 수 있다. 터치모듈(220)은 상기 수정된 사항을 적용하여 편집 또는 인코딩에 적용한다. 또한 동영상을 재생하면서 편집할 경우, 시간에 흐름에 따라 리소스의 변화를 편집할 수 있고, 그 예로 시간에 흐름에 따라 각도를 부드럽게 회전시키는 등의 편집도 할 수 있다.In particular, the touch module 220 may arbitrarily designate output positions of effect resources as well as video resources, and convert the conversion angle. The touch module 220 applies the modified matters to the editing or encoding. In addition, when editing while playing a video, it is possible to edit the change of resources over time, for example, to smoothly rotate the angle over time.
터치센서에 대한 터치입력이 있는 경우, 그에 대응하는 신호(들)는 터치 모듈(220)로 보내진다. 터치모듈(220)은 상기 신호(들)에 의해 리소스들이 편집된 데이터를 객체관리 모듈(210) 및 미디어 제어 모듈(230)로 전송한다.When there is a touch input to the touch sensor, the signal (s) corresponding thereto are sent to the touch module 220. The touch module 220 transmits data whose resources are edited by the signal (s) to the object management module 210 and the media control module 230.
미디어 제어 모듈(230)은 미디어 편집상황에서 각각의 리소스들이 아닌 편집되는 전체 프레임워크(framework)를 제어할 수 있다. 상기 프레임워크는 현재 편집하고 있는 전체 편집공간을 의미한다. 즉, 상기 프레임워크는 미디어 제어 모듈(230)에 의해 재생/멈춤, 재생 시간의 변경, 역재생, 결과 미디어의 총 시간 변경이 될 수 있다.The media control module 230 may control the entire framework to be edited instead of individual resources in the media editing situation. The framework refers to the entire editing space currently being edited. That is, the framework may be a play / pause, a change in play time, a reverse play, and a change in the total time of the resultant media by the media control module 230.
미디어 제어 모듈(230)은 미디어 디코딩 모듈(240) 및 렌더링 모듈(250)에 전체 프레임워크를 제어한 데이터를 전송할 수 있다.The media control module 230 may transmit data controlling the entire framework to the media decoding module 240 and the rendering module 250.
미디어 디코딩 모듈(240)은 이미지, 동영상,플래시 파일 및 오디오 중 적어도 하나의 미디어를 파일에서 추출하는 작업을 할 수 있다. 미디어 파일은 미디어에 대한 정보, 즉 메타 데이터(재생시간, 화질, FPS, 코덱) 및 메타 데이터가 지시하는 실제 미디어의 로우 데이터가 압축되어 포함된다. 특히, 미디어 파일에서 실제 미디어를 추출한다는 것은 메타데이터를 바탕으로 이진수로 압축되어 있는 데이터를 실제 가시적으로 변환시키는 것이고, 이는 공개되어 있는 복수의 라이브러리들에서 제공받을 수 있다.The media decoding module 240 may extract at least one media of an image, a video, a flash file, and audio from a file. The media file includes information about media, that is, metadata (play time, image quality, FPS, codec) and raw data indicated by the metadata are compressed and included. In particular, extracting the actual media from the media file actually converts the data compressed in binary based on the metadata, which can be provided by a plurality of published libraries.
미디어 디코딩 모듈(240)은 출력에 있어서 프레임 변경시 필요한 부분만을 추출할 수 있다. 따라서, 미디어 디코딩 모듈(240)은 메모리(160)의 가용 효율성 및 객체화 시간의 회전 지연(latency)을 줄일 수 있다.The media decoding module 240 may extract only a portion necessary for changing a frame in the output. Accordingly, the media decoding module 240 may reduce the rotational efficiency of the usability efficiency and the objectization time of the memory 160.
미디어 디코딩 모듈(240)은 편집의 실시간성을 제공하기 위해서 재생 fps(frames per second)를 최소 24로 유지할 수 있다. 특히 고화질의 미디어일 경우, 미디어 디코딩 모듈(240)은 작업량이 많아 재생 fps가 최소 24인 것을 보장하지 못할 수 있기 때문에 미디어 하드웨어 가속을 제공할 수 있다. 미디어 하드웨어 가속은 안드로이드(Android)에서 OpenMax를 통한 하드웨어 디코딩 기법이 대표적이다. 상기 미디어 하드웨어 가속은 임베디드(emdbeded)와 같은 스펙이 낮은 CPU(Central Processing Unit)를 가진 디바이스에서 효과적으로 미디어를 처리하기 위해 상기 CPU가 아닌 GPU(Graph Processing Unit), 하드웨어 디코딩 칩과 같은 하드웨어로 대신 미디어를 처리하여 전체적인 성능(performance)을 증가 및 배터리 효율성을 증대해주는 기술이다. Media decoding module 240 may maintain a playback frames per second (fps) of at least 24 to provide real-time editing. In particular, in the case of high quality media, the media decoding module 240 may provide media hardware acceleration because a large amount of work may not guarantee that the playback fps is at least 24. Media hardware acceleration is typical of hardware decoding through OpenMax in Android. The media hardware acceleration is used instead of the CPU (Graph Processing Unit), hardware such as hardware decoding chip to process media effectively in devices with low specification Central Processing Units (CPUs) such as embedded. It is a technology that increases the overall performance and increases the battery efficiency by processing.
보다 상세하게 말하면, CPU는 미디어 편집 장치(200)의 모든 처리를 담당한다. 따라서, CPU의 자원을 과용하면 다른 작업이 느려지게 된다. 예를 들면, 비디오 디코딩과 같은 고비용 작업에 CPU의 처리능력을 전체 소비하면, UI에 대한 처리능력이 떨어져 사용자 경험이 떨어질 수 있다. 또한 CPU는 범용적인 처리를 하기 때문에 비디오 디코딩에만 특화된 칩에 비해 비효율적인 처리 방법을 사용할 수 있다. More specifically, the CPU is in charge of all processing of the media editing apparatus 200. Therefore, overusing CPU resources slows down other tasks. For example, if the CPU consumes the entire processing power for expensive tasks such as video decoding, the processing power for the UI may be degraded and the user experience may be degraded. In addition, since the CPU performs general processing, it can use an inefficient processing method compared to a chip specialized for video decoding only.
따라서, 비디오 디코딩 및 그래픽 처리에 특화된 별도의 칩들이 제공된다. 상기 칩들에게 CPU의 작업량을 넘김으로써, CPU의 부담이 줄어들고, 특화된 하드웨어칩을 이용하여 보다 효율적인 처리가 가능해질 수 있다.Thus, separate chips specialized for video decoding and graphics processing are provided. By passing the workload of the CPU to the chips, the burden on the CPU can be reduced, and more efficient processing can be enabled by using a specialized hardware chip.
즉, CPU는 처리 요청만을 하고 다른 작업으로 넘어가며, 비디오 디코딩에 특화된 칩에서 처리한다. 상기 처리된 결과는 CPU에 반환되며 CPU는 상기 결과를 기초로 다음 작업을 진행한다. In other words, the CPU only makes processing requests and moves on to other tasks, and processes them on chips that are specialized for video decoding. The processed result is returned to the CPU and the CPU proceeds to the next task based on the result.
렌더링 모듈(250)은 미디어 제어 모듈(230)에서 명령한 어느 한 시점에 존재해야 할 리소스들을 객체관리 모듈(210)에서 제공받은 속성에 맞게 변환 처리하여 출력할 수 있다. The rendering module 250 may convert and output resources to be present at any point in time commanded by the media control module 230 according to the attributes provided by the object management module 210.
렌더링 모듈(250)은 리소스들을 실시간으로 변환 및 출력하여 사용자가 미디어 편집을 하며 편집된 결과를 볼 수 있다. 렌더링 모듈(250)은 편집되는 리소스들을 실시간으로 제공함으로써 발생 가능한 성능저하 문제를 해결하기 위해 GPU 하드웨어의 가속 기능을 이용할 수 있다. 렌더링 모듈(250)은 편집되는 리소스들을 실시간으로 메모리(160)에 저장할 수 있다. The rendering module 250 converts and outputs the resources in real time so that the user can edit the media and view the edited result. The rendering module 250 may use the acceleration function of the GPU hardware to solve the performance degradation problem that may occur by providing the resources to be edited in real time. The rendering module 250 may store the edited resources in the memory 160 in real time.
렌더링 모듈(250)은 객체관리 모듈(210)에서 리소스들, 변경된 속성들 및 미디어 디코딩 모듈(240)에서 결과영상에 대한 속성들을 취합하여 하나의 렌더링 데이터를 생성할 수 있다. 렌터링 모듈(250)은 상기 렌더링 데이터를 미디어 인코딩 모델(260)에 제공할 수 있다.The rendering module 250 may generate one rendering data by collecting resources, changed attributes, and attributes of the resultant image in the media decoding module 240 in the object management module 210. The rendering module 250 may provide the rendering data to the media encoding model 260.
미디어 인코딩 모듈(260)은 렌더링 모듈(250)에서 제공된 렌더링 데이터를 실제 동영상으로 생성하여 출력할 수 있다. 미디어 인코딩 모듈(260)은 객체관리 모듈(210), 터치모듈(220), 미디어 제어 모듈(230), 미디어 디코딩 모듈(240) 및 렌더링 모듈(250)에서 디코딩된 데이터를 인코딩할 수 있다. The media encoding module 260 may generate and output rendering data provided by the rendering module 250 as an actual video. The media encoding module 260 may encode data decoded by the object management module 210, the touch module 220, the media control module 230, the media decoding module 240, and the rendering module 250.
도 3은 본 발명의 일 실시예에 따른 터치입력을 이용한 실시간 동영상 편집 방법을 설명하기 위한 순서도이다.3 is a flowchart illustrating a real-time video editing method using a touch input according to an embodiment of the present invention.
도 3을 참조하면, 미디어 편집 장치(200)는 미디어를 실시간으로 시간의 흐름에 따라 편집할 수 있다. 미디어 편집 장치(200)는 미디어 편집과 동시에 편집된 미디어의 데이터를 실시간으로 메모리(160)에 저장할 수 있다.Referring to FIG. 3, the media editing apparatus 200 may edit media in real time over time. The media editing apparatus 200 may store the data of the edited media in the memory 160 at the same time as the media editing.
이러한 작업은, 예를 들어, 전술한 미디어 편집 장치(200)가 탑재된 이동 단말기를 통해 구현될 수 있다. This operation may be implemented through, for example, a mobile terminal equipped with the above-described media editing apparatus 200.
먼저 미디어 데이터를 불러온다(S100). 객체관리 모듈(210)은 메모리(160)에 저장된 미디어 데이터를 불러올 수 있다. 상기 미디어 데이터는 앱에서 관리하는 것이 아닌 미디어 자체를 표현한다. 즉, 상기 미디어 데이터는 영상(정지영상, 동영상 포함), 플래시 파일, 오디오, 텍스트, 이미지 등을 포함할 수 있다.First, the media data is loaded (S100). The object management module 210 may load media data stored in the memory 160. The media data represents the media itself, not managed by the app. That is, the media data may include an image (including a still image, a video), a flash file, audio, text, an image, and the like.
다음으로, 상기 미디어 데이터를 객체화한다(S110). 객체관리 모듈(210)은 메모리(160)에 저장된 미디어 데이터 및 미디어 데이터에 적용될 효과 중 적어도 하나를 객체화하여 관리 가능한 리소스를 생성할 수 있다. 즉, 리소스는 미디어 데이터를 불러오거나 미디어 데이터 편집에 사용될 효과들을 선택하고, 이에 편집관련 데이터를 추가하여 편집, 관리 가능하게 한 것이다. 상기 효과는 필터 효과, 애니메이션 효과 및 크기변환 효과 중 적어도 하나일 수 있다.Next, the media data is objectified (S110). The object management module 210 may generate a manageable resource by objecting at least one of media data stored in the memory 160 and effects to be applied to the media data. In other words, the resource selects effects to be used for importing media data or editing media data, and adds edit-related data to the media data to enable editing and management. The effect may be at least one of a filter effect, animation effect, and scale effect.
다음으로, 터치제어를 수행한다(S120). 터치모듈(220)은 사용자가 입력한 터치입력을 인식하고, 이 터치에 대응하는 터치명령을 수행하도록 할 수 있다. 예를 들면, 터치입력이 확대를 위한 핀 투 줌인 경우 화면이 확대될 수 있다. 터치모듈(220)은 터치명령을 실행함과 동시에 상기 리소스를 편집할 수 있다. 즉, 터치명령이 실행되는 화면은 상기 리소스가 편집되는 화면일 수 있다. 터치명령 실행과 편집이 동시에 구동되고, 상기 편집된 화면이 동시에 디스플레이될 수 있다.Next, touch control is performed (S120). The touch module 220 may recognize a touch input input by a user and perform a touch command corresponding to the touch. For example, when the touch input is pin-to-zoom for enlargement, the screen may be enlarged. The touch module 220 may execute the touch command and edit the resource at the same time. That is, the screen on which the touch command is executed may be a screen on which the resource is edited. The execution of the touch command and the editing are simultaneously driven, and the edited screen can be displayed at the same time.
일 실시예로, 제1 시간 구간에 재생하는 동안 핀치 투 줌을 통해 어느 이미지를 확대 편집하는 경우, 터치모듈(220)은 상기 이미지를 해당시간 동안의 크기변환 애니메이션을 적용할 수 있다. In an embodiment, when an image is enlarged and edited through pinch-to-zoom during playback in the first time interval, the touch module 220 may apply a resizing animation for the corresponding time.
제2 시간 구간에 재생하는 동안 어느 동영상을 터치하여 드래그할 경우, 터치모듈(220)은 상기 동영상을 해당시간 동안의 크기변환 애니메이션을 적용할 수 있다. 또한 터치모듈(220)은 상기 두 예를 멀티터치로 동시에 적용할 수 있다. When a video is touched and dragged while playing in the second time interval, the touch module 220 may apply a size conversion animation to the video for the corresponding time. In addition, the touch module 220 may simultaneously apply the two examples to multi-touch.
제3 시간 구간에 재생하는 동안 어느 텍스트를 터치로 선택하여 색을 변경시킬 경우, 터치모듈(220)은 상기 텍스트를 색 변환 애니메이션을 적용할 수 있다.When the text is changed by selecting a text by touch while playing the third time interval, the touch module 220 may apply a color conversion animation to the text.
다음으로, 미디어 제어 모듈(230)는 미디어 제어를 한다(S130). 미디어 제어 모듈(230)는 미디어 편집상황에서 각각의 리소스들이 아닌 편집되는 전체 프레임워크를 제어할 수 있다. 즉, 미디어 제어 모듈(230)는 재생/멈춤, 재생 시간의 변경, 역재생, 결과 미디어의 총 시간 변경을 할 수 있다. Next, the media control module 230 performs media control (S130). The media control module 230 may control the entire framework to be edited instead of individual resources in a media editing situation. That is, the media control module 230 may play / pause, change the play time, reverse play, and change the total time of the resultant media.
다음으로, 미디어 디코딩 모듈(240)은 미디어 디코딩을 한다(S140). 미디어 디코딩 모듈(240)은 동영상 또는 오디오와 같은 미디어를 파일에서 추출하는 작업을 할 수 있다. 미디어 디코딩 모듈(240)은 출력에 있어서 프레임 변경 시 필요한 부분만을 추출할 수 있다. 따라서, 미디어 디코딩 모듈(240)은 메모리(160)의 가용 효율성 및 객체화 시간의 회전 지연을 줄일 수 있다.Next, the media decoding module 240 performs media decoding (S140). The media decoding module 240 may work to extract media such as video or audio from a file. The media decoding module 240 may extract only a portion necessary for changing a frame in the output. Accordingly, the media decoding module 240 can reduce the rotational delay of the usability efficiency and the objectization time of the memory 160.
미디어 디코딩 모듈(240)은 파일에서 각 프레임들을 모두 디코딩하여 실제 이용 가능한 프레임들을 메모리에 올려두고 필요할 경우 이에 접근하는 방법을 이용할 수 있다. 미디어 디코딩 모듈(240)은 상기 방법을 이용하면, 편집할 경우 접근속도가 매우 빨라질 수 있다. The media decoding module 240 may decode all the frames in the file, put the frames that are actually available in the memory, and access them when necessary. When the media decoding module 240 uses the above method, the access speed may be very high when editing.
또한 미디어 편집 장치(200)는 파일에서 각 프레임들을 모두 디코딩하여 실제 이용 가능한 프레임들을 메모리에 올려두는 과정을 생략하고, 필요한 부분만을 실시간으로 추출함으로써 그 시점에 필요한 만큼의 메모리를 사용하고, 초기 로딩시간을 제거하는 방법을 이용할 수 있다. 다음으로, 렌더링 모듈(250)은 렌더링을 한다(S150). 렌더링 모듈(250)은 명령한 어느 한 시점에 존재해야 할 리소스들을 속성에 맞게 변환 처리하여 출력할 수 있다. 렌더링 모듈(250)은 터치모듈(220)에서 메모리(160)에 저장한 편집 데이터를 불러올 수 있다. 상기 편집 데이터는 미디어 데이터의 리소스, 터치명령에 관련된 리소스 및 디코딩된 미디어 데이터 중 적어도 하나를 포함할 수 있다. 또한 렌더링 모듈(250)은 상기 편집 데이터 중 적어도 두 개 이상 취합하여 렌더링을 할 수 있다. 렌더링 모듈(250)은 편집되는 리소스들을 실시간으로 제공함으로써 발생 가능한 성능저하 문제를 해결하기 위해 GPU 하드웨어의 가속 기능을 이용할 수 있다. 마지막으로, 미디어 인코딩 모듈(260)은 미디어 인코딩을 한다(S160). 미디어 인코딩 모듈(260)은 렌더링 데이터를 실제 동영상으로 생성하여 출력할 수 있다. 미디어 인코딩 모듈(260)은 편집된 미디어 데이터를 인코딩을 하여 범용 디바이스에서도 출력할 수 있게 한다.In addition, the media editing apparatus 200 skips the process of decoding each frame in the file and puts the frames that are actually available in the memory, extracts only the necessary parts in real time, and uses as much memory as necessary at that time, and initially loads the media. A method of eliminating time can be used. Next, the rendering module 250 renders (S150). The rendering module 250 may convert and output resources to be present at any point in time according to the attribute. The rendering module 250 may load the edit data stored in the memory 160 by the touch module 220. The edited data may include at least one of a resource of media data, a resource related to a touch command, and decoded media data. In addition, the rendering module 250 may collect at least two or more of the edited data to render. The rendering module 250 may use the acceleration function of the GPU hardware to solve the performance degradation problem that may occur by providing the resources to be edited in real time. Finally, the media encoding module 260 performs media encoding (S160). The media encoding module 260 may generate and output rendering data as an actual video. The media encoding module 260 encodes the edited media data so that it can be output in a general purpose device.
상기 터치입력을 이용한 실시간 동영상 편집 방법의 순서는 상기 개시된 순서에 맞게 순차적이지 않을 수 있고, 유동적으로 변동될 수 있다.The order of the real-time video editing method using the touch input may not be sequential in accordance with the disclosed order, and may be changed flexibly.
도 4a 내지 도 4d는 본 발명의 일 실시예에 따른 동영상을 재생하면서 애니메이션 편집 방법을 설명하기 위한 도면이다.4A to 4D are diagrams for describing an animation editing method while playing a video, according to an exemplary embodiment.
도 4a 내지 도 4d를 참조하면, 미디어 편집 장치(200)는 동영상을 재생하면서 애니메이션을 삽입할 수 있다. 미디어 편집 장치(200)는 터치입력을 수신받고, 수신받은 터치입력에 해당하는 터치명령을 실행하여 동영상을 편집할 수 있다.4A to 4D, the media editing apparatus 200 may insert an animation while playing a video. The media editing apparatus 200 may receive a touch input and edit a video by executing a touch command corresponding to the received touch input.
미디어 편집 장치(200)는 터치입력에 의해 메뉴(410)가 선택될 수 있다. 상기 터치입력은 클릭일 수 있다. 미디어 편집 장치(200)는 터치입력이 감지되면 메모리(160)에 저장된 터치패턴과 일치하는 패턴이 있는지 검색할 수 있다. 만약 미디어 편집 장치(200)이 터치입력과 터치패턴이 일치하는 패턴이 있다면, 미디어 편집 장치(200)는 해당하는 패턴이 지시하는 명령을 실행할 수 있다.The media editing apparatus 200 may select a menu 410 by a touch input. The touch input may be a click. When the touch input is detected, the media editing apparatus 200 may search for a pattern that matches the touch pattern stored in the memory 160. If the media editing apparatus 200 has a pattern in which the touch input coincides with the touch pattern, the media editing apparatus 200 may execute a command indicated by the corresponding pattern.
미디어 편집 장치(200)는 메뉴(410)가 선택되면, 교통수단 팝업창(pop-up)(430)을 제공할 수 있다. 상기 교통수단 팝업창(430)은 비행기, 자동차, 선박 중 적어도 하나의 메뉴를 포함할 수 있다. 미디어 편집 장치(200)는 터치입력에 의해 자동차가 선택될 수 있다. When the menu 410 is selected, the media editing apparatus 200 may provide a transportation pop-up 430. The transportation popup window 430 may include at least one menu of an airplane, a car, and a ship. The media editing apparatus 200 may select a vehicle by a touch input.
터치입력에 의해 자동차가 선택되면, 미디어 편집 장치(200)는 자동차(440)에 해당하는 애니메이션이 생성되고, 터치를 릴리즈한 후, 다시 터치 입력이 수신된 지점에 자동차(440)를 삽입할 수 있다. 미디어 편집 장치(200)는 동영상이 재생되는 도중에 자동차(440)가 이동하는 애니메이션을 실시간으로 편집할 수 있다. 미디어 편집 장치(200)는 시간의 흐름에 따라 편집이 가능하다. 또한 미디어 편집 장치(200)은 시간의 흐름을 보여주는 재생시점막대(420)를 제공할 수 있다. 재생시점막대(420)는 현재 동영상이 재생되는 시점인 M2(422)를 기준으로 이미 재생된 시점인 M1(421), 아직 재생되지 않은 시점인 M3(423)로 구분될 수 있다.When the car is selected by the touch input, the media editing apparatus 200 may generate an animation corresponding to the car 440, release the touch, and insert the car 440 at the point where the touch input is received. have. The media editing apparatus 200 may edit an animation of moving the car 440 in real time while a video is being played. The media editing apparatus 200 can edit over time. In addition, the media editing apparatus 200 may provide a playback time bar 420 showing the passage of time. The playback time bar 420 may be divided into M1 421, which is a point in time already played based on M2 422, which is a point in time at which the current video is played, and M3 423, which is a point in time not yet played.
자동차(440)는 터치입력이 수신된 지점에 애니메이션으로 생성될 수 있다. 자동차(440)가 생성된 재생 시점은 M2(423)일 수 있다. 여기서, 자동차(440)은 이동되는 애니메이션 효과를 추가할 수 있다. 자동차(440)를 클릭한 후 터치입력을 드래그를 하면, 자동차(440)는 이동하는 효과를 얻을 수 있다. 시간의 흐름에 따라 자동차(440)가 이동하기 때문에 자동차가 최종 목적에 도착되는 동영상의 재생 시점은 M3(434)가 될 수 있다.The car 440 may be generated as an animation at a point where a touch input is received. The reproduction time point at which the vehicle 440 is generated may be M2 423. Here, the vehicle 440 may add a moving animation effect. After clicking the car 440 and dragging the touch input, the car 440 may obtain an effect of moving. Since the car 440 moves as time passes, the playback time point of the video in which the car arrives at the final purpose may be M3 434.
즉, 상기 편집방법으로 인해 사용자는 직관적인 터치 인터페이스를 제공받고, 영상을 실시간으로 시간의 흐름에 따라 편집할 수 있다. That is, the editing method allows the user to be provided with an intuitive touch interface and to edit the image according to the passage of time in real time.
도 5a 내지 도 5b는 본 발명의 일 실시예에 따른 동영상을 재생하면서 화면을 확대하는 방법을 설명하기 위한 도면이다.5A through 5B are diagrams for describing a method of enlarging a screen while playing a video, according to an exemplary embodiment.
도 5a 내지 도 5b를 참조하면, 미디어 편집 장치(200)는 동영상이 재생하면서 화면을 확대 또는 축소를 할 수 있다. 미디어 편집 장치(200)는 터치입력을 수신받고, 수신받은 터치입력에 해당하는 터치명령을 실행하여 동영상을 편집할 수 있다.5A through 5B, the media editing apparatus 200 may enlarge or reduce the screen while the video is played. The media editing apparatus 200 may receive a touch input and edit a video by executing a touch command corresponding to the received touch input.
미디어 편집 장치(200)는 터치입력에 의해 동영상을 확대 또는 축소할 수 있다. 상기 터치입력은 핀치 투 줌일 수 있다. 미디어 편집 장치(200)는 터치입력을 수신받고 터치입력에 해당하는 터치명령을 실행할 수 있다. 상기 동영상 편집은 동영상이 재생되는 동안에 되기 때문에 터치입력이 되는 시점과 동영상이 편집되는 시점이 다를 수 있다. 상기 터치입력되는 시점은 M2(522)일 수 있고, 상기 동영상이 편집되는 시점은 M3(523)일 수 있다. The media editing apparatus 200 may enlarge or reduce the video by a touch input. The touch input may be pinch to zoom. The media editing apparatus 200 may receive a touch input and execute a touch command corresponding to the touch input. Since the video is edited while the video is being played, the time at which the touch input is input and the time at which the video is edited may be different. The time point at which the touch is input may be M2 522, and the time point at which the video is edited may be M3 523.
도 6a 내지 도 6c은 본 발명의 일 실시예에 따른 동영상을 정지한 후 화면의 속성을 변경하는 방법을 설명하기 위한 도면이다.6A to 6C are diagrams for describing a method of changing a property of a screen after stopping a video according to an embodiment of the present invention.
도 6a 내지 도 6c를 참조하면, 미디어 편집 장치(200)는 동영상이 정지화면이면 한 화면에서의 각각의 리소스들에 대한 속성을 변경할 수 있다. 미디어 편집 장치(200)는 정지화면에서 화면의 속성도 변경할 수 있다.6A to 6C, when the moving picture is a still picture, the media editing apparatus 200 may change a property of each resource on one screen. The media editing apparatus 200 may also change the property of the screen in the still picture.
메뉴(610)에 터치입력이 감지되면, 미디어 편집 장치(200)는 속성 팝업창(630)을 생성할 수 있다. 상기 속성 팝업창(630)는 명도, 채도, 대비 중 적어도 하나를 포함할 수 있다. 속성 팝업창(630)의 명도에 터치입력이 감지되면, 미디어 편집 장치(200)는 명도를 조절할 수 있는 명도조절막대(640)가 제공된다. 미디어 편집 장치(200)는 명도조절막대(640)를 이용하여 화면의 명도를 조절할 수 있다. 또한 미디어 편집 장치(200)는 정지화면뿐만 아니라 동영상이 재생하는 중에도 명암, 회전, 필터, 전환효과와 같은 영상을 시간에 따라 편집할 수 있다.When a touch input is detected in the menu 610, the media editing apparatus 200 may generate a property popup window 630. The property popup window 630 may include at least one of brightness, saturation, and contrast. When a touch input is detected on the brightness of the property popup window 630, the media editing apparatus 200 is provided with a brightness adjustment bar 640 that can adjust the brightness. The media editing apparatus 200 may adjust the brightness of the screen using the brightness adjustment bar 640. In addition, the media editing apparatus 200 may edit images such as contrast, rotation, filters, and switching effects over time, even during the playback of moving images as well as still images.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 하드디스크, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer device is stored. Examples of computer-readable recording media include hard disks, ROMs, RAM, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like in the form of carrier waves (for example, transmission over the Internet). It includes what is implemented. The computer readable recording medium can also be distributed over network coupled computer devices so that the computer readable code is stored and executed in a distributed fashion.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.Although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific preferred embodiments described above, and the present invention belongs to the present invention without departing from the gist of the present invention as claimed in the claims. Various modifications can be made by those skilled in the art, and such changes are within the scope of the claims.
[부호의 설명][Description of the code]
100: 이동단말기110: 무선 통신부100: mobile terminal 110: wireless communication unit
120: A/V 입력부130: 사용자 입력부120: A / V input unit 130: user input unit
140: 센싱부150: 출력부140: sensing unit 150: output unit
160: 메모리170: 인터페이스부160: memory 170: interface unit
180: 제어부190: 전원 공급부180: control unit 190: power supply unit
200: 미디어 편집 장치210: 객체관리 모듈200: media editing device 210: object management module
220: 터치모듈230: 미디어 제어 모듈220: touch module 230: media control module
240: 미디어 디코딩 모듈250: 렌더링 모듈240: media decoding module 250: rendering module
260: 미디어 인코딩 모듈260: media encoding module
410, 510, 610: 메뉴420, 520, 620: 재생시점막대410, 510, 610: Menu 420, 520, 620: Playback time bar
421, 521: M1422, 522: M2421, 521: M1422, 522: M2
423, 523: M3430, 630: 입력요구화면423, 523: M3430, 630: Input request screen
621: 현재 시점640: 명도조절막대621: Current time 640: Brightness control bar

Claims (14)

  1. 미디어 데이터를 객체화하여 관리 가능한 리소스(resource)로 생성하는 단계;Objectizing the media data to generate a manageable resource;
    터치입력을 수신받고, 상기 생성된 리소스에 상기 터치입력에 대응하는 편집 명령인 터치명령을 실행하여 상기 리소스를 편집하는 단계;Receiving a touch input and executing a touch command which is an editing command corresponding to the touch input to the generated resource to edit the resource;
    상기 리소스 및 상기 터치명령이 관련된 리소스를 제외한 상기 미디어 데이터의 전체 프레임워크(framework)를 제어하는 단계;Controlling an entire framework of the media data except for resources related to the resource and the touch command;
    상기 생성된 리소스 중 디코딩이 필요한 미디어 데이터를 디코딩하는 단계;Decoding the media data requiring decoding among the generated resources;
    상기 리소스, 상기 터치명령이 관련된 리소스 및 상기 디코딩된 미디어 데이터 중 적어도 두 개 이상을 취합하여 렌더링하는 단계; 및Collecting and rendering at least two of the resource, the resource with which the touch command is related, and the decoded media data; And
    상기 렌더링된 미디어 데이터를 인코딩하는 단계;를 포함하는 터치입력을 이용한 미디어 편집 방법.Encoding the rendered media data; Media editing method comprising a touch input.
  2. 제 1항에 있어서,The method of claim 1,
    상기 미디어 데이터에 적용될 효과를 객체화하여 관리 가능한 리소스로 생성하는 단계;를 더 포함하는 터치입력을 이용한 미디어 편집 방법.And objectifying the effect to be applied to the media data and creating the resource as a manageable resource.
  3. 제 1항에 있어서,The method of claim 1,
    상기 편집하는 단계는,The editing step,
    위치, 크기 및 회전 중 적어도 하나를 표현하는데 이용되는 변환(transform) 데이터, 상기 미디어 데이터의 리소스 편집에 이용되는 속성 및 상기 미디어 자체에 대한 정보를 관리 가능하도록 하는 것을 특징으로 하는 터치입력을 이용한 미디어 편집 방법.Media using a touch input to manage the transform data used to represent at least one of position, size, and rotation, the attributes used to edit the resource of the media data, and the information about the media itself. How to edit.
  4. 제 1항에 있어서,The method of claim 1,
    상기 편집하는 단계는,The editing step,
    상기 터치입력을 터치필름, 터치시트, 터치패드 중 어느 하나의 형태인 터치센서로부터 특정부위에 가해지는 압력 또는 정전용량의 변화를 전기적인 신호로 변환하여 감지하는 것을 특징으로 하는 터치입력을 이용한 미디어 편집 방법.The touch input is a media using a touch input, characterized in that by detecting the change in pressure or capacitance applied to a specific portion from the touch sensor of any one of the form of touch film, touch sheet, touch pad into an electrical signal How to edit.
  5. 제 1항에 있어서,The method of claim 1,
    상기 편집하는 단계는,The editing step,
    상기 터치입력의 패턴과 메모리에 저장된 상기 터치명령의 패턴이 일치하면 상기 터치명령에 해당하는 명령 실행 및 상기 명령에 대한 편집이 동시에 동작하는 것을 특징을 하는 터치입력을 이용한 미디어 편집 방법.And executing a command corresponding to the touch command and editing the command simultaneously when the pattern of the touch input matches the pattern of the touch command stored in a memory.
  6. 제 1항에 있어서,The method of claim 1,
    상기 편집하는 단계는,The editing step,
    상기 미디어 데이터가 재생 중인 경우, 상기 리소스의 편집과 렌더링을 동시에 하며, 상기 편집된 리소스의 결과를 실시간으로 제공하는 것을 특징으로 하는 터치입력을 이용한 미디어 편집 방법.When the media data is playing, simultaneously editing and rendering the resource, and providing a result of the edited resource in real time.
  7. 제 1항에 있어서,The method of claim 1,
    상기 편집하는 단계는,The editing step,
    상기 편집된 리소스의 데이터를 실시간으로 메모리에 저장 및 디스플레이하는 것을 특징으로 하는 터치입력을 이용한 미디어 편집 방법.And editing and storing the data of the edited resource in a memory in real time.
  8. 미디어 데이터를 객체화하여 관리 가능한 리소스(resource)로 생성하는 객체관리 모듈;An object management module that objectizes the media data to generate a manageable resource;
    터치입력을 수신받고 상기 생성된 리소스에 상기 터치입력에 대응하는 편집 명령인 터치명령을 실행하여 상기 리소스를 편집하는 터치모듈;A touch module which receives a touch input and executes a touch command which is an editing command corresponding to the touch input to the generated resource to edit the resource;
    상기 리소스 및 상기 터치명령이 관련된 리소스를 제외한 상기 미디어 데이터의 전체 프레임워크(framework)를 제어하는 미디어 제어 모듈;A media control module for controlling an entire framework of the media data except for resources related to the resource and the touch command;
    상기 생성된 리소스 중 디코딩이 필요한 미디어 데이터를 디코딩하는 미디어 디코딩 모듈;A media decoding module for decoding media data that requires decoding among the generated resources;
    상기 리소스, 상기 터치명령이 관련된 리소스 및 상기 디코딩된 미디어 데이터 중 적어도 두 개 이상 취합하여 렌더링하는 랜더링 모듈; 및A rendering module for collecting and rendering at least two of the resource, a resource related to the touch command, and the decoded media data; And
    상기 렌더링된 미디어 데이터를 인코딩하는 미디어 인코딩 모듈;을 포함하는 터치입력을 이용한 미디어 편집 장치.And a media encoding module for encoding the rendered media data.
  9. 제 8항에 있어서,The method of claim 8,
    상기 객체관리 모듈은,The object management module,
    상기 미디어 데이터에 적용될 효과를 객체화하여 관리 가능한 리소스로 생성하는 것을 특징으로 하는 터치입력을 이용한 미디어 편집 장치.And an effect to be applied to the media data to create a manageable resource.
  10. 제 8항에 있어서,The method of claim 8,
    상기 객체관리 모듈은,The object management module,
    위치, 크기 및 회전 중 적어도 하나를 표현하는데 이용되는 변환(transform) 데이터, 상기 미디어 데이터의 리소스 편집에 이용되는 속성 및 상기 미디어 자체에 대한 정보를 관리 가능하도록 하는 것을 특징으로 하는 터치입력을 이용한 미디어 편집 장치.Media using a touch input to manage the transform data used to represent at least one of position, size, and rotation, the attributes used to edit the resource of the media data, and the information about the media itself. Editing device.
  11. 제 8항에 있어서,The method of claim 8,
    상기 터치모듈은,The touch module,
    상기 터치입력을 터치필름, 터치시트, 터치패드 중 어느 하나의 형태인 터치센서로부터 특정부위에 가해지는 압력 또는 정전용량의 변화를 전기적인 신호로 변환하여 감지하는 것을 특징으로 하는 터치입력을 이용한 미디어 편집 장치.The touch input is a media using a touch input, characterized in that by detecting the change in pressure or capacitance applied to a specific portion from the touch sensor of any one of the form of touch film, touch sheet, touch pad into an electrical signal Editing device.
  12. 제 8항에 있어서,The method of claim 8,
    상기 터치모듈은,The touch module,
    상기 터치입력의 패턴과 메모리에 저장된 상기 터치명령의 패턴이 일치하면 상기 터치명령에 해당하는 명령 실행 및 상기 명령에 대한 편집이 동시에 동작하는 것을 특징을 하는 터치입력을 이용한 미디어 편집 장치.And executing a command corresponding to the touch command and editing the command simultaneously when the pattern of the touch input matches the pattern of the touch command stored in a memory.
  13. 제 8항에 있어서,The method of claim 8,
    상기 터치모듈은,The touch module,
    상기 미디어 데이터가 재생 중인 경우, 상기 리소스의 편집과 렌더링을 동시에 하며, 상기 편집된 리소스의 결과를 실시간으로 제공하는 것을 특징으로 하는 터치입력을 이용한 미디어 편집 장치.And when the media data is being played back, simultaneously editing and rendering the resource and providing a result of the edited resource in real time.
  14. 제 8항에 있어서,The method of claim 8,
    상기 터치모듈은,The touch module,
    상기 편집된 리소스의 데이터를 실시간으로 메모리에 저장 및 디스플레이하는 것을 특징으로 하는 터치입력을 이용한 미디어 편집 장치.And editing and storing the data of the edited resource in a memory in real time.
PCT/KR2014/000313 2014-01-09 2014-01-10 Method and apparatus for editing media using touch input WO2015105215A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140002834A KR20150083475A (en) 2014-01-09 2014-01-09 Media editing method and device using the touch input
KR10-2014-0002834 2014-01-09

Publications (1)

Publication Number Publication Date
WO2015105215A1 true WO2015105215A1 (en) 2015-07-16

Family

ID=53524034

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/000313 WO2015105215A1 (en) 2014-01-09 2014-01-10 Method and apparatus for editing media using touch input

Country Status (2)

Country Link
KR (1) KR20150083475A (en)
WO (1) WO2015105215A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017014394A1 (en) * 2015-07-23 2017-01-26 Lg Electronics Inc. Mobile terminal and control method for the same
KR20170011934A (en) * 2015-07-23 2017-02-02 엘지전자 주식회사 Mobile terminal and control method for the mobile terminal

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4181473B2 (en) * 2003-10-15 2008-11-12 日本放送協会 Video object trajectory synthesis apparatus, method and program thereof
KR20090111945A (en) * 2008-04-23 2009-10-28 주식회사 케이티테크 Method of composing image and motion picture and device using the same
KR20100079305A (en) * 2008-12-31 2010-07-08 엘지전자 주식회사 Mobile terminal and method for displaying image thereof
US20110193993A1 (en) * 2010-02-09 2011-08-11 Pantech Co., Ltd. Apparatus having photograph function
KR20120131472A (en) * 2011-05-25 2012-12-05 주식회사 엠비씨미디어텍 Real time reflex composition method using analyzing module of moving object and broadcasting method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4181473B2 (en) * 2003-10-15 2008-11-12 日本放送協会 Video object trajectory synthesis apparatus, method and program thereof
KR20090111945A (en) * 2008-04-23 2009-10-28 주식회사 케이티테크 Method of composing image and motion picture and device using the same
KR20100079305A (en) * 2008-12-31 2010-07-08 엘지전자 주식회사 Mobile terminal and method for displaying image thereof
US20110193993A1 (en) * 2010-02-09 2011-08-11 Pantech Co., Ltd. Apparatus having photograph function
KR20120131472A (en) * 2011-05-25 2012-12-05 주식회사 엠비씨미디어텍 Real time reflex composition method using analyzing module of moving object and broadcasting method thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017014394A1 (en) * 2015-07-23 2017-01-26 Lg Electronics Inc. Mobile terminal and control method for the same
KR20170011934A (en) * 2015-07-23 2017-02-02 엘지전자 주식회사 Mobile terminal and control method for the mobile terminal
KR101708318B1 (en) * 2015-07-23 2017-02-20 엘지전자 주식회사 Mobile terminal and control method for the mobile terminal
US9792953B2 (en) 2015-07-23 2017-10-17 Lg Electronics Inc. Mobile terminal and control method for the same

Also Published As

Publication number Publication date
KR20150083475A (en) 2015-07-20

Similar Documents

Publication Publication Date Title
WO2017142278A1 (en) Apparatus and method for providing dynamic panorama function
WO2014107006A1 (en) Display apparatus and control method thereof
WO2015105345A1 (en) Method and apparatus for screen sharing
WO2018128472A1 (en) Virtual reality experience sharing
WO2015005605A1 (en) Remote operation of applications using received data
WO2014107011A1 (en) Method and mobile device for displaying image
WO2015030390A1 (en) Electronic device and method for providing content according to field attribute
WO2017135797A2 (en) Method and electronic device for managing operation of applications
WO2019093744A1 (en) Display apparatus and control method thereof
WO2014189237A1 (en) System for remotely controlling electronic device and method of operating the same
WO2018155824A1 (en) Display apparatus and control method thereof
WO2012096498A2 (en) Method for managing content in a plurality of devices using a display apparatus
WO2014098539A1 (en) User terminal apparatus and control method thereof
WO2016072678A1 (en) User terminal device and method for controlling user terminal device thereof
WO2015102458A1 (en) Image data output control method and electronic device supporting the same
WO2020054978A1 (en) Device and method for generating image
WO2022042769A2 (en) Multi-screen interaction system and method, apparatus, and medium
US20240119082A1 (en) Method, apparatus, device, readable storage medium and product for media content processing
WO2020241975A1 (en) Electronic device and method for controlling the same
WO2018048117A1 (en) Display apparatus and control method thereof
WO2017034311A1 (en) Image processing device and method
WO2014126331A1 (en) Display apparatus and control method thereof
WO2019168387A1 (en) Devices, methods, and computer program for displaying user interfaces
WO2015105215A1 (en) Method and apparatus for editing media using touch input
EP3465409A1 (en) Electronic apparatus and controlling method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14877823

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14877823

Country of ref document: EP

Kind code of ref document: A1