KR101563822B1 - Method and Device for Editing Moving Picture - Google Patents
Method and Device for Editing Moving Picture Download PDFInfo
- Publication number
- KR101563822B1 KR101563822B1 KR1020140168683A KR20140168683A KR101563822B1 KR 101563822 B1 KR101563822 B1 KR 101563822B1 KR 1020140168683 A KR1020140168683 A KR 1020140168683A KR 20140168683 A KR20140168683 A KR 20140168683A KR 101563822 B1 KR101563822 B1 KR 101563822B1
- Authority
- KR
- South Korea
- Prior art keywords
- color
- editing
- color information
- area
- stroke
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
본 발명은 동영상 편집 방법 및 장치에 관한 것으로서, 더욱 상세하게는 프레임 간 컬러 변화에 강인하고, 고해상도 동영상에서도 빠른 편집 속도를 제공하는 동영상 편집 방법 및 장치에 관한 것이다.
The present invention relates to a moving image editing method and apparatus, and more particularly, to a moving image editing method and apparatus that is robust against inter-frame color variation and provides a fast editing speed even in a high-resolution moving image.
최근 멀티미디어 정보(Multimedia Information)에 대한 수요가 급증하면서, 멀티미디어 콘텐츠(예를 들어, 동영상)에 대한 편집, 검색, 객체화 등에 관련한 다양한 기술이 폭넓게 개발되고 있다.2. Description of the Related Art Recently, as the demand for multimedia information has increased rapidly, various technologies related to editing, searching, objectification, etc. of multimedia contents (e.g., moving pictures) have been widely developed.
동영상에 대한 편집 과정은 통상적으로 크게 두 단계로 이루어진다. 첫번째 단계는 객체의 위치를 선정하여 분리하는 단계이며, 두번째 단계는 객체 정보를 입력하는 단계이다. The editing process for a moving picture is usually performed in two stages. The first step is to select and separate the position of the object, and the second step is to input the object information.
첫번째 단계(객체의 위치를 선정하여 분리하는 단계)는 입력된 동영상에서 필요로 하는 의미 객체에 대하여 위치 및 영역을 선정하는 단계이다. 이러한 위치 및 영역은 해당 객체가 나타나는 시간 동안에 연속적으로 변화하는 정보를 담고 있어야 한다.The first step (step of selecting and separating object positions) is a step of selecting a position and an area with respect to a semantic object required in the input moving image. These locations and areas must contain information that changes continuously over the time the object appears.
두번째 단계(객체 정보를 입력하는 단계)는 편집자의 의도에 따라 의미 있는 객체를 추출하고, 그 추출된 객체에 다른 데이터(예를 들어, 다른 비디오 데이터, 다른 오디오 데이터, 다른 URL 링크 정보 등과 같은 메타 데이터 등)가 실시간으로 연결될 수 있도록 하는 정보를 입력하는 단계이다.In the second step (inputting object information), a meaningful object is extracted according to the intention of the editor, and a metadata (e.g., metadata such as other video data, other audio data, Data, etc.) can be connected in real time.
전술된 동영상 편집 단계 중에서 가장 많은 노력, 시간 및 비용이 소모되는 단계는 첫 번째 단계이다. 통상적으로 사용자는 동영상 프레임 별로 편집하고자 하는 객체(object)를 선정, 검출해야하기 때문이다. 특히, 모바일 디바이스와 같이 상대적으로 작은 디스플레이를 탑재하며 별도의 입력 장치를 구비하고 있지 않는 디바이스에서는 동영상 편집이 더욱 어려운 실정이다.
The first step is the step of consuming the most effort, time, and cost of the video editing steps described above. Typically, a user must select and detect an object to be edited for each video frame. Particularly, in a device that mounts a relatively small display such as a mobile device and does not have a separate input device, video editing is more difficult.
본 발명은 동영상 편집 방법 및 장치를 제공하기 위한 것으로서, 특히, 사용자와 디바이스 사이의 적은 인터랙션만으로 사용자가 용이하게 동영상을 편집할 수 있도록 하기 위한 동영상 편집 방법 및 장치를 제공하기 위한 것이다.
The present invention provides a moving picture editing method and apparatus, and more particularly, to provide a moving picture editing method and apparatus for allowing a user to easily edit a moving picture with only a small interaction between a user and a device.
상기한 목적을 달성하기 위해 본 발명의 일 실시예에 따르면, 동영상의 현재 프레임에서 편집 영역을 위한 제1스트로크 및 비편집 영역을 위한 제2스트로크를 입력받는 단계; 상기 제1 및 제2스트로크 각각에 따라 선택된 상기 현재 프레임의 영역에 포함된 색상에 대한 제1색상 정보를 생성하는 단계; 및 상기 제1색상 정보를 이용하여, 상기 현재 프레임의 다음 프레임에서, 상기 편집 영역 및 상기 비편집 영역을 선정하는 단계를 포함하는 동영상 편집 방법을 제공한다.According to an embodiment of the present invention, there is provided a method of controlling a moving picture, the method comprising: receiving a first stroke for an editing area and a second stroke for a non-editing area in a current frame of a moving picture; Generating first color information on a color included in an area of the current frame selected in accordance with the first and second strokes, respectively; And selecting the editing area and the non-editing area in the next frame of the current frame using the first color information.
또한 상기한 목적을 달성하기 위해 본 발명의 다른 실시예에 따르면, 동영상의 현재 프레임에 대한 편집 영역 및 비편집 영역을 입력받는 단계; 상기 편집 영역 및 상기 비편집 영역 각각에 대한 색상 정보를 생성하는 단계; 및 상기 색상 정보를 이용하여, 상기 현재 프레임의 다음 프레임에서, 상기 편집 영역 및 상기 비편집 영역을 선정하는 단계를 포함하는 동영상 편집 방법을 제공한다.According to another aspect of the present invention, there is provided a method of reproducing moving picture data, comprising the steps of: receiving an editing area and a non-editing area of a current frame of a moving picture; Generating color information for each of the editing area and the non-editing area; And selecting the editing area and the non-editing area in the next frame of the current frame using the color information.
또한 상기한 목적을 달성하기 위해 본 발명의 또 다른 실시예에 따르면, 상기 동영상의 현재 프레임에서 편집 영역을 위한 제1스트로크 및 비편집 영역을 위한 제2스트로크를 입력받는 인터페이스부; 상기 제1 및 제2스트로크 각각에 따라 선택된 상기 현재 프레임에 포함된 색상에 대한 색상 정보를 생성하는 정보 생성부; 및 상기 색상 정보를 이용하여, 상기 현재 프레임의 다음 프레임에서, 편집 영역 및 비편집 영역을 선정하는 영역 선정부를 포함하는 동영상 편집 장치를 제공한다.
According to still another aspect of the present invention, there is provided an image processing apparatus including: an interface unit receiving a first stroke for an edit region in a current frame of a moving image and a second stroke for a non-edit region; An information generating unit for generating color information on a color included in the current frame selected according to the first and second strokes; And an area selection unit for selecting an editing area and a non-editing area in the next frame of the current frame using the color information.
본 발명에 따르면, 사용자의 인터랙션 동작에 의해 선택된 영역의 색상 정보를 기반으로, 편집 영역을 추출하여 편집을 수행함으로써, 용이하게 동영상 편집을 수행할 수 있으며, 프레임간 컬러 변화에 강인한 효과를 제공한다. According to the present invention, it is possible to easily edit a moving image by extracting an editing area based on color information of an area selected by a user's interaction operation, and performing editing, and provides a robust effect on color change between frames .
또한 본 발명에 따르면, 정보량이 적은 색차 정보를 이용함으로써, 고해상도 동영상에서도 빠른 처리 속도를 제공할 수 있다.
Further, according to the present invention, by using color difference information having a small amount of information, it is possible to provide a high processing speed even in a high-resolution moving image.
도 1은 본 발명의 일실시예에 따른 동영상 편집 방법의 개념을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 동영상 편집 장치를 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 동영상 편집 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 동영상 편집 방법에서 생성되는 색상 정보를 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 동영상 편집 방법에 의해 편집된 동영상의 일부를 나타내는 도면이다.1 is a diagram for explaining a concept of a moving picture editing method according to an embodiment of the present invention.
2 is a view for explaining a moving picture editing apparatus according to an embodiment of the present invention.
3 is a diagram for explaining a moving picture editing method according to an embodiment of the present invention.
4 is a diagram illustrating color information generated in a moving image editing method according to an exemplary embodiment of the present invention.
FIG. 5 is a diagram illustrating a portion of a moving image edited by a moving image editing method according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.
본 발명은 동영상 또는 비디오 영상을 사용자가 용이하게 편집할 수 있는 방법 및 장치를 제공한다. 본 발명은 동영상 또는 비디오를 구성하는 프레임 중 현재 프레임에서, 사용자가 편집하고자 하는 영역을 간단한 인터랙션, 예를 들어 스트로크(stroke) 또는 스크러블(scribble) 동작 등과 같이 선을 긋는 동작을 통해 선택할 수 있으며, 사용자의 인터랙션(interaction) 동작에 의해 선택된 영역의 색상 정보를 기반으로, 편집 영역을 추출한다. 그리고 현재 프레임에서 생성된 색상 정보를 다음 프레임에서 이용함으로써, 사용자가 현재 프레임에 대해서만 인터랙션을 통해 편집하고자 하는 영역을 지정하더라도, 동영상 전체에서 편집 영역이 추출될 수 있으며, 사용자는 용이하게 편집 영역에 대해 원하는 영상 효과를 부여할 수 있다.The present invention provides a method and apparatus for allowing a user to easily edit a moving image or a video image. The present invention can select a region to be edited by a user in a current frame among the frames constituting a moving image or a video through a simple operation such as a stroke or a scribble operation , And extracts the editing area based on the color information of the area selected by the user's interaction operation. Also, by using the color information generated in the current frame in the next frame, even if the user designates an area to be edited through interaction only with respect to the current frame, the editing area can be extracted from the entire moving image, So that a desired visual effect can be given.
본 명세서에서 언급되는 하드웨어 관점의 설명은 프로세스적인 관점에서 해석될 수 있다. 이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
The hardware aspects described herein may be interpreted in terms of a process. Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 동영상 편집 방법의 개념을 설명하기 위한 도면이다.1 is a diagram for explaining a concept of a moving picture editing method according to an embodiment of the present invention.
도 1에 도시된 영상은, 사용자가 편집하고자 하는 동영상의 현재 프레임을 나타내는 영상이다. 사용자는 동영상의 현재 프레임에서 편집 영역을 위한 제1스트로크(초록색 라인) 및 비편집 영역을 위한 제2스트로크(파란색 라인)를 입력할 수 있다. 편집 영역 또는 비편집 영역을 위해 사용자가 입력하는 스트로크는 복수 개일 수 있다.The image shown in Fig. 1 is an image representing a current frame of a moving image to be edited by the user. The user can input a first stroke (green line) for the editing area and a second stroke (blue line) for the non-editing area in the current frame of the movie. The stroke input by the user for the edit region or the non-edit region may be plural.
제1스트로크에 따라 선택된 현재 프레임 영역에 포함된 색상은 노란색이나 초록색 계열이며, 제2스트로크에 선택된 현재 프레임 영역에 포함된 색상은 하얀색이나 파란색 계열이다. 본 발명은 현재 프레임의 스트로크에 의해 선택된 영역에 포함된 색상을 분석하고, 분석된 색상 정보를 기반으로 편집 영역과 비편집 영역을 선정한다. The colors included in the current frame region selected in accordance with the first stroke are yellow or green, and the colors included in the current frame region selected in the second stroke are white or blue. The present invention analyzes the colors included in the area selected by the stroke of the current frame, and selects the editing area and the non-editing area based on the analyzed color information.
따라서 도 1에 도시된 현재 프레임을 하늘, 초원 및 토끼의 3개의 영역으로 구분할 경우, 본 발명에 따르면 초록색 계열의 초원이 편집 영역으로 선정되며, 하얀색이나 파란색 계열의 하늘 및 토끼가 비편집 영역으로 선정될 수 있다. Accordingly, when the current frame shown in FIG. 1 is divided into three regions, i.e., sky, grassland, and rabbit, according to the present invention, the green-colored grassland is selected as the editing region, and the white or blue- Can be selected.
본 발명은 현재 프레임의 다음 프레임에서 편집 영역과 비편집 영역을 선정할 때, 현재 프레임에서 입력된 스트로크에 의해 선택된 영역에 포함된 색상 정보를 이용함으로써, 동영상에서 용이하게 편집 영역과 비편집 영역이 선정될 수 있다. 다시 설명하면, 복수의 프레임으로 구성된 동영상에서, 현재 프레임의 색상 정보가 다음 프레임에서도 이용되어 편집 영역과 비편집 영역이 선정됨으로써, 현재 프레임에 대한 간단한 스트로크 입력으로 동영상 전체에서 편집 영역과 비편집 영역이 선정될 수 있다.The present invention uses color information included in an area selected by a stroke inputted in a current frame when selecting an editing area and a non-editing area in the next frame of the current frame, so that the editing area and the non- Can be selected. In the moving picture composed of a plurality of frames, the color information of the current frame is also used in the next frame to select the editing area and the non-editing area. Thus, in a simple stroke input to the current frame, Can be selected.
사용자가 편집 영역에 대해 원하는 효과(effect)를 지정할 경우, 예를 들어 색상을 변경는 효과를 지정할 경우, 편집 영역의 색상이 변한 상태의 동영상이 재생될 수 있다.
When a user designates an effect desired for the editing area, for example, when changing the color, if the effect is specified, the moving picture of the color of the editing area may be reproduced.
도 2는 본 발명의 일실시예에 따른 동영상 편집 장치를 설명하기 위한 도면이다.2 is a view for explaining a moving picture editing apparatus according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 본 발명에 따른 동영상 편집 장치(200)는 인터페이스부(201), 정보 생성부(203) 및 영역 선정부(205)를 포함한다. 본 발명에 따른 동영상 편집 장치(200)는 사용자 단말에 포함되거나 또는 디스플레이 장치를 포함하는 모바일 디바이스와 같은 사용자 단말일 수 있다.2, the moving
인터페이스부(201)는 동영상의 현재 프레임에 대한 편집 영역 및 비편집 영역을 입력받는다. 인터페이스부(201)는 사용자로부터 스트로크를 통해 편집 영역 및 비편집 영역을 입력받을 수 있다. 즉, 인터페이스부(201)는 동영상의 현재 프레임에서 편집 영역을 위한 제1스트로크 및 비편집 영역을 위한 제2스트로크를 입력받을 수 있다. 인터페이스부(201)는 예를 들어, 터치 입력을 인식하는 디스플레이 장치일 수 있으며 편집 대상인 동영상을 디스플레이할 수 있다.The
정보 생성부(203)는 제1 및 제2스트로크 각각에 따라 선택된 현재 프레임의 영역에 포함된 색상에 대한 제1색상 정보를 생성한다. 스트로크는 임의의 굵기를 가지는 라인 형태일 수 있으며, 정보 생성부(203)는 제1스트로크에 따라 선택된 현재 프레임 영역에 포함된 색상을 나타내는 색상 정보 및 제2스트로크에 따라 선택된 현재 프레임 영역에 포함된 색상을 나타내는 색상 정보를 생성한다. The
여기서, 색상 정보는 YCbCr 공간에서 생성되는 색상 정보일 수 있으며, 색차 정보(Cb, Cr)를 포함하는 정보일 수 있다. 즉, 정보 생성부(203)는 RGB 형태가 아닌 색차 정보 형태로 색상 정보를 생성할 수 있으며, 색차 정보는 RGB 정보와 비교하여 정보량이 매우 적으므로 보다 처리 속도가 빨라질 수 있다.Here, the color information may be color information generated in the YCbCr space, and may be information including color difference information (Cb, Cr). That is, the
영역 선정부(205)는 색상 정보를 이용하여, 현재 프레임의 다음 프레임에서, 편집 영역 및 비편집 영역을 선정한다. 즉, 영역 선정부(205)는 제1스트로크에 따라 선택된 현재 프레임 영역에 포함되는 색상을 포함하는 다음 프레임의 영역을, 다음 프레임에서 편집 영역으로 선정한다. 그리고 제2스트로크에 따라 선택된 현재 프레임 영역에 포함되는 색상을 포함하는 다음 프레임의 영역을, 다음 프레임에서 비편집 영역으로 선정한다.The
한편, 현재 프레임에 존재하지 않던 색상이 다음 프레임에 존재할 수 있으므로, 영역 선정부(205)는 다음 프레임의 색상과 제1색상 정보를 비교하여, 다음 프레임에 포함된 새로운 색상이 기 설정된 유사도 이상인지 여부를 판단한다. 그리고 영역 선정부(205)는 판단 결과에 따라, 다음 프레임의 새로운 색상을 반영하여 제1색상 정보를 갱신하고, 제2색상 정보를 생성할 수 있다. 그리고 영역 선정부(205)는 제2색상 정보를 이용하여, 편집 영역 및 비편집 영역을 선정할 수 있다. On the other hand, since a color that does not exist in the current frame may exist in the next frame, the
즉, 제1스트로크의 색상과 유사한 다음 프레임의 새로운 색상은 편집 영역으로 선정되며, 제2스트로크의 색상과 유사하지 않은 다음 프레임의 새로운 색상은 비편집 영역으로 선정될 수 있다.That is, a new color of the next frame similar to the color of the first stroke is selected as the editing area, and a new color of the next frame not similar to the color of the second stroke can be selected as the non-editing area.
전술된 바와 같이, 본 발명은 점진적 학습(Incremental Learning) 방식과 같이, 현재 프레임의 색상 정보를 다음 프레임에서 활용하여 편집 영역을 선정하고 동영상을 편집할 수 있으며, 프레임간 컬러 변화에 강인한 효과를 제공한다. 또한 본 발명에 따르면, 정보량이 적은 색차 정보를 이용함으로써, 고해상도 동영상에서도 빠른 처리 속도를 제공할 수 있다.
As described above, according to the present invention, the color information of the current frame can be utilized in the next frame to select an editing area and edit the moving picture, and a strong effect on the color change between frames is provided do. Further, according to the present invention, by using color difference information having a small amount of information, it is possible to provide a high processing speed even in a high-resolution moving image.
도 3은 본 발명의 일실시예에 따른 동영상 편집 방법을 설명하기 위한 도면이다. 도 3의 동영성 편집 방법은 일실시예로서, 도 2의 동영상 편집 장치(200)에서 수행될 수 있다.3 is a diagram for explaining a moving picture editing method according to an embodiment of the present invention. The dynamic spiritual editing method of FIG. 3 may be performed in the moving
동영상 편집 장치는 동영상의 현재 프레임에 대한 편집 영역 및 비편집 영역을 수신(S301) 즉, 입력받는다. 동영상 편집 장치는 사용자의 스트로크를 통해 편집 영역 및 비편집 영역을 입력받을 수 있으며, 동영상의 현재 프레임에서 편집 영역을 위한 제1스트로크 및 비편집 영역을 위한 제2스트로크를 입력받을 수 있다. 제1스트로크 및 제2스트로크는 라인(line) 형태의 스트로크로서, 폐곡선 형태로 영역이 지정될 필요가 없다.The video editing apparatus receives the editing area and the non-editing area for the current frame of the moving image (S301), that is, receives the input. The moving image editing apparatus can receive the editing area and the non-editing area through the user's stroke, and can receive the first stroke for the editing area and the second stroke for the non-editing area in the current frame of the moving image. The first stroke and the second stroke are strokes in the form of a line, and the area need not be specified in the form of a closed curve.
동영상 편집 장치는 편집 영역 및 비편집 영역 각각에 대한 색상 정보를 생성(S303)한다. 즉, 제1 및 제2스트로크 각각에 따라 선택된 현재 프레임 영역에 포함된 색상에 대한 색상 정보를 생성한다. 색상 정보는 YCbCr 공간에서 생성되는 색상 정보로서 색차 정보(Cb, Cr)를 포함할 수 있다.The video editing apparatus generates color information for each of the editing area and the non-editing area (S303). In other words, the color
동영상 편집 장치는 색상 정보를 이용하여, 다음 프레임에서, 편집 영역 및 비편집 영역을 선정(S305)한다. 즉, 동영상 편집 장치는 다음 프레임에서 제1스트로크에 따라 선택된 현재 프레임 영역에 포함되는 색상의 영역을 편집 영역으로 선정하며, 다음 프레임에서 제2스트로크에 따라 선택된 현재 프레임 영역에 포함되는 색상의 영역을 비편집 영역으로 선정한다. 또한 동영상 편집 장치는 색상 정보를 이용하여, 현재 프레임에서, 편집 영역 및 비편집 영역을 선정할 수 있다.The moving image editing apparatus selects the editing area and the non-editing area in the next frame using the color information (S305). That is, the moving image editing apparatus selects an area of the color included in the current frame area selected in accordance with the first stroke in the next frame as an editing area, and selects a color area included in the current frame area selected in accordance with the second stroke in the next frame Select as non-editing area. Further, the moving picture editing apparatus can use the color information to select the editing area and the non-editing area in the current frame.
한편, 현재 프레임에 존재하지 않던 색상이 다음 프레임에 존재할 수 있으므로, 동영상 편집 장치는 다음 프레임의 색상과 색상 정보를 비교하여, 다음 프레임에 포함된 새로운 색상이 기 설정된 유사도 이상인지 여부를 판단한다. 그리고 판단 결과에 따라, 다음 프레임의 새로운 색상을 반영하여 색상 정보를 갱신하고, 갱신된 색상 정보를 이용하여, 편집 영역 및 비편집 영역을 선정할 수 있다. On the other hand, since a color that does not exist in the current frame may exist in the next frame, the moving image editing apparatus compares the color of the next frame with the color information, and determines whether the new color included in the next frame is equal to or greater than a predetermined similarity. According to the determination result, the color information is updated by reflecting the new color of the next frame, and the editing area and the non-editing area can be selected using the updated color information.
예를 들어, 동영상 편집 장치는 다음 프레임 픽셀의 Cb, Cr 값과 현재 프레임의 편집 영역의 Cb, Cr 값을 비교하여, 그 차이가 기 설정된 값 이내인 경우 유사한 것으로 판단할 수 있다. 이 때, 동영상 편집 장치는 Cb, Cr 값의 차이를 확률로 표현하여 색상의 유사도 여부를 판단할 수 있다. [수학식 1]은 현재 프레임의 색상과 다음 프레임의 색상의 유사성을 판단하기 위한 확률 모델로서, 깁스 분포(Gibbs distribution)에 따라 [수학식 2]와 같이 에너지 함수 형태로 변환될 수 있다.For example, the moving image editing apparatus compares the Cb and Cr values of the next frame pixel with the Cb and Cr values of the current frame editing region, and judges that the Cb and Cr values are similar when the difference is within a preset value. At this time, the moving picture editing apparatus can determine the similarity of colors by expressing the difference of the Cb and Cr values with probability. Equation (1) is a probability model for determining the similarity between the color of the current frame and the color of the next frame, and can be transformed into an energy function form according to the Gibbs distribution as shown in Equation (2).
여기서, t는 다음 프레임, t-1은 현재 프레임을 나타내며, 는 t번째 프레임 영상을 나타낸다. 는 에너지 함수 변환을 위한 값이며, 는 t번째 프레임에서 유사도 판단 대상 픽셀을 나타낸다. 그리고 는 과 대응되며, 다음 프레임 영상의 색상과 유사성 판단 대상 픽셀의 유사도를 나타낸다. 는 와 대응되며, 현재 프레임과 다음 프레임의 픽셀 간 유사도를 나타내며, YCbCr 공간에서 생성되는 현재 프레임의 색상 정보가 이용될 수 있다.Here, t represents the next frame, t-1 represents the current frame, Represents a t-th frame image. Is a value for energy function conversion, Represents a pixel to be subjected to similarity determination in the t-th frame. And The And indicates the similarity of the color of the next frame image and the pixel to be judged similarity. The And represents the similarity between pixels of the current frame and the next frame, and color information of the current frame generated in the YCbCr space can be used.
또한 [수학식 2]는 [수학식 3] 및 [수학식 4]에 의해 [수학식 5]와 같이 변형될 수 있다. Further, the expression (2) can be transformed into the expression (5) by the expression (3) and the expression (4).
여기서, 는 유사도 판단 대상 픽셀과 주변 픽셀의 유사도를 나타내는 행렬이며, 는 과 대응된다. 는 값을 대각 행렬(diagonal matrix)로 변환한 값이다.here, Is a matrix indicating the degree of similarity between pixels to be subjected to similarity determination and neighboring pixels, The . The Value is a value converted into a diagonal matrix.
[수학식 5]의 값이 최소가 되는 가 다음 프레임에서의 편집 영역이 될 수 있으며, [수학식 6]과 같이 표현될 수 있다.If the value of [Equation 5] is the minimum Can be an editing area in the next frame, and can be expressed as [Equation 6].
도 4는 본 발명의 일실시예에 따른 동영상 편집 방법에서 생성되는 색상 정보를 나타내는 도면이며, 도 5는 본 발명의 일실시예에 따른 동영상 편집 방법에 의해 편집된 동영상의 일부를 나타내는 도면이다.FIG. 4 is a diagram illustrating color information generated in a moving image editing method according to an embodiment of the present invention, and FIG. 5 is a diagram illustrating a portion of moving images edited by a moving image editing method according to an embodiment of the present invention.
도 4는 도 1에서 설명된 현재 프레임의 색상 정보를 나타내며, 도 4의 그래프에서 가로축은 Cb를 나타내며 세로축은 Cr를 나타낸다. 그리고 초록색 부분은 제1스트로크에 의해 선택된 현재 프레임 영역에 포함된 색상 정보를 나타내며, 파란색 부분은 제2스트로크에 의해 선택된 현재 프레임 영역에 포함된 색상 정보를 나타낸다. 도 4에 도시된 색상 정보는 다음 프레임에서 갱신될 수 있다. FIG. 4 shows color information of the current frame illustrated in FIG. 1. In FIG. 4, the horizontal axis represents Cb and the vertical axis represents Cr. The green portion indicates color information included in the current frame region selected by the first stroke, and the blue portion indicates color information included in the current frame region selected by the second stroke. The color information shown in Fig. 4 can be updated in the next frame.
제1스트로크에 의해 선택된 현재 프레임 영역에 포함된 색상과 유사한 다음 프레임의 색상은 도4의 파란색 부분에 포함되며, 제2스트로크에 의해 선택된 현재 프레임 영역에 포함된 색상과 유사한 다음 프레임의 색상은 도 4의 초록색 부분에 포함됨으로써, 색상 정보가 갱신될 수 있다.The color of the next frame similar to the color contained in the current frame region selected by the first stroke is included in the blue portion of Fig. 4, and the color of the next frame, which is similar to the color included in the current frame region selected by the second stroke, 4, the color information can be updated.
도 5는 도 1에서 도시된 현재 프레임에서의 편집 영역(초록색 스트로크), 즉 초원 영역의 색상이 변경된 영상으로서, 현재 프레임의 다음 프레임이다. 즉 도 5는, 도 4에서의 초록색 영역에 대응되는 색상이 변경된 다음 프레임을 나타낸다.
5 is an edit area (green stroke) in the current frame shown in Fig. 1, that is, an image in which the color of the meadow area is changed, and is the next frame of the current frame. That is, FIG. 5 shows the next frame in which the hue corresponding to the green region in FIG. 4 is changed.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
The above-described technical features may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and specific embodiments and drawings. However, it should be understood that the present invention is not limited to the above- And various modifications and changes may be made thereto by those skilled in the art to which the present invention pertains. Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .
Claims (11)
상기 동영상의 현재 프레임에서 편집 영역을 위한 제1스트로크 및 비편집 영역을 위한 제2스트로크를 입력받는 단계;
상기 제1 및 제2스트로크 각각에 따라 선택된 상기 현재 프레임의 영역에 포함된 색상에 대한 제1색상 정보를 생성하는 단계; 및
상기 제1색상 정보를 이용하여, 상기 현재 프레임의 다음 프레임에서, 상기 편집 영역 및 상기 비편집 영역을 선정하는 단계를 포함하며,
상기 편집 영역 및 비편집 영역을 선정하는 단계는
상기 다음 프레임의 색상과 상기 제1색상 정보를 비교하여, 상기 다음 프레임의 새로운 색상이 기 설정된 유사도 이상인지 여부를 판단하는 단계;
상기 판단 결과에 따라, 상기 새로운 색상을 반영하여 상기 제1색상 정보를 갱신하고, 제2색상 정보를 생성하는 단계; 및
상기 제2색상 정보를 이용하여, 상기 편집 영역 및 상기 비편집 영역을 선정하는 단계를 포함하며,
상기 제1스트로크 및 상기 제2스트로크는 폐곡선 형태가 아닌 라인(line) 형태의 스트로크(stroke)인
동영상 편집 방법.
In a video editing method,
Receiving a first stroke for an editing area and a second stroke for a non-editing area in a current frame of the moving picture;
Generating first color information on a color included in an area of the current frame selected in accordance with the first and second strokes, respectively; And
Selecting the editing area and the non-editing area in the next frame of the current frame using the first color information,
Wherein the step of selecting the editing area and the non-
Comparing the color of the next frame with the first color information to determine whether a new color of the next frame is equal to or greater than a predetermined degree of similarity;
Updating the first color information by reflecting the new color and generating second color information according to the determination result; And
Selecting the editing area and the non-editing area using the second color information,
Wherein the first stroke and the second stroke are strokes in the form of a line instead of a closed curve
How to edit a movie.
상기 제1색상 정보는
YCbCr 공간에서 생성되는 색상 정보인
동영상 편집 방법.
The method according to claim 1,
The first color information
Color information generated in YCbCr space
How to edit a movie.
상기 편집 영역 및 비편집 영역을 선정하는 단계는
상기 다음 프레임에서, 상기 제1스트로크에 따라 선택된 상기 현재 프레임의 영역에 포함되는 색상의 영역을 상기 편집 영역으로 선정하는
동영상 편집 방법.
The method according to claim 1,
Wherein the step of selecting the editing area and the non-
In the next frame, an area of a color included in the area of the current frame selected in accordance with the first stroke is selected as the editing area
How to edit a movie.
상기 동영상의 현재 프레임에서 편집 영역을 위한 제1스트로크 및 비편집 영역을 위한 제2스트로크를 입력받는 인터페이스부;
상기 제1 및 제2스트로크 각각에 따라 선택된 상기 현재 프레임의 영역에 포함된 색상에 대한 제1색상 정보를 생성하는 정보 생성부; 및
상기 제1색상 정보 및 제2색상 정보를 이용하여, 상기 현재 프레임의 다음 프레임에서, 편집 영역 및 비편집 영역을 선정하는 영역 선정부를 포함하며,
상기 영역 선정부는
상기 다음 프레임의 색상과 상기 제1색상 정보를 비교하여, 상기 다음 프레임의 새로운 색상이 기 설정된 유사도 이상인지 여부를 판단하고, 판단 결과에 따라, 상기 새로운 색상을 반영하여 상기 제1색상 정보를 갱신하고, 상기 제2색상 정보를 생성하며, 상기 제2색상 정보를 이용하여, 상기 편집 영역 및 상기 비편집 영역을 선정하며,
상기 제1스트로크 및 상기 제2스트로크는 폐곡선 형태가 아닌 라인(line) 형태의 스트로크(stroke)인
동영상 편집 장치.
A video editing apparatus comprising:
An interface for receiving a first stroke for an editing area and a second stroke for a non-editing area in a current frame of the moving picture;
An information generating unit for generating first color information on a color included in an area of the current frame selected according to the first and second strokes; And
And an area selection unit for selecting an editing area and a non-editing area in the next frame of the current frame using the first color information and the second color information,
The region selection unit
The first color information is updated by comparing the color of the next frame with the first color information to determine whether a new color of the next frame is equal to or greater than a predetermined similarity degree, And generating the second color information, selecting the editing area and the non-editing area using the second color information,
Wherein the first stroke and the second stroke are strokes in the form of a line instead of a closed curve
Video editing device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140168683A KR101563822B1 (en) | 2014-11-28 | 2014-11-28 | Method and Device for Editing Moving Picture |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140168683A KR101563822B1 (en) | 2014-11-28 | 2014-11-28 | Method and Device for Editing Moving Picture |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101563822B1 true KR101563822B1 (en) | 2015-10-27 |
Family
ID=54428701
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140168683A KR101563822B1 (en) | 2014-11-28 | 2014-11-28 | Method and Device for Editing Moving Picture |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101563822B1 (en) |
-
2014
- 2014-11-28 KR KR1020140168683A patent/KR101563822B1/en active IP Right Grant
Non-Patent Citations (1)
Title |
---|
객체기반 비디오 편집 시스템을 위한 불확실 영역기반 사용자 지원 비디오 객체 분할 기법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106254933B (en) | Subtitle extraction method and device | |
US11282163B2 (en) | Method for converting landscape video to portrait mobile layout using a selection interface | |
US20180213289A1 (en) | Method of authorizing video scene and metadata | |
KR101942987B1 (en) | Method, system for removing background of a video, and a computer-readable storage device | |
US20220172476A1 (en) | Video similarity detection method, apparatus, and device | |
WO2018106692A1 (en) | Method for converting landscape video to portrait mobile layout using a selection interface | |
CA3039239C (en) | Conformance of media content to original camera source using optical character recognition | |
US8629918B2 (en) | Image processing apparatus, image processing method and program | |
CN110832583A (en) | System and method for generating a summary storyboard from a plurality of image frames | |
CN111179159B (en) | Method and device for eliminating target image in video, electronic equipment and storage medium | |
CN103984778A (en) | Video retrieval method and video retrieval system | |
JP6171651B2 (en) | Image processing program and image processing apparatus | |
CN112383824A (en) | Video advertisement filtering method, device and storage medium | |
CN104145477A (en) | Method and system for color adjustment | |
KR20200092492A (en) | Method and Apparatus for Image Adjustment Based on Semantics-Aware | |
US9224069B2 (en) | Program, method and apparatus for accumulating images that have associated text information | |
JP2013502147A (en) | System and method for artifact reduction based on region of interest of image sequence | |
US20150009227A1 (en) | Color grading preview method and apparatus | |
KR102245349B1 (en) | Method and apparatus for extracting color scheme from video | |
KR101563822B1 (en) | Method and Device for Editing Moving Picture | |
CN115063800B (en) | Text recognition method and electronic equipment | |
US11037311B2 (en) | Method and apparatus for augmenting data in monitoring video | |
KR101592087B1 (en) | Method for generating saliency map based background location and medium for recording the same | |
KR102595096B1 (en) | Electronic apparatus, system and method for intelligent horizontal-vertical video conversion | |
US9886767B2 (en) | Method, apparatus and computer program product for segmentation of objects in images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20191216 Year of fee payment: 5 |