KR102388652B1 - Video visual effects composing method considering the person - Google Patents
Video visual effects composing method considering the person Download PDFInfo
- Publication number
- KR102388652B1 KR102388652B1 KR1020220022823A KR20220022823A KR102388652B1 KR 102388652 B1 KR102388652 B1 KR 102388652B1 KR 1020220022823 A KR1020220022823 A KR 1020220022823A KR 20220022823 A KR20220022823 A KR 20220022823A KR 102388652 B1 KR102388652 B1 KR 102388652B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- music
- person
- video
- blur
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44236—Monitoring of piracy processes or activities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4627—Rights management associated to the content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
- H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
Abstract
본 발명의 일 실시예에 따른 인물을 고려한 동영상 비주얼 이펙트 합성 방법에 관한 것으로,상기 동영상에서 포함된 복수의 인물의 얼굴을 인식하는 단계, 상기 복수의 인물의 리스트를 상기 동영상에 상기 복수의 인물이 노출된 시간을 기초로 정렬하고, 사용자로부터 상기 리스트에 포함된 제1 인물 선택 정보를 획득하는 단계, 상기 사용자로부터 상기 제1 인물에 대한 블러(blur) 요청 정보를 획득하는 경우, 상기 제1 인물의 얼굴을 블러 처리하는 단계 및 상기 제1 인물의 얼굴이 블러 처리되어 있으며, 상기 사용자로부터 상기 제1 인물에 대한 블러 해제 요청 정보를 획득하는 경우, 상기 제1 인물의 얼굴의 블러를 해제하는 단계를 포함할 수 있으며, 상기 복수의 인물의 목소리 파형 및 주파수 범위를 결정하는 단계 및 상기 복수의 인물의 목소리 파형 및 주파수 범위를 기초로 상기 복수의 인물의 목소리를 제외한 다른 음성을 삭제하는 단계를 더 포함할 수 있다.To a method for synthesizing a video visual effect in consideration of a person according to an embodiment of the present invention, the steps of recognizing the faces of a plurality of persons included in the video, and adding the list of the plurality of persons to the video Sorting based on the exposure time, obtaining first person selection information included in the list from the user, and obtaining blur request information for the first person from the user, the first person blurring the face of , and when the face of the first person is blurred, and when blur cancellation request information for the first person is obtained from the user, canceling the blur of the face of the first person may include, further comprising the steps of: determining the voice waveforms and frequency ranges of the plurality of people; and deleting voices other than the voices of the plurality of people based on the voice waveforms and frequency ranges of the plurality of people may include
Description
본 발명은 인물을 고려한 동영상 비주얼 이펙트 합성 방법에 관한 것이다.The present invention relates to a method for synthesizing a video visual effect in consideration of a person.
최근 멀티미디어 정보(Multimedia Information)에 대한 수요가 급증하면서, 멀티미디어 콘텐츠(예를들어, 동영상)에 대한 편집, 검색, 객체화 등에 관련한 다양한 기술이 폭넓게 개발되고 있다.Recently, as the demand for multimedia information is rapidly increasing, various technologies related to editing, searching, objectification of multimedia content (eg, moving picture) are being widely developed.
동영상을 촬영 및 편집하여 제작하는 경우, 다른 사람의 얼굴이 촬영되어 초상권이 침해될 수 있다. 따라서, 편집 과정에서 사람들의 얼굴을 직접 블러처리 하는 등의 과정이 필요할 수 있다.In the case of filming and editing a video, someone else's face may be photographed, which may infringe on the right of portrait. Therefore, in the editing process, it may be necessary to directly blur people's faces.
이 외에도, 동영상 편집 과정에서 필수적으로 등장하는 요소들을 처리하는 데 있어서 추가적인 노력이 많이 필요할 수 있다.In addition to this, it may require a lot of additional effort to process elements that appear essential in the video editing process.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 인물을 고려한 동영상 비주얼 이펙트 합성 방법을 제공하는 데 있다.An object of the present invention for solving the above problems is to provide a method for synthesizing a video visual effect in consideration of a person.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 동영상 내의 인물을 고려한 동영상 편집 방법은 상기 동영상에서 포함된 복수의 인물의 얼굴을 인식하는 단계, 상기 복수의 인물의 리스트를 상기 동영상에 상기 복수의 인물이 노출된 시간을 기초로 정렬하는 단계, 사용자로부터 상기 리스트에 포함된 제1 인물 선택 정보를 획득하는 단계, 상기 사용자로부터 상기 제1 인물에 대한 블러(blur) 요청 정보를 획득하는 경우, 상기 제1 인물의 얼굴을 블러 처리하는 단계 및 상기 제1 인물의 얼굴이 블러 처리되어 있으며, 상기 사용자로부터 상기 제1 인물에 대한 블러 해제 요청 정보를 획득하는 경우, 상기 제1 인물의 얼굴의 블러를 해제하는 단계를 포함하고, 상기 블러는 미리 결정된 기본 설정 값을 기반으로 수행되고, 상기 사용자로부터 특정 값을 포함하는 상기 블러에 대한 설정 값 변경 정보를 획득하는 경우, 상기 특정 값을 기반으로 상기 블러의 정도를 조절하는 단계를 더 포함하고, 상기 특정 값은 0이상 100이하의 정수 중 하나이고, 상기 기본 설정 값은 50이고, 상기 동영상에 포함된 음악을 인식하여 상기 음악에 대한 제목 정보 및 가수 정보를 도출하는 단계, 상기 제목 정보 및 상기 가수 정보를 기반으로 상기 음악이 미리 설정된 저작권 화이트리스트에 포함되는지 판단하는 단계 및 상기 음악이 상기 저작권 화이트리스트에 포함되지 않는 경우, 상기 동영상에서 상기 음악이 재생되는 시간 동안 상기 음악을 뮤트(mute)하고, 상기 제목 정보 및 상기 가수 정보를 포함하는 음악 정보를 상기 동영상의 화면 내의 좌상측, 우상측, 좌하측 및 우하측 중 하나의 꼭지점에 연결된 두 변에 인접한 위치에 표시하는 단계를 더 포함하고, 기설정된 복수의 장르들 중 상기 음악에 대하여 장르 정보를 도출하는 단계, 상기 복수의 장르들에 대응되는 기저장된 복수의 이미지 정보들 중 상기 장르 정보에 대응되는 이미지 정보를 선택하는 단계 및 상기 선택한 이미지 정보를 상기 음악 정보에 포함시키는 단계를 더 포함하고, 상기 동영상 내에서 상기 음악의 볼륨(volume)의 크기가 낮아질수록 상기 음악 정보의 투명도를 높이고, 상기 화면 내에서 상기 음악 정보가 표시되는 크기를 작게 조절하는 단계 및 상기 동영상 내에서 상기 음악의 볼륨의 크기가 커질수록 상기 음악 정보의 투명도를 낮추고, 상기 화면 내에서 상기 음악 정보가 표시되는 크기를 크게 조절하는 단계를 더 포함하고, 상기 음악의 불륨의 크기가 0일 때 상기 투명도는 최대값이 되고, 상기 투명도에 따라 상기 화면 내에 상기 음악 정보가 투명해져 표시되지 않고, 상기 음악 정보의 크기의 최소값은 상기 화면의 1/32로 설정되고, 상기 음악 정보의 크기의 최대값은 상기 화면의 1/16로 설정될 수 있고, 상기 동영상에 포함된 브랜드 이미지를 인식하되, 상기 복수의 인물의 목소리 파형 및 주파수 범위를 결정하는 단계및 상기 복수의 인물의 목소리 파형 및 주파수 범위를 기초로 상기 복수의 인물의목소리를 제외한 다른 음성을 삭제하는 단계를 더 포함할 수 있다.A video editing method in consideration of a person in a video according to an embodiment of the present invention for achieving the above object includes the steps of recognizing the faces of a plurality of persons included in the video, and adding a list of the plurality of persons to the video. sorting based on the exposure time of the person of the person, obtaining information for selecting the first person included in the list from the user, obtaining blur request information for the first person from the user, Blur processing of the face of the first person and when the face of the first person is blurred, and when blur cancellation request information for the first person is obtained from the user, blurring of the face of the first person and releasing The method further comprises the step of adjusting the degree of blur, wherein the specific value is one of an integer greater than or equal to 0 and less than or equal to 100, the default setting value is 50, and title information about the music and deriving singer information; determining whether the music is included in a preset copyright whitelist based on the title information and the singer information; and if the music is not included in the copyright whitelist, the music in the video During this playing time, the music is muted, and music information including the title information and the singer information is connected to one of the upper left, upper right, lower left and lower right corners of the video screen. The method further comprising the step of displaying at a position adjacent to the side, deriving genre information for the music from among a plurality of preset genres, and the genre information from among a plurality of pre-stored image information corresponding to the plurality of genres Selecting image information corresponding to and including the selected image information in the music information further comprising the step of, increasing the transparency of the music information as the size of the volume of the music in the video decreases, and adjusting the size of the music information displayed in the screen to be smaller; The method further comprises the step of lowering the transparency of the music information as the volume of the music in the music increases, and adjusting the size at which the music information is displayed in the screen larger, when the volume of the music is 0 The transparency becomes a maximum value, the music information is not displayed transparently in the screen according to the transparency, the minimum value of the size of the music information is set to 1/32 of the screen, the maximum of the music information size The value may be set to 1/16 of the screen, recognizing the brand image included in the moving picture, determining the voice waveforms and frequency ranges of the plurality of people, and the voice waveforms and frequency ranges of the plurality of people The method may further include deleting other voices other than the voices of the plurality of persons based on the .
본 발명에 따르면, 동영상 자동 편집 방법을 통해 동영상 편집 과정에 소요되는 시간을 현격히 줄일 수 있다.According to the present invention, the time required for the video editing process can be remarkably reduced through the automatic video editing method.
본 발명에 따르면, 동영상 자동 편집 방법을 통해 수동으로 동영상 을 편집할 경우 발생할 수 있는 문제 또는 누락될 수 있는 사항들을 줄일 수 있는 효과를 얻을 수 있다.According to the present invention, it is possible to obtain the effect of reducing problems or omissions that may occur when manually editing a video through the automatic video editing method.
도 1은 본 명세서에 따른 동영상 자동 편집 방법의 일 실시예를 도시한 흐름도이다.
도 2는 본 명세서에 따른 동영상 자동 편집 방법의 일 실시예를 도시한 흐름 도이다.
도 3은 본 발명의 일 실시예에 따른 동영상 자동 편집 장치의 블록 구성도이다.
도 4는 본 명세서에 따른 동영상 자동 편집 방법의 일 실시예를 도시한 흐름 도이다.
도 5는 본 명세서에 따른 동영상 자동 편집 방법의 일 실시예를 도시한 흐름 도이다.1 is a flowchart illustrating an embodiment of an automatic video editing method according to the present specification.
2 is a flowchart illustrating an embodiment of an automatic video editing method according to the present specification.
3 is a block diagram of an automatic video editing apparatus according to an embodiment of the present invention.
4 is a flowchart illustrating an embodiment of an automatic video editing method according to the present specification.
5 is a flowchart illustrating an embodiment of an automatic video editing method according to the present specification.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한 다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요 소에 대해 사용하였다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing each drawing, like reference numerals are used for like elements.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용 될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요 소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. The term “and/or” includes a combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속 되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When an element is referred to as being “connected” or “connected” to another element, it is understood that it may be directly connected or connected to the other element, but other elements may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사 용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하 게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또 는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존 재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are used only to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but is not limited to one or more other It should be understood that this does not preclude the possibility of addition or presence of features or numbers, steps, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가 진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정 의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보 다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동 일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the accompanying drawings. In explaining the present invention, in order to facilitate the overall understanding, the same reference numerals are used for the same components in the drawings, and duplicate descriptions of the same components are omitted.
도 1은 동영상 자동 편집 방법의 일 실시예를 도시한 흐름도이다.1 is a flowchart illustrating an embodiment of an automatic video editing method.
도 1을 참조하면, 본 발명의 실시예에 따른 동영상 자동 편집 방법은 PC(Personal Computer) 등과 같이 저장공간을 구비하고 인터넷에 연결될 수 있으며 휴대가 용이하지 않는 컴퓨팅 장치에서 수행되거나 스마트폰 등과 같이 휴 대용 단말기에서 수행될 수 있다. 이때 상기 동영상 편집 방법은 상기 동영상 편집 방법이 구현된 어플리케이션(application)이 앱스토어(App store)등에서 다운되어 상기 휴대용 단말기에 설치된 후 실행될 수 있다.1 , the automatic video editing method according to an embodiment of the present invention has a storage space such as a personal computer (PC), can be connected to the Internet, and is performed on a computing device that is not easy to carry, or can be used on a mobile device such as a smart phone. It may be performed in a substitute terminal. In this case, the video editing method may be executed after an application in which the video editing method is implemented is downloaded from an app store or the like and installed in the portable terminal.
그리고 상기 동영상 자동 편집 방법은 CD(Compact Disc) 또는 USB(Universal Serial Bus) 메모리 등과 같은 기록매체에 기록된 상태에서 PC 등과 같은 컴퓨팅 장치에 삽입되어 상기 컴퓨팅 장치의 액세스 동작을 통해서 수행되거나 상기 기록매체로부터 컴퓨팅 장치의 저장공간에 저장된 후 컴퓨팅 장치의 액세스 동작을 통해서 수행될 수도 있다.And the automatic video editing method is inserted into a computing device such as a PC in a state recorded on a recording medium such as a CD (Compact Disc) or USB (Universal Serial Bus) memory, etc., and is performed through an access operation of the computing device or the recording medium After being stored in the storage space of the computing device, it may be performed through an access operation of the computing device.
한편 상기 컴퓨팅 장치 또는 휴대용 단말기가 인터넷에 연결된 서 버에 접속가능한 경우, 상기 동영상 편집 방법은 상기 컴퓨팅 장치 또는 휴대용 단말기의 요청에 따라 서버에서도 실행될 수 있다.On the other hand, when the computing device or the portable terminal can access a server connected to the Internet, the video editing method may be executed on the server according to the request of the computing device or the portable terminal.
이하에서 상기 동영상 편집 방법이 실행되는 컴퓨팅 장치, 휴대용 단말기 또는 서버 등을 통칭하여 동영상 편집 장치라고 칭할 수 있다.Hereinafter, a computing device, a portable terminal, or a server on which the video editing method is executed may be collectively referred to as a video editing device.
상기 동영상 자동 편집 장치는 도 3에 예시된 동영상 자동 편집 장치와 동일한 구성을 가질 수 있으며, 상기 동영상 자동 편집 장치는 도 3에 도시된 동영상 자동 편집 장치에 국한되지 않을 수 있다.The automatic video editing apparatus may have the same configuration as the automatic video editing apparatus illustrated in FIG. 3 , and the automatic video editing apparatus may not be limited to the automatic video editing apparatus illustrated in FIG. 3 .
이하에서는 동영상 자동 편집 방법이 설명된다.Hereinafter, an automatic video editing method will be described.
동영상 자동 편집 방법은, 인물 얼굴을 인식하는 단계를 포함할 수 있다(S110). 예를들어, 동영상에 여러 인물들이 노출될 수 있다. 여기서, 영상 촬영자가 의도하지 않은 제3의 인물들이 포함될 수 있다. 제3의 인물들의 얼굴이 동 영상에 노출되는 경우, 초상권 문제가 발생할 수 있다. 따라서 동영상 편집자는 제 3의 인물들의 얼굴을 일일히 모자이크/블러 처리해야 한다.The automatic video editing method may include recognizing a person's face (S110). For example, several people may be exposed in a video. Here, third persons not intended by the videographer may be included. If the faces of third parties are exposed in the video, a portrait right problem may occur. Therefore, video editors have to mosaic/blur the faces of third parties one by one.
동영상 자동 편집 방법은, S110에서 인식한 인물 얼굴을 블러(blur)처리하는 단계를 포함할 수 있다(S120). 동영상에 포함된 모든 인물들의 얼굴이 블러 처리되므로 동영상 편집자는 인물들의 얼굴을 모자이크/블러 처리하는 과정에 소요되는 시간을 절감할 수 있는 효과가 있다.The automatic video editing method may include blurring the face of the person recognized in S110 (S120). Since the faces of all the people included in the video are blurred, the video editor can reduce the time required to mosaic/blur the faces of the people.
동영상 자동 편집 방법은, S110에서 얼굴을 인식한 인물들의 리스트를 정렬할 수 있다(S130). 예를들어, 리스트는 동영상에 등장한 인물들이 동영상에서 노출된 시간을 기초로 정렬될 수 있다. 즉, 동영상에 노출된 시간이 많은 인물일수록 리스트의 상위에 위치할 수 있다.In the automatic video editing method, a list of persons whose faces are recognized in S110 may be sorted ( S130 ). For example, the list may be sorted based on the time when people appearing in the video were exposed in the video. That is, a person who has been exposed to a video for more time may be positioned at the top of the list.
동영상 자동 편집 방법은, 사용자로부터 등장 인물에 해당하는 인물들에 대한 정보를 획득하면, 상기 등장 인물에 해당하는 인물들의 얼굴에 블러를 해제할 수 있다(S140). 예를들어, 사용자는 S130에서 정렬된 리스트를 기초로 등장 인물을 선택할 수 있다. 동영상에 노출된 시간이 많을수록 촬영자가 의도한 등장인물일 가능성이 높기 때문에, 편집자는 쉽게 등장 인물을 리스트에서 선택할 수 있다.In the automatic video editing method, when information about the people corresponding to the characters is obtained from the user, the blur on the faces of the people corresponding to the characters may be released ( S140 ). For example, the user may select a character based on the sorted list in S130. The more time a video is exposed, the more likely it is that the characters are the intended characters, so editors can easily select characters from a list.
도 2는 동영상 자동 편집 방법의 일 실시예를 도시한 흐름도이다.2 is a flowchart illustrating an embodiment of an automatic video editing method.
도 2를 참조하면, 동영상 자동 편집 방법은, 인물 선택 정보를 획득하는 단계를 포함할 수 있다(S210). 예를들어, 사용자는 S130의 리스트에 포함된 인물들 중에서 특정 인물을 선택할 수 있다.Referring to FIG. 2 , the automatic video editing method may include obtaining person selection information (S210). For example, the user may select a specific person from among the people included in the list of S130.
예를들어, 사용자로부터 제1 인물 선택 정보를 획득하면, 상기 제1 인물이 등장하는 동영상의 부분을 표시할 수 있다(S220). 예를들어, S110에서 인식한 인물 정보를 기초로 제1 인물이 등장하는 동영상의 모든 부분이 표시될 수 있다.For example, if the first person selection information is obtained from the user, a portion of a video in which the first person appears may be displayed ( S220 ). For example, all parts of a video in which the first person appears based on the person information recognized in S110 may be displayed.
예를들어, 사용자로부터 제2 인물 선택 정보를 획득하면, 상기 제2 인물이 등장하지 않는 동영상의 부분을 표시할 수 있다(S230). 예를들어, S110에서 인식한 인물 정보를 기초로 제2 인물이 등장하지 않는 동영상의 모든 부분이 표시될 수 있다.For example, when the second person selection information is obtained from the user, a portion of the video in which the second person does not appear may be displayed ( S230 ). For example, based on the person information recognized in S110, all parts of the video in which the second person does not appear may be displayed.
예를들어, 사용자로부터 제1 인물 선택 정보 및 제2 인물 선택 정보를 획득하면 상기 제1 인물이 등장하면서 제2 인물이 등장하지 않는 동영상의 모든 부분이 표시될 수 있다(S240). 예를들어, 사용자로부터 제1 인물 선택 정보 및 제2 인물 제외 정보를 획득할 수 있고, 이를 기초로 제1 인물이 등장하면서 제2 인물이 등장하지 않는 동영상의 모든 부분이 표시될 수 있다.For example, when the first person selection information and the second person selection information are obtained from the user, all parts of the video in which the second person does not appear while the first person appears may be displayed ( S240 ). For example, first person selection information and second person exclusion information may be obtained from the user, and all parts of a video in which the first person appears while the second person does not appear may be displayed based on this.
도 3은 본 발명의 일 실시예에 따른 동영상 자동 편집 장치의 블록 구성도이다.3 is a block diagram of an automatic video editing apparatus according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 일 실시예에 따른 동영상 자동 편집 장치(300)는 적어도 하나의 프로세서(310), 메모리(320) 및 저장 장치(330)를 포함할 수 있다.Referring to FIG. 3 , the
프로세서(310)는 메모리(320) 및/또는 저장 장치(330)에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(310)는 중앙 처리 장치 (central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU) 또는 본 발명에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(320)와 저장 장치(330)는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구성될 수 있다. 예를들어, 메모리(320)는 읽기 전용 메모리(read only memory, ROM) 및/또는 랜덤 액세스 메모리(random access memory, RAM)로 구성될 수 있다.The
메모리(320)는 프로세서(310)를 통해 실행되는 적어도 하나의 명령을 저장하고 있을 수 있다. 적어도 하나의 명령은 상기 동영상에서 포함된 복수의 인물의 얼굴을 인식하는 단계, 상기 복수의 인물의 얼굴을 블러(blur) 처리하는 단계, 상기 복수의 인물의 리스트를 상기 동영상에 노출된 시간을 기초로 정렬하는 단계, 사용자로부터 등장 인물에 관련된 정보를 획득하되, 상기 등장 인물은 상기 복수의 인물에 포함되는, 단계 및 상기 등장 인물의 얼굴의 블러를 해제하는 단계를 포함할 수 있다.The
여기서, 사용자로부터 상기 리스트에 포함된 제1 인물 선택 정보를 획득하는 단계 및 상기 제1 인물이 등장하는 상기 동영상의 부분을 표시하는 단계를 더 포함할 수 있다.Here, the method may further include obtaining information on selecting a first person included in the list from the user and displaying a portion of the video in which the first person appears.
여기서, 상기 동영상에 포함된 음악을 인식하는 단계, 상기 음악이 미리 설정된 저작권 화이트리스트에 포함되는지 확인하는 단계, 상기 저작권 화이 트리스트를 기초로 상기 음악을 뮤트(mute)하는 단계를 더 포함할 수 있다.Here, the method may further include recognizing the music included in the moving picture, checking whether the music is included in a preset copyright whitelist, and muting the music based on the copyright whitelist. there is.
여기서, 상기 동영상에 포함된 브랜드 이미지를 인식하되, 상기 브랜드 이미지는 상기 동영상에 포함된 브랜드 간판을 포함하는, 단계 및 상기 브랜드 이미지를 기초로 상기 동영상에 상기 브랜드에 관련된 추가 정보를 노출하는 단계를 더 포함하되, 상기 추가 정보는 상기 브랜드 홈페이지 주소를 포함할 수 있다.Here, the steps of recognizing a brand image included in the video, wherein the brand image includes a brand sign included in the video, and exposing additional information related to the brand to the video based on the brand image Further, the additional information may include the brand homepage address.
여기서, 상기 등장 인물의 목소리 파형 및 주파수 범위를 결정하는 단계 및 상기 등장 인물의 목소리 파형 및 주파수 범위를 기초로 상기 등장 인물의 목소리를 제외한 다른 음성을 삭제하는 단계를 더 포함할 수 있다.The method may further include determining the voice waveform and frequency range of the person, and deleting other voices other than the person's voice based on the person's voice waveform and frequency range.
여기서, 사용자로부터 상기 리스트에 포함된 제2 인물 선택 정보를 획득하는 단계 및 상기 제1 및 제2 인물이 동시에 등장하는 상기 동영상의 부분을 표시하는 단계를 더 포함할 수 있다.Here, the method may further include obtaining second person selection information included in the list from the user and displaying a portion of the video in which the first and second persons appear at the same time.
여기서, 사용자로부터 상기 리스트에 포함된 제3 인물 선택 정보를 획득하는 단계 및 상기 제1 및 제2 인물이 동시에 등장하고, 상기 제3 인물이 등장 하지 않는 상기 동영상의 부분을 표시하는 단계를 더 포함할 수 있다.Here, the method further includes: obtaining information on selecting a third person included in the list from the user; and displaying a portion of the video in which the first and second persons appear at the same time and the third person does not appear. can do.
도 4는 동영상 자동 편집 방법의 일 실시예를 도시한 흐름도이다.4 is a flowchart illustrating an embodiment of an automatic video editing method.
도 4를 참조하면, 동영상 자동 편집 방법은, 동영상에 포함된 음악 을 인식하는 단계를 포함할 수 있다(S410). 예를들어, 동영상 자동 편집 방법은, 미리 저장된 음악 데이터베이스를 기준으로 동영상에 포함된 음악이 어떤 음악인지를 인식하는 단계를 포함할 수 있다. 예를들어, 동영상에 포함된 음악이 어떤 곡인지에 대한 정보를 획득할 수 있다.Referring to FIG. 4 , the automatic video editing method may include recognizing music included in the video (S410). For example, the automatic video editing method may include recognizing which kind of music is included in the video based on a pre-stored music database. For example, it is possible to obtain information about what kind of music is included in the video.
동영상 자동 편집 방법은, S410에서 인식한 음악이 미리 설정된 저 작권 화이트리스트에 포함되는지 확인할 수 있다(S420). 예를들어, 저작권 화이트 리스트는 저작권 문제없이 사용할 수 있는 음악들에 대한 정보를 포함할 수 있다.The automatic video editing method may check whether the music recognized in S410 is included in the preset copyright whitelist (S420). For example, the copyright white list may include information about songs that can be used without copyright issues.
예를들어, 저작권 화이트리스트에 포함되지 않은 음악이 동영상에 포함된 경우, 상기 음악을 뮤트(mute)할 수 있다(S430). 예를들어, 저작권 화이트리스트에 포함되지 않은 음악이 동영상에 포함되면 저작권 문제가 발생할 수 있기 때문에, 자동으로 음악이 포함된 부분의 음성을 소거할 수 있다.For example, when music not included in the copyright whitelist is included in the video, the music may be muted (S430). For example, if music that is not included in the copyright whitelist is included in a video, a copyright problem may occur. Therefore, the audio of a part including music may be automatically muted.
도 5는 동영상 자동 편집 방법의 일 실시예를 도시한 흐름도이다.5 is a flowchart illustrating an embodiment of an automatic video editing method.
도 5를 참조하면, 동영상 자동 편집 방법은, 동영상에 포함된 브랜드 이미지를 인식하는 단계를 포함할 수 있다(S510). 예를들어, 브랜드 이미지는 동영상에 포함된 브랜드 간판일 수 있다. 즉, 동영상에 포함된 브랜드 간판 이미지를 인식할 수 있다.Referring to FIG. 5 , the automatic video editing method may include recognizing a brand image included in the video ( S510 ). For example, the brand image may be a brand sign included in a video. That is, it is possible to recognize the brand sign image included in the video.
브랜드 이미지를 기초로 동영상에 브랜드에 관련된 추가 정보를 노출할 수 있다(S520). 예를들어, 추가 정보는 상기 브랜드 홈페이지 주소일 수 있다. 즉, 동영상에 브랜드 이미지가 포함되면, 동영상의 해당 부분에 브랜드에 대한 추가 정보를 제공할 수 있다.Based on the brand image, additional information related to the brand may be exposed in the video ( S520 ). For example, the additional information may be the brand homepage address. That is, if a brand image is included in the video, additional information about the brand may be provided in the corresponding part of the video.
동영상 자동 편집 방법은, 등장 인물의 목소리 파형 및 주파수 범위를 결정할 수 있다. 등장 인물의 목소리 파형 및 주파수 범위를 기초로 등장 인물의 목소리를 제외한 다른 음성을 삭제할 수 있다.The automatic video editing method may determine the voice waveform and frequency range of the character. Based on the character's voice waveform and frequency range, other voices other than the character's voice can be deleted.
나아가, 본 발명의 다른 실시예에 따른 동영상 자동 편집 방법은 다음과 같이 동작될 수도 있다.Furthermore, the automatic video editing method according to another embodiment of the present invention may be operated as follows.
예를들어, 다른 실시예는 우선 동영상에서 포함된 복수의 인물의 얼굴을 인식할 수 있으며, 복수의 인물의 리스트를 상기 동영상에 상기 복수의 인물이 노출된 시간을 기초로 정렬할 수 있다. 또한, 사용자로부터 상기 리스트에 포함된 제1 인물 선택 정보를 획득할 수 있고, 상기 제1 인물이 등장하는 상기 동영상의 부분을 표시할 수 있다. 이후, 일 실시예는 상기 사용자로부터 상기 제1 인물에 대한 블러(blur) 요청 정보를 획득하는 경우, 상기 제1 인물의 얼굴을 블러 처리할 수 있으며, 상기 제1 인물의 얼굴이 블러 처리되어 있으며, 상기 사용자로부터 상기 제1 인물에 대한 블러 해제 요청 정보를 획득하는 경우, 상기 제1 인물의 얼굴의 블러를 해제할 수 있다. 상술한 과정에서 적어도 일부는 도 1 내지 4와 함 께 설명한 동작들이 적용될 수 있음은 자명하다. 즉, 일 실시예는 복수의 인물들에 대하여 모두 블러 처리한 후, 일부 인물들에 대하여 블러를 해제할 수 있으나, 다른 실시예는 처음부터 일부 인물들만 선별적으로 블러 처리 또는 블러 해제를 수행할 수 있다.For example, in another embodiment, the faces of a plurality of persons included in a video may be recognized first, and a list of the plurality of persons may be sorted based on the exposure times of the plurality of persons in the video. In addition, the first person selection information included in the list may be obtained from the user, and a portion of the video in which the first person appears may be displayed. Then, in one embodiment, when the blur request information for the first person is obtained from the user, the face of the first person may be blurred, and the face of the first person is blurred. , when the blur cancellation request information for the first person is obtained from the user, the blur of the face of the first person may be canceled. It is obvious that at least some of the operations described with reference to FIGS. 1 to 4 may be applied in the above-described process. That is, in one embodiment, after blurring all of the plurality of people, it is possible to release the blur for some people, but in another embodiment, it is possible to selectively blur or unblur only some people from the beginning. can
다른 실시예에 따르면, 블러는 보다 구체적이고 세분화되어 적용될 수 도 있다. 예를들어, 블러는 우선 미리 결정된 기본 설정 값을 기반으로 처리될 수 있으며, 이후, 사용자로부터 특정 값을 포함하는 블러에 대한 설정 값 변경 정보를 획득하는 경우, 특정 값을 기반으로 상기 블러의 정도를 조절할 수도 있다. 또한, 그 후에 동일한 동영상에 대하여 다른 인물에 대하여 블러 처리를 요청하는 경우, 상기 기본 설정 값이 아닌 상기 특정 값을 기반으로 곧바로 블러 처리를 수행할 수 있다. 여기서, 블러의 정도는 수치적으로 0 이상 100 이하의 정수로 나타낼 수 있으며, 상기 특정 값은 상기 0 이상 100 이하의 정수 중 하나일 수 있다. 또한, 예를들어, 상기 기본 설정 값은 50일 수도 있다.According to another embodiment, the blur may be applied more specifically and subdivided. For example, the blur may be first processed based on a predetermined default setting value, and then, when information on changing the setting value for blur including a specific value is obtained from the user, the degree of blur based on the specific value can also be adjusted. In addition, when a blur processing is requested for another person with respect to the same video after that, the blur processing may be performed directly based on the specific value instead of the default setting value. Here, the degree of blur may be numerically represented by an integer of 0 or more and 100 or less, and the specific value may be one of the integers of 0 or more and 100 or less. Also, for example, the default setting value may be 50.
다른 실시예에 따르면, 음악과 관련된 구성도 보다 구체적이고 세분화되어 적용될 수도 있다. 예를들어, 다른 실시예는 상기 동영상에 포함된 음악이 저작권 화이트리스트에 포함되는지 즉, 음악이 사용해도 되는 음악인지 판단하기 위하여 상기 동영상에 포함된 음악을 인식하여 상기 음악에 대한 제목 정보 및 가수 정보를 도출할 수 있다. 이후, 다른 실시예는 상기 제목 정보 및 상기 가수 정보를 기반으로 상기 음악이 미리 설정된 저작권 화이트리스트에 포함되는지 판단할 수 있다. 여기서, 저작권 화이트리스트는 외부의 음악 저작권 관리 서버와 연동되어 획득될 수 있으며, 외부의 음악 저작권 관리 서버로부터 다운받은 기 저장된 데이터일 수도 있다.According to another embodiment, a configuration related to music may also be applied in a more specific and subdivided manner. For example, in another embodiment, the music included in the video is recognized to determine whether the music included in the video is included in the copyright whitelist, that is, whether the music is acceptable music, and title information and artist for the music information can be derived. Thereafter, another embodiment may determine whether the music is included in a preset copyright whitelist based on the title information and the singer information. Here, the copyright whitelist may be obtained by interworking with an external music copyright management server, or may be pre-stored data downloaded from an external music copyright management server.
예를들어, 다른 실시예는 상기 음악이 상기 저작권 화이트리스트에 포함되는 경우, 상기 음악은 별도의 비용 지불 없이 동영상에 사용 가능한 바, 별도의 동작을 수행하지 않을 수 있다. 다만, 후술하는 음악 정보를 화면에 표시하는 동작은 동일하게 수행될 수도 있다.For example, in another embodiment, when the music is included in the copyright whitelist, the music can be used in a video without paying a separate fee, so a separate operation may not be performed. However, the operation of displaying music information, which will be described later, on the screen may be performed in the same manner.
예를들어, 다른 실시예는 상기 음악이 상기 저작권 화이트리스트에 포함되지 않는 경우, 상기 동영상에서 상기 음악이 재생되는 시간 동안 상기 음악을 뮤트(mute)할 수 있고, 상기 제목 정보 및 상기 가수 정보를 포함하는 음악 정보를 상기 동영상의 화면 내의 좌상측, 우상측, 좌하측 및 우하측 중 하나의 꼭지점에 연결된 두 변에 인접한 위치에 표시할 수 있다. 즉, 상기 음악 정보를 화면을 가장자리에 나타낼 수 있다. 여기서, 위치는 바람직하게 좌하측일 수 있으나, 이에 한정되는 것은 아니다.For example, in another embodiment, when the music is not included in the copyright whitelist, the music may be muted during the time the music is played in the moving picture, and the title information and the artist information may be stored. The included music information may be displayed at positions adjacent to two sides connected to one vertex of the upper left, upper right, lower left, and lower right of the screen of the moving picture. That is, the music information may be displayed at the edge of the screen. Here, the position may preferably be the lower left, but is not limited thereto.
다른 실시예는 제목 정보 및 가수 정보뿐만 아니라 장르에 적합한 이미지 정보를 함께 표시할 수도 있다. 이를 통해 음악이 뮤트되어도 음악의 느낌이 전달되도록 할 수도 있다. 예를들어, 다른 실시예는 기설정된 복수의 장르들 중 상기 음악에 대하여 장르 정보를 도출할 수 있고, 상기 복수의 장르들에 대응되는 기저장된 복수의 이미지 정보들 중 상기 장르 정보에 대응되는 이미지 정보를 선택할 수 있다. 또한, 상기 선택한 이미지 정보를 상기 음악 정보에 포함시킬 수 도 있다.In another embodiment, title information and singer information as well as image information suitable for a genre may be displayed together. In this way, even when the music is muted, the feeling of the music can be conveyed. For example, another embodiment may derive genre information for the music among a plurality of preset genres, and an image corresponding to the genre information among a plurality of pre-stored image information corresponding to the plurality of genres information can be selected. Also, the selected image information may be included in the music information.
예를들어, 제목 정보 및 가수 정보는 상하 병기되어 표시될 수 있으며, 가수 정보는 제목 정보보다 작은 크기로 표시될 수 있다. 또한, 이미지 정보는 상기 제목 정보 및 상기 가수 정보의 좌측에 위치되어 표시될 수도 있다. 또는 예를들어, 이미지 정보 내에 제목 정보 및 가수 정보가 상하로 병기되어 표시될 수도 있다. 즉, 제목 정보 및 가수 정보는 이미지 정보와 오버랩되어 표시될 수도 있다.For example, the title information and the singer information may be displayed side by side, and the singer information may be displayed in a smaller size than the title information. In addition, the image information may be displayed by being positioned on the left side of the title information and the singer information. Alternatively, for example, title information and singer information may be displayed side by side in the image information. That is, the title information and the singer information may be displayed overlapping the image information.
다른 실시예에 따르면, 음악의 크기에 따라 음악 정보를 조절함으로써 동영상을 시청하는 자에게 음악이 뮤트되어도 음악이 커지거나 작아지는 느낌을 전달할 수도 있다. 예를들어, 다른 실시예는 동영상 내에서 상기 음악의 볼륨(volume)의 크기가 낮아질수록 상기 음악 정보의 투명도를 높일 수 있고, 이와 함께 상기 화면 내에서 상기 음악 정보가 표시되는 크기를 작게 조절할 수도 있다. 또는 예를들어, 다른 실시예는 동영상 내에서 상기 음악의 볼륨의 크기가 커질수 록 상기 음악 정보의 투명도를 낮출 수 있고, 상기 화면 내에서 상기 음악 정보가 표시되는 크기를 크게 조절할 수도 있다.According to another embodiment, by adjusting music information according to the size of the music, a feeling that the music increases or decreases even when the music is muted may be conveyed to a viewer of a video. For example, in another embodiment, as the volume of the music in the video decreases, the transparency of the music information may be increased, and the size at which the music information is displayed in the screen may be adjusted to be small. there is. Or, for example, in another embodiment, as the volume of the music in the video increases, the transparency of the music information may be lowered, and the size of the music information displayed in the screen may be increased.
여기서, 다른 실시예에 따르면, 상기 음악의 불륨의 크기가 0일 때 상기 투명도는 최대값이 되고, 상기 투명도에 따라 상기 화면 내에 상기 음악 정보가 투명해져 표시되지 않을 수 있다. 즉, 투명도에 따른 값은 낮을수록 불투명하고, 높을수록 투명할 수 있으며, 이는 음악의 볼륨에 따라 조절될 수 있다. 또한, 다른 실시예에 따르면 투명도뿐만 아니라 음악 정보의 크기도 함께 조절될 수 있다. 여기서, 상기 음악 정보의 크기의 최소값은 상기 화면의 1/32로 설정되고, 상기 음악 정보의 크기의 최대값은 상기 화면의 1/16로 설정될 수 있으며, 음악의 볼륨에 따라 커지거나 작아질 수 있다. 여기서, 투명도 및 크기의 조절은 음악 정보 내의 제목 정보, 가수 정보 및 이미지 정보에 모두 적용될 수 있다.Here, according to another exemplary embodiment, when the volume of the music is 0, the transparency becomes a maximum value, and the music information may not be displayed because it is transparent in the screen according to the transparency. That is, the value according to the transparency may be opaque as the value is lower and more transparent as the value is higher, which may be adjusted according to the volume of the music. In addition, according to another embodiment, not only transparency but also the size of music information may be adjusted. Here, the minimum value of the size of the music information may be set to 1/32 of the screen, and the maximum value of the size of the music information may be set to 1/16 of the screen, and may increase or decrease according to the volume of the music. can Here, the control of transparency and size may be applied to all title information, singer information, and image information in the music information.
뿐만 아니라 다른 실시예는 상술한 블러 처리 방법 및 뮤트 처리 방법외에도 상술한 브랜드 관련 동작 및 목소리 파형/주파수 범위에 따른 음석 삭제 동작도 함께 적용될 수 있음은 자명하다.In addition, it is self-evident that in another embodiment, in addition to the above-described blur processing method and mute processing method, the above-described brand-related operation and voice deletion operation according to the voice waveform/frequency range may be applied together.
본 발명의 실시예에 따른 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.The operation according to the embodiment of the present invention can be implemented as a computer-readable program or code on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices in which data that can be read by a computer system is stored. In addition, the computer-readable recording medium may be distributed in a network-connected computer system to store and execute computer-readable programs or codes in a distributed manner.
본 명세서의 기술적 특징은 CRM(computer readable medium)을 기초로 구현될 수 있다. 예를들어, 본 명세서에 의해 제안되는 CRM은, 동영상 자동 편집 장치의 적어도 하나의 프로세서(processor)에 의해 실행됨을 기초로 하는 명령 어(instruction)를 포함하는 적어도 하나의 컴퓨터로 읽을 수 있는 기록매체 (computer readable medium)에 있어서, 상기 동영상에서 포함된 복수의 인물의 얼 굴을 인식하는 단계, 상기 복수의 인물의 얼굴을 블러(blur) 처리하는 단계, 상기 복수의 인물의 리스트를 상기 동영상에 상기 복수의 인물이 노출된 시간을 기초로 정렬하는 단계, 사용자로부터 등장 인물에 관련된 정보를 획득하되, 상기 등장 인 물은 상기 복수의 인물에 포함되는, 단계 및 상기 등장 인물의 얼굴의 블러를 해제 하는 단계를 포함하는 동작(operation)을 수행하는 명령어(instructions)를 저장할 수 있다. 본 명세서의 CRM 내에 저장되는 명령어는 적어도 하나의 프로세서에 의해 실행(execute)될 수 있다. 본 명세서의 CRM에 관련된 적어도 하나의 프로세서는 도 3의 프로세서(310) 일 수 있다. 한편, 본 명세서의 CRM은 도 3의 메모리(320) 이거 나, 별도의 외부 메모리/저장매체/디스크 등일 수 있다.The technical features of the present specification may be implemented based on a CRM (computer readable medium). For example, CRM proposed by the present specification is at least one computer-readable recording medium including an instruction based on being executed by at least one processor of an automatic video editing apparatus. In a computer readable medium, the steps of recognizing the faces of a plurality of persons included in the moving image, blurring the faces of the plurality of persons, and adding a list of the plurality of persons to the moving image A step of aligning a plurality of people based on the exposure time, obtaining information related to a character from the user, wherein the character is included in the plurality of people, and removing the blur of the face of the character Instructions for performing an operation including a step may be stored. The instructions stored in the CRM of the present specification may be executed by at least one processor. At least one processor related to CRM in the present specification may be the
실시예가 소프트웨어로 구현될 때, 상술한 기법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다.When the embodiment is implemented in software, the above-described technique may be implemented as a module (process, function, etc.) that performs the above-described function. A module may be stored in a memory and executed by a processor. The memory may be internal or external to the processor, and may be coupled to the processor by various well-known means.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.In addition, the computer-readable recording medium may include a hardware device specially configured to store and execute program instructions, such as ROM, RAM, and flash memory. The program instructions may include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.Although some aspects of the invention have been described in the context of an apparatus, it may also represent a description according to a corresponding method, wherein a block or apparatus corresponds to a method step or feature of a method step. Similarly, aspects described in the context of a method may also represent a corresponding block or item or a corresponding device feature. Some or all of the method steps may be performed by (or using) a hardware device such as, for example, a microprocessor, a programmable computer, or an electronic circuit. In some embodiments, one or more of the most important method steps may be performed by such an apparatus.
실시예들에서, 프로그램 가능한 로직 장치(예를들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.In embodiments, a programmable logic device (eg, a field programmable gate array) may be used to perform some or all of the functions of the methods described herein. In embodiments, the field programmable gate array may operate in conjunction with a microprocessor to perform one of the methods described herein. In general, the methods are preferably performed by some hardware device.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. Although the above has been described with reference to the preferred embodiment of the present invention, those skilled in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention as described in the claims below. You will understand that it can be done.
Claims (1)
상기 동영상에서 포함된 복수의 인물의 얼굴을 인식하는 단계;
상기 복수의 인물의 리스트를 상기 동영상에 상기 복수의 인물이 노출된 시간을 기초로 정렬하고, 사용자로부터 상기 리스트에 포함된 제1 인물 선택 정보를 획득하는 단계;
상기 사용자로부터 상기 제1 인물에 대한 블러(blur) 요청 정보를 획득하는 경우, 상기 제1 인물의 얼굴을 블러 처리하는 단계; 및
상기 제1 인물의 얼굴이 블러 처리되어 있으며, 상기 사용자로부터 상기 제1 인물에 대한 블러 해제 요청 정보를 획득하는 경우, 상기 제1 인물의 얼굴의 블러를 해제하는 단계를 포함하고,
상기 블러는 미리 결정된 기본 설정 값을 기반으로 수행되고,
상기 사용자로부터 특정 값을 포함하는 상기 블러에 대한 설정 값 변경 정보를 획득하는 경우, 상기 특정 값을 기반으로 상기 블러의 정도를 조절하는 단계를 더 포함하고, 상기 특정 값은 0이상 100이하의 정수 중 하나이고, 상기 기본 설정값은 50이고,
상기 동영상에 포함된 음악을 인식하여 상기 음악에 대한 제목 정보 및 가수 정보를 도출하는 단계;
상기 제목 정보 및 상기 가수 정보를 기반으로 상기 음악이 미리 설정된 저작권 화이트리스트에 포함되는지 판단하는 단계; 및
상기 음악이 상기 저작권 화이트리스트에 포함되지 않는 경우, 상기 동영상에서 상기 음악이 재생되는 시간 동안 상기 음악을 뮤트(mute)하고, 상기 제목 정보 및 상기 가수 정보를 포함하는 음악 정보를 상기 동영상의 화면 내의 좌상측, 우상측, 좌하측 및 우하측 중 하나의 꼭지점에 연결된 두 변에 인접한 위치에 표시하는 단계를 더 포함하고,
기설정된 복수의 장르들 중 상기 음악에 대하여 장르 정보를 도출하는 단계;
상기 복수의 장르들에 대응되는 기저장된 복수의 이미지 정보들 중 상기 장르 정보에 대응되는 이미지 정보를 선택하는 단계; 및
상기 선택한 이미지 정보를 상기 음악 정보에 포함시키는 단계를 더 포함하고,
상기 동영상 내에서 상기 음악의 볼륨(volume)의 크기가 낮아질수록 상기 음악 정보의 투명도를 높이고, 상기 화면 내에서 상기 음악 정보가 표시되는 크기를 작게 조절하는 단계; 및
상기 동영상 내에서 상기 음악의 볼륨의 크기가 커질수록 상기 음악 정보의 투명도를 낮추고, 상기 화면 내에서 상기 음악 정보가 표시되는 크기를 크게 조절하는 단계를 더 포함하고,
상기 음악 정보의 크기의 최소값은 상기 화면의 1/32로 설정되고, 상기 음악 정보의 크기의 최대값은 상기 화면의 1/16로 설정되고,
상기 음악의 불륨의 크기가 0일 때 상기 투명도는 최대값이 되고, 상기 투명도에 따라 상기 화면 내에 상기 음악 정보가 투명해져 표시되지 않고,
상기 복수의 인물의 목소리 파형 및 주파수 범위를 결정하는 단계; 및
상기 복수의 인물의 목소리 파형 및 주파수 범위를 기초로 상기 복수의 인물의 목소리를 제외한 다른 음성을 삭제하는 단계를 더 포함하는,
인물을 고려한 동영상 비주얼 이펙트 합성 방법.As a video visual effect synthesis method considering people,
recognizing faces of a plurality of persons included in the video;
arranging the list of the plurality of persons based on the time the plurality of persons were exposed in the video, and obtaining first person selection information included in the list from the user;
blurring the face of the first person when obtaining blur request information for the first person from the user; and
If the face of the first person is blurred, and when obtaining information about the blur release request for the first person from the user, canceling the blur of the face of the first person;
The blur is performed based on a predetermined default setting value,
The method further comprising the step of adjusting the degree of blur based on the specific value when obtaining information on changing the setting value for the blur including the specific value from the user, wherein the specific value is an integer greater than or equal to 0 and less than or equal to 100 one of, the default setting value is 50,
deriving title information and singer information about the music by recognizing the music included in the moving picture;
determining whether the music is included in a preset copyright whitelist based on the title information and the singer information; and
When the music is not included in the copyright whitelist, the music is muted while the music is being played in the moving picture, and music information including the title information and the artist information is displayed in the screen of the moving picture. The method further comprising the step of displaying at positions adjacent to two sides connected to one of vertices of upper left, upper right, lower left and lower right;
deriving genre information for the music from among a plurality of preset genres;
selecting image information corresponding to the genre information from among a plurality of pre-stored image information corresponding to the plurality of genres; and
Further comprising the step of including the selected image information in the music information,
increasing the transparency of the music information as the volume of the music in the moving picture decreases, and adjusting the size of the music information displayed in the screen to be smaller; and
The method further comprises the step of lowering the transparency of the music information as the volume of the music in the video increases, and adjusting the size of the music information displayed in the screen to be larger,
The minimum value of the size of the music information is set to 1/32 of the screen, and the maximum value of the size of the music information is set to 1/16 of the screen,
When the volume of the music is 0, the transparency becomes the maximum value, and the music information becomes transparent in the screen according to the transparency and is not displayed,
determining voice waveforms and frequency ranges of the plurality of persons; and
The method further comprising the step of deleting voices other than the voices of the plurality of people based on the voice waveforms and frequency ranges of the plurality of people,
A method of synthesizing video visual effects considering people.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220022823A KR102388652B1 (en) | 2021-01-12 | 2022-02-22 | Video visual effects composing method considering the person |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210004017A KR102387398B1 (en) | 2020-09-29 | 2021-01-12 | Video composing method considering the person in the video |
| KR1020220022823A KR102388652B1 (en) | 2021-01-12 | 2022-02-22 | Video visual effects composing method considering the person |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210004017A Division KR102387398B1 (en) | 2020-09-29 | 2021-01-12 | Video composing method considering the person in the video |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220043925A KR20220043925A (en) | 2022-04-05 |
| KR102388652B1 true KR102388652B1 (en) | 2022-04-20 |
Family
ID=81182370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220022823A KR102388652B1 (en) | 2021-01-12 | 2022-02-22 | Video visual effects composing method considering the person |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102388652B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100827846B1 (en) | 2007-10-18 | 2008-05-07 | (주)올라웍스 | Method and system for replaying a movie from a wanted point by searching specific person included in the movie |
| KR102123248B1 (en) | 2020-01-30 | 2020-06-16 | 김선진 | Real-time image processing system based on face recognition for protecting privacy |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6998527B2 (en) * | 2002-06-20 | 2006-02-14 | Koninklijke Philips Electronics N.V. | System and method for indexing and summarizing music videos |
| KR20150057591A (en) * | 2013-11-20 | 2015-05-28 | 주식회사 디오텍 | Method and apparatus for controlling playing video |
| KR20150121889A (en) * | 2014-04-22 | 2015-10-30 | 에스케이플래닛 주식회사 | Apparatus for providing related image of playback music and method using the same |
| KR20170130729A (en) * | 2016-05-19 | 2017-11-29 | (주)알투디투사운드 | Method, Apparatus, and Computer-Readable Medium for Automatic editing moving picture data and audio data |
-
2022
- 2022-02-22 KR KR1020220022823A patent/KR102388652B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100827846B1 (en) | 2007-10-18 | 2008-05-07 | (주)올라웍스 | Method and system for replaying a movie from a wanted point by searching specific person included in the movie |
| KR102123248B1 (en) | 2020-01-30 | 2020-06-16 | 김선진 | Real-time image processing system based on face recognition for protecting privacy |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220043925A (en) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220229536A1 (en) | Information processing apparatus display control method and program | |
| US10380227B2 (en) | Generating layout for content presentation structures | |
| JP6824332B2 (en) | Video service provision method and service server using this | |
| EP2151770B1 (en) | Systems and methods for searching media content based on an editing file | |
| US8819545B2 (en) | Digital comic editor, method and non-transitory computer-readable medium | |
| US7844115B2 (en) | Information processing apparatus, method, and program product | |
| WO2017173781A1 (en) | Video frame capturing method and device | |
| US10721519B2 (en) | Automatic generation of network pages from extracted media content | |
| CN104735468A (en) | Method and system for synthesizing images into new video based on semantic analysis | |
| US20190318764A1 (en) | Apparatus, method, and program for creating a video work | |
| CN111385665A (en) | Bullet screen information processing method, device, equipment and storage medium | |
| KR102367579B1 (en) | Electronic apparatus that provide efficient video composing tools | |
| KR102388652B1 (en) | Video visual effects composing method considering the person | |
| KR102387398B1 (en) | Video composing method considering the person in the video | |
| KR102144351B1 (en) | Electronic terminal device supporting easy undo processing of electronic document and operating method thereof | |
| US20070101270A1 (en) | Method and system for generating a presentation file for an embedded system | |
| JP6975281B2 (en) | Image editing method using artificial intelligence model and its device | |
| CN117750112A (en) | Video processing method, device, equipment and storage medium | |
| CN113571061A (en) | System, method, device and equipment for editing voice transcription text | |
| CN107277602B (en) | Information acquisition method and electronic equipment | |
| KR20210060808A (en) | Document editing device to check whether the font applied to the document is a supported font and operating method thereof | |
| KR102566905B1 (en) | Presentation document editing apparatus that allows users to easily set the page style of presentation documents and operating method thereof | |
| JP7357030B2 (en) | Communication terminal, program, and display method | |
| CN117591214A (en) | Content display method and related equipment | |
| CN111353936A (en) | Image resource splicing method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E701 | Decision to grant or registration of patent right |