KR20220108668A

KR20220108668A - Method for Analyzing Video

Info

Publication number: KR20220108668A
Application number: KR1020210011926A
Authority: KR
Inventors: 최장원; 최현석; 은종서
Original assignee: 오지큐 주식회사
Priority date: 2021-01-27
Filing date: 2021-01-27
Publication date: 2022-08-03

Abstract

The present invention relates to a video analysis method. The video analysis method executed by an operation server according to the present invention comprises: a first step of analyzing video contents stored in a designated contents management medium by a designated frame unit and recognizing M objects including objects belonging to at least one object category among preset T object categories, wherein M is greater than or equal to 1 and T is greater than or equal to 1; a second step of classifying the recognized M objects according to the set object categories and recognizing N frame sections including frame sections maintaining a state including m objects belonging to the same object category, wherein N is greater than or equal to 1 and m is less than or equal to M and greater than or equal to 1; a third step of generating object analysis information including the recognized N frame section information and object category information for each frame section corresponding to at least one object category to which each m object included in each frame section belongs, and storing the object analysis information in a designated storage medium. According to the present invention, before a user edits a video, the video is analyzed based on frame tags.

Description

Method for Analyzing Video

본 발명은 동영상 분석 방법에 관한 것이다. 보다 상세하게는 운영서버에서 지정된 컨텐츠관리매체에 저장된 동영상 컨텐츠를 지정된 프레임 단위로 분석하여 기 설정된 T(T≥1)개의 객체 카테고리 중 적어도 한 객체 카테고리에 속한 객체를 포함하는 M(M≥1)개의 객체를 인식하고, 상기 인식된 M개의 객체를 상기 설정된 객체 카테고리에 따라 분류하여 동일한 객체 카테고리에 속한 m(1≤m≤M)개의 객체를 포함한 상태를 유지하는 프레임 구간을 포함하는 N(N≥1)개의 프레임 구간을 인식한 후, 상기 인식된 N개의 프레임 구간 정보와 각각의 프레임 구간에 포함된 각각의 m개의 객체가 속한 적어도 하나의 객체 카테고리에 대응하는 프레임 구간 별 객체 카테고리 정보를 포함하는 객체 분석 정보를 생성하여 지정된 저장매체에 저장하는 방법에 관한 것이다.The present invention relates to a video analysis method. In more detail, the operation server analyzes the moving picture content stored in the content management medium specified in the specified frame unit, and M (M≥1) including objects belonging to at least one object category among the preset T(T≥1) object categories. N(N) including a frame section in which m (1≤m≤M) objects belonging to the same object category are maintained by recognizing objects and classifying the recognized M objects according to the set object category. After recognizing ≥1) frame sections, information on the recognized N frame sections and object category information for each frame section corresponding to at least one object category to which m objects included in each frame section belong are included. It relates to a method of generating object analysis information to be stored in a designated storage medium.

인터넷과 정보 기술의 발달로 인해 다양한 형태의 영상 컨텐츠가 등장했고, 특히 최근 들어 1인 미디어, 브이로그 등의 영상 컨텐츠가 급속하게 늘고 있는 추세이다.Due to the development of the Internet and information technology, various types of video content have appeared, and in particular, recently, video content such as single-person media and vlogs is rapidly increasing.

이러한 영상 컨텐츠가 증가함에 따라 사용자가 보다 편리하게 다양한 형태의 편집이 가능하도록 하는 동영상 분석 기술이 필요한 시점이다.As such video contents increase, it is a time for video analysis technology that enables users to more conveniently edit various types of video content.

대한민국 공개특허공보 제2011-0020158호, '메타데이터 태깅 시스템, 이미지 검색 방법, 디바이스 및 이에 적용되는 제스처 태깅방법'에서는 이미지를 분석하여 시각정보와 장소정보를 추출하는 기술이 개시되어 있으나, 태깅이 이미지 내 시각정보로 한정되는 등 사용자 기반의 최적의 편집 환경을 제공하기 어렵다. Republic of Korea Patent Publication No. 2011-0020158, 'Metadata tagging system, image search method, device and gesture tagging method applied thereto' discloses a technique for extracting visual information and place information by analyzing an image, but tagging is not It is difficult to provide an optimal user-based editing environment, such as being limited to visual information in images.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 지정된 컨텐츠관리매체에 저장된 동영상 컨텐츠를 지정된 프레임 단위로 분석하여 기 설정된 T(T≥1)개의 객체 카테고리 중 적어도 한 객체 카테고리에 속한 객체를 포함하는 M(M≥1)개의 객체를 인식하고, 상기 인식된 M개의 객체를 상기 설정된 객체 카테고리에 따라 분류하여 동일한 객체 카테고리에 속한 m(1≤m≤M)개의 객체를 포함한 상태를 유지하는 프레임 구간을 포함하는 N(N≥1)개의 프레임 구간을 인식한 후, 상기 인식된 N개의 프레임 구간 정보와 각각의 프레임 구간에 포함된 각각의 m개의 객체가 속한 적어도 하나의 객체 카테고리에 대응하는 프레임 구간 별 객체 카테고리 정보를 포함하는 객체 분석 정보를 생성하여 지정된 저장매체에 저장하는 동영상 분석 방법을 제공함에 있다.An object of the present invention to solve the above problems is to analyze video content stored in a designated content management medium in a designated frame unit, and include an object belonging to at least one object category among preset T (T≥1) object categories. A frame that recognizes M (M ≥ 1) objects, classifies the recognized M objects according to the set object category, and maintains a state including m (1 ≤ m ≤ M) objects belonging to the same object category After recognizing N (N≥1) frame sections including the section, the frame corresponding to the recognized N frame section information and at least one object category to which each m objects included in each frame section belongs An object of the present invention is to provide a video analysis method for generating object analysis information including object category information for each section and storing the object analysis information in a designated storage medium.

본 발명에 따른 운영서버를 통해 실행되는 동영상 분석 방법은, 지정된 컨텐츠관리매체에 저장된 동영상 컨텐츠를 지정된 프레임 단위로 분석하여 기 설정된 T(T≥1)개의 객체 카테고리 중 적어도 한 객체 카테고리에 속한 객체를 포함하는 M(M≥1)개의 객체를 인식하는 제1 단계와, 상기 인식된 M개의 객체를 상기 설정된 객체 카테고리에 따라 분류하여 동일한 객체 카테고리에 속한 m(1≤m≤M)개의 객체를 포함한 상태를 유지하는 프레임 구간을 포함하는 N(N≥1)개의 프레임 구간을 인식하는 제2 단계와, 상기 인식된 N개의 프레임 구간 정보와 각각의 프레임 구간에 포함된 각각의 m개의 객체가 속한 적어도 하나의 객체 카테고리에 대응하는 프레임 구간 별 객체 카테고리 정보를 포함하는 객체 분석 정보를 생성하여 지정된 저장매체에 저장하는 제3 단계를 포함하여 구성될 수 있다.The moving picture analysis method executed through the operation server according to the present invention analyzes moving picture contents stored in a specified content management medium in units of a specified frame and selects an object belonging to at least one of the preset T (T≥1) object categories. A first step of recognizing M (M≥1) objects including A second step of recognizing N (N≥1) frame sections including a frame section that maintains a state, and at least the recognized N frame section information and at least m objects included in each frame section belong and a third step of generating object analysis information including object category information for each frame section corresponding to one object category and storing the object analysis information in a designated storage medium.

본 발명에 따른 동영상 분석 방법은, 동영상 컨텐츠의 프레임을 분석하여 인식 가능한 각 객체에 대한 객체 정보와 각 객체가 속한 적어도 하나의 객체 카테고리를 포함하는 T(T≥1)개의 객체 카테고리 정보를 저장하는 단계를 더 포함하여 이루어질 수 있다.The moving picture analysis method according to the present invention analyzes a frame of moving picture content to store T (T≥1) object category information including object information for each recognizable object and at least one object category to which each object belongs. It may be made to further include a step.

본 발명에 따르면, 상기 객체 정보는, 각 객체의 고유한 객체 명칭 정보와 각 객체에 부여된 적어도 하나의 객체 태그 정보 중 적어도 하나의 정보를 포함하여 이루어질 수 있다.According to the present invention, the object information may include at least one of the unique object name information of each object and at least one object tag information assigned to each object.

본 발명에 따르면, 상기 객체 정보는, 각 객체를 인식하기 위한 각 객체의 관측된 특징에 대응하는 객체 별 객체 특징 정보를 더 포함하여 이루어질 수 있다.According to the present invention, the object information may further include object characteristic information for each object corresponding to the observed characteristic of each object for recognizing each object.

본 발명에 따르면, 상기 객체 정보는, 각 객체의 관측된 특징을 통해 인식된 각 객체를 식별하는 객체 식별 정보를 더 포함하여 이루어질 수 있다.According to the present invention, the object information may further include object identification information for identifying each object recognized through an observed characteristic of each object.

본 발명에 따르면, 상기 객체 카테고리는, 기 설정된 분류 기준에 대응하는 계층 구조를 포함하며, 상기 객체는, 상기 계층 구조의 객체 카테고리 중 적어도 한 계층의 객체 카테고리에 포함될 수 있다.According to the present invention, the object category may include a hierarchical structure corresponding to a preset classification criterion, and the object may be included in at least one hierarchical object category among object categories of the hierarchical structure.

본 발명에 따르면, 상기 객체 정보에 대응하는 객체의 관측된 특징에 대응하는 입력 정보와 상기 객체 정보에 대응하는 객체의 관측된 결과에 대응하는 출력 정보를 지정된 인공지능모듈에 대입하여 상기 객체 정보에 대응하는 객체를 인식하는 객체 인식을 학습시키는 단계를 더 포함하여 이루어질 수 있다.According to the present invention, input information corresponding to the observed characteristic of the object corresponding to the object information and output information corresponding to the observed result of the object corresponding to the object information are substituted into a designated artificial intelligence module to obtain the object information. The method may further include the step of learning object recognition for recognizing a corresponding object.

본 발명에 따르면, 상기 제1 단계는, 상기 객체 인식을 학습한 인공지능모듈을 통해 상기 동영상 컨텐츠를 지정된 프레임 단위로 분석하여 지정된 객체를 인식하는 단계를 포함하여 이루어질 수 있다.According to the present invention, the first step may include recognizing a designated object by analyzing the video content in a designated frame unit through an artificial intelligence module that has learned the object recognition.

본 발명에 따르면, 상기 제1 단계는, 상기 동영상 컨텐츠에 포함된 각 장면전환 프레임 사이의 장면 구간을 식별하는 단계와, 상기 식별된 각 장면 구간에 포함된 복수의 프레임 중 적어도 하나의 인식 대상 프레임에 대응하는 인식 대상 프레임 이미지를 선정하는 단계와, 상기 객체 인식을 학습한 인공지능모듈에 상기 선정된 인식 대상 프레임 이미지의 관측된 특징을 대입하여 지정된 객체를 인식하는 단계를 포함하여 이루어질 수 있다.According to the present invention, the first step includes identifying a scene section between each scene change frame included in the moving picture content, and at least one recognition target frame among a plurality of frames included in each identified scene section. Selecting a recognition target frame image corresponding to , and recognizing a designated object by substituting the observed characteristics of the selected recognition target frame image to an artificial intelligence module that has learned the object recognition.

본 발명에 따르면, 상기 인식 대상 프레임은, 각 장면 구간의 첫번째 프레임, 각 장면 구간의 첫번째 프레임에서 지정된 프레임 수만큼 이후로 이동한 프레임, 각 장면 구간의 가운데 프레임, 각 장면 구간의 첫번째 프레임에서 지정된 프레임 수만큼 전후로 이동한 프레임, 각 장면 구간의 마지막 프레임, 각 장면 구간의 마지막 프레임에서 지정된 프레임 수만큼 이전으로 이동한 프레임, 각 장면 구간을 기 설정된 프레임 수 단위 또는 재생시간 단위로 분할하여 선별된 프레임, 각 장면 구간에 포함된 프레임 중 모션블러(Motion Blur)가 없거나 가장 적은 프레임, 각 장면 구간에 포함된 프레임 중 카메라워킹(Cameraworking)이 없거나 가장 적은 프레임 중 적어도 하나 또는 둘 이상의 조합에 대응하는 프레임을 포함하여 이루어질 수 있다.According to the present invention, the recognition target frame includes the first frame of each scene section, the frame moved after the specified number of frames from the first frame of each scene section, the middle frame of each scene section, and the first frame of each scene section. Frames moved back and forth by the number of frames, the last frame of each scene section, frames moved back by the specified number of frames from the last frame of each scene section, and selected by dividing each scene section by a preset number of frames or playback time Frames corresponding to at least one or a combination of two or more of frames with no or least motion blur among frames included in each scene section, and frames with no or least cameraworking among frames included in each scene section. It may include a frame.

본 발명에 따른 동영상 분석 방법은, 등록자 단말을 통해 동영상 컨텐츠를 등록받아 지정된 컨텐츠관리매체에 저장하는 단계를 더 포함하여 이루어질 수 있다.The video analysis method according to the present invention may further include the step of receiving video content registered through a registrant terminal and storing the video content in a designated content management medium.

본 발명에 따르면, 등록자 단말을 통해 동영상 컨텐츠를 등록 시, 상기 등록자 단말을 통해 상기 등록되는 동영상 컨텐츠에 포함된 객체와 관련된 적어도 하나의 동영상 태그 정보를 등록받는 단계와, 상기 동영상 컨텐츠와 상기 등록된 동영상 태그 정보를 연계하여 상기 컨텐츠관리매체에 저장하는 단계를 더 포함하여 이루어질 수 있다.According to the present invention, when registering video content through a registrant terminal, receiving at least one piece of video tag information related to an object included in the registered video content through the registrant terminal; The method may further include storing the video tag information in the content management medium in association with the video tag information.

본 발명에 따르면, 상기 제1 단계는, 상기 등록된 동영상 태그 정보에 대응하는 객체를 인식하는 단계를 포함하여 이루어질 수 있다.According to the present invention, the first step may include recognizing an object corresponding to the registered video tag information.

본 발명에 따르면, 등록자 단말을 통해 동영상 컨텐츠를 등록 시, 상기 등록자 단말을 통해 상기 등록되는 동영상 컨텐츠를 설명하는 동영상 설명 정보를 등록받는 단계와, 상기 동영상 컨텐츠와 상기 등록된 동영상 설명 정보를 연계하여 상기 컨텐츠관리매체에 저장하는 단계를 더 포함하여 이루어질 수 있다.According to the present invention, when video content is registered through a registrant terminal, receiving video description information describing the registered video content through the registrant terminal, and linking the video content and the registered video description information. It may be made to further include the step of storing in the content management medium.

본 발명에 따르면, 상기 제1 단계는, 상기 등록된 동영상 설명 정보에 포함된 단어를 근거로 상기 동영상 컨텐츠에 포함된 객체와 관련된 객체 관련 태그 정보를 추출하는 단계와, 상기 추출된 객체 관련 태그 정보에 대응하는 객체를 인식하는 단계를 포함하여 이루어질 수 있다.According to the present invention, the first step includes extracting object-related tag information related to an object included in the video content based on a word included in the registered video description information, and the extracted object-related tag information and recognizing an object corresponding to .

본 발명에 따르면, 상기 m개의 객체는, 동일한 객체를 포함하여 이루어질 수 있다.According to the present invention, the m objects may include the same object.

본 발명에 따르면, 상기 m개의 객체는, 동일한 객체 카테고리에 속한 서로 다른 둘 이상의 객체를 포함하여 이루어질 수 있다.According to the present invention, the m objects may include two or more different objects belonging to the same object category.

본 발명에 따르면, 상기 프레임 구간은, 각 장면 구간과는 별개 또는 독립적으로 동일한 객체 카테고리에 속한 m개의 객체를 포함한 상태를 근거로 구분되는 구간을 포함하여 이루어질 수 있다.According to the present invention, the frame section may include a section divided based on a state including m objects belonging to the same object category separately or independently from each scene section.

본 발명에 따르면, 상기 프레임 구간은, 특정 장면 구간 중 동일한 객체 카테고리에 속한 m개의 객체를 포함한 상태를 유지하는 일부 장면 구간, 동일한 객체 카테고리에 속한 m개의 객체를 포함한 상태를 유지하는 복수의 장면 구간의 조합 구간, 동일한 객체 카테고리에 속한 m개의 객체를 포함한 상태를 유지하는 적어도 하나의 장면 구간과 일부 장면 구간의 조합 구간 중 적어도 하나의 구간을 포함하여 이루어질 수 있다.According to the present invention, the frame section includes a partial scene section in which m objects belonging to the same object category are maintained among a specific scene section, and a plurality of scene sections in which a state including m objects belonging to the same object category is maintained. may include at least one section among a combination section of at least one scene section maintaining a state including m objects belonging to the same object category and a combination section of some scene sections.

본 발명에 따르면, 상기 N개의 프레임 구간 정보는, 각 프레임 구간에 포함된 객체가 속한 객체 카테고리에 따라 적어도 일부 중첩된 구간을 포함하여 이루어질 수 있다.According to the present invention, the N frame section information may include at least a partially overlapping section according to an object category to which an object included in each frame section belongs.

본 발명에 따르면, 상기 객체 분석 정보는, 각각의 프레임 구간에서 인식된 m개의 객체에 대한 객체 정보를 더 포함하여 이루어질 수 있다.According to the present invention, the object analysis information may further include object information on m objects recognized in each frame section.

본 발명에 따르면, 상기 객체 분석 정보는, 상기 객체 정보에 대응하는 객체가 포함된 적어도 하나의 객체 별 프레임 구간 정보를 더 포함하여 이루어질 수 있다.According to the present invention, the object analysis information may further include frame section information for each at least one object including an object corresponding to the object information.

본 발명에 따르면, 상기 제2 단계는, 각각의 프레임 구간에 포함된 인식 대상 프레임을 통해 지정된 객체를 인식하는 과정 중에 산출된 인식 대상 프레임 별 객체 매칭율 정보를 확인하는 단계를 더 포함하며, 상기 객체 분석 정보는, 상기 인식 대상 프레임 별 객체 매칭율 정보를 더 포함하여 이루어질 수 있다.According to the present invention, the second step further comprises the step of checking the object matching rate information for each recognition target frame calculated during the process of recognizing a designated object through the recognition target frame included in each frame section, The object analysis information may further include object matching rate information for each frame to be recognized.

본 발명에 따른 동영상 분석 방법은, 사용자 단말을 통해 지정된 동영상 컨텐츠에 포함된 객체를 분석한 객체 분석 정보를 요청하는 정보를 수신하는 단계와, 상기 사용자 단말로 상기 동영상 컨텐츠의 객체 분석 정보를 제공하는 단계를 더 포함하여 이루어질 수 있다.A video analysis method according to the present invention comprises the steps of receiving information requesting object analysis information by analyzing an object included in a specified video content through a user terminal, and providing object analysis information of the video content to the user terminal It may be made to further include a step.

본 발명에 따른 동영상 분석 방법은, 사용자 단말을 통해 적어도 하나의 동영상 컨텐츠에 포함된 객체 카테고리 정보의 검색을 요청하는 검색 요청 정보를 수신하는 단계와, 지정된 저장매체에 저장된 적어도 하나의 객체 분석 정보를 근거로 상기 검색 요청 정보에 대응하는 검색 대상 객체 카테고리 정보를 포함하는 동영상 컨텐츠를 식별하는 동영상 정보와 상기 식별된 동영상 컨텐츠의 프레임 구간 중 상기 검색 대상 객체 카테고리 정보를 포함하는 i(i≥1)개의 프레임 구간 정보를 포함하는 검색 결과 정보를 생성하는 단계와, 상기 사용자 단말로 상기 검색 결과 정보를 제공하는 단계를 더 포함하여 이루어질 수 있다.A video analysis method according to the present invention comprises the steps of receiving search request information for requesting a search for object category information included in at least one video content through a user terminal, and at least one object analysis information stored in a designated storage medium. Based on the basis, i (i≥1) pieces of moving picture information identifying moving picture content including search target object category information corresponding to the search request information and the search target object category information in the frame section of the identified moving picture content The method may further include generating search result information including frame section information and providing the search result information to the user terminal.

본 발명에 따르면, 상기 동영상 컨텐츠의 전체 프레임 구간 중 상기 검색 결과 정보에 포함된 i개의 프레임 구간 정보에 대응하는 프레임 구간 내의 지정된 프레임 구간을 분할하는 i개의 프레임 분할 구간 정보를 생성하는 단계와, 상기 생성된 i개의 프레임 분할 구간 정보에 대응하는 i개의 짧은 동영상 컨텐츠를 상기 사용자 단말로 제공하기 위한 i개의 짧은 동영상 컨텐츠 정보를 생성하여 상기 검색 결과 정보에 포함시키는 단계를 더 포함하여 이루어질 수 있다.According to the present invention, generating i frame division section information for dividing a specified frame section within a frame section corresponding to i frame section information included in the search result information among all frame sections of the moving picture content; The method may further include generating i pieces of short video content information for providing the i pieces of short video content corresponding to the generated information on the i pieces of frame division section to the user terminal and including the information in the search result information.

본 발명에 따르면, 상기 동영상 컨텐츠의 전체 프레임 구간 중 상기 검색 결과 정보에 포함된 i개의 프레임 구간 정보에 대응하는 i개의 대표 이미지를 생성하는 단계와, 상기 생성된 i개의 대표 이미지를 상기 검색 결과 정보에 포함시키는 단계를 더 포함하여 이루어질 수 있다.According to the present invention, generating i representative images corresponding to i frame section information included in the search result information among all frame sections of the moving picture content, and using the generated i representative images as the search result information It may be made to further include the step of including.

본 발명에 따른 동영상 분석 방법은, 상기 객체 분석 정보에 각 프레임 구간에서 인식된 객체에 대응하는 객체 정보가 포함된 경우, 사용자 단말을 통해 적어도 하나의 동영상 컨텐츠에 포함된 객체의 검색을 요청하는 검색 요청 정보를 수신하는 단계와, 지정된 저장매체에 저장된 적어도 하나의 객체 분석 정보를 근거로 상기 검색 요청 정보에 대응하는 검색 대상 객체를 포함하는 동영상 컨텐츠를 식별하는 동영상 정보와 상기 식별된 동영상 컨텐츠의 프레임 구간 중 상기 검색 대상 객체를 포함하는 i(i≥1)개의 프레임 구간 정보를 포함하는 검색 결과 정보를 생성하는 단계와, 상기 사용자 단말로 상기 검색 결과 정보를 제공하는 단계를 더 포함하여 이루어질 수 있다.In the video analysis method according to the present invention, when the object analysis information includes object information corresponding to an object recognized in each frame section, a search for requesting a search for an object included in at least one video content through a user terminal Receiving request information; Based on at least one piece of object analysis information stored in a specified storage medium, video information for identifying video content including a search target object corresponding to the search request information and a frame of the identified video content The method may further include generating search result information including information on i (i≥1) frame sections including the search target object among sections, and providing the search result information to the user terminal. .

본 발명에 따르면, 상기 프레임 분할 구간 정보는, 상기 검색 결과 정보에 포함된 프레임 구간 정보와 동일한 구간 정보를 포함하여 이루어질 수 있다.According to the present invention, the frame division section information may include the same section information as the frame section information included in the search result information.

본 발명에 따르면, 상기 프레임 분할 구간 정보는, 상기 검색 결과 정보에 포함된 프레임 구간 정보가 기 설정된 최대 프레임 분할 크기보다 큰 경우, 상기 검색 결과 정보에 포함된 프레임 구간 정보 중 상기 프레임 분할 크기와 같거나 작은 범위의 구간 정보를 포함하여 이루어질 수 있다.According to the present invention, the frame division section information is equal to the frame division size among the frame section information included in the search result information when the frame section information included in the search result information is larger than a preset maximum frame division size. Or, it may include information on a small range of sections.

본 발명에 따르면, 상기 프레임 분할 구간 정보는, 상기 검색 결과 정보에 포함된 프레임 구간 정보가 기 설정된 최대 프레임 분할 크기보다 큰 경우, 상기 검색 결과 정보에 포함된 프레임 구간 정보 중 상기 프레임 분할 크기와 같거나 작은 범위의 구간 정보를 포함하면서, 상기 검색 결과 정보에 포함된 프레임 구간 정보의 첫번째 프레임부터 상기 프레임 분할 크기와 같거나 작은 범위의 구간 정보, 상기 검색 결과 정보에 포함된 프레임 구간 정보의 첫번째 프레임에서 지정된 프레임 수만큼 이후로 이동한 프레임부터 상기 프레임 분할 크기와 같거나 작은 범위의 구간 정보, 상기 검색 결과 정보에 포함된 프레임 구간 정보 중 모션블러(Motion Blur)가 없거나 기 설정된 기준 값 이내이면서 상기 프레임 분할 크기와 같거나 작은 범위의 구간 정보, 상기 검색 결과 정보에 포함된 프레임 구간 정보 중 카메라워킹(Cameraworking)이 없거나 기 설정된 기준 값 이내이면서 상기 프레임 분할 크기와 같거나 작은 범위의 구간 정보 중 적어도 하나 또는 둘 이상의 조합에 대응하는 구간 정보를 더 포함하여 이루어질 수 있다.According to the present invention, the frame division section information is equal to the frame division size among the frame section information included in the search result information when the frame section information included in the search result information is larger than a preset maximum frame division size. or a small range of section information, from the first frame of the frame section information included in the search result information to section information equal to or smaller than the frame division size, the first frame of the frame section information included in the search result information Section information equal to or smaller than the frame division size from a frame moved after a specified number of frames in At least among the section information equal to or smaller than the frame division size, no cameraworking among the frame section information included in the search result information, or within the preset reference value and the section information equal to or smaller than the frame division size It may further include section information corresponding to one or a combination of two or more.

본 발명에 따르면, 상기 프레임 분할 구간 정보는, 상기 검색 결과 정보에 인식 대상 프레임 별 객체 매칭율 정보가 포함된 경우, 상기 검색 결과 정보에 포함된 프레임 구간 정보 중 상기 프레임 분할 크기와 같거나 작은 범위의 구간을 포함하면서, 기 설정된 순위 내의 객체 매칭율 정보에 대응하는 인식 대상 프레임을 포함하는 구간 정보를 포함하여 이루어질 수 있다.According to the present invention, when the search result information includes object matching rate information for each frame to be recognized, the frame division section information includes a range equal to or smaller than the frame division size among frame section information included in the search result information. It may include section information including a recognition target frame corresponding to object matching rate information within a preset rank while including a section of .

본 발명에 따르면, 상기 짧은 동영상 컨텐츠 정보는, 상기 동영상 컨텐츠의 전체 프레임 구간 중 상기 프레임 분할 구간 정보에 대응하는 프레임 구간을 선택적으로 사용자 단말로 제공하여 재생하기 위한 구간 재생 정보를 포함하여 이루어질 수 있다.According to the present invention, the short video content information may include section reproduction information for selectively providing a frame section corresponding to the frame division section information among all frame sections of the video content to a user terminal for playback. .

본 발명에 따르면, 상기 동영상 컨텐츠의 전체 프레임 구간 중 상기 프레임 분할 구간 정보에 대응하는 프레임 구간을 선택적으로 추출하여 짧은 동영상 컨텐츠를 생성하는 단계를 더 포함하며, 상기 짧은 동영상 컨텐츠 정보는, 상기 생성된 짧은 동영상 컨텐츠를 사용자 단말로 제공하여 재생하기 위한 동영상 재생 정보를 포함하여 이루어질 수 있다.According to the present invention, the method further comprises generating short video content by selectively extracting a frame section corresponding to the frame division section information from among the entire frame section of the video content, wherein the short video content information includes the generated The short video content may be provided to the user terminal and may include video playback information for playing.

본 발명에 따르면, 상기 대표 이미지는, 상기 검색 결과 정보에 포함된 각 프레임 구간의 첫번째 프레임 이미지, 상기 검색 결과 정보에 포함된 각 프레임 구간의 첫번째 프레임에서 지정된 프레임 수만큼 이후로 이동한 프레임 이미지, 상기 검색 결과 정보에 포함된 각 프레임 구간의 가운데 프레임 이미지, 상기 검색 결과 정보에 포함된 각 프레임 구간의 첫번째 프레임에서 지정된 프레임 수만큼 전후로 이동한 프레임 이미지, 상기 검색 결과 정보에 포함된 각 프레임 구간의 마지막 프레임 이미지, 상기 검색 결과 정보에 포함된 각 프레임 구간의 마지막 프레임에서 지정된 프레임 수만큼 이전으로 이동한 프레임 이미지, 상기 검색 결과 정보에 포함된 각 프레임 구간에 포함된 프레임 중 모션블러(Motion Blur)가 없거나 가장 적은 프레임 이미지, 상기 검색 결과 정보에 포함된 각 프레임 구간에 포함된 프레임 중 카메라워킹(Cameraworking)이 없거나 가장 적은 프레임 이미지 중 적어도 하나 또는 둘 이상의 조합에 대응하는 프레임 이미지를 포함하여 이루어질 수 있다.According to the present invention, the representative image includes a first frame image of each frame section included in the search result information, a frame image moved from the first frame of each frame section included in the search result information by a specified number of frames thereafter, A middle frame image of each frame section included in the search result information, a frame image moved back and forth by a specified number of frames in the first frame of each frame section included in the search result information, and each frame section included in the search result information Motion blur among the last frame image, the frame image moved earlier by the specified number of frames from the last frame of each frame section included in the search result information, and frames included in each frame section included in the search result information A frame image corresponding to at least one or a combination of two or more among frame images with no or least number of frame images and frames with or least camera working among frames included in each frame section included in the search result information may be included. have.

본 발명에 따르면, 사용자가 개인의 동영상을 다양한 용도로 편집하기에 앞서, 편집 및 기획의 자유도와 편의성을 부여하기 위해 해당 동영상을 프레임 태그 기반으로 분석하여 제공하는 이점이 있다.According to the present invention, before a user edits an individual's video for various purposes, there is an advantage in that the video is analyzed and provided based on a frame tag in order to provide freedom and convenience in editing and planning.

또한, 분석 결과를 이용해 특정 구간을 태그를 통해 검색할 수 있게 서비스를 제공하고, 해당 프레임의 쇼트 동영상에 대한 편집을 용이하도록 구간별 자동 분할해주고 다운로드가 가능한 이점이 있다.In addition, there is an advantage in that a service is provided so that a specific section can be searched through a tag using the analysis result, and the short video of the frame is automatically divided into sections for easy editing and can be downloaded.

도 1은 본 발명의 실시 방법에 따른 동영상을 분석하는 시스템 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따라 동영상 컨텐츠에 포함된 객체를 인식하는 과정을 도시한 도면이다.
도 3은 본 발명의 다른 실시 방법에 따라 동영상 컨텐츠에 포함된 객체를 인식하는 과정을 도시한 도면이다.
도 4는 본 발명의 또 다른 실시 방법에 따라 동영상 컨텐츠에 포함된 객체를 인식하는 과정을 도시한 도면이다.
도 5는 본 발명의 실시 방법에 따라 동영상 컨텐츠에 포함된 객체를 인식하는 과정을 도시한 도면이다.
도 6은 본 발명의 실시 방법에 따라 사용자 단말에서 객체 카테고리 정보의 검색을 요청하여 검색 결과 정보를 제공하는 과정을 도시한 도면이다.
도 7은 본 발명의 실시 방법에 따라 사용자 단말에서 객체 검색을 요청하여 검색 결과 정보를 제공하는 과정을 도시한 도면이다.
도 8은 본 발명의 다른 실시 방법에 따라 사용자 단말에서 객체 검색을 요청하여 검색 결과 정보를 제공하는 과정을 도시한 도면이다.1 is a diagram showing the configuration of a system for analyzing a video according to an embodiment of the present invention.
2 is a diagram illustrating a process of recognizing an object included in video content according to an embodiment of the present invention.
3 is a diagram illustrating a process of recognizing an object included in video content according to another embodiment of the present invention.
4 is a diagram illustrating a process of recognizing an object included in video content according to another embodiment of the present invention.
5 is a diagram illustrating a process of recognizing an object included in video content according to an embodiment of the present invention.
6 is a diagram illustrating a process of providing search result information by requesting a search for object category information from a user terminal according to an embodiment of the present invention.
7 is a diagram illustrating a process of providing search result information by requesting an object search from a user terminal according to an embodiment of the present invention.
8 is a diagram illustrating a process of providing search result information by requesting an object search from a user terminal according to another embodiment of the present invention.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다.Hereinafter, the principle of operation of the preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings and description. However, the drawings shown below and the description to be given below relate to a preferred implementation method among various methods for effectively explaining the characteristics of the present invention, and the present invention is not limited only to the following drawings and description.

즉, 하기의 실시예는 본 발명의 수 많은 실시예 중에 바람직한 합집합 형태의 실시예 예에 해당하며, 하기의 실시예에서 특정 구성(또는 단계)를 생략하는 실시예, 또는 특정 구성(또는 단계)에 구현된 기능을 특정 구성(또는 단계)로 분할하는 실시예, 또는 둘 이상의 구성(또는 단계)에 구현된 기능을 어느 하나의 구성(또는 단계)에 통합하는 실시예, 특정 구성(또는 단계)의 동작 순서를 교체하는 실시예 등은, 하기의 실시예에서 별도로 언급하지 않더라도 모두 본 발명의 권리범위에 속함을 명백하게 밝혀두는 바이다. 따라서 하기의 실시예를 기준으로 부분집합 또는 여집합에 해당하는 다양한 실시예들이 본 발명의 출원일을 소급받아 분할될 수 있음을 분명하게 명기하는 바이다.That is, the following embodiment corresponds to an embodiment of a preferred union type among numerous embodiments of the present invention, and an embodiment in which a specific configuration (or step) is omitted in the following embodiment, or a specific configuration (or step) An embodiment in which a function implemented in a function is divided into a specific configuration (or step), or an embodiment in which a function implemented in two or more configurations (or step) is integrated into any one configuration (or step), a specific configuration (or step) Embodiments in which the order of operation is replaced, etc. are clearly stated to be within the scope of the present invention, even if not separately mentioned in the following embodiments. Accordingly, it is clearly specified that various embodiments corresponding to a subset or a complement can be divided retroactively from the filing date of the present invention based on the following examples.

또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로써, 이는 환자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다. In addition, in the following description of the present invention, if it is determined that a detailed description of a related well-known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. And the terms to be described later are terms defined in consideration of functions in the present invention, which may vary depending on the intention or custom of the patient or operator. Therefore, the definition should be made based on the content throughout the present invention.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.As a result, the technical spirit of the present invention is determined by the claims, and the following examples are one means for efficiently explaining the technical spirit of the present invention to those of ordinary skill in the art to which the present invention belongs. only

도면1은 본 발명의 실시 방법에 따른 동영상을 분석하는 시스템 구성을 도시한 도면이다.1 is a diagram showing the configuration of a system for analyzing a video according to an embodiment of the present invention.

보다 상세하게 본 도면1은 지정된 컨텐츠관리매체에 저장된 동영상 컨텐츠를 지정된 프레임 단위로 분석하여 기 설정된 T(T≥1)개의 객체 카테고리 중 적어도 한 객체 카테고리에 속한 객체를 포함하는 M(M≥1)개의 객체를 인식하고, 상기 인식된 M개의 객체를 상기 설정된 객체 카테고리에 따라 분류하여 동일한 객체 카테고리에 속한 m(1≤m≤M)개의 객체를 포함한 상태를 유지하는 프레임 구간을 포함하는 N(N≥1)개의 프레임 구간을 인식한 후, 상기 인식된 N개의 프레임 구간 정보와 각각의 프레임 구간에 포함된 각각의 m개의 객체가 속한 적어도 하나의 객체 카테고리에 대응하는 프레임 구간 별 객체 카테고리 정보를 포함하는 객체 분석 정보를 생성하여 지정된 저장매체에 저장하기 위한 시스템의 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 시스템의 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 1 shows M (M≥1) including objects belonging to at least one object category among T (T≥1) preset object categories by analyzing moving picture contents stored in a specified content management medium in units of specified frames. N(N) including a frame section in which m (1≤m≤M) objects belonging to the same object category are maintained by recognizing objects and classifying the recognized M objects according to the set object category. After recognizing ≥1) frame sections, information on the recognized N frame sections and object category information for each frame section corresponding to at least one object category to which m objects included in each frame section belong are included. As a diagram showing the configuration of a system for generating and storing object analysis information to be stored in a designated storage medium, those of ordinary skill in the art to which the present invention pertains may refer to and/or modify FIG. Various implementation methods for the configuration (eg, some components are omitted, subdivided, or combined implementation methods) may be inferred, but the present invention is made including all the implementation methods inferred above, and in this figure 1 The technical features are not limited only to the illustrated implementation method.

본 발명의 시스템은, 운영서버(100)와 통신하며, 상기 운영서버(100)에 접속하여 지정된 컨텐츠관리매체(135)에 등록할 동영상 컨텐츠를 상기 운영서버(100)를 통해 등록하는 기능과, 상기 동영상 컨텐츠를 등록 시 상기 등록하는 동영상 컨텐츠에 포함된 객체와 관련된 적어도 하나의 동영상 태그 정보를 상기 운영서버(100)에 등록하는 기능과, 상기 동영상 컨텐츠를 등록 시 상기 등록하는 동영상 컨텐츠를 설명하는 동영상 설명 정보를 상기 운영서버(100)에 등록하는 기능 중 하나 이상의 기능을 구비하는 등록자 단말(140)과, 운영서버(100)와 통신하며, 상기 운영서버(100)에 접속하여 지정된 동영상 컨텐츠에 포함된 객체를 분석한 객체 분석 정보를 요청하는 정보를 상기 운영서버(100)로 전송하는 기능과, 적어도 하나의 동영상 컨텐츠에 포함된 객체 카테고리 정보의 검색을 요청하는 검색 요청 정보를 상기 운영서버(100)로 전송하는 기능과, 상기 운영서버(100)로부터 상기 객체 카테고리 정보의 검색을 요청하는 검색 요청 정보에 대응하여 생성된 검색 결과 정보를 제공받는 기능과, 상기 운영서버(100)로부터 상기 검색 요청 정보에 대응하여 생성된 i개의 프레임 분할 구간 정보에 대응하는 i개의 짧은 동영상 컨텐츠를 제공받는 기능 중 하나 이상의 기능을 구비하는 사용자 단말(145)과, 상기 운영서버(100)와 통신하며 상기 운영서버(100)가 상기 등록자 단말(140)로부터 등록받는 동영상 컨텐츠를 저장하는 컨텐츠관리매체(135)와, 지정된 컨텐츠관리매체(135)에 저장된 동영상 컨텐츠를 지정된 프레임 단위로 분석하여 기 설정된 T(T≥1)개의 객체 카테고리 중 적어도 한 객체 카테고리에 속한 객체를 포함하는 M(M≥1)개의 객체를 인식하는 기능과, 상기 인식된 M개의 객체를 상기 설정된 객체 카테고리에 따라 분류하여 동일한 객체 카테고리에 속한 m(1≤m≤M)개의 객체를 포함한 상태를 유지하는 프레임 구간을 포함하는 N(N≥1)개의 프레임 구간을 인식하는 기능과, 상기 인식된 N개의 프레임 구간 정보와 각각의 프레임 구간에 포함된 각각의 m개의 객체가 속한 적어도 하나의 객체 카테고리에 대응하는 프레임 구간 별 객체 카테고리 정보를 포함하는 객체 분석 정보를 생성하여 지정된 저장매체에 저장하는 기능을 수행하는 운영서버(100)를 포함하여 이루어질 수 있다.The system of the present invention communicates with the operation server 100, and accesses the operation server 100 to register video content to be registered in a designated content management medium 135 through the operation server 100; A function of registering at least one piece of video tag information related to an object included in the registered video content when registering the video content to the operation server 100, and the video content to be registered when registering the video content The registrant terminal 140 having one or more functions among the functions of registering video description information to the operation server 100, communicates with the operation server 100, and accesses the operation server 100 to access the specified video content. A function of transmitting information requesting object analysis information obtained by analyzing the included object to the operation server 100, and the operation server ( 100), a function of receiving search result information generated in response to search request information requesting a search of the object category information from the operation server 100, and the search from the operation server 100 The user terminal 145 having one or more functions of receiving i short video contents corresponding to the i frame division section information generated in response to the request information and communicating with the operation server 100 and the operation The server 100 analyzes the video content stored in the content management medium 135 for storing the video content registered from the registrant terminal 140 and the designated content management medium 135 in a designated frame unit, and sets a preset T(T). A function of recognizing M (M≥1) objects including objects belonging to at least one object category among ≥1) object categories, and classifying the recognized M objects according to the set object category to the same object category Recognizing N (N≥1) frame sections including frame sections that maintain a state including m (1≤m≤M) objects belonging to Function and object analysis information including object category information for each frame section corresponding to the function, the recognized N frame section information and at least one object category to which each m objects included in each frame section belongs It may include an operation server 100 that performs a function of storing in a storage medium.

상기 등록자 단말(140)은 상기 운영서버(100)와 연동하며, 상기 운영서버(100)에 접속하여 지정된 컨텐츠관리매체(135)에 등록할 동영상 컨텐츠를 상기 운영서버(100)를 통해 등록하는 등록자가 이용하는 컴퓨터 장치의 총칭으로서, 유선망에 연결된 컴퓨터, 노트북 등의 유선단말과, 무선망에 연결된 휴대폰, 스마트폰, 태블릿PC, 노트북 등의 무선단말을 중 적어도 하나를 포함한다. 바람직하게, 상기 등록자는 상기 등록자 단말(140)을 통해 상기 운영서버(100)에 접속하여 상기 등록자에 대한 식별 및 등록자 인증을 수행할 수 있으며, 상기 등록자 단말(140)은 상기 운영서버(100)에 접속하여 지정된 컨텐츠관리매체(135)에 등록할 동영상 컨텐츠를 상기 운영서버(100)를 통해 등록하는 기능과, 상기 동영상 컨텐츠를 등록 시 상기 등록하는 동영상 컨텐츠에 포함된 객체와 관련된 적어도 하나의 동영상 태그 정보를 상기 운영서버(100)에 등록하는 기능과, 상기 동영상 컨텐츠를 등록 시 상기 등록하는 동영상 컨텐츠를 설명하는 동영상 설명 정보를 상기 운영서버(100)에 등록하는 기능 중 하나 이상의 기능을 포함하며, 실시 방법에 따라 상기 기능을 위해 지정된 적어도 하나 이상의 절차를 수행하는 프로그램이나 앱(Application)이 설치될 수 있으며, 이 중 일부의 구성은 웹 방식을 통해 구현될 수도 있다. 이하, 별도의 언급이 없더라도 상기 등록자 단말(140)을 주체로 하여 설명하는 기능은 상기 등록자 단말(140)에 설치된 프로그램(또는 앱)이나 웹 방식을 통해 구현되는 것임을 명백하게 밝혀두는 바이다.The registrant terminal 140 interworks with the operation server 100 , and accesses the operation server 100 , and registers video content to be registered in a designated content management medium 135 through the operation server 100 . As a generic term for computer devices used by the user, it includes at least one of a wired terminal such as a computer and a laptop connected to a wired network, and a wireless terminal such as a mobile phone, a smart phone, a tablet PC, and a laptop connected to the wireless network. Preferably, the registrant can access the operation server 100 through the registrant terminal 140 to perform identification and registrant authentication for the registrant, and the registrant terminal 140 is the operation server 100 . At least one video related to a function of registering video content to be registered in a designated content management medium 135 by accessing the operation server 100 through the operation server 100, and an object included in the registered video content when registering the video content It includes one or more functions of a function of registering tag information in the operation server 100 and a function of registering video description information describing the video content to be registered when registering the video content to the operation server 100, , Depending on the implementation method, a program or an application for performing at least one or more procedures designated for the function may be installed, and some configurations of these may be implemented through a web method. Hereinafter, even if there is no separate mention, the functions described with the registrant terminal 140 as the main body are clearly implemented through a program (or app) installed in the registrant terminal 140 or a web method.

상기 사용자 단말(145)은 상기 운영서버(100)와 연동하며, 상기 운영서버(100)에 접속하여 지정된 동영상 컨텐츠에 포함된 객체를 분석한 객체 분석 정보를 요청하는 정보를 상기 운영서버(100)로 전송하는 사용자가 이용하는 컴퓨터 장치의 총칭으로서, 유선망에 연결된 컴퓨터, 노트북 등의 유선단말과, 무선망에 연결된 휴대폰, 스마트폰, 태블릿PC, 노트북 등의 무선단말을 중 적어도 하나를 포함한다. 바람직하게, 상기 사용자 단말(145)은 상기 운영서버(100)에 접속하여 지정된 동영상 컨텐츠에 포함된 객체를 분석한 객체 분석 정보를 요청하는 정보를 상기 운영서버(100)로 전송하는 기능과, 적어도 하나의 동영상 컨텐츠에 포함된 객체 카테고리 정보의 검색을 요청하는 검색 요청 정보를 상기 운영서버(100)로 전송하는 기능과, 상기 운영서버(100)로부터 상기 객체 카테고리 정보의 검색을 요청하는 검색 요청 정보에 대응하여 생성된 검색 결과 정보를 제공받는 기능과, 상기 운영서버(100)로부터 상기 검색 요청 정보에 대응하여 생성된 i개의 프레임 분할 구간 정보에 대응하는 i개의 짧은 동영상 컨텐츠를 제공받는 기능 중 하나 이상의 기능을 포함하며, 실시 방법에 따라 상기 기능을 위해 지정된 적어도 하나 이상의 절차를 수행하는 프로그램이나 앱(Application)이 설치될 수 있으며, 이 중 일부의 구성은 웹 방식을 통해 구현될 수도 있다. 이하, 별도의 언급이 없더라도 상기 사용자 단말(145)을 주체로 하여 설명하는 기능은 상기 사용자 단말(145)에 설치된 프로그램(또는 앱)이나 웹 방식을 통해 구현되는 것임을 명백하게 밝혀두는 바이다.The user terminal 145 interworks with the operation server 100, and accesses the operation server 100 to transmit information requesting object analysis information obtained by analyzing an object included in a specified video content to the operation server 100. It is a generic term for a computer device used by a user who transmits to a wired network, and includes at least one of a wired terminal such as a computer and a laptop connected to a wired network, and a wireless terminal such as a mobile phone, a smart phone, a tablet PC, and a laptop connected to a wireless network. Preferably, the user terminal 145 has a function of accessing the operation server 100 and transmitting information requesting object analysis information obtained by analyzing an object included in the specified video content to the operation server 100, and at least A function of transmitting search request information for requesting a search for object category information included in one video content to the operation server 100, and search request information for requesting a search for the object category information from the operation server 100 One of a function of receiving search result information generated in response to , and a function of receiving i short video contents corresponding to i frame division section information generated in response to the search request information from the operation server 100 A program or application that includes the above functions and performs at least one or more procedures designated for the functions according to an implementation method may be installed, and some configurations of these may be implemented through a web method. Hereinafter, even if there is no separate mention, the functions described with the user terminal 145 as the main body are clearly implemented through a program (or app) installed in the user terminal 145 or a web method.

도면1을 참조하면, 상기 운영서버(100)는 동영상 컨텐츠를 분석하여 기 설정된 객체 카테고리에 속한 객체를 포함하는 객체를 인식하는 객체 인식부(105)와, 상기 인식된 M개의 객체를 분류하여 동일한 객체 카테고리에 속한 m(1≤m≤M)개의 객체를 포함한 상태를 유지하는 프레임 구간을 인식하는 구간 인식부(110)와, 상기 인식된 N개의 프레임 구간 정보와 각각의 프레임 구간에 포함된 각각의 m개의 객체가 속한 프레임 구간 별 객체 카테고리 정보를 포함하는 객체 분석 정보를 생성하는 정보 생성부(115)와, 상기 생성된 객체 분석 정보를 저장하는 정보 저장부(120)를 포함하여 구성될 수 있다. 한편 본 도면1의 실시예는 편의상 상기 운영서버(100)를 하나의 서버 형태로 도시하였으나, 상기 운영서버(100)를 구현하는 실시예가 이에 의해 한정되는 것은 아니며, 상기 운영서버(100)는 둘 이상의 서버 조합 또는 서버 시스템 형태로 구현되거나 기 구축된 서버에 탑재되는 소프트웨어 형태로 구현될 수 있으며, 본 발명은 이러한 모든 실시예를 포함한다.Referring to Figure 1, the operation server 100 analyzes the video content and recognizes an object including an object belonging to a preset object category, the object recognition unit 105, and classifies the recognized M objects to the same A section recognition unit 110 for recognizing a frame section that maintains a state including m (1≤m≤M) objects belonging to the object category, and the recognized N frame section information and each included in each frame section may include an information generating unit 115 for generating object analysis information including object category information for each frame section to which m objects belong, and an information storage unit 120 for storing the generated object analysis information. have. On the other hand, although the embodiment of this figure 1 shows the operation server 100 in the form of one server for convenience, the embodiment implementing the operation server 100 is not limited thereto, and the operation server 100 has two It may be implemented in the form of a combination of the above servers or a server system, or may be implemented in the form of software mounted on a pre-built server, and the present invention includes all such embodiments.

상기 객체 인식부(105)는 지정된 컨텐츠관리매체(135)에 저장된 동영상 컨텐츠를 지정된 프레임 단위로 분석하여 기 설정된 T(T≥1)개의 객체 카테고리 중 적어도 한 객체 카테고리에 속한 객체를 포함하는 M(M≥1)개의 객체를 인식한다.The object recognition unit 105 analyzes the moving picture contents stored in the specified content management medium 135 in units of specified frames, and includes an object belonging to at least one of the preset T (T≥1) object categories. M≥1) objects are recognized.

본 발명의 실시 방법에 따르면, 상기 객체 인식부(105)는 상기 객체 정보에 포함된 각 객체 별 객체 특징 정보를 통해 상기 동영상 컨텐츠를 지정된 프레임 단위로 분석하여 지정된 객체를 인식할 수 있다.According to the embodiment of the present invention, the object recognition unit 105 may recognize the specified object by analyzing the video content in units of a specified frame through object characteristic information for each object included in the object information.

또한, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(105)는 상기 동영상 컨텐츠에 포함된 각 장면전환 프레임 사이의 장면 구간을 식별하고, 상기 식별된 각 장면 구간에 포함된 복수의 프레임 중 적어도 하나의 인식 대상 프레임에 대응하는 인식 대상 프레임 이미지를 선정한 후, 상기 객체 정보에 포함된 객체 별 객체 특징 정보를 통해 상기 선정된 인식 대상 프레임 이미지를 분석하여 지정된 객체를 인식할 수 있다. 예컨대, 상기 장면 구간은 전통적인 의미의 장면 구간(예: 카메라의 촬영 대상이나 배경이 변경되지 않고 유지되는 구간이나 카메라의 뷰포인트가 변경되지 않고 유지되는 구간)을 의미하며, 상기 장면 구간은 등록자에 의해 입력/선택될 수도 있고, 자동으로 인식될 수도 있다.In addition, according to the embodiment of the present invention, the object recognition unit 105 identifies a scene section between each scene change frame included in the moving picture content, and at least one of a plurality of frames included in each identified scene section After selecting a recognition target frame image corresponding to one recognition target frame, the selected object may be recognized by analyzing the selected recognition target frame image through object characteristic information for each object included in the object information. For example, the scene section refers to a scene section in the traditional sense (eg, a section in which the subject or background of the camera is maintained unchanged or a section in which the viewpoint of the camera is maintained unchanged), and the scene section is It may be input/selected by the user, or may be recognized automatically.

여기서, 상기 인식 대상 프레임은, 각 장면 구간의 첫번째 프레임, 각 장면 구간의 첫번째 프레임에서 지정된 프레임 수만큼 이후로 이동한 프레임, 각 장면 구간의 가운데 프레임, 각 장면 구간의 첫번째 프레임에서 지정된 프레임 수만큼 전후로 이동한 프레임, 각 장면 구간의 마지막 프레임, 각 장면 구간의 마지막 프레임에서 지정된 프레임 수만큼 이전으로 이동한 프레임, 각 장면 구간을 기 설정된 프레임 수 단위 또는 재생시간 단위로 분할하여 선별된 프레임, 각 장면 구간에 포함된 프레임 중 모션블러(Motion Blur)가 없거나 가장 적은 프레임, 각 장면 구간에 포함된 프레임 중 카메라워킹(Cameraworking)이 없거나 가장 적은 프레임 중 적어도 하나 또는 둘 이상의 조합에 대응하는 프레임을 포함할 수 있다.Here, the recognition target frame includes the first frame of each scene section, the frame moved after the specified number of frames in the first frame of each scene section, the middle frame of each scene section, and the number of frames specified in the first frame of each scene section. Frames moved back and forth, the last frame of each scene section, frames moved back by the specified number of frames from the last frame of each scene section, frames selected by dividing each scene section by a preset number of frames or playback time units, each Includes frames corresponding to at least one or a combination of two or more among frames with no or least motion blur among frames included in a scene section, and frames with no or least cameraworking among frames included in each scene section can do.

상기 객체 카테고리는 기 설정된 분류 기준에 대응하는 계층 구조를 포함하며, 상기 객체는 상기 계층 구조의 객체 카테고리 중 적어도 한 계층의 객체 카테고리에 포함될 수 있다. 예컨대, "손흥민"이라는 객체는, 사람 > 남자 > 운동선수 등의 계층적 객체 카테고리에 속할 수 있다.The object category may include a hierarchical structure corresponding to a preset classification criterion, and the object may be included in at least one hierarchical object category among object categories of the hierarchical structure. For example, the object “Heung-Min Son” may belong to a hierarchical object category such as people > men > athletes.

본 발명의 실시 방법에 따르면, 상기 객체 인식부(105)는 등록자 단말(140)을 통해 동영상 컨텐츠와 동영상 태그 정보가 등록된 경우, 상기 등록된 동영상 태그 정보에 대응하는 객체를 인식할 수 있다. 예컨대, 등록자가 해당 동영상에는 어떤 객체가 있을 것이라고 동영상 태그 정보를 통해 알려주었으므로, 가능하면 등록자가 알려준 객체를 인식하는 것이 바람직하다.According to the embodiment of the present invention, when the video content and video tag information are registered through the registrant terminal 140 , the object recognition unit 105 may recognize an object corresponding to the registered video tag information. For example, since the registrant informs through the video tag information that there will be an object in the corresponding video, it is desirable to recognize the object informed by the registrant if possible.

한편, 본 발명의 실시 방법에 따르면, 상기 객체 인식부(105)는 등록자 단말(140)을 통해 동영상 컨텐츠를 설명하는 동영상 설명 정보가 더 등록된 경우, 상기 등록된 동영상 설명 정보에 포함된 단어를 근거로 상기 동영상 컨텐츠에 포함된 객체와 관련된 객체 관련 태그 정보를 추출하고, 상기 추출된 객체 관련 태그 정보에 대응하는 객체를 인식할 수 있다.On the other hand, according to the embodiment of the present invention, the object recognition unit 105, when the video description information describing the video content is further registered through the registrant terminal 140, the word included in the registered video description information Object-related tag information related to an object included in the video content may be extracted based on the basis, and an object corresponding to the extracted object-related tag information may be recognized.

상기 구간 인식부(110)는 상기 객체 인식부(105)를 통해 인식된 M개의 객체를 상기 설정된 객체 카테고리에 따라 분류하여 동일한 객체 카테고리에 속한 m(1≤m≤M)개의 객체를 포함한 상태를 유지하는 프레임 구간을 포함하는 N(N≥1)개의 프레임 구간을 인식한다. 여기서, 상기 m개의 객체는 동일한 객체를 포함할 수 있다.The section recognition unit 110 classifies the M objects recognized through the object recognition unit 105 according to the set object category, and includes m (1≤m≤M) objects belonging to the same object category. Recognizes N (N≥1) frame sections including the maintained frame sections. Here, the m objects may include the same object.

또한, 상기 m개의 객체는 동일한 객체 카테고리에 속한 서로 다른 둘 이상의 객체를 포함할 수 있다.Also, the m objects may include two or more different objects belonging to the same object category.

본 발명의 실시 방법에 따르면, 상기 프레임 구간은, 각 장면 구간과는 별개 또는 독립적으로 동일한 객체 카테고리에 속한 m개의 객체를 포함한 상태를 근거로 구분되는 구간을 포함할 수 있다. 여기서, 상기 프레임 구간은 카메라의 촬영 대상이나 배경이 변경되지 않고 유지되는 구간이나 카메라의 뷰포인트가 변경되지 않고 유지되는 전통적 의미의 구간과는 달리 독립적으로 동일한 객체 카테고리에 속한 m개의 객체를 포함한 상태를 유지하는 구간을 의미한다.According to the embodiment of the present invention, the frame section may include a section divided based on a state including m objects belonging to the same object category separately or independently from each scene section. Here, the frame section includes m objects belonging to the same object category independently, unlike a section in which the subject or background of the camera is maintained unchanged or a section in the traditional sense in which the viewpoint of the camera is maintained unchanged. It means the section that maintains .

예컨대, "남자"라는 객체 카테고리에 속한 객체의 경우 제1 장면의 10초 경과 시점부터 남자(1)이 등장하고, 제2 장면에 남자(1)과 남자(2)가 등장하고, 제3 장면의 15초 경과 시점까지 남자(2)가 등장할 경우, 장면 구간은 3개이지만, 상기 프레임 구간은 제1 장면의 10초 경과 시점부터 제2 장면을 거쳐 제3 장면의 15초 경과 시점까지 하나의 프레임 구간으로 포함될 수 있다.For example, in the case of an object belonging to the object category of “man”, a man 1 appears from 10 seconds elapsed from the first scene, a man 1 and a man 2 appear in the second scene, and the third scene When the man 2 appears until 15 seconds of elapse of may be included as a frame period of

또한 상기 프레임 구간은 특정 장면 구간 중 동일한 객체 카테고리에 속한 m개의 객체를 포함한 상태를 유지하는 일부 장면 구간, 동일한 객체 카테고리에 속한 m개의 객체를 포함한 상태를 유지하는 복수의 장면 구간의 조합 구간, 동일한 객체 카테고리에 속한 m개의 객체를 포함한 상태를 유지하는 적어도 하나의 장면 구간과 일부 장면 구간의 조합 구간 중 적어도 하나의 구간을 포함할 수 있다.In addition, the frame section includes a partial scene section that maintains a state including m objects belonging to the same object category among specific scene sections, a combination section of a plurality of scene sections that maintain a state including m objects belonging to the same object category, and the same At least one section of at least one scene section maintaining a state including m objects belonging to the object category and a section combining some scene sections may be included.

본 발명의 실시 방법에 따르면, 상기 구간 인식부(110)는 각각의 프레임 구간에 포함된 인식 대상 프레임을 통해 지정된 객체를 인식하는 과정 중에 산출된 인식 대상 프레임 별 객체 매칭율 정보를 확인할 수 있다.According to the embodiment of the present invention, the section recognition unit 110 may check the object matching rate information for each recognition target frame calculated during the process of recognizing a designated object through the recognition target frame included in each frame section.

상기 정보 생성부(115)는 상기 구간 인식부(110)를 통해 인식된 N개의 프레임 구간 정보와 각각의 프레임 구간에 포함된 각각의 m개의 객체가 속한 적어도 하나의 객체 카테고리에 대응하는 프레임 구간 별 객체 카테고리 정보를 포함하는 객체 분석 정보를 생성한다.The information generating unit 115 includes information on the N frame sections recognized through the section recognition unit 110 and each frame section corresponding to at least one object category to which m objects included in each frame section belong. Object analysis information including object category information is generated.

여기서, 상기 프레임 구간 정보는 프레임 구간의 시작 프레임 번호와 종료 프레임 번호, 프레임 구간의 재생 시작 시간과 재생 종료 시간 중 적어도 하나를 포함할 수 있다.Here, the frame section information may include at least one of a start frame number and an end frame number of a frame section, and a reproduction start time and a reproduction end time of the frame section.

또한, 상기 N개의 프레임 구간 정보는 각 프레임 구간에 포함된 객체가 속한 객체 카테고리에 따라 적어도 일부 중첩된 구간을 포함할 수 있다. 예컨대, 재생시간 10초~20초까지 "구름"이라는 객체 카테고리가 포함되고, 재생시간 15초~30초까지 "남자"라는 객체 카테고리가 포함된 경우, 재생시간 15초~20초는 "구름"이라는 객체 카테고리와 "남자"라는 객체 카테고리가 중첩된 구간이 될 수 있다.Also, the information on the N frame sections may include at least some overlapping sections according to an object category to which an object included in each frame section belongs. For example, if the object category "Cloud" is included from 10 seconds to 20 seconds of playback time, and the object category "Man" is included from 15 seconds to 30 seconds of playback time, the playback time from 15 seconds to 20 seconds is "Cloud" It may be a section in which the object category "man" and the object category "man" are overlapped.

본 발명의 실시 방법에 따르면, 상기 객체 분석 정보는 각각의 프레임 구간에서 인식된 m개의 객체에 대한 객체 정보를 더 포함할 수 있다. 예컨대, 상기 객체 분석 정보는, 기본적으로 "사람", "남자", "운동선수"와 같은 객체 카테고리 정보가 포함되지만, 추가적으로 각 프레임 구간에 실제 포함된 "손흥민", "박지성" 등과 같은 객체 정보도 포함될 수 있다.According to the embodiment of the present invention, the object analysis information may further include object information on m objects recognized in each frame section. For example, the object analysis information basically includes object category information such as “person”, “man”, and “athlete”, but additionally objects such as “Son Heung-Min” and “Park Ji-Sung” that are actually included in each frame section Information may also be included.

본 발명의 실시 방법에 따르면, 상기 객체 분석 정보는 상기 객체 정보에 대응하는 객체가 포함된 적어도 하나의 객체 별 프레임 구간 정보를 더 포함할 수 있다.According to the embodiment of the present invention, the object analysis information may further include frame section information for each at least one object including an object corresponding to the object information.

본 발명의 실시 방법에 따르면, 상기 구간 인식부(110)에서 각각의 프레임 구간에 포함된 인식 대상 프레임을 통해 지정된 객체를 인식하는 과정 중에 산출된 인식 대상 프레임 별 객체 매칭율 정보가 확인되는 경우, 상기 객체 분석 정보는, 상기 인식 대상 프레임 별 객체 매칭율 정보를 더 포함할 수 있다.According to the implementation method of the present invention, when the object matching rate information for each recognition target frame calculated during the process of recognizing a designated object through the recognition target frame included in each frame section in the section recognition unit 110 is checked, The object analysis information may further include object matching rate information for each recognition target frame.

상기 정보 저장부(120)는 상기 정보 생성부(115)를 통해 생성된 프레임 구간 별 객체 카테고리 정보를 포함하는 객체 분석 정보를 지정된 저장매체에 저장한다.The information storage unit 120 stores object analysis information including object category information for each frame section generated through the information generation unit 115 in a designated storage medium.

본 발명의 실시 방법에 따르면, 상기 정보 저장부(120)는 상기 객체 인식부(105)를 통해 동영상 컨텐츠를 지정된 프레임 단위로 분석하여 기 설정된 T(T≥1)개의 객체 카테고리 중 적어도 한 객체 카테고리에 속한 객체를 포함하는 M(M≥1)개의 객체를 인식하기 위해, 동영상 컨텐츠의 프레임을 분석하여 인식 가능한 각 객체에 대한 객체 정보와 각 객체가 속한 적어도 하나의 객체 카테고리를 포함하는 T(T≥1)개의 객체 카테고리 정보를 저장할 수 있다.According to the embodiment of the present invention, the information storage unit 120 analyzes the moving picture content in units of a specified frame through the object recognition unit 105, and at least one object category among preset T (T≥1) object categories. In order to recognize M (M≥1) objects including objects belonging to ≥1) object category information can be stored.

여기서, 상기 객체 정보는 각 객체의 고유한 객체 명칭 정보와 각 객체에 부여된 적어도 하나의 객체 태그 정보 중 적어도 하나의 정보를 포함할 수 있다. Here, the object information may include at least one of unique object name information of each object and at least one object tag information assigned to each object.

또한, 상기 객체 정보는 각 객체를 인식하기 위한 각 객체의 관측된 특징에 대응하는 객체 별 객체 특징 정보를 더 포함할 수 있다.In addition, the object information may further include object characteristic information for each object corresponding to the observed characteristic of each object for recognizing each object.

또한, 상기 객체 정보는 각 객체의 관측된 특징을 통해 인식된 각 객체를 식별하는 객체 식별 정보를 더 포함할 수 있다. In addition, the object information may further include object identification information for identifying each object recognized through the observed characteristic of each object.

한편, 본 발명의 실시 방법에 따르면, 상기 정보 저장부(120)는 등록자 단말(140)을 통해 동영상 컨텐츠를 등록받아 지정된 컨텐츠관리매체(135)에 저장할 수 있다.Meanwhile, according to the embodiment of the present invention, the information storage unit 120 may receive the video content registered through the registrant terminal 140 and store it in the designated content management medium 135 .

상기 정보 저장부(120)는 등록자 단말(140)을 통해 동영상 컨텐츠를 등록 시, 상기 등록자 단말(140)을 통해 상기 등록되는 동영상 컨텐츠에 포함된 객체와 관련된 적어도 하나의 동영상 태그 정보를 등록받고, 상기 동영상 컨텐츠와 상기 등록된 동영상 태그 정보를 연계하여 상기 컨텐츠관리매체(135)에 저장할 수 있다. 예컨대, 상기 등록자 단말(140)을 동영상 등록 시 상기 등록자 단말(140)을 통해 등록되는 동영상 태그 정보는 등록자가 직접 단말에 입력하여 등록하는 것으로, 등록자가 해당 동영상에는 어떤 객체가 포함되어 있다고 알려줄 수 있다.The information storage unit 120 receives at least one piece of video tag information related to an object included in the registered video content through the registrant terminal 140 when registering video content through the registrant terminal 140, The video content and the registered video tag information may be linked and stored in the content management medium 135 . For example, when registering the video of the registrant terminal 140, the video tag information registered through the registrant terminal 140 is directly entered by the registrant into the terminal and registered, and the registrant can inform that the video contains some object. have.

한편, 본 발명의 실시 방법에 따르면, 상기 정보 저장부(120)는, 상기 등록자 단말(140)을 통해 등록된 동영상 컨텐츠와 상기 등록된 동영상 컨텐츠에 대응하는 동영상 태그 정보가 연계되어 상기 컨텐츠관리매체(135)에 저장된 경우, 등록자 단말(140)을 통해 동영상 컨텐츠를 등록 시, 상기 등록자 단말(140)을 통해 상기 등록되는 동영상 컨텐츠를 설명하는 동영상 설명 정보를 등록받고, 상기 동영상 컨텐츠와 상기 등록된 동영상 설명 정보를 연계하여 상기 컨텐츠관리매체(135)에 저장할 수 있다.On the other hand, according to the embodiment of the present invention, the information storage unit 120, the video content registered through the registrant terminal 140 and the video tag information corresponding to the registered video content is linked to the content management medium When stored in 135, when registering video content through the registrant terminal 140, video description information describing the registered video content is registered through the registrant terminal 140, and the video content and the registered video content are registered. The video description information may be linked and stored in the content management medium 135 .

한편, 도면1을 참조하면, 상기 운영서버(100)는 상기 객체 정보에 대응하는 객체의 관측된 특징에 대응하는 입력 정보와 상기 객체 정보에 대응하는 객체의 관측된 결과에 대응하는 출력 정보를 지정된 인공지능모듈에 대입하여 상기 객체 정보에 대응하는 객체를 인식하는 객체 인식을 학습시키는 객체인식 학습부(125)를 더 포함하여 구성될 수 있다.Meanwhile, referring to FIG. 1 , the operation server 100 designates input information corresponding to the observed characteristics of the object corresponding to the object information and output information corresponding to the observed result of the object corresponding to the object information. It may be configured to further include an object recognition learning unit 125 for learning object recognition for recognizing an object corresponding to the object information by substituting the artificial intelligence module.

이 경우, 상기 객체 인식부(105)는 상기 객체 인식을 학습한 인공지능모듈을 통해 상기 동영상 컨텐츠를 지정된 프레임 단위로 분석하여 지정된 객체를 인식할 수 있다.In this case, the object recognition unit 105 may recognize the specified object by analyzing the video content in units of specified frames through the artificial intelligence module that has learned the object recognition.

또한, 상기 객체 인식부(105)는 상기 동영상 컨텐츠에 포함된 각 장면전환 프레임 사이의 장면 구간을 식별하고, 상기 식별된 각 장면 구간에 포함된 복수의 프레임 중 적어도 하나의 인식 대상 프레임에 대응하는 인식 대상 프레임 이미지를 선정한 후, 상기 객체 인식을 학습한 인공지능모듈에 상기 선정된 인식 대상 프레임 이미지의 관측된 특징을 대입하여 지정된 객체를 인식할 수 있다.In addition, the object recognition unit 105 identifies a scene section between each scene change frame included in the video content, and corresponds to at least one recognition target frame among a plurality of frames included in each identified scene section. After selecting the recognition target frame image, the designated object may be recognized by substituting the observed characteristics of the selected recognition target frame image to the AI module that has learned the object recognition.

한편, 도면1을 참조하면, 상기 운영서버(100)는 사용자 단말(145)을 통해 지정된 동영상 컨텐츠에 포함된 객체를 분석한 객체 분석 정보를 요청하는 정보를 수신하고, 상기 사용자 단말(145)로 상기 동영상 컨텐츠의 객체 분석 정보를 제공하는 결과 제공부(130)를 더 포함하여 구성될 수 있다.Meanwhile, referring to FIG. 1 , the operation server 100 receives information requesting object analysis information obtained by analyzing an object included in a specified video content through the user terminal 145 , and sends the information to the user terminal 145 . It may be configured to further include a result providing unit 130 that provides the object analysis information of the video content.

본 발명의 실시 방법에 따르면, 상기 결과 제공부(130)는 사용자 단말(145)을 통해 적어도 하나의 동영상 컨텐츠에 포함된 객체 카테고리 정보의 검색을 요청하는 검색 요청 정보를 수신하고, 지정된 저장매체에 저장된 적어도 하나의 객체 분석 정보를 근거로 상기 검색 요청 정보에 대응하는 검색 대상 객체 카테고리 정보를 포함하는 동영상 컨텐츠를 식별하는 동영상 정보와 상기 식별된 동영상 컨텐츠의 프레임 구간 중 상기 검색 대상 객체 카테고리 정보를 포함하는 i(i≥1)개의 프레임 구간 정보를 포함하는 검색 결과 정보를 생성한 후, 상기 사용자 단말(145)로 상기 검색 결과 정보를 제공할 수 있다. 예컨대, 상기 사용자 단말을 통해 "남자"라는 객체 카테고리 정보를 검색하는 경우, "남자"라는 객체 카테고리 정보를 포함하는 프레임 구간 정보를 검색 결과 정보에 포함시킬 수 있다.According to an embodiment of the present invention, the result providing unit 130 receives search request information for requesting a search for object category information included in at least one video content through the user terminal 145, and stores the information in a designated storage medium. Based on the stored at least one object analysis information, including video information for identifying video content including search target object category information corresponding to the search request information and the search target object category information in a frame section of the identified video content After generating search result information including i (i≥1) frame section information, the search result information may be provided to the user terminal 145 . For example, when searching for object category information “man” through the user terminal, frame section information including object category information “male” may be included in the search result information.

여기서, 상기 결과 제공부(130)는 상기 동영상 컨텐츠의 전체 프레임 구간 중 상기 검색 결과 정보에 포함된 i개의 프레임 구간 정보에 대응하는 프레임 구간 내의 지정된 프레임 구간을 분할하는 i개의 프레임 분할 구간 정보를 생성하고, 상기 생성된 i개의 프레임 분할 구간 정보에 대응하는 i개의 짧은 동영상 컨텐츠를 상기 사용자 단말(145)로 제공하기 위한 i개의 짧은 동영상 컨텐츠 정보를 생성하여 상기 검색 결과 정보에 포함시킬 수 있다.Here, the result providing unit 130 generates i frame division section information for dividing a specified frame section within a frame section corresponding to i frame section information included in the search result information among all frame sections of the video content. and, i pieces of short video content information for providing the i pieces of short video content corresponding to the generated information on the i pieces of frame division section to the user terminal 145 may be generated and included in the search result information.

또한, 상기 결과 제공부(130)는 상기 동영상 컨텐츠의 전체 프레임 구간 중 상기 검색 결과 정보에 포함된 i개의 프레임 구간 정보에 대응하는 i개의 대표 이미지를 생성하고, 상기 생성된 i개의 대표 이미지를 상기 검색 결과 정보에 포함시킬 수 있다.In addition, the result providing unit 130 generates i representative images corresponding to i frame section information included in the search result information among all frame sections of the video content, and uses the generated i representative images as the It can be included in the search result information.

한편, 본 발명의 다른 실시 방법에 따르면, 상기 결과 제공부(130)는 상기 객체 분석 정보에 각 프레임 구간에서 인식된 객체에 대응하는 객체 정보가 포함된 경우, 사용자 단말(145)을 통해 적어도 하나의 동영상 컨텐츠에 포함된 객체의 검색을 요청하는 검색 요청 정보를 수신하고, 지정된 저장매체에 저장된 적어도 하나의 객체 분석 정보를 근거로 상기 검색 요청 정보에 대응하는 검색 대상 객체를 포함하는 동영상 컨텐츠를 식별하는 동영상 정보와 상기 식별된 동영상 컨텐츠의 프레임 구간 중 상기 검색 대상 객체를 포함하는 i(i≥1)개의 프레임 구간 정보를 포함하는 검색 결과 정보를 생성한 후, 상기 사용자 단말(145)로 상기 검색 결과 정보를 제공할 수 있다.Meanwhile, according to another embodiment of the present invention, when the object analysis information includes object information corresponding to an object recognized in each frame section, the result providing unit 130 provides at least one through the user terminal 145 . Receive search request information for requesting a search for an object included in the video content of , and identify video content including a search target object corresponding to the search request information based on at least one object analysis information stored in a specified storage medium After generating search result information including i (i≥1) frame section information including the search target object among the frame sections of the identified moving picture content and moving picture information, the search result information is searched with the user terminal 145 Results information can be provided.

여기서, 상기 결과 제공부(130)는 상기 동영상 컨텐츠의 전체 프레임 구간 중 상기 검색 결과 정보에 포함된 i개의 프레임 구간 정보에 대응하는 프레임 구간 내의 지정된 프레임 구간을 분할하는 i개의 프레임 분할 구간 정보를 생성하고, 상기 생성된 i개의 프레임 분할 구간 정보에 대응하는 i개의 짧은 동영상 컨텐츠를 상기 사용자 단말로 제공하기 위한 i개의 짧은 동영상 컨텐츠 정보를 생성하여 상기 검색 결과 정보에 포함시킬 수 있다.Here, the result providing unit 130 generates i frame division section information for dividing a specified frame section within a frame section corresponding to i frame section information included in the search result information among all frame sections of the video content. and, i pieces of short video content information for providing the i pieces of short video contents corresponding to the generated information on the i pieces of frame division section to the user terminal may be generated and included in the search result information.

여기서, 상기 프레임 분할 구간 정보는 상기 검색 결과 정보에 포함된 프레임 구간 정보와 동일한 구간 정보를 포함할 수 있다.Here, the frame division section information may include the same section information as the frame section information included in the search result information.

또한, 상기 프레임 분할 구간 정보는 상기 검색 결과 정보에 포함된 프레임 구간 정보가 기 설정된 최대 프레임 분할 크기보다 큰 경우, 상기 검색 결과 정보에 포함된 프레임 구간 정보 중 상기 프레임 분할 크기와 같거나 작은 범위의 구간 정보를 포함할 수 있다.In addition, the frame division section information includes a range equal to or smaller than the frame division size among the frame section information included in the search result information when the frame section information included in the search result information is larger than a preset maximum frame division size. It may include section information.

또한, 상기 프레임 분할 구간 정보는 상기 검색 결과 정보에 포함된 프레임 구간 정보가 기 설정된 최대 프레임 분할 크기보다 큰 경우, 상기 검색 결과 정보에 포함된 프레임 구간 정보 중 상기 프레임 분할 크기와 같거나 작은 범위의 구간 정보를 포함하면서, 상기 검색 결과 정보에 포함된 프레임 구간 정보의 첫번째 프레임부터 상기 프레임 분할 크기와 같거나 작은 범위의 구간 정보, 상기 검색 결과 정보에 포함된 프레임 구간 정보의 첫번째 프레임에서 지정된 프레임 수만큼 이후로 이동한 프레임부터 상기 프레임 분할 크기와 같거나 작은 범위의 구간 정보, 상기 검색 결과 정보에 포함된 프레임 구간 정보 중 모션블러(Motion Blur)가 없거나 기 설정된 기준 값 이내이면서 상기 프레임 분할 크기와 같거나 작은 범위의 구간 정보, 상기 검색 결과 정보에 포함된 프레임 구간 정보 중 카메라워킹(Cameraworking)이 없거나 기 설정된 기준 값 이내이면서 상기 프레임 분할 크기와 같거나 작은 범위의 구간 정보 중 적어도 하나 또는 둘 이상의 조합에 대응하는 구간 정보를 더 포함할 수 있다.In addition, the frame division section information includes a range equal to or smaller than the frame division size among the frame section information included in the search result information when the frame section information included in the search result information is larger than a preset maximum frame division size. The number of frames designated in the first frame of the frame section information included in the search result information and section information in a range equal to or smaller than the frame division size from the first frame of the frame section information included in the search result information while including section information Section information within a range equal to or smaller than the frame division size from the frame moved later by as much as possible, and there is no motion blur among frame section information included in the search result information, or within a preset reference value, the frame division size and At least one or two or more of section information within the same or smaller range and frame section information included in the search result information without camera working or within a preset reference value and within a range equal to or smaller than the frame division size It may further include section information corresponding to the combination.

또한, 상기 프레임 분할 구간 정보는 상기 검색 결과 정보에 인식 대상 프레임 별 객체 매칭율 정보가 포함된 경우, 상기 검색 결과 정보에 포함된 프레임 구간 정보 중 상기 프레임 분할 크기와 같거나 작은 범위의 구간을 포함하면서, 기 설정된 순위 내의 객체 매칭율 정보에 대응하는 인식 대상 프레임을 포함하는 구간 정보를 포함할 수 있다.In addition, when the search result information includes object matching rate information for each frame to be recognized, the frame division section information includes a range equal to or smaller than the frame division size among frame section information included in the search result information. While doing so, information on a section including a recognition target frame corresponding to object matching rate information within a preset rank may be included.

본 발명의 실시 방법에 따르면, 상기 짧은 동영상 컨텐츠 정보는 상기 동영상 컨텐츠의 전체 프레임 구간 중 상기 프레임 분할 구간 정보에 대응하는 프레임 구간을 선택적으로 사용자 단말(145)로 제공하여 재생하기 위한 구간 재생 정보를 포함할 수 있다.According to the embodiment of the present invention, the short video content information includes section reproduction information for selectively providing a frame section corresponding to the frame division section information among the entire frame section of the video content to the user terminal 145 for playback. may include

또한, 상기 결과 제공부(130)는 상기 동영상 컨텐츠의 전체 프레임 구간 중 상기 프레임 분할 구간 정보에 대응하는 프레임 구간을 선택적으로 추출하여 짧은 동영상 컨텐츠를 생성할 수 있으며, 상기 짧은 동영상 컨텐츠 정보는, 상기 생성된 짧은 동영상 컨텐츠를 사용자 단말(145)로 제공하여 재생하기 위한 동영상 재생 정보를 포함할 수 있다. 여기서 상기 짧은 동영상 컨텐츠는 지정된 컨텐츠관리매체(135)에 저장될 수 있으며 상기 동영상 재생 정보는 짧은 동영상 컨텐츠의 URL 정보를 포함할 수 있다.In addition, the result providing unit 130 may generate short video content by selectively extracting a frame section corresponding to the frame division section information among the entire frame section of the video content, and the short video content information includes the It may include video playback information for providing the generated short video content to the user terminal 145 for playback. Here, the short video content may be stored in a designated content management medium 135 , and the video playback information may include URL information of the short video content.

본 발명의 실시 방법에 따르면, 상기 대표 이미지는 상기 검색 결과 정보에 포함된 각 프레임 구간의 첫번째 프레임 이미지, 상기 검색 결과 정보에 포함된 각 프레임 구간의 첫번째 프레임에서 지정된 프레임 수만큼 이후로 이동한 프레임 이미지, 상기 검색 결과 정보에 포함된 각 프레임 구간의 가운데 프레임 이미지, 상기 검색 결과 정보에 포함된 각 프레임 구간의 첫번째 프레임에서 지정된 프레임 수만큼 전후로 이동한 프레임 이미지, 상기 검색 결과 정보에 포함된 각 프레임 구간의 마지막 프레임 이미지, 상기 검색 결과 정보에 포함된 각 프레임 구간의 마지막 프레임에서 지정된 프레임 수만큼 이전으로 이동한 프레임 이미지, 상기 검색 결과 정보에 포함된 각 프레임 구간에 포함된 프레임 중 모션블러(Motion Blur)가 없거나 가장 적은 프레임 이미지, 상기 검색 결과 정보에 포함된 각 프레임 구간에 포함된 프레임 중 카메라워킹(Cameraworking)이 없거나 가장 적은 프레임 이미지 중 적어도 하나 또는 둘 이상의 조합에 대응하는 프레임 이미지를 포함할 수 있다.According to the embodiment of the present invention, the representative image is a frame moved by a specified number of frames from the first frame image of each frame section included in the search result information and the first frame of each frame section included in the search result information. image, a middle frame image of each frame section included in the search result information, a frame image moved back and forth by a specified number of frames in the first frame of each frame section included in the search result information, and each frame included in the search result information The last frame image of a section, a frame image that has moved backward by a specified number of frames from the last frame of each frame section included in the search result information, and motion blur among frames included in each frame section included in the search result information A frame image corresponding to at least one or a combination of two or more of frame images with no or least blur) and frame images with or least camera working among frames included in each frame section included in the search result information. can

한편, 본 발명의 실시 방법에 따르면, 상기 결과 제공부(130)는 사용자 단말(145)을 통해 적어도 하나의 동영상 컨텐츠에 포함된 객체의 검색을 요청하는 검색 요청 정보를 수신하고, 상기 검색 요청 정보에 대응하는 객체가 속한 적어도 하나의 객체 카테고리 중 검색 대상 객체 카테고리 정보를 결정하여, 지정된 저장매체에 저장된 적어도 하나의 객체 분석 정보를 근거로 상기 검색 대상 객체 카테고리 정보를 포함하는 동영상 컨텐츠를 식별하는 동영상 정보와 상기 식별된 동영상 컨텐츠의 프레임 구간 중 상기 검색 대상 객체 카테고리 정보를 포함하는 i(i≥1)개의 프레임 구간 정보를 포함하는 검색 결과 정보를 생성한 후, 상기 사용자 단말(145)로 상기 검색 결과 정보를 제공할 수 있다.Meanwhile, according to an embodiment of the present invention, the result providing unit 130 receives search request information for requesting a search for an object included in at least one video content through the user terminal 145, and the search request information A video for determining search target object category information among at least one object category to which an object corresponding to After generating search result information including information and i (i≥1) frame section information including the search target object category information among frame sections of the identified moving picture content, the search result information is searched with the user terminal 145 Results information can be provided.

여기서, 상기 검색 대상 객체 카테고리 정보는, 객체 카테고리의 계층 구조 상에서 상기 객체가 속한 최하층 계층의 객체 카테고리 정보를 포함할 수 있다. 예컨대, 상기 사용자 단말(145)을 통해 "손흥민"을 검색하는 경우, 손흥민이 속한 "사람" > "남자" > "운동선수"의 객체 카테고리의 계층 구조 중 최하층인 "운동선수"에 해당하는 객체 카테고리를 검색 대상 객체 카테고리 정보로 결정하고, "운동선수"라는 객체 카테고리 정보를 포함하는 프레임 구간 정보를 검색 결과 정보에 포함시킬 수 있다.Here, the search target object category information may include object category information of the lowest layer to which the object belongs in the hierarchical structure of the object category. For example, when "Son Heung-Min" is searched for through the user terminal 145, "Person" to which Son Heung-Min belongs > "Men" > "Athlete" corresponding to the lowest layer of the hierarchical structure of the object category "Athlete" The object category may be determined as the search target object category information, and frame section information including the object category information of “athlete” may be included in the search result information.

도면2는 본 발명의 실시 방법에 따라 동영상 컨텐츠에 포함된 객체를 인식하는 과정을 도시한 도면이다.2 is a diagram illustrating a process of recognizing an object included in video content according to an embodiment of the present invention.

보다 상세하게 본 도면2는 상기 도면1에 도시된 운영서버(100)에서 동영상 컨텐츠의 프레임을 분석하여 인식 가능한 각 객체에 대한 객체 정보와 각 객체가 속한 적어도 하나의 객체 카테고리를 포함하는 T(T≥1)개의 객체 카테고리 정보를 저장하고, 지정된 인공지능모듈을 이용하여 객체 인식을 학습시킨 후, 지정된 컨텐츠관리매체(135)에 저장된 동영상 컨텐츠에 포함된 객체를 인식하는 과정에서 상기 객체 인식을 학습한 인공지능모듈을 통해 지정된 객체를 인식하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 2 shows T(T) including object information for each object recognizable by analyzing a frame of video content in the operation server 100 shown in FIG. 1 and at least one object category to which each object belongs. ≥1) object category information is stored, object recognition is learned using a designated artificial intelligence module, and object recognition is learned in the process of recognizing an object included in video content stored in a designated content management medium 135 As shows the process of recognizing a designated object through an artificial intelligence module, those of ordinary skill in the art to which the present invention pertains may refer to and/or modify this FIG. 2 to see various implementation methods for the process ( For example, an implementation method in which some steps are omitted or the order is changed) may be inferred, but the present invention is made including all implementation methods inferred above, and the technical characteristics of the implementation method shown in FIG. Not limited.

도면2를 참조하면, 상기 운영서버(100)는 동영상 컨텐츠의 프레임을 분석하여 인식 가능한 각 객체에 대한 객체 정보와 각 객체가 속한 적어도 하나의 객체 카테고리를 포함하는 T(T≥1)개의 객체 카테고리 정보를 저장한다(200). 여기서, 상기 객체 정보는 각 객체의 고유한 객체 명칭 정보와 각 객체에 부여된 적어도 하나의 객체 태그 정보 중 적어도 하나의 정보를 포함할 수 있다. 또한, 상기 객체 정보는 각 객체를 인식하기 위한 각 객체의 관측된 특징에 대응하는 객체 별 객체 특징 정보를 더 포함할 수 있다. 또한, 상기 객체 정보는 각 객체의 관측된 특징을 통해 인식된 각 객체를 식별하는 객체 식별 정보를 더 포함할 수 있다.Referring to FIG. 2 , the operation server 100 analyzes a frame of video content and includes object information for each recognizable object and at least one object category to which each object belongs. T (T≥1) object categories The information is stored (200). Here, the object information may include at least one of unique object name information of each object and at least one object tag information assigned to each object. In addition, the object information may further include object characteristic information for each object corresponding to the observed characteristic of each object for recognizing each object. In addition, the object information may further include object identification information for identifying each object recognized through the observed characteristic of each object.

여기서, 상기 객체 카테고리는 기 설정된 분류 기준에 대응하는 계층 구조를 포함하며, 상기 객체는 상기 계층 구조의 객체 카테고리 중 적어도 한 계층의 객체 카테고리에 포함되는 것이 바람직하다.Preferably, the object category includes a hierarchical structure corresponding to a preset classification criterion, and the object is included in at least one hierarchical object category among object categories of the hierarchical structure.

한편, 상기 운영서버(100)는 상기 객체 정보에 대응하는 객체의 관측된 특징에 대응하는 입력 정보와 상기 객체 정보에 대응하는 객체의 관측된 결과에 대응하는 출력 정보를 지정된 인공지능모듈에 대입하고(205), 상기 객체 정보에 대응하는 객체를 인식하는 객체 인식을 학습시킨다(210).On the other hand, the operation server 100 substitutes the input information corresponding to the observed characteristics of the object corresponding to the object information and the output information corresponding to the observed result of the object corresponding to the object information to a designated artificial intelligence module, and In step 205, object recognition for recognizing an object corresponding to the object information is learned (210).

이후, 상기 운영서버(100)는 상기 동영상 컨텐츠에 포함된 각 장면전환 프레임 사이의 장면 구간을 식별하고(215), 상기 식별된 각 장면 구간에 포함된 복수의 프레임 중 적어도 하나의 인식 대상 프레임에 대응하는 인식 대상 프레임 이미지를 선정한다(220).Thereafter, the operation server 100 identifies a scene section between each scene change frame included in the video content (215), and at least one of a plurality of frames included in the identified scene section is applied to the recognition target frame. A corresponding recognition target frame image is selected ( 220 ).

그리고, 상기 운영서버(100)는 상기 객체 인식을 학습한 인공지능모듈에 상기 선정된 인식 대상 프레임 이미지의 관측된 특징을 대입하여 지정된 객체를 인식한다(225). 여기서, 상기 인식 대상 프레임은 각 장면 구간의 첫번째 프레임, 각 장면 구간의 첫번째 프레임에서 지정된 프레임 수만큼 이후로 이동한 프레임, 각 장면 구간의 가운데 프레임, 각 장면 구간의 첫번째 프레임에서 지정된 프레임 수만큼 전후로 이동한 프레임, 각 장면 구간의 마지막 프레임, 각 장면 구간의 마지막 프레임에서 지정된 프레임 수만큼 이전으로 이동한 프레임, 각 장면 구간을 기 설정된 프레임 수 단위 또는 재생시간 단위로 분할하여 선별된 프레임, 각 장면 구간에 포함된 프레임 중 모션블러(Motion Blur)가 없거나 가장 적은 프레임, 각 장면 구간에 포함된 프레임 중 카메라워킹(Cameraworking)이 없거나 가장 적은 프레임 중 적어도 하나 또는 둘 이상의 조합에 대응하는 프레임을 포함할 수 있다.Then, the operation server 100 recognizes the designated object by substituting the observed features of the selected recognition target frame image to the artificial intelligence module that has learned the object recognition (225). Here, the recognition target frame is the first frame of each scene section, the frame moved later by the specified number of frames from the first frame of each scene section, the middle frame of each scene section, and forward and backward by the specified number of frames in the first frame of each scene section Frames that are moved, the last frame of each scene section, the frames moved earlier by the specified number of frames from the last frame of each scene section, frames selected by dividing each scene section by a preset number of frames or playback time units, each scene Frames corresponding to at least one or a combination of two or more of frames with no or least motion blur among frames included in the section and frames with no or least cameraworking among frames included in each scene section. can

도면3은 본 발명의 다른 실시 방법에 따라 동영상 컨텐츠에 포함된 객체를 인식하는 과정을 도시한 도면이다.3 is a diagram illustrating a process of recognizing an object included in video content according to another embodiment of the present invention.

보다 상세하게 본 도면3은 상기 도면1에 도시된 운영서버(100)에서 등록자 단말(140)을 통해 동영상 컨텐츠를 등록받아 지정된 컨텐츠관리매체(135)에 저장하는 과정에서, 상기 동영상 컨텐츠에 포함된 객체와 관련된 동영상 태그 정보를 함께 저장하여, 상기 영상 태그 정보를 이용하여 객체를 인식하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면3을 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면3에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 3 shows that in the process of receiving video content registered through the registrant terminal 140 from the operation server 100 shown in FIG. 1 and storing it in a designated content management medium 135, the video content included in the As a process of recognizing an object by using the image tag information by storing video tag information related to the object together, those skilled in the art to which the present invention pertains, refer to this figure 3 and/ Alternatively, various implementation methods for the above process (eg, an implementation method in which some steps are omitted or the order is changed) may be inferred by modification, but the present invention is made including all the inferred implementation methods, and this drawing The technical features are not limited only to the implementation method shown in 3 .

도면3을 참조하면, 운영서버(100)는 등록자 단말(140)을 통해 동영상 컨텐츠를 등록받아 지정된 컨텐츠관리매체(135)에 저장한다(300).Referring to FIG. 3 , the operation server 100 receives the video content registered through the registrant terminal 140 and stores it in the designated content management medium 135 ( 300 ).

그리고, 상기 운영서버(100)는 상기 등록자 단말(140)을 통해 동영상 컨텐츠를 등록 시, 상기 등록자 단말(140)을 통해 상기 등록되는 동영상 컨텐츠에 포함된 객체와 관련된 적어도 하나의 동영상 태그 정보를 등록받고(305), 상기 동영상 컨텐츠와 상기 등록된 동영상 태그 정보를 연계하여 상기 컨텐츠관리매체(135)에 저장한다(310).In addition, when registering video content through the registrant terminal 140 , the operation server 100 registers at least one piece of video tag information related to an object included in the registered video content through the registrant terminal 140 . Received (305), and stored in the content management medium 135 in association with the video content and the registered video tag information (310).

이후, 상기 운영서버(100)는 상기 등록된 동영상 태그 정보에 대응하는 객체를 인식한다(315).Then, the operation server 100 recognizes an object corresponding to the registered video tag information (315).

도면4는 본 발명의 또 다른 실시 방법에 따라 동영상 컨텐츠에 포함된 객체를 인식하는 과정을 도시한 도면이다.4 is a diagram illustrating a process of recognizing an object included in video content according to another embodiment of the present invention.

보다 상세하게 본 도면4는 상기 도면1에 도시된 운영서버(100)에서 등록자 단말(140)을 통해 동영상 컨텐츠를 등록받아 지정된 컨텐츠관리매체(135)에 저장하는 과정에서, 상기 동영상 컨텐츠를 설명하는 동영상 설명 정보를 함께 저장하여, 상기 동영상 설명 정보에 포함된 단어를 근거로 상기 동영상 컨텐츠에 포함된 객체와 관련된 객체 관련 태그 정보를 추출하고 이를 이용하여 객체를 인식하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면4에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 4 illustrates the video content in the process of receiving video content registered through the registrant terminal 140 from the operation server 100 shown in FIG. 1 and storing the video content in a designated content management medium 135. The present invention shows a process of storing video description information together, extracting object-related tag information related to an object included in the video content based on a word included in the video description information, and recognizing an object using the same, Those of ordinary skill in the art can infer various implementation methods for the above process (eg, an implementation method in which some steps are omitted or the order is changed) by referring to and/or modifying this FIG. 4 . However, the present invention is made including all the implementation methods inferred above, and the technical characteristics are not limited only to the implementation method shown in FIG. 4 .

도면4를 참조하면, 상기 운영서버(100)는 등록자 단말(140)을 통해 동영상 컨텐츠를 등록받아 지정된 컨텐츠관리매체(135)에 저장한다(400).Referring to FIG. 4 , the operation server 100 receives video content registered through the registrant terminal 140 and stores it in a designated content management medium 135 ( 400 ).

이 때, 상기 운영서버(100)는 상기 등록자 단말(140)을 통해 상기 등록되는 동영상 컨텐츠를 설명하는 동영상 설명 정보를 등록받고(405), 상기 동영상 컨텐츠와 상기 등록된 동영상 설명 정보를 연계하여 상기 컨텐츠관리매체(135)에 저장한다(410).At this time, the operation server 100 receives the video description information describing the registered video content through the registrant terminal 140 ( 405 ), and connects the video content and the registered video description information to the It is stored in the content management medium 135 (410).

이후 상기 운영서버(100)는 상기 등록된 동영상 설명 정보에 포함된 단어를 근거로 상기 동영상 컨텐츠에 포함된 객체와 관련된 객체 관련 태그 정보를 추출하고(415), 상기 추출된 객체 관련 태그 정보에 대응하는 객체를 인식한다(420).Then, the operation server 100 extracts object-related tag information related to the object included in the video content based on the word included in the registered video description information (415), and corresponds to the extracted object-related tag information Recognizes the object to do (420).

도면5는 본 발명의 실시 방법에 따라 동영상 컨텐츠에 포함된 객체를 인식하는 과정을 도시한 도면이다.5 is a diagram illustrating a process of recognizing an object included in video content according to an embodiment of the present invention.

보다 상세하게 본 도면5는 상기 도면2 내지 도면4의 과정을 통해 동영상 컨텐츠에 포함된 객체가 인식된 이후, 운영서버(100)에서 상기 인식된 객체를 포함한 상태를 유지하는 프레임 구간을 인식하고, 상기 인식된 프레임 구간 정보와 각각의 프레임 구간에 포함된 각각의 객체가 속한 적어도 하나의 객체 카테고리에 대응하는 프레임 구간 별 객체 카테고리 정보를 포함하는 객체 분석 정보를 생성하여 지정된 저장매체에 저장한 후, 사용자 단말(145)로 제공하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면5를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면5에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, Figure 5 recognizes a frame section in which the operation server 100 maintains a state including the recognized object after the object included in the video content is recognized through the process of Figures 2 to 4, After generating object analysis information including the recognized frame section information and object category information for each frame section corresponding to at least one object category to which each object included in each frame section belongs, stored in a designated storage medium, As showing the process of providing to the user terminal 145, those of ordinary skill in the art to which the present invention pertains may refer to and/or modify this FIG. 5 to see various implementation methods for the process (eg, some An implementation method in which steps are omitted or the order is changed) may be inferred, but the present invention includes all the implementation methods inferred above, and the technical characteristics are not limited only to the implementation method shown in FIG. 5 . .

도면5를 참조하면, 상기 운영서버(100)는 상기 도면2 내지 도면4의 과정을 통해 동영상 컨텐츠에 포함된 M(M≥1)개의 객체가 인식된 이후, 상기 인식된 M개의 객체를 상기 설정된 객체 카테고리에 따라 분류하여 동일한 객체 카테고리에 속한 m(1≤m≤M)개의 객체를 포함한 상태를 유지하는 프레임 구간을 포함하는 N(N≥1)개의 프레임 구간을 인식한다(500). 여기서, 상기 m개의 객체는 동일한 객체를 포함할 수 있다.Referring to FIG. 5 , after the M (M≥1) objects included in the moving picture content are recognized through the process of FIGS. 2 to 4, the operation server 100 sets the M recognized objects to the set N (N≥1) frame sections including frame sections that maintain a state including m (1≤m≤M) objects belonging to the same object category by classification according to object categories are recognized ( 500 ). Here, the m objects may include the same object.

또한, 상기 프레임 구간은 각 장면 구간과는 별개 또는 독립적으로 동일한 객체 카테고리에 속한 m개의 객체를 포함한 상태를 근거로 구분되는 구간을 포함할 수 있다.Also, the frame section may include a section divided based on a state including m objects belonging to the same object category separately or independently from each scene section.

한편, 상기 운영서버(100)는 상기 인식된 N개의 프레임 구간 정보와 각각의 프레임 구간에 포함된 각각의 m개의 객체가 속한 적어도 하나의 객체 카테고리에 대응하는 프레임 구간 별 객체 카테고리 정보를 포함하는 객체 분석 정보를 생성하고(505), 상기 생성된 프레임 구간 별 객체 카테고리 정보를 포함하는 객체 분석 정보를 지정된 저장매체에 저장한다(510).On the other hand, the operation server 100 is an object including object category information for each frame section corresponding to the recognized N frame section information and at least one object category to which each m objects included in each frame section belong. Analysis information is generated ( 505 ), and object analysis information including the generated object category information for each frame section is stored in a designated storage medium ( 510 ).

또한, 상기 N개의 프레임 구간 정보는 각 프레임 구간에 포함된 객체가 속한 객체 카테고리에 따라 적어도 일부 중첩된 구간을 포함할 수 있다.Also, the information on the N frame sections may include at least some overlapping sections according to an object category to which an object included in each frame section belongs.

또한, 상기 객체 분석 정보는 각각의 프레임 구간에서 인식된 m개의 객체에 대한 객체 정보를 더 포함하거나, 상기 객체 정보에 대응하는 객체가 포함된 적어도 하나의 객체 별 프레임 구간 정보를 더 포함할 수 있다.In addition, the object analysis information may further include object information on m objects recognized in each frame section, or may further include frame section information for at least one object including an object corresponding to the object information. .

한편, 상기 객체 분석 정보가 지정된 저장매체에 저장된 이후, 상기 운영서버(100)는 사용자 단말(145)을 통해 지정된 동영상 컨텐츠에 포함된 객체를 분석한 객체 분석 정보를 요청하는 정보를 수신하고(515), 상기 사용자 단말(145)로 상기 동영상 컨텐츠의 객체 분석 정보를 제공한다(520). 여기서 상기 객체 분석 정보는 엑셀 파일 형태로 제공될 수 있다.On the other hand, after the object analysis information is stored in a designated storage medium, the operation server 100 receives information requesting object analysis information by analyzing an object included in the specified video content through the user terminal 145 (515) ), and provides object analysis information of the video content to the user terminal 145 ( 520 ). Here, the object analysis information may be provided in the form of an Excel file.

도면6은 본 발명의 실시 방법에 따라 사용자 단말에서 객체 카테고리 정보의 검색을 요청하여 검색 결과 정보를 제공하는 과정을 도시한 도면이다.6 is a diagram illustrating a process of providing search result information by requesting a search for object category information from a user terminal according to an embodiment of the present invention.

보다 상세하게 본 도면6은 상기 도면5의 과정을 통해 적어도 하나의 객체 카테고리에 대응하는 프레임 구간 별 객체 카테고리 정보를 포함하는 객체 분석 정보가 생성되어 지정된 저장매체에 저장된 이후, 운영서버(100)에서 사용자 단말(145)의 객체 카테고리 정보 검색 요청에 따라 검색 결과 정보를 상기 사용자 단말(145)로 제공하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면6을 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면6에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 6 shows that object analysis information including object category information for each frame section corresponding to at least one object category is generated through the process of FIG. 5 and stored in a designated storage medium, and then in the operation server 100 As a process of providing search result information to the user terminal 145 in response to the object category information search request of the user terminal 145, those of ordinary skill in the art to which the present invention pertains, see FIG. 6 Various implementation methods for the above process (eg, an implementation method in which some steps are omitted or the order is changed) may be inferred by referring and/or modifying the and the technical characteristics are not limited only to the implementation method shown in FIG. 6 .

도면6을 참조하면, 상기 운영서버(100)는 사용자 단말(145)을 통해 적어도 하나의 동영상 컨텐츠에 포함된 객체 카테고리 정보의 검색을 요청하는 검색 요청 정보를 수신하면(600), 지정된 저장매체에 저장된 적어도 하나의 객체 분석 정보를 근거로 상기 검색 요청 정보에 대응하는 검색 대상 객체 카테고리 정보를 포함하는 동영상 컨텐츠를 식별하는 동영상 정보와 상기 식별된 동영상 컨텐츠의 프레임 구간 중 상기 검색 대상 객체 카테고리 정보를 포함하는 i(i≥1)개의 프레임 구간 정보를 포함하는 검색 결과 정보를 생성한다(605).Referring to FIG. 6 , when the operation server 100 receives search request information for requesting to search for object category information included in at least one video content through the user terminal 145 ( 600 ), it is stored in a designated storage medium. Based on the stored at least one object analysis information, including video information for identifying video content including search target object category information corresponding to the search request information and the search target object category information in a frame section of the identified video content Search result information including information on i (i≥1) frames is generated ( 605 ).

그리고, 상기 운영서버(100)는 상기 동영상 컨텐츠의 전체 프레임 구간 중 상기 검색 결과 정보에 포함된 i개의 프레임 구간 정보에 대응하는 프레임 구간 내의 지정된 프레임 구간을 분할하는 i개의 프레임 분할 구간 정보를 생성하고(610), 상기 생성된 i개의 프레임 분할 구간 정보에 대응하는 i개의 짧은 동영상 컨텐츠를 상기 사용자 단말로 제공하기 위한 i개의 짧은 동영상 컨텐츠 정보를 생성하여 상기 검색 결과 정보에 포함시킨다(615). And, the operation server 100 generates i frame division section information for dividing a specified frame section within a frame section corresponding to i frame section information included in the search result information among the entire frame section of the video content, (610), i pieces of short video content information for providing the i pieces of short video contents corresponding to the generated information on the i pieces of frame division section to the user terminal are generated and included in the search result information (615).

또한, 상기 운영서버(100)는 상기 동영상 컨텐츠의 전체 프레임 구간 중 상기 검색 결과 정보에 포함된 i개의 프레임 구간 정보에 대응하는 i개의 대표 이미지를 생성하고(620), 상기 생성된 i개의 대표 이미지를 상기 검색 결과 정보에 포함시킨 후(625), 상기 사용자 단말(145)로 상기 검색 결과 정보를 제공한다(630).In addition, the operation server 100 generates i representative images corresponding to i frame section information included in the search result information among the entire frame section of the video content ( 620 ), and the generated i representative images After including in the search result information (625), the search result information is provided to the user terminal 145 (630).

도면7은 본 발명의 실시 방법에 따라 사용자 단말에서 객체 검색을 요청하여 검색 결과 정보를 제공하는 과정을 도시한 도면이다.7 is a diagram illustrating a process of providing search result information by requesting an object search from a user terminal according to an embodiment of the present invention.

보다 상세하게 본 도면7은 상기 도면5의 과정을 통해 적어도 하나의 객체 카테고리에 대응하는 프레임 구간 별 객체 카테고리 정보를 포함하는 객체 분석 정보가 생성되어 지정된 저장매체에 저장된 이후, 운영서버(100)에서 사용자 단말(145)의 객체 검색 요청 시, 상기 객체 분석 정보에 각 프레임 구간에서 인식된 객체에 대응하는 객체 정보가 포함된 경우, 객체 분석 정보를 근거로 검색 결과 정보를 생성하여 상기 사용자 단말(145)로 제공하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면7을 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면7에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 7 shows that object analysis information including object category information for each frame section corresponding to at least one object category is generated through the process of FIG. 5 and stored in a designated storage medium, and then in the operation server 100 When the user terminal 145 requests an object search, when the object analysis information includes object information corresponding to an object recognized in each frame section, the user terminal 145 generates search result information based on the object analysis information. ) as showing the process of providing, those of ordinary skill in the art to which the present invention belongs, refer to and/or modify this figure 7 to various implementation methods for the process (eg, some steps are omitted or , or an implementation method in which the order is changed) can be inferred, but the present invention is made including all the inferred implementation methods, and the technical characteristics are not limited only to the implementation method illustrated in FIG. 7 .

도면7을 참조하면, 상기 운영서버(100)는 사용자 단말(145)을 통해 적어도 하나의 동영상 컨텐츠에 포함된 객체의 검색을 요청하는 검색 요청 정보를 수신하면(700), 상기 객체 분석 정보에 각 프레임 구간에서 인식된 객체에 대응하는 객체 정보가 포함되어 있는지 확인한다(705).Referring to FIG. 7 , when the operation server 100 receives search request information for requesting to search for an object included in at least one video content through the user terminal 145 ( 700 ), each of the object analysis information is It is checked whether object information corresponding to the object recognized in the frame section is included ( 705 ).

만약, 상기 객체 분석 정보에 각 프레임 구간에서 인식된 객체에 대응하는 객체 정보가 포함되어 있다면, 상기 운영서버(100)는 지정된 저장매체에 저장된 적어도 하나의 객체 분석 정보를 근거로 상기 검색 요청 정보에 대응하는 검색 대상 객체를 포함하는 동영상 컨텐츠를 식별하는 동영상 정보와 상기 식별된 동영상 컨텐츠의 프레임 구간 중 상기 검색 대상 객체를 포함하는 i(i≥1)개의 프레임 구간 정보를 포함하는 검색 결과 정보를 생성한다(710). If, in the object analysis information, object information corresponding to the object recognized in each frame section is included, the operation server 100 responds to the search request information based on at least one object analysis information stored in a designated storage medium. Generates search result information including moving picture information identifying moving picture content including a corresponding search target object and i (i≥1) frame section information including the search target object among frame sections of the identified moving picture content do (710).

그리고, 상기 운영서버(100)는 상기 동영상 컨텐츠의 전체 프레임 구간 중 상기 검색 결과 정보에 포함된 i개의 프레임 구간 정보에 대응하는 프레임 구간 내의 지정된 프레임 구간을 분할하는 i개의 프레임 분할 구간 정보를 생성하고(715), 상기 생성된 i개의 프레임 분할 구간 정보에 대응하는 i개의 짧은 동영상 컨텐츠를 상기 사용자 단말로 제공하기 위한 i개의 짧은 동영상 컨텐츠 정보를 생성하여 상기 검색 결과 정보에 포함시킨다(720).And, the operation server 100 generates i frame division section information for dividing a specified frame section within a frame section corresponding to i frame section information included in the search result information among the entire frame section of the video content, In step 715, i pieces of short video content information for providing the i pieces of short video content corresponding to the generated information on the i pieces of frame division section to the user terminal are generated and included in the search result information (step 720).

여기서, 상기 짧은 동영상 컨텐츠 정보는 상기 동영상 컨텐츠의 전체 프레임 구간 중 상기 프레임 분할 구간 정보에 대응하는 프레임 구간을 선택적으로 사용자 단말(145)로 제공하여 재생하기 위한 구간 재생 정보를 포함할 수 있다.Here, the short video content information may include section reproduction information for selectively providing a frame section corresponding to the frame division section information among the entire frame section of the video content to the user terminal 145 for playback.

또한, 상기 운영서버(100)는 상기 동영상 컨텐츠의 전체 프레임 구간 중 상기 검색 결과 정보에 포함된 i개의 프레임 구간 정보에 대응하는 i개의 대표 이미지를 생성하고(725), 상기 생성된 i개의 대표 이미지를 상기 검색 결과 정보에 포함시킨 후(730), 상기 사용자 단말(145)로 상기 검색 결과 정보를 제공한다(735).In addition, the operation server 100 generates i representative images corresponding to i frame section information included in the search result information among the entire frame section of the video content (725), and the generated i representative images After including in the search result information (730), the search result information is provided to the user terminal 145 (735).

도면8은 본 발명의 다른 실시 방법에 따라 사용자 단말에서 객체 검색을 요청하여 검색 결과 정보를 제공하는 과정을 도시한 도면이다.8 is a diagram illustrating a process of providing search result information by requesting an object search from a user terminal according to another embodiment of the present invention.

보다 상세하게 본 도면8은 상기 도면7의 과정에서 사용자 단말(145)에서 객체를 검색 요청했는데, 객체 분석 정보에 객체 정보가 포함되지 않은 경우, 검색 요청 정보에 대응하는 객체가 속한 적어도 하나의 객체 카테고리 중 검색 대상 객체 카테고리 정보를 결정한 후, 검색 결과 정보를 생성하여 상기 사용자 단말(145)로 제공하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면8을 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면8에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In FIG. 8, in more detail, when the user terminal 145 requests to search for an object in the process of FIG. 7, and object information is not included in the object analysis information, at least one object to which the object corresponding to the search request information belongs. After determining the search target object category information among the categories, the process of generating search result information and providing it to the user terminal 145 is shown. For those of ordinary skill in the art, this figure 8 Various implementation methods for the above process (eg, an implementation method in which some steps are omitted or the order is changed) may be inferred by referring and/or modifying and the technical characteristics are not limited only to the implementation method shown in FIG. 8 .

도면8을 참조하면, 상기 도면7의 과정을 통해 상기 운영서버(100)는 사용자 단말(145)을 통해 적어도 하나의 동영상 컨텐츠에 포함된 객체의 검색을 요청하는 검색 요청 정보를 수신한 후, 상기 객체 분석 정보에 각 프레임 구간에서 인식된 객체에 대응하는 객체 정보가 포함되어 있지 않는 경우, 상기 운영서버(100)는 상기 검색 요청 정보에 대응하는 객체가 속한 적어도 하나의 객체 카테고리 중 검색 대상 객체 카테고리 정보를 결정한다(700).Referring to FIG. 8 , after receiving search request information for requesting a search for an object included in at least one video content through the user terminal 145 through the process of FIG. 7 , the operation server 100 , When the object analysis information does not include object information corresponding to the object recognized in each frame section, the operation server 100 is a search target object category among at least one object category to which the object corresponding to the search request information belongs. The information is determined ( 700 ).

그리고, 상기 운영서버(100)는 지정된 저장매체에 저장된 적어도 하나의 객체 분석 정보를 근거로 상기 검색 대상 객체 카테고리 정보를 포함하는 동영상 컨텐츠를 식별하는 동영상 정보와 상기 식별된 동영상 컨텐츠의 프레임 구간 중 상기 검색 대상 객체 카테고리 정보를 포함하는 i(i≥1)개의 프레임 구간 정보를 포함하는 검색 결과 정보를 생성하고(705), 상기 사용자 단말(145)로 상기 검색 결과 정보를 제공한다(710).In addition, the operation server 100 includes video information for identifying video content including the search target object category information based on at least one object analysis information stored in a designated storage medium and a frame section of the identified video content. Search result information including information on i (i≥1) frames including search target object category information is generated ( 705 ), and the search result information is provided to the user terminal 145 ( 710 ).

여기서, 상기 검색 대상 객체 카테고리 정보는 객체 카테고리의 계층 구조 상에서 상기 객체가 속한 최하층 계층의 객체 카테고리 정보를 포함할 수 있다.Here, the search target object category information may include object category information of the lowest layer to which the object belongs in the hierarchical structure of the object category.

100 : 운영서버 105 : 객체 인식부
110 : 구간 인식부 115 : 정보 생성부
120 : 정보 저장부 125 : 객체인식 학습부
130 : 결과 제공부 135 : 컨텐츠관리매체
140 : 등록자 단말 145 : 사용자 단말100: operation server 105: object recognition unit
110: section recognition unit 115: information generation unit
120: information storage unit 125: object recognition learning unit
130: result providing unit 135: content management medium
140: registrant terminal 145: user terminal

Claims

In the method through the operation server,
A first for recognizing M (M≥1) objects including objects belonging to at least one object category among preset T(T≥1) object categories by analyzing moving picture contents stored in a specified content management medium in units of specified frames step;
N (N≥1) frame sections including a frame section for classifying the recognized M objects according to the set object category and maintaining a state including m (1≤m≤M) objects belonging to the same object category a second step of recognizing; and
The object analysis information including the recognized N frame section information and the object category information for each frame section corresponding to at least one object category to which each m objects included in each frame section belongs is generated and stored in a designated storage medium. A video analysis method comprising; a third step of storing.

The method of claim 1,
and storing T (T≥1) object category information including object information for each recognizable object by analyzing a frame of video content and at least one object category to which each object belongs. How to analyze a video.

According to claim 2, wherein the object information,
A video analysis method, characterized in that it comprises at least one of the unique object name information of each object and at least one object tag information assigned to each object.

According to claim 3, wherein the object information,
A video analysis method, characterized in that it further comprises object characteristic information for each object corresponding to the observed characteristic of each object for recognizing each object.

According to claim 3, wherein the object information,
Video analysis method, characterized in that it further comprises object identification information for identifying each object recognized through the observed characteristics of each object.

3. The method of claim 1 or 2,
The object category includes a hierarchical structure corresponding to a preset classification criterion,
The object is a video analysis method, characterized in that included in at least one hierarchical object category among the object categories of the hierarchical structure.

3. The method of claim 2,
The object corresponding to the object information is recognized by substituting input information corresponding to the observed characteristic of the object corresponding to the object information and output information corresponding to the observed result of the object corresponding to the object information into a designated artificial intelligence module. Video analysis method, characterized in that it further comprises the step of learning object recognition.

The method of claim 7, wherein the first step comprises:
and recognizing a designated object by analyzing the video content in a designated frame unit through an artificial intelligence module that has learned the object recognition.

The method of claim 8, wherein the first step comprises:
identifying a scene section between each scene change frame included in the moving picture content;
selecting a recognition target frame image corresponding to at least one recognition target frame among a plurality of frames included in each identified scene section;
Recognizing a designated object by substituting the observed features of the selected recognition target frame image to the AI module that has learned the object recognition; and recognizing a designated object.

10. The method of claim 9, wherein the recognition target frame,
The first frame of each scene section,
Frames moved after the specified number of frames from the first frame of each scene section,
the middle frame of each scene section,
Frames moved back and forth by the specified number of frames in the first frame of each scene section,
The last frame of each scene section,
Frames moved back by the specified number of frames from the last frame of each scene section,
Frames selected by dividing each scene section by a preset number of frames or by playing time units;
Frames with no or the least motion blur among the frames included in each scene section;
A video analysis method, characterized in that it comprises a frame corresponding to at least one or a combination of two or more among frames with no or the least camera working among frames included in each scene section.

The method of claim 1,
Video analysis method, characterized in that it further comprises the step of receiving the video content registered through the registrant terminal and storing in a designated content management medium.

12. The method of claim 11,
When registering video content through the registrant terminal,
receiving at least one piece of video tag information related to an object included in the registered video content through the registrant terminal; and
and storing the video content in the content management medium in association with the registered video tag information.

The method of claim 12, wherein the first step comprises:
and recognizing an object corresponding to the registered video tag information.

12. The method of claim 11,
When registering video content through the registrant terminal,
receiving video description information describing the registered video content through the registrant terminal; and
and storing the video content in the content management medium in association with the video content and the registered video description information.

15. The method of claim 14, wherein the first step,
extracting object-related tag information related to an object included in the video content based on a word included in the registered video description information; and
and recognizing an object corresponding to the extracted object-related tag information.

According to claim 1, wherein the m objects,
A video analysis method comprising the same object.

According to claim 1, wherein the m objects,
A video analysis method comprising two or more different objects belonging to the same object category.

The method of claim 1, wherein the frame period comprises:
A video analysis method comprising a section divided based on a state including m objects belonging to the same object category separately or independently from each scene section.

The method of claim 1 or 18, wherein the frame period comprises:
Some scene sections that maintain a state containing m objects belonging to the same object category among specific scene sections;
A combination section of a plurality of scene sections maintaining a state including m objects belonging to the same object category;
A video analysis method, characterized in that it includes at least one section of at least one scene section maintaining a state including m objects belonging to the same object category and at least one section of a combination section of some scene sections.

The method of claim 1, wherein the N frame period information comprises:
A video analysis method comprising at least a partially overlapping section according to an object category to which an object included in each frame section belongs.

According to claim 1, wherein the object analysis information,
A video analysis method, characterized in that it further includes object information on m objects recognized in each frame section.

The method of claim 21, wherein the object analysis information,
The video analysis method according to claim 1, further comprising frame section information for each at least one object including the object corresponding to the object information.

The method of claim 1,
The second step further includes the step of checking object matching rate information for each recognition target frame calculated during the process of recognizing a designated object through a recognition target frame included in each frame section,
The object analysis information, video analysis method characterized in that it further comprises object matching rate information for each frame to be recognized.

The method of claim 1,
Receiving information requesting object analysis information obtained by analyzing an object included in a specified video content through a user terminal; and
The video analysis method further comprising; providing object analysis information of the video content to the user terminal.

The method of claim 1,
Receiving search request information for requesting a search for object category information included in at least one video content through a user terminal;
Based on at least one piece of object analysis information stored in a specified storage medium, the search target object among video information identifying video content including search target object category information corresponding to the search request information and a frame section of the identified video content generating search result information including information on i (i≥1) frame sections including category information;
Video analysis method comprising the; providing the search result information to the user terminal.

26. The method of claim 25,
generating i frame division section information for dividing a specified frame section within a frame section corresponding to i frame section information included in the search result information among all frame sections of the video content; and
and generating i pieces of short video content information for providing the i pieces of short video content corresponding to the generated information on the i pieces of frame division section to the user terminal and including the information in the search result information. video analysis method.

26. The method of claim 25,
generating i representative images corresponding to i frame section information included in the search result information among all frame sections of the moving picture content; and
and including the generated i representative images in the search result information.

The method of claim 1,
When the object analysis information includes object information corresponding to the object recognized in each frame section,
Receiving search request information for requesting a search for an object included in at least one video content through a user terminal;
Based on at least one object analysis information stored in a specified storage medium, including video information for identifying video content including a search target object corresponding to the search request information and the search target object in a frame section of the identified video content generating search result information including i (i≥1) frame section information;
Video analysis method comprising the; providing the search result information to the user terminal.

29. The method of claim 28,
generating i frame division section information for dividing a specified frame section within a frame section corresponding to i frame section information included in the search result information among all frame sections of the video content; and
and generating i pieces of short video content information for providing the i pieces of short video content corresponding to the generated information on the i pieces of frame division section to the user terminal and including the information in the search result information. video analysis method.

29. The method of claim 28,
generating i representative images corresponding to i frame section information included in the search result information among all frame sections of the moving picture content; and
and including the generated i representative images in the search result information.

30. The method of claim 26 or 29, wherein the frame division section information comprises:
Video analysis method, characterized in that it comprises the same section information as the frame section information included in the search result information.

30. The method of claim 26 or 29, wherein the frame division section information comprises:
When frame section information included in the search result information is larger than a preset maximum frame division size,
The video analysis method according to claim 1, wherein the frame section information included in the search result information includes section information in a range equal to or smaller than the frame division size.

30. The method of claim 26 or 29, wherein the frame division section information comprises:
When frame section information included in the search result information is larger than a preset maximum frame division size,
While including section information in a range equal to or smaller than the frame division size among the frame section information included in the search result information,
Section information equal to or smaller than the frame division size from the first frame of the frame section information included in the search result information;
Section information in a range equal to or smaller than the frame division size from a frame moved later by a specified number of frames in the first frame of the frame section information included in the search result information;
Among the frame section information included in the search result information, there is no motion blur or section information that is within a preset reference value and is equal to or smaller than the frame division size;
In the frame section information included in the search result information, there is no camera working or is within a preset reference value and section information corresponding to at least one or a combination of two or more of section information equal to or smaller than the frame division size is further added Video analysis method, characterized in that it comprises.

30. The method of claim 26 or 29, wherein the frame division section information comprises:
When the search result information includes object matching rate information for each frame to be recognized,
Among the frame section information included in the search result information, it includes section information that includes a section equal to or smaller than the frame division size, and includes a recognition target frame corresponding to object matching rate information within a preset rank. Characterized video analysis method.

30. The method of claim 26 or 29, wherein the short video content information,
and section reproduction information for selectively providing a frame section corresponding to the frame division section information among all frame sections of the video content to a user terminal for playback.

30. The method of claim 26 or 29,
The method further comprises the step of selectively extracting a frame section corresponding to the frame division section information among the entire frame section of the video content to generate short video content,
The short video content information includes video playback information for providing and playing the generated short video content to a user terminal.

The method of claim 27 or 30, wherein the representative image,
The first frame image of each frame section included in the search result information;
A frame image moved from the first frame of each frame section included in the search result information by the specified number of frames thereafter;
a middle frame image of each frame section included in the search result information;
A frame image moved back and forth by a specified number of frames in the first frame of each frame section included in the search result information;
The last frame image of each frame section included in the search result information;
A frame image that has been moved backward by a specified number of frames from the last frame of each frame section included in the search result information;
A frame image with no or the least motion blur among frames included in each frame section included in the search result information;
Video analysis method, characterized in that it comprises a frame image corresponding to at least one or a combination of two or more of the frame images with the least or no camera working among the frames included in each frame section included in the search result information.