KR20200080109A - Method of selecting key prame and apparatuses performing the same - Google Patents

Method of selecting key prame and apparatuses performing the same Download PDF

Info

Publication number
KR20200080109A
KR20200080109A KR1020190086345A KR20190086345A KR20200080109A KR 20200080109 A KR20200080109 A KR 20200080109A KR 1020190086345 A KR1020190086345 A KR 1020190086345A KR 20190086345 A KR20190086345 A KR 20190086345A KR 20200080109 A KR20200080109 A KR 20200080109A
Authority
KR
South Korea
Prior art keywords
frames
candidate key
similar
key
candidate
Prior art date
Application number
KR1020190086345A
Other languages
Korean (ko)
Other versions
KR102215285B1 (en
Inventor
윤경로
나성원
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Publication of KR20200080109A publication Critical patent/KR20200080109A/en
Application granted granted Critical
Publication of KR102215285B1 publication Critical patent/KR102215285B1/en

Links

Images

Classifications

    • G06K9/00744—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6201—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Disclosed are a key frame selection method and devices performing the same. According to one embodiment, the key frame selection method comprises the steps of: calculating a cosine similarity between a plurality of frames based on a cosine value between the plurality of frames included in an image; and selecting one or more key frames from the plurality of frames based on the cosine similarity.

Description

키 프레임 선택 방법 및 이를 수행하는 장치들{METHOD OF SELECTING KEY PRAME AND APPARATUSES PERFORMING THE SAME}METHOD OF SELECTING KEY PRAME AND APPARATUSES PERFORMING THE SAME

아래 실시예들은 키 프레임 선택 방법 및 이를 수행하는 장치들에 관한 것이다.The embodiments below relate to a method for selecting a key frame and devices for performing the same.

최근에는 영상을 제공할 뿐만 아니라, 영상에 대한 요약 정보를 제공할 수 있다. 영상 및 영상에 대항 요약 정보를 제공받는 사용자는 영상에 대한 요약 정보를 통해 영상에 대한 내용을 알 수 있다.Recently, not only an image can be provided, but also summary information about the image can be provided. A user who is provided with summary information on an image and an image can know the contents of the image through the summary information on the image.

최근에는 영상을 구성하는 복수의 프레임들 중에서 일부 프레임을 영상에 대한 요약 정보로 제공하고 있다. 구체적으로, 최근에는 영상을 구성하는 복수의 프레임들 중에서 일부 프레임을 추출하여 일부 프레임을 해당 영상에 대한 요약 정보인 키 프레임으로 활용하고 있다. 이때, 일부 프레임은 복수의 프레임들 중에서 첫 번째 프레임 또는 마지막 프레임일 수 있다.Recently, some frames among a plurality of frames constituting an image are provided as summary information for the image. Specifically, recently, some frames are extracted from a plurality of frames constituting an image, and some frames are used as key frames, which are summary information for the corresponding image. In this case, some frames may be the first frame or the last frame among the plurality of frames.

영상이 복수의 신들로 구성된 경우, 첫번째 프레임 또는 마지막 프레임을 키 프레임으로 활용하는 방법은 단일 신에 대한 정보만을 제공하는 문제점을 가지고 있다.When an image is composed of a plurality of scenes, the method of using the first frame or the last frame as a key frame has a problem of providing only information about a single scene.

실시예들은 영상에 포함된 복수의 프레임들 간의 코사인 유사도에 기초하여 복수의 프레임들 중에서 영상을 대표하는 하나 이상의 키 프레임을 선택하는 기술을 제공할 수 있다.Embodiments may provide a technique for selecting one or more key frames representing an image from among a plurality of frames based on cosine similarity between a plurality of frames included in the image.

일 실시예에 따른 키 프레임 선택 방법은 영상에 포함된 복수의 프레임들 간의 코사인 값에 기초하여 상기 복수의 프레임들 간의 코사인 유사도를 계산하는 단계와, 상기 코사인 유사도에 기초하여 상기 복수의 프레임들 중에서 하나 이상의 키 프레임을 선택하는 단계를 포함한다.A key frame selection method according to an embodiment may include calculating cosine similarities between the plurality of frames based on cosine values between a plurality of frames included in an image, and among the plurality of frames based on the cosine similarity. And selecting one or more key frames.

상기 키 프레임은 상기 영상을 구성하는 하나 이상의 신을 대표하는 프레임일 수 있다.The key frame may be a frame representing one or more scenes constituting the image.

상기 코사인 유사도는 상기 복수의 프레임들이 유사한지 여부를 나타내는 지표일 수 있다.The cosine similarity may be an index indicating whether the plurality of frames are similar.

상기 계산하는 단계는 CNN(convolutional neural network)을 이용하여 상기 복수의 프레임들의 특징 벡터들을 추출하는 단계와, 상기 특징 벡터들 간의 상기 코사인 값을 계산하는 단계와, 상기 코사인 값에 기초하여 상기 코사인 유사도를 계산하는 단계를 포함할 수 있다.The calculating may include extracting feature vectors of the plurality of frames using a convolutional neural network (CNN), calculating the cosine values between the feature vectors, and the cosine similarity based on the cosine values. It may include the step of calculating.

상기 선택하는 단계는 상기 코사인 유사도에 기초하여 상기 복수의 프레임들 간의 유사 여부를 결정하는 단계와, 상기 복수의 프레임들 간의 유사 여부에 기초하여 상기 복수의 프레임들 중에서 복수의 후보 키 프레임들을 선택하는 단계와, 상기 복수의 후보 키 프레임들 간의 코사인 값에 기초하여 상기 복수의 후보 키 프레임들 간의 코사인 유사도를 계산하는 단계와, 상기 복수의 후보 키 프레임들 간의 코사인 유사도에 기초하여 상기 복수의 후보 키 프레임들 중에서 상기 키 프레임을 선택하는 단계를 포함할 수 있다.The selecting may include determining whether the plurality of frames are similar based on the cosine similarity, and selecting a plurality of candidate key frames from the plurality of frames based on the similarity between the plurality of frames. Calculating a cosine similarity between the plurality of candidate key frames based on a cosine value between the plurality of candidate key frames, and the plurality of candidate keys based on the cosine similarity between the plurality of candidate key frames. And selecting the key frame from among the frames.

상기 결정하는 단계는 상기 복수의 프레임들 중에서 순차적인 임의의 두 프레임들 간의 코사인 유사도가 임계값 이상인 경우, 상기 임의의 두 프레임들이 유사하다고 결정하는 단계와, 상기 복수의 프레임들 중에서 상기 임의의 두 프레임들 간의 코사인 유사도가 상기 임계값 미만인 경우, 상기 임의의 두 프레임들이 유사하지 않다고 결정하는 단계를 포함할 수 있다.The determining may include determining that the two random frames are similar when the cosine similarity between any two consecutive frames among the plurality of frames is equal to or greater than a threshold value, and determining that the arbitrary two frames are similar among the plurality of frames. And if the cosine similarity between frames is less than the threshold, determining that any two frames are not similar.

상기 복수의 후보 키 프레임들을 선택하는 단계는 상기 복수의 프레임들 간의 유사 여부에 기초하여 상기 복수의 프레임들의 유사 프레임 수를 카운팅하는 단계와, 상기 복수의 프레임들 중에서 상기 유사 프레임 수가 높은 프레임들을 상기 복수의 후보 키 프레임들로 선택하는 단계를 포함할 수 있다.The selecting of the plurality of candidate key frames may include counting the number of similar frames of the plurality of frames based on the similarity between the plurality of frames, and selecting frames having a high number of similar frames among the plurality of frames. And selecting the plurality of candidate key frames.

상기 복수의 후보 키 프레임들 중에서 상기 키 프레임을 선택하는 단계는 상기 복수의 후보 키 프레임들 간의 코사인 유사도에 기초하여 상기 복수의 후보 키 프레임들 간의 유사 여부를 결정하는 단계와, 상기 복수의 후보 키 프레임들 간의 유사 여부에 기초하여 상기 복수의 후보 키 프레임들 중에서 하나 이상의 후보 키 프레임을 상기 키 프레임으로 선택하는 단계를 포함할 수 있다.The step of selecting the key frame among the plurality of candidate key frames may include determining whether the plurality of candidate key frames are similar based on the cosine similarity between the plurality of candidate key frames and the plurality of candidate keys. And selecting one or more candidate key frames from among the plurality of candidate key frames as the key frame based on similarity between frames.

상기 복수의 후보 키 프레임들 간의 유사 여부를 결정하는 단계는 상기 복수의 후보 키 프레임들 중에서 순차적인 임의의 두 후보 키 프레임들 간의 코사인 유사도가 임계값 이상인 경우, 상기 임의의 두 후보 키 프레임들이 유사하다고 결정하는 단계와, 상기 복수의 후보 키 프레임들 중에서 상기 임의의 두 후보 키 프레임들 간의 코사인 유사도가 상기 임계값 미만인 경우, 상기 임의의 두 후보 키 프레임들이 유사하지 않다고 결정하는 단계를 포함할 수 있다.The step of determining similarity between the plurality of candidate key frames may be similar if the cosine similarity between any two candidate key frames sequentially among the plurality of candidate key frames is greater than or equal to a threshold. And if the cosine similarity between the two candidate key frames among the plurality of candidate key frames is less than the threshold, determining that the any two candidate key frames are not similar. have.

상기 하나 이상의 후보 키 프레임을 상기 키 프레임으로 선택하는 단계는 상기 복수의 후보 키 프레임들 중에서 서로 유사한 후보 키 프레임들을 그룹화하여 추출하는 단계와, 그룹화된 후보 키 프레임들 중에서 프레임 순서가 빠른 어느 하나의 후보 키 프레임을 선택하는 단계와, 상기 복수의 후보 키 프레임들 중에서 상기 그룹화된 후보 키 프레임들을 제외한 나머지 후보 키 프레임들과 상기 어느 하나의 후보 키 프레임을 상기 키 프레임으로 선택하는 단계를 포함할 수 있다.The step of selecting the one or more candidate key frames as the key frame includes extracting by grouping and extracting candidate key frames similar to each other among the plurality of candidate key frames, and any one of the grouped candidate key frames having a fast frame order. Selecting a candidate key frame, and selecting the remaining candidate key frames excluding the grouped candidate key frames from among the plurality of candidate key frames and the one candidate key frame as the key frame. have.

일 실시예에 따른 키 프레임 선택 장치는 통신 모듈과, 영상에 포함된 복수의 프레임들 간의 코사인 값에 기초하여 상기 복수의 프레임들 간의 코사인 유사도를 계산하고, 상기 코사인 유사도에 기초하여 상기 복수의 프레임들 중에서 하나 이상의 키 프레임을 선택하는 컨트롤러를 포함한다.The key frame selection apparatus according to an embodiment calculates cosine similarity between the plurality of frames based on a cosine value between a communication module and a plurality of frames included in an image, and the plurality of frames based on the cosine similarity And a controller that selects one or more key frames from among them.

상기 키 프레임은 상기 영상을 구성하는 하나 이상의 신을 대표하는 프레임일 수 있다.The key frame may be a frame representing one or more scenes constituting the image.

상기 코사인 유사도는 상기 복수의 프레임들이 유사한지 여부를 나타내는 지표일 수 있다.The cosine similarity may be an index indicating whether the plurality of frames are similar.

상기 컨트롤러는 CNN(convolutional neural network)을 이용하여 상기 복수의 프레임들의 특징 벡터들을 추출하고, 상기 특징 벡터들 간의 상기 코사인 값을 계산하고, 상기 코사인 값에 기초하여 상기 코사인 유사도를 계산할 수 있다.The controller may extract feature vectors of the plurality of frames using a convolutional neural network (CNN), calculate the cosine values between the feature vectors, and calculate the cosine similarity based on the cosine values.

상기 컨트롤러는 상기 코사인 유사도에 기초하여 상기 복수의 프레임들 간의 유사 여부를 결정하고, 상기 복수의 프레임들 간의 유사 여부에 기초하여 상기 복수의 프레임들 중에서 복수의 후보 키 프레임들을 선택하고, 상기 복수의 후보 키 프레임들 간의 코사인 값에 기초하여 상기 복수의 후보 키 프레임들 간의 코사인 유사도를 계산하고, 상기 복수의 후보 키 프레임들 간의 코사인 유사도에 기초하여 상기 복수의 후보 키 프레임들 중에서 상기 키 프레임을 선택할 수 있다.The controller determines the similarity between the plurality of frames based on the cosine similarity, selects a plurality of candidate key frames from the plurality of frames based on the similarity between the plurality of frames, and the plurality of Cosine similarity between the plurality of candidate key frames is calculated based on a cosine value between candidate key frames, and the key frame is selected from the plurality of candidate key frames based on the cosine similarity between the plurality of candidate key frames. Can.

상기 컨트롤러는 상기 복수의 프레임들 중에서 순차적인 임의의 두 프레임들 간의 코사인 유사도가 임계값 이상인 경우, 상기 임의의 두 프레임들이 유사하다고 결정하고, 상기 복수의 프레임들 중에서 상기 임의의 두 프레임들 간의 코사인 유사도가 상기 임계값 미만인 경우, 상기 임의의 두 프레임들이 유사하지 않다고 결정할 수 있다.When the cosine similarity between two sequential frames among the plurality of frames is greater than or equal to a threshold, the controller determines that the two random frames are similar, and the cosine between the two random frames among the plurality of frames. If the similarity is less than the threshold, it can be determined that any two frames are not similar.

상기 컨트롤러는 상기 복수의 프레임들 간의 유사 여부에 기초하여 상기 복수의 프레임들의 유사 프레임 수를 카운팅하고, 상기 복수의 프레임들 중에서 상기 유사 프레임 수가 높은 프레임들을 상기 복수의 후보 키 프레임들로 선택할 수 있다.The controller counts the number of similar frames of the plurality of frames based on the similarity between the plurality of frames, and selects the frames having the high number of similar frames among the plurality of frames as the plurality of candidate key frames. .

상기 컨트롤러는 상기 복수의 후보 키 프레임들 간의 코사인 유사도에 기초하여 상기 복수의 후보 키 프레임들 간의 유사 여부를 결정하고, 상기 복수의 후보 키 프레임들 간의 유사 여부에 기초하여 상기 복수의 후보 키 프레임들 중에서 하나 이상의 후보 키 프레임을 상기 키 프레임으로 선택할 수 있다.The controller determines whether the plurality of candidate key frames are similar based on the cosine similarity between the plurality of candidate key frames, and the plurality of candidate key frames based on the similarity between the plurality of candidate key frames. Among them, one or more candidate key frames may be selected as the key frames.

상기 컨트롤러는 상기 복수의 후보 키 프레임들 중에서 순차적인 임의의 두 후보 키 프레임들 간의 코사인 유사도가 임계값 이상인 경우, 상기 임의의 두 후보 키 프레임들이 유사하다고 결정하고, 상기 복수의 후보 키 프레임들 중에서 상기 임의의 두 후보 키 프레임들 간의 코사인 유사도가 상기 임계값 미만인 경우, 상기 임의의 두 후보 키 프레임들이 유사하지 않다고 결정할 수 있다.When the cosine similarity between any two candidate key frames sequentially among the plurality of candidate key frames is greater than or equal to a threshold, the controller determines that the two candidate key frames are similar, and among the plurality of candidate key frames When the cosine similarity between the two arbitrary candidate key frames is less than the threshold, it can be determined that the arbitrary two candidate key frames are not similar.

상기 컨트롤러는 상기 복수의 후보 키 프레임들 중에서 서로 유사한 후보 키 프레임들을 그룹화하여 추출하고, 그룹화된 후보 키 프레임들 중에서 프레임 순서가 빠른 어느 하나의 후보 키 프레임을 선택하고, 상기 복수의 후보 키 프레임들 중에서 상기 그룹화된 후보 키 프레임들을 제외한 나머지 후보 키 프레임들과 상기 어느 하나의 후보 키 프레임을 상기 키 프레임으로 선택할 수 있다.The controller groups and extracts candidate key frames similar to each other among the plurality of candidate key frames, selects one candidate key frame having a fast frame order from the grouped candidate key frames, and the plurality of candidate key frames Among the candidate key frames other than the grouped candidate key frames, one of the candidate key frames and the candidate key frame may be selected as the key frame.

도 1은 일 실시예에 따른 키 프레임 선택 시스템의 개략적인 블록도를 나타낸다.
도 2는 도 1에 도시된 키 프레임 선택 장치의 개략적인 블록도를 나타낸다.
도 3은 도 2에 도시된 컨트롤러의 동작을 설명하기 위한 도면을 나타낸다.
도 4는 도 1에 도시된 키 프레임 선택 장치의 동작을 설명하기 위한 순서도를 나타낸다.1 is a schematic block diagram of a key frame selection system according to an embodiment.
FIG. 2 shows a schematic block diagram of the key frame selection device shown in FIG. 1.
FIG. 3 is a view for explaining the operation of the controller illustrated in FIG. 2.
FIG. 4 is a flowchart for explaining the operation of the key frame selection device illustrated in FIG. 1.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, various changes may be made to the embodiments, and the scope of the patent application right is not limited or limited by these embodiments. It should be understood that all modifications, equivalents, or substitutes for the embodiments are included in the scope of rights.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are for illustrative purposes only and should not be construed as limiting. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this specification, the terms "include" or "have" are intended to indicate the presence of features, numbers, steps, actions, components, parts or combinations thereof described in the specification, one or more other features. It should be understood that the existence or addition possibilities of fields or numbers, steps, operations, components, parts or combinations thereof are not excluded in advance.

제1 또는 제2등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해서 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 실시예의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.The terms first or second can be used to describe various components, but the components should not be limited by the terms. The terms are for the purpose of distinguishing one component from another component, for example, without departing from the scope of rights according to the concept of the embodiment, the first component may be referred to as the second component, and similarly The second component may also be referred to as the first component.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person skilled in the art to which the embodiment belongs. Terms, such as those defined in a commonly used dictionary, should be interpreted as having meanings consistent with meanings in the context of related technologies, and should not be interpreted as ideal or excessively formal meanings unless explicitly defined in the present application. Does not.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same reference numerals are assigned to the same components regardless of reference numerals, and redundant descriptions thereof will be omitted. In describing the embodiments, when it is determined that detailed descriptions of related well-known technologies may unnecessarily obscure the subject matter of the embodiments, detailed descriptions thereof will be omitted.

본 명세서에서의 모듈(module)은 본 명세서에서 설명되는 각 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 특정 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또는 특정 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예를 들어 프로세서 또는 마이크로 프로세서를 의미할 수 있다.A module in the present specification may mean hardware capable of performing functions and operations according to each name described herein, or may refer to computer program code capable of performing specific functions and operations. Or, it may mean an electronic recording medium on which computer program code capable of performing a specific function and operation is mounted, for example, a processor or a microprocessor.

다시 말해, 모듈이란 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다.In other words, the module may mean a functional and/or structural combination of hardware for performing the technical idea of the present invention and/or software for driving the hardware.

도 1은 일 실시예에 따른 키 프레임 선택 시스템의 개략적인 블록도를 나타낸다.1 is a schematic block diagram of a key frame selection system according to an embodiment.

키 프레임 선택 시스템(10)은 영상 제공 장치(100) 및 키 프레임 선택 장치(300)를 포함한다.The key frame selection system 10 includes an image providing apparatus 100 and a key frame selection apparatus 300.

영상 제공 장치(100)는 영상을 키 프레임 선택 장치(300)에 제공할 수 있다. 영상은 객체가 포함된 다양한 영상일 수 있다. 객체는 사람, 동물 및 사물 등 다양한 객체일 수 있다.The image providing device 100 may provide an image to the key frame selection device 300. The image may be various images including objects. The object may be various objects such as people, animals, and objects.

예를 들어, 영상 제공 장치(100)는 객체를 촬영하여 객체에 대한 영상을 생성하는 촬영 장치일 수 있다. 영상 제공 장치(100)는 다양한 객체에 대한 영상을 보유한 전자 장치일 수 있다. 전자 장치는 영상을 저장한 데이터 베이스를 포함할 수 있다.For example, the image providing apparatus 100 may be a photographing apparatus that photographs an object to generate an image of the object. The image providing device 100 may be an electronic device that holds images of various objects. The electronic device may include a database storing images.

예를 들어, 전자 장치는 PC(personal computer), 데이터 서버, 또는 휴대용 전자 장치 등 다양한 장치일 수 있다. 휴대용 전자 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 스마트 디바이스(smart device)으로 구현될 수 있다. 이때, 스마트 디바이스는 스마트 워치(smart watch) 또는 스마트 밴드(smart band)로 구현될 수 있다.For example, the electronic device may be various devices such as a personal computer (PC), a data server, or a portable electronic device. Portable electronic devices include laptop computers, mobile phones, smart phones, tablet PCs, mobile internet devices (MIDs), personal digital assistants (PDAs), and enterprise digital assistants (EDAs). ), digital still camera, digital video camera, portable multimedia player (PMP), personal navigation device or portable navigation device (PND), handheld game console, e-book (e-book), may be implemented as a smart device (smart device). At this time, the smart device may be implemented as a smart watch or a smart band.

키 프레임 선택 장치(300)는 영상에 포함된 복수의 프레임들 간의 코사인 유사도에 기초하여 복수의 프레임들 중에서 영상을 대표하는 하나 이상의 키 프레임을 선택할 수 있다.The key frame selection device 300 may select one or more key frames representing the image from among the plurality of frames based on the cosine similarity between the plurality of frames included in the image.

이에, 키 프레임 선택 장치(300)는 일반적인 프레임 워크에서 필요한 샷 분할(shot segmentation) 및/또는 샷 검출 과정을 수행하지 않고 키 프레임을 선택하기에, 프레임 선택 속도 측면에 이득이 있을 수 있다(또는 프레임 선택 속도가 빠를 수 있다).Accordingly, the key frame selection device 300 may have a benefit in terms of frame selection speed because it selects a key frame without performing a required shot segmentation and/or shot detection process in a general framework (or Frame selection can be fast).

또한, 키 프레임 선택 장치(300)는 카운팅 알고리즘 및 페널티 함수를 적용하여 키 프레임을 선택하기에, 이전 신(scene) 보다 적은 프레임 수를 가진 신에 대한 키 프레임을 선택하여, 키 프레임을 선택하지 못하는 오류를 방지하고, 각 신에 대한 키 프레임 선택 속도를 높이고, 샷 검출 과정 없이도 샷 경계(shot boundary)를 검출할 수 있다.In addition, the key frame selection device 300 does not select a key frame by selecting a key frame for a scene having fewer frames than the previous scene, because the key frame is selected by applying a counting algorithm and a penalty function. It prevents errors that cannot be done, speeds up key frame selection for each scene, and can detect shot boundaries without a shot detection process.

또한, 키 프레임 선택 장치(300)는 최근 콘텐츠 시장의 활성화(예를 들어, 유튜브 및 트위치 등)로 인한 다양한 컨셉 신(concept scene)을 인식하여 각 신에 해당하는(또는 하나 이상의 신을 대표하는) 키 프레임을 제공하고, 편집점이 없는 영상(예를 들어 카메라 1대로 촬영한 영상), 뉴스 또는 스포츠와 같이 다중 카메라를 통한 편집 영상 등 모든 영상에 적용 가능할 수 있다.도 1에서 키 프레임 선택 장치(200)가 영상 제공 장치(100)의 외부에 구현된 별도 장치로 도시되었지만, 반드시 이에 한정되는 것은 아니며, 실시예에 따라 키 프레임 선택 장치(200)는 영상 제공 장치(100) 내에 구현될 수 있다.In addition, the key frame selection device 300 recognizes various concept scenes due to the recent activation of the content market (eg, YouTube and Twitch, etc.) and corresponds to each scene (or represents one or more scenes). ) Provides a key frame, and may be applicable to all images, such as an image without an edit point (for example, a video shot with one camera), or an edited image through multiple cameras such as news or sports. Although the 200 is illustrated as a separate device implemented outside the video providing device 100, the present invention is not limited thereto, and according to an embodiment, the key frame selection device 200 may be implemented in the video providing device 100. have.

도 2는 도 1에 도시된 키 프레임 선택 장치의 개략적인 블록도를 나타낸다.FIG. 2 shows a schematic block diagram of the key frame selection device shown in FIG. 1.

키 프레임 선택 장치(300)는 통신 모듈(310), 메모리(330) 및 컨트롤러(350)을 포함한다.The key frame selection device 300 includes a communication module 310, a memory 330, and a controller 350.

통신 모듈(310)은 영상 제공 장치(100)로부터 전송된 영상을 컨트롤러(350)에 전송할 수 있다.The communication module 310 may transmit the image transmitted from the image providing device 100 to the controller 350.

통신 모듈(310)은 컨트롤러(350)로부터 전송된 영상을 다양한 장치에 제공할 수 있다.The communication module 310 may provide images transmitted from the controller 350 to various devices.

메모리(330)는 컨트롤러(350)에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 컨트롤러(350)의 동작 및/또는 컨트롤러(350)의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.The memory 330 may store instructions (or programs) executable by the controller 350. For example, instructions may include instructions for performing the operation of controller 350 and/or the operation of each component of controller 350.

컨트롤러(350)는 메모리(330)에 저장된 데이터를 처리할 수 있다. 컨트롤러(350)는 메모리(330)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 컨트롤러(350)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.The controller 350 can process data stored in the memory 330. The controller 350 may execute computer-readable code (eg, software) stored in the memory 330 and instructions caused by the controller 350.

컨트롤러(350)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.The controller 350 may be a data processing device embodied in hardware having circuits having a physical structure for performing desired operations. For example, desired operations may include code or instructions included in a program.

예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.For example, data processing devices implemented in hardware include a microprocessor, a central processing unit, a processor core, a multi-core processor, and a multiprocessor. , ASIC (Application-Specific Integrated Circuit), FPGA (Field Programmable Gate Array).

컨트롤러(350)는 키 프레임 선택 장치(300)의 전반적인 동작을 제어할 수 있다. 예를 들어, 컨트롤러(350)는 키 프레임 선택 장치(300)의 각 구성(310 및 330)의 동작을 제어할 수 있다.The controller 350 may control the overall operation of the key frame selection device 300. For example, the controller 350 may control the operation of each component 310 and 330 of the key frame selection device 300.

컨트롤러(350)는 영상에 포함된 복수의 프레임들 간의 코사인 값에 기초하여 복수의 프레임들 간의 코사인 유사도를 계산할 수 있다.The controller 350 may calculate the cosine similarity between the plurality of frames based on the cosine values between the plurality of frames included in the image.

컨트롤러(350)는 복수의 프레임들 간의 코사인 유사도에 기초하여 복수의 프레임들 중에서 하나 이상의 키 프레임을 선택할 수 있다. 이때, 키 프레임은 영상을 대표하는 프레임으로써, 영상을 구성하는 하나 이상의 신을 대표하는 프레임일 수 있다.The controller 350 may select one or more key frames from among the plurality of frames based on the cosine similarity between the plurality of frames. In this case, the key frame is a frame representing the image, and may be a frame representing one or more scenes constituting the image.

도 3은 도 2에 도시된 컨트롤러의 동작을 설명하기 위한 도면을 나타낸다.FIG. 3 is a view for explaining the operation of the controller illustrated in FIG. 2.

컨트롤러(350)는 분류기(351), 추출기(353), 계산기(355) 및 선택기(357)를 포함할 수 있다. 분류기(351), 추출기(353), 계산기(355) 및 선택기(357)은 모두 모듈화될 수 있다.The controller 350 may include a classifier 351, an extractor 353, a calculator 355, and a selector 357. The classifier 351, extractor 353, calculator 355, and selector 357 can all be modularized.

분류기(351)는 영상에 포함된 복수의 프레임들을 분류할 수 있다. 예를 들어, 분류기(351)는 jpeg 형식으로 영상에 포함된 복수의 프레임들을 분류(또는 이산화)할 수 있다. 이때, 영상은 각기 다른 포맷일 수 있다. 프레임 레이트(frame rate)는 동적으로 변경될 수 있다. 분류기(351)는 video discretization 모듈일 수 있다.The classifier 351 may classify a plurality of frames included in the image. For example, the classifier 351 may classify (or discretize) a plurality of frames included in an image in jpeg format. At this time, the images may be in different formats. The frame rate can be changed dynamically. The classifier 351 may be a video discretization module.

추출기(353)는 CNN(convolutional neural network)을 이용하여 프레임 순서에 따라 복수의 프레임들의 특징 벡터들을 순차적으로 추출할 수 있다. 예를 들어, 추출기(353)는 프레임 순서에 따라 순차적으로 복수의 프레임들 각각의 특징 벡터를 추출할 수 있다. 특징 벡터는 CNN의 fully connected layer 전의 pooling layer를 통해 추출될 수 있다. 특징 벡터는 512 크기의 벡터일 수 있다. 추출기(353)는 feature extraction 모듈일 수 있다.The extractor 353 may sequentially extract feature vectors of a plurality of frames according to a frame order using a convolutional neural network (CNN). For example, the extractor 353 may sequentially extract a feature vector of each of a plurality of frames according to a frame order. The feature vector can be extracted through the pooling layer before the fully connected layer of the CNN. The feature vector may be a 512-sized vector. The extractor 353 may be a feature extraction module.

상술한 바와 같이 추출기(353)가 CNN을 이용하지만, 이에 한정하는 것은 아니다. 예를 들어, 추출기(353)는 DNN(deep neural network) 등 다양한 신경망을 이용하여 특징 벡터를 추출할 수 있다.As described above, the extractor 353 uses CNN, but is not limited thereto. For example, the extractor 353 may extract feature vectors using various neural networks such as a deep neural network (DNN).

계산기(355)는 복수의 프레임들의 특징 벡터들 간의 코사인 값을 계산할 수 있다. 예를 들어, 계산기(355)는 임의의 두 특징 벡터들 간의 코사인 값을 계산할 수 있다. 임의의 두 특징 벡터들은 프레임 순서에 따라 순차적인 프레임들의 특징 벡터일 수 있다. 코사인 값은 임의의 두 특징 벡터들 간의 코사인 각도일 수 있다. 코사인 각도는 0 도 내지 180 도 중에서 어느 하나일 수 있다.The calculator 355 may calculate a cosine value between feature vectors of a plurality of frames. For example, the calculator 355 can calculate the cosine value between any two feature vectors. Any two feature vectors may be feature vectors of sequential frames in frame order. The cosine value can be the cosine angle between any two feature vectors. The cosine angle may be any one of 0 degrees to 180 degrees.

계산기(355)는 복수의 프레임들의 특징 벡터들 간의 코사인 값에 기초하여 복수의 프레임들 간의 코사인 유사도(CSM(cosine similarity measure) value)를 계산할 수 있다. 코사인 유사도는 복수의 프레임들이 유사한지 여부를 나타내는 지표일 수 있다.The calculator 355 may calculate a cosine similarity measure (CSM) value between the plurality of frames based on the cosine values between the feature vectors of the plurality of frames. The cosine similarity may be an index indicating whether a plurality of frames are similar.

예를 들어, 코사인 유사도는 -1 내지 1 중에서 어느 하나일 수 있다. 코사인 유사도는 코사인 각도가 0 도인 경우, 1일 수 있다. 코사인 유사도는 코사인 각도가 90 도인 경우, 0일 수 있다. 코사인 유사도는 코사인 각도가 180 도 인 경우, -1일 수 있다. 임의의 두 특징 벡터들은 임의의 두 특징 벡터들 간의 코사인 유사도가 1에 가까울수록 유사할 수 있다.For example, the cosine similarity may be any of -1 to 1. The cosine similarity may be 1 when the cosine angle is 0 degrees. The cosine similarity may be 0 when the cosine angle is 90 degrees. The cosine similarity may be -1 when the cosine angle is 180 degrees. Any two feature vectors may be similar as the cosine similarity between any two feature vectors approaches 1.

즉, 코사인 유사도는 임의의 두 특징 벡터들 간의 코사인 각도에 기초하여 임의의 두 특징 벡터들 간의 유사도를 나타내는 지표일 수 있다.That is, the cosine similarity may be an index indicating the similarity between any two feature vectors based on the cosine angle between any two feature vectors.

선택기(357)는 계산기(355)로부터 전송된 복수의 프레임들 간의 코사인 유사도에 기초하여 복수의 프레임들 간의 유사 여부를 결정할 수 있다.The selector 357 may determine whether the frames are similar or not based on the cosine similarity between the plurality of frames transmitted from the calculator 355.

복수의 프레임들 중에서 프레임 순서에 따라 순차적인 임의의 두 프레임들 간의 코사인 유사도가 임계값 이상인 경우, 선택기(357)는 임의의 두 프레임들이 유사하다고 결정할 수 있다. 임계값은 프레임들이 유사한지 여부를 결정하기 위한 기준값으로 기 설정될 수 있다. 임계값은 약 0.9일 수 있다.If the cosine similarity between any two frames sequentially in a frame order among the plurality of frames is greater than or equal to a threshold, the selector 357 may determine that any two frames are similar. The threshold may be preset as a reference value for determining whether frames are similar. The threshold may be about 0.9.

복수의 프레임들 중에서 프레임 순서에 따라 순차적인 임의의 두 프레임들 간의 코사인 유사도가 임계값 미만인 경우, 선택기(357)는 임의의 두 프레임들이 유사하지 않다고 결정할 수 있다.If the cosine similarity between any two frames sequentially among a plurality of frames is less than a threshold value, the selector 357 may determine that any two frames are not similar.

선택기(357)는 복수의 프레임들 간의 유사 여부에 기초하여 복수의 프레임들 중에서 복수의 후보 키 프레임들을 선택할 수 있다. 복수의 후보 키 프레임들은 영상을 구성하는 하나 이상의 신을 대표하는 키 프레임이 될 수 있는 후보일 수 있다.The selector 357 may select a plurality of candidate key frames from among the plurality of frames based on the similarity between the plurality of frames. The plurality of candidate key frames may be candidates that can be key frames representing one or more scenes constituting an image.

예를 들어, 선택기(357)는 카운팅 알고리즘(counting algorithm 또는 랭킹 알고리즘(ranking algorithm))을 이용하여 복수의 프레임들 간의 유사 여부에 따라 복수의 프레임들의 유사 프레임 수를 카운팅할 수 있다. 유사 프레임 수는 하나의 프레임에 유사하다고 결정된 프레임에 대한 총수(또는 총 프레임 수)일 수 있다. 이때, 선택기(357)는 복수의 프레임들 간의 유사 여부에 기초하여 영상을 구성하는 하나 이상의 신을 구분할 수 있다.For example, the selector 357 may count the number of similar frames of the plurality of frames according to whether they are similar between the plurality of frames using a counting algorithm (counting algorithm or ranking algorithm). The number of similar frames may be the total number of frames (or the total number of frames) determined to be similar to one frame. At this time, the selector 357 may distinguish one or more scenes constituting an image based on the similarity between the plurality of frames.

선택기(357)는 복수의 프레임들 간의 유사 여부에 기초하여 영상을 구성하는 하나 이상의 신을 구분할 수 있다.The selector 357 may discriminate one or more scenes constituting an image based on similarity between a plurality of frames.

예를 들어, 선택기(357)는 복수의 프레임들 중에서 서로 유사하지 않는 프레임들이 발생하는 경우, 서로 유사하지 않는 프레임들을 기준으로 신을 구분할 수 있다.For example, the selector 357 may classify scenes based on frames that are not similar to each other when frames that are not similar to each other occur among a plurality of frames.

선택기(357)는 페널티 함수를 이용하여 복수의 프레임들 중에서 유사 프레임 수가 높은(또는 많은) 프레임들을 복수의 후보 키 프레임들로 선택할 수 있다.The selector 357 may select, as a plurality of candidate key frames, frames having a high number (or many) of similar frames among a plurality of frames using a penalty function.

단일 신인 경우(또는 서로 유사하지 않는 프레임들이 없는 경우), 선택기(357)는 복수의 프레임들 중에서 유사 프레임 수가 높은 프레임을 후보 키 프레임으로 선택할 수 있다.In a single scene (or when there are no dissimilar frames), the selector 357 may select a frame having a high number of similar frames from among the plurality of frames as a candidate key frame.

복수개의 신인 경우, 선택기(357)는 페널티 함수에 따라 영상의 전체 프레임 수와 신별 유사 프레임 수가 높은 프레임(이하 ‘신 프레임’이라 함)의 유사 프레임 수에 기초하여 신별 신 프레임 중에서 하나 이상을 후보 키 프레임으로 선택할 수 있다.In the case of a plurality of scenes, the selector 357 candidates one or more of the new scene frames based on the total number of frames of the image and the number of similar frames of the high number of similar frames per scene (hereinafter referred to as a'scene frame') according to the penalty function. It can be selected as a key frame.

예를 들어, 선택기(357)는 순차적인 임의의 두 신들 중에서 순서가 빠른 신의 신 프레임의 유사 프레임 수와 전체 프레임 수 간의 비율을 보다 순서가 느린 신의 신 프레임의 유사 프레임 수가 높은 경우, 순서가 느린 신의 신 프레임을 후보 키 프레임으로 선택할 수 있다.For example, the selector 357 may increase the ratio between the number of similar frames and the total number of frames of a scene frame of a fast scene among any two scenes in a sequential order. The scene frame of the scene can be selected as a candidate key frame.

단일의 후보 키 프레임이 선택된 경우, 선택기(357)는 단일의 후보 키 프레임을 영상 및 신을 대표하는 키 프레임으로 선택할 수 있다.When a single candidate key frame is selected, the selector 357 may select a single candidate key frame as a key frame representing images and scenes.

복수의 후보 키 프레임들이 선택된 경우, 선택기(357)는 복수의 후보 키 프레임들 중에서 하나 이상의 신을 대표하는 키 프레임을 선택할 수 있다.When a plurality of candidate key frames are selected, the selector 357 may select a key frame representing one or more scenes from among the plurality of candidate key frames.

예를 들어, 선택기(357)는 복수의 후보 키 프레임들 간의 코사인 값에 기초하여 복수의 후보 키 프레임들 간의 코사인 유사도를 계산할 수 있다.For example, the selector 357 may calculate the cosine similarity between the plurality of candidate key frames based on the cosine value between the plurality of candidate key frames.

먼저, 선택기(357)는 복수의 후보 키 프레임들의 특징 벡터들 간의 코사인 값을 계산할 수 있다. 예를 들어, 선택기(357)는 계산기(355)를 통해 임의의 두 후보 키 프레임들의 특징 벡터들 간의 코사인 값을 계산할 수 있다. 임의의 두 후보 키 프레임들은 프레임 순서에 따라 순차적인 후보 키 프레임일 수 있다.First, the selector 357 may calculate a cosine value between feature vectors of a plurality of candidate key frames. For example, the selector 357 may calculate a cosine value between feature vectors of any two candidate key frames through the calculator 355. Any two candidate key frames may be sequential candidate key frames according to the frame order.

이후에, 선택기(357)는 복수의 후보 키 프레임들의 특징 벡터들 간의 코사인 값에 기초하여 복수의 후보 키 프레임들 간의 코사인 유사도를 계산할 수 있다.Thereafter, the selector 357 may calculate the cosine similarity between the plurality of candidate key frames based on the cosine values between the feature vectors of the plurality of candidate key frames.

선택기(357)는 복수의 후보 키 프레임들 간의 코사인 유사도에 기초하여 복수의 후보 키 프레임들 중에서 키 프레임을 선택할 수 있다.The selector 357 may select a key frame from among the plurality of candidate key frames based on the cosine similarity between the plurality of candidate key frames.

먼저, 선택기(357)는 복수의 후보 키 프레임들 간의 코사인 유사도에 기초하여 복수의 후보 키 프레임들 간의 유사 여부를 결정할 수 있다.First, the selector 357 may determine whether the candidate key frames are similar based on the cosine similarity between the plurality of candidate key frames.

복수의 후보 키 프레임들 중에서 프레임 순서에 따라 순차적인 임의의 두 후보 키 프레임들 간의 코사인 유사도가 임계값 이상인 경우, 선택기(357)는 임의의 두 후보 키 프레임들이 유사하다고 결정할 수 있다.If the cosine similarity between any two candidate key frames sequentially in a frame order among the plurality of candidate key frames is equal to or greater than a threshold, the selector 357 may determine that any two candidate key frames are similar.

복수의 후보 키 프레임들 중에서 프레임 순서에 따라 순차적인 임의의 두 후보 키 프레임들 간의 코사인 유사도가 임계값 미만인 경우, 선택기(357)는 임의의 두 후보 키 프레임들이 유사하지 않다고 결정할 수 있다.If the cosine similarity between any two candidate key frames sequentially in a frame order among the plurality of candidate key frames is less than a threshold, the selector 357 may determine that any two candidate key frames are not similar.

이후에, 선택기(357)는 복수의 후보 키 프레임들 간의 유사 여부에 기초하여 복수의 후보 키 프레임들 중에서 하나 이상의 후보 키 프레임을 키 프레임으로 선택할 수 있다.Thereafter, the selector 357 may select one or more candidate key frames from among the plurality of candidate key frames as a key frame based on the similarity between the plurality of candidate key frames.

복수의 후보 키 프레임들이 모두 유사하지 않는 경우, 선택기(357)는 복수의 후보 키 프레임들 모두를 키 프레임으로 선택할 수 있다. 이때, 복수의 후보 키 프레임들은 복수의 신들 각각을 대표하는 키 프레임일 수 있다.If all of the plurality of candidate key frames are not similar, the selector 357 may select all of the plurality of candidate key frames as key frames. In this case, the plurality of candidate key frames may be key frames representing each of the plurality of scenes.

복수의 후보 키 프레임들이 모두 유사한 경우, 선택기(357)는 복수의 후보 키 프레임들 중에서 어느 하나의 후보 키 프레임을 키 프레임으로 선택할 수 있다. 이때, 선택기(357)는 복수의 후보 키 프레임들에 대응하는 신이 동일한 신이라고 판단할 수 있다. 어느 하나의 후보 키 프레임은 영상 및 단일 신을 대표하는 프레임일 수 있다. 영상은 단일 신으로 구성될 수 있다.When all of the plurality of candidate key frames are similar, the selector 357 may select any one of the plurality of candidate key frames as a key frame. At this time, the selector 357 may determine that the scenes corresponding to the plurality of candidate key frames are the same scene. Any one of the candidate key frames may be a frame representing an image and a single scene. The video may consist of a single scene.

복수의 후보 키 프레임들 중에서 서로 유사한 후보 키 프레임들이 있는 경우, 선택기(357)는 복수의 후보 키 프레임들 중에서 서로 유사한 후보 키 프레임들을 그룹화하여 추출할 수 있다. 이때, 선택기(357)는 그룹화된 복수의 후보 키 프레임들에 대응하는 신이 동일한 신이라고 판단할 수 있다. 그룹화된 복수의 후보 키 프레임들은 하나의 신을 대표하는 프레임일 수 있다.When there are candidate key frames similar to each other among the plurality of candidate key frames, the selector 357 may extract candidate key frames similar to each other from the plurality of candidate key frames. At this time, the selector 357 may determine that a scene corresponding to a plurality of grouped candidate key frames is the same scene. The grouped plurality of candidate key frames may be a frame representing one scene.

선택기(357)는 그룹화된 후보 키 프레임들 중에서 프레임 순서가 빠른(또는 프레임 순서가 느린) 어느 하나의 후보 키 프레임을 선택할 수 있다.The selector 357 may select one candidate key frame having a fast frame order (or a slow frame order) from the grouped candidate key frames.

그룹이 복수개인 경우, 선택기(357)는 복수의 그룹들 각각에서 프레임 순서가 빠른 어느 하나의 후보 키 프레임을 선택할 수 있다. 선택된 후보 키 프레임의 수는 복수의 그룹들의 수와 동일할 수 있다.When there are multiple groups, the selector 357 may select one candidate key frame having a fast frame order from each of the plurality of groups. The number of selected candidate key frames may be equal to the number of the plurality of groups.

선택기(357)는 복수의 후보 키 프레임들 중에서 그룹화된 후보 키 프레임들을 제외한 나머지 후보 키 프레임들과 어느 하나의 후보 키 프레임을 키 프레임으로 선택할 수 있다. 복수의 후보 키 프레임들이 모두 그룹화되는 경우, 나머지 후보 키 프레임들은 없을 수 있다.The selector 357 may select the remaining candidate key frames and any one candidate key frame from among the plurality of candidate key frames, except for grouped candidate key frames, as a key frame. When a plurality of candidate key frames are all grouped, there may be no remaining candidate key frames.

이하에서는 설명의 편의를 위해 영상이 2개의 신들로 구성된다고 가정하도록 한다. 또한, 이하에서는 제1 신(또는 첫번째 신)이 프레임 순서에 따라 제1 프레임 내지 제10 프레임(또는 첫번째 프레임 내지 열번째 프레임)을 포함하고, 제2 신(또는 두번째 신)이 제11 프레임 내지 제17 프레임(열 한번째 프레임 내지 열 일곱번째 프레임)을 포함한다고 가정하도록 한다.Hereinafter, for convenience of description, it is assumed that the image is composed of two gods. In addition, hereinafter, the first scene (or the first scene) includes the first frame to the tenth frame (or the first frame to the tenth frame) according to the frame order, and the second scene (or the second scene) is from the eleventh frame to It is assumed that the 17th frame (the eleventh frame to the seventeenth frame) is included.

이에, 제1 프레임 내지 제10 프레임은 서로 유사할 수 있다. 제1 프레임 내지 제10 프레임과 제11 프레임 내지 제17 프레임은 서로 유사하지 않을 수 있다. 제11 프레임 내지 제17 프레임은 서로 유사할 수 있다.Accordingly, the first to tenth frames may be similar to each other. The first to tenth frames and the eleventh to seventeenth frames may not be similar to each other. The 11th to 17th frames may be similar to each other.

도 4는 도 1에 도시된 키 프레임 선택 장치의 동작을 설명하기 위한 순서도를 나타낸다.FIG. 4 is a flowchart for explaining the operation of the key frame selection device illustrated in FIG. 1.

분류기(351)는 통신 모듈(310)을 통해 수신된 영상을 수신하여 영상에 포함된 15개의 프레임들을 분류할 수 있다(410).The classifier 351 may receive the image received through the communication module 310 and classify 15 frames included in the image (410).

추출기(353)는 프레임 순서에 따라 17개의 프레임들 각각의 특징 벡터를 순차적으로 추출할 수 있다(420). 예를 들어, 추출기(353)는 순차적으로 제1 프레임의 특징 벡터를 제일 먼저 추출하고, 제17 프레임의 특징 벡터를 제일 마지막에 추출할 수 있다.The extractor 353 may sequentially extract feature vectors of each of the 17 frames according to the frame order (420 ). For example, the extractor 353 may sequentially extract the feature vector of the first frame first, and extract the feature vector of the 17th frame last.

계산기(355)와 선택기(357)는 서로 연동하여 동작할 수 있다.The calculator 355 and the selector 357 may operate in conjunction with each other.

계산기(355)는 선택기(357)로부터 전송된 17개의 프레임들 간 유사 여부에 기초하여 프레임 순서에 따라 17개의 프레임들 간 코사인 유사도를 계산할 수 있다(430).The calculator 355 may calculate the cosine similarity between the 17 frames according to the frame order based on the similarity between the 17 frames transmitted from the selector 357 (430).

먼저, 계산기(355)는 프레임 순서에 따라 제1 프레임과 제2 프레임 간의 코사인 값 및 코사인 유사도를 계산할 수 있다.First, the calculator 355 may calculate the cosine value and cosine similarity between the first frame and the second frame according to the frame order.

이후에, 계산기(355)는 선택기(357)로부터 전송된 17개의 프레임들 간 유사 여부에 기초하여 제1 프레임, 제3 프레임 내지 제17 프레임 간의 코사인 값 및 코사인 유사도를 계산할 수 있다.Subsequently, the calculator 355 may calculate cosine values and cosine similarities between the first frame, the third frame, and the 17th frame based on the similarity between the 17 frames transmitted from the selector 357.

예를 들어, 계산기(355)는 선택기(357)로부터 제1 프레임과 제2 프레임 내지 제10 프레임이 유사함을 수신하고, 제1 프레임과 제11 프레임이 유사하지 않음을 수신하기 전까지, 순차적으로 제1 프레임과 제3 프레임 내지 제11 프레임 간의 코사인 값 및 코사인 유사도를 계산할 수 있다.For example, the calculator 355 sequentially receives the first frame and the second to tenth frames from the selector 357, and sequentially receives the first frame and the eleventh frame are not similar. Cosine values and cosine similarities between the first frame and the third to eleventh frames may be calculated.

또한, 계산기(355)는 선택기(357)로부터 제1 프레임과 제11 프레임이 유사하지 않음을 수신한 후, 순차적으로 제11 프레임과 제12 프레임 내지 제17 프레임 간의 코사인 값 및 코사인 유사도를 계산할 수 있다.In addition, after receiving the first frame and the eleventh frame that are not similar from the selector 357, the calculator 355 may sequentially calculate the cosine value and the cosine similarity between the eleventh frame and the twelfth to seventeenth frames. have.

상술한 바와 같이 계산기(355)가 17개의 프레임들 간의 유사 여부에 기초하여 17개의 프레임들 간의 코사인 유사도를 계산하지만, 이에 한정하는 것은 아니다. 예를 들어, 계산기(355)는 17개의 프레임들 간의 유사 여부에 무관하게 모든 17개의 프레임들 간의 코사인 유사도를 계산할 수 있다.As described above, the calculator 355 calculates the cosine similarity between the 17 frames based on the similarity between the 17 frames, but is not limited thereto. For example, the calculator 355 may calculate the cosine similarity between all 17 frames regardless of whether they are similar between the 17 frames.

선택기(357)는 계산기(355)로부터 전송된 코사인 유사도에 기초하여 17개의 프레임들 간의 유사 여부를 결정할 수 있다.The selector 357 may determine whether there are similarities between 17 frames based on the cosine similarity transmitted from the calculator 355.

예를 들어, 선택기(357)는 제1 프레임과 제2 프레임 내지 제10 프레임 간의 코사인 유사도가 임계값 이상임을 확인한 후, 제1 프레임과 제2 프레임 내지 제10 프레임이 서로 유사하다고 결정할 수 있다.For example, the selector 357 may determine that the cosine similarity between the first frame and the second frame to the tenth frame is equal to or greater than a threshold, and then determine that the first frame and the second frame to the tenth frame are similar to each other.

선택기(357)는 제1 프레임과 제11 프레임 간의 코사인 유사도가 임계값 미만임을 확인한 후, 제1 프레임과 제11 프레임이 서로 유사하지 않다고 결정할 수 있다.After confirming that the cosine similarity between the first frame and the eleventh frame is less than a threshold, the selector 357 may determine that the first frame and the eleventh frame are not similar to each other.

선택기(357)는 제11 프레임과 제12 프레임 내지 제17 프레임 간의 코사인 유사도가 임계값 이상임을 확인한 후, 제11 프레임과 제12 프레임 내지 제17 프레임이 서로 유사하다고 결정할 수 있다.After confirming that the cosine similarity between the eleventh frame and the twelfth to seventeenth frames is equal to or greater than the threshold, the selector 357 may determine that the eleventh frame and the twelfth to seventeenth frames are similar.

선택기(357)는 17개의 프레임들 간의 유사 여부에 기초하여 제1 신 및 제2 신을 대표하는 후보 키 프레임들을 선택할 수 있다(440).The selector 357 may select candidate key frames representing the first scene and the second scene based on the similarity between the 17 frames (440).

예를 들어, 선택기(357)는 카운팅 알고리즘(counting algorithm 또는 랭킹 알고리즘(ranking algorithm))을 이용하여 17개의 프레임들 간의 유사 여부에 따라 17개의 프레임들의 유사 프레임 수를 카운팅할 수 있다.For example, the selector 357 may count the number of similar frames of 17 frames according to whether they are similar between 17 frames by using a counting algorithm (counting algorithm or ranking algorithm).

선택기(357)는 제1 프레임과 제2 프레임 내지 제10 프레임이 유사하다고 결정될 때 마다, 제1 프레임의 유사 프레임 수를 카운팅할 수 있다. 이때, 선택기(357)은 제2 프레임 내지 제10 프레임의 유사 프레임 수를 카운팅하거나 카운팅하지 않을 수 있다.Whenever it is determined that the first frame and the second to tenth frames are similar, the selector 357 may count the number of similar frames of the first frame. At this time, the selector 357 may or may not count the number of similar frames of the second to tenth frames.

선택기(357)는 제11 프레임과 제17 프레임이 유사하다고 결정될 때 마다, 제11 프레임의 유사 프레임 수를 카운팅할 수 있다. 이때, 선택기(357)는 제12 프레임과 제17 프레임의 유사 프레임 수를 카운팅하거나 카운팅하지 않을 수 있다.Whenever it is determined that the eleventh frame and the seventeenth frame are similar, the selector 357 may count the number of similar frames of the eleventh frame. At this time, the selector 357 may or may not count the number of similar frames of the twelfth frame and the seventeenth frame.

선택기(357)는 제1 프레임과 제11 프레임이 유사하지 않다고 결정될 때, 제1 프레임과 제11 프레임의 유사 프레임 수를 카운팅하거나 카운팅하지 않을 수 있다.When it is determined that the first frame and the eleventh frame are not similar, the selector 357 may or may not count the number of similar frames of the first frame and the eleventh frame.

제2 프레임 내지 제10 프레임과 제12 프레임 내지 제17 프레임의 유사 프레임 수가 카운팅된 경우, 선택기(357)는 제1 프레임과 제11 프레임의 유사 프레임 수를 카운팅할 수 있다.When the number of similar frames of the second to tenth frames and the twelfth to seventeenth frames is counted, the selector 357 may count the number of similar frames of the first frame and the eleventh frame.

제2 프레임 내지 제10 프레임과 제12 프레임 내지 제17 프레임의 유사 프레임 수가 카운팅되지 않은 경우, 선택기(357)는 제1 프레임과 제11 프레임의 유사 프레임 수를 카운팅하지 않을 수 있다.When the number of similar frames of the second to tenth frames and the twelfth to seventeenth frames is not counted, the selector 357 may not count the number of similar frames of the first frame and the eleventh frame.

제1 프레임 및 제11 프레임의 유사 프레임 수 만이 카운팅 된 경우, 제1 프레임의 유사 프레임 수는 9이고, 제11 프레임의 유사 프레임 수는 6일 수 있다. 제2 내지 제10 프레임과 제12 내지 제15 프레임의 유사 프레임 수는 0일 수 있다.When only the number of similar frames of the first frame and the eleventh frame is counted, the number of similar frames of the first frame may be 9 and the number of similar frames of the eleventh frame may be 6. The number of similar frames of the second to tenth frames and the twelfth to fifteenth frames may be zero.

제1 프레임 내지 제17 프레임의 유사 프레임 수가 모두 카운팅 된 경우, 제1 프레임의 유사 프레임 수는 10이고, 제2 프레임 내지 제10 프레임의 유사 프레임 수는 9이고, 제11 프레임의 유사 프레임 수는 7이고, 제12 프레임 내지 제15 프레임의 유사 프레임 수는 6일 수 있다.When the number of similar frames of the first to 17th frames is all counted, the number of similar frames in the first frame is 10, the number of similar frames in the second to 10th frames is 9, and the number of similar frames in the 11th frame is 7, and the number of similar frames in the twelfth to fifteenth frames may be six.

선택기(357)는 제1 프레임과 제11 프레임이 유사하지 않음을 확인한 후, 제1 프레임 내지 제10 프레임을 제1 신으로 구분하고, 제11 프레임과 제17 프레임을 제2 신으로 구분할 수 있다.After confirming that the first frame and the eleventh frame are not similar, the selector 357 may divide the first frame to the tenth frame into a first scene, and divide the eleventh frame from the seventeenth frame into a second scene. .

선택기(357)는 페널티 함수를 이용하여 제1 프레임과 제11 프레임의 유사 프레임 수를 비교하여 제1 프레임 및 제11 프레임 중에서 하나 이상을 후보 키 프레임으로 선택할 수 있다.The selector 357 may compare the number of similar frames between the first frame and the eleventh frame using a penalty function and select one or more of the first frame and the eleventh frame as candidate key frames.

선택기(357)는 제11 프레임의 유사 프레임 수가 전체 프레임 수(17개)와 제1 프레임의 유사 프레임 수 간의 비율보다 높기에, 제1 프레임 및 제11 프레임을 모두 후보 키 프레임으로 선택할 수 있다.The selector 357 may select both the first frame and the eleventh frame as candidate key frames because the number of similar frames in the eleventh frame is higher than the ratio between the total number of frames (17) and the number of similar frames in the first frame.

이에, 선택기(357)는 제1 신에 포함된 제1 프레임을 제1 신을 대표하는 후보 키 프레임으로 선택하고, 제2 신에 포함된 제11 프레임을 제2 신을 대표하는 후보 키 프레임으로 선택할 수 있다.Accordingly, the selector 357 may select the first frame included in the first scene as a candidate key frame representing the first scene, and select the eleventh frame included in the second scene as a candidate key frame representing the second scene. have.

선택기(357)는 후보 키 프레임인 제1 프레임 및 제11 프레임 간의 코사인 유사도를 계산할 수 있다(450).The selector 357 may calculate cosine similarity between the first and eleventh frames, which are candidate key frames (450).

선택기(357)는 제1 프레임 및 제11 프레임 간의 코사인 유사도가 임계값 미만임을 확인한 후, 제1 프레임 및 제11 프레임이 유사하지 않다고 결정할 수 있다.After confirming that the cosine similarity between the first frame and the eleventh frame is less than a threshold, the selector 357 may determine that the first frame and the eleventh frame are not similar.

제1 프레임 및 제11 프레임이 유사하지 않기에, 선택기(357)는 제1 신과 제2 신이 동일한 신이 아니라고 판단한 후, 제1 프레임을 제1 신을 대표하는 키 프레임으로 선택하고, 제11 프레임을 제2 신을 대표하는 키 프레임으로 선택할 수 있다(460).Since the first frame and the eleventh frame are not similar, the selector 357 determines that the first scene and the second scene are not the same scene, then selects the first frame as a key frame representing the first scene, and removes the eleventh frame. 2 can be selected as a key frame representing the scene (460).

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiments or may be known and usable by those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks. -Hardware devices specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language code that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instruction, or a combination of one or more of these, and configure the processing device to operate as desired, or process independently or collectively You can command the device. Software and/or data may be interpreted by a processing device, or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodied in the signal wave being transmitted. The software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited drawings, those skilled in the art can apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order than the described method, and/or the components of the described system, structure, device, circuit, etc. are combined or combined in a different form from the described method, or other components Alternatively, even if replaced or substituted by equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (20)

영상에 포함된 복수의 프레임들 간의 코사인 값에 기초하여 상기 복수의 프레임들 간의 코사인 유사도를 계산하는 단계; 및
상기 코사인 유사도에 기초하여 상기 복수의 프레임들 중에서 하나 이상의 키 프레임을 선택하는 단계
를 포함하는 키 프레임 선택 방법.
Calculating a cosine similarity between the plurality of frames based on a cosine value between the plurality of frames included in the image; And
Selecting one or more key frames from the plurality of frames based on the cosine similarity
Key frame selection method comprising a.
제1항에 있어서,
상기 키 프레임은 상기 영상을 구성하는 하나 이상의 신을 대표하는 프레임인 키 프레임 선택 방법.
According to claim 1,
The key frame is a key frame selection method that is a frame representing one or more scenes constituting the image.
제1항에 있어서,
상기 코사인 유사도는 상기 복수의 프레임들이 유사한지 여부를 나타내는 지표인 키 프레임 선택 방법.
According to claim 1,
The cosine similarity is an index indicating whether the plurality of frames are similar.
제1항에 있어서,
상기 계산하는 단계는,
CNN(convolutional neural network)을 이용하여 상기 복수의 프레임들의 특징 벡터들을 추출하는 단계;
상기 특징 벡터들 간의 상기 코사인 값을 계산하는 단계; 및
상기 코사인 값에 기초하여 상기 코사인 유사도를 계산하는 단계
를 포함하는 키 프레임 선택 방법.
According to claim 1,
The calculating step,
Extracting feature vectors of the plurality of frames using a convolutional neural network (CNN);
Calculating the cosine value between the feature vectors; And
Calculating the cosine similarity based on the cosine value
Key frame selection method comprising a.
제1항에 있어서,
상기 선택하는 단계는,
상기 코사인 유사도에 기초하여 상기 복수의 프레임들 간의 유사 여부를 결정하는 단계;
상기 복수의 프레임들 간의 유사 여부에 기초하여 상기 복수의 프레임들 중에서 복수의 후보 키 프레임들을 선택하는 단계;
상기 복수의 후보 키 프레임들 간의 코사인 값에 기초하여 상기 복수의 후보 키 프레임들 간의 코사인 유사도를 계산하는 단계; 및
상기 복수의 후보 키 프레임들 간의 코사인 유사도에 기초하여 상기 복수의 후보 키 프레임들 중에서 상기 키 프레임을 선택하는 단계
를 포함하는 키 프레임 선택 방법.
According to claim 1,
The step of selecting,
Determining whether the plurality of frames are similar based on the cosine similarity;
Selecting a plurality of candidate key frames from among the plurality of frames based on the similarity between the plurality of frames;
Calculating a cosine similarity between the plurality of candidate key frames based on a cosine value between the plurality of candidate key frames; And
Selecting the key frame from among the plurality of candidate key frames based on the cosine similarity between the plurality of candidate key frames.
Key frame selection method comprising a.
제5항에 있어서,
상기 결정하는 단계는,
상기 복수의 프레임들 중에서 순차적인 임의의 두 프레임들 간의 코사인 유사도가 임계값 이상인 경우, 상기 임의의 두 프레임들이 유사하다고 결정하는 단계; 및
상기 복수의 프레임들 중에서 상기 임의의 두 프레임들 간의 코사인 유사도가 상기 임계값 미만인 경우, 상기 임의의 두 프레임들이 유사하지 않다고 결정하는 단계
를 포함하는 키 프레임 선택 방법.
The method of claim 5,
The determining step,
If the cosine similarity between any two sequential frames among the plurality of frames is greater than or equal to a threshold, determining that the two arbitrary frames are similar; And
If the cosine similarity between the two frames among the plurality of frames is less than the threshold, determining that the two frames are not similar
Key frame selection method comprising a.
제5항에 있어서,
상기 복수의 후보 키 프레임들을 선택하는 단계는,
상기 복수의 프레임들 간의 유사 여부에 기초하여 상기 복수의 프레임들의 유사 프레임 수를 카운팅하는 단계; 및
상기 복수의 프레임들 중에서 상기 유사 프레임 수가 높은 프레임들을 상기 복수의 후보 키 프레임들로 선택하는 단계
를 포함하는 키 프레임 선택 방법.
The method of claim 5,
The step of selecting the plurality of candidate key frames may include:
Counting the number of similar frames of the plurality of frames based on the similarity between the plurality of frames; And
Selecting frames having a high number of similar frames from among the plurality of frames as the plurality of candidate key frames
Key frame selection method comprising a.
제5항에 있어서,
상기 복수의 후보 키 프레임들 중에서 상기 키 프레임을 선택하는 단계는,
상기 복수의 후보 키 프레임들 간의 코사인 유사도에 기초하여 상기 복수의 후보 키 프레임들 간의 유사 여부를 결정하는 단계; 및
상기 복수의 후보 키 프레임들 간의 유사 여부에 기초하여 상기 복수의 후보 키 프레임들 중에서 하나 이상의 후보 키 프레임을 상기 키 프레임으로 선택하는 단계
를 포함하는 키 프레임 선택 방법.
The method of claim 5,
The step of selecting the key frame among the plurality of candidate key frames,
Determining whether the plurality of candidate key frames are similar based on the cosine similarity between the plurality of candidate key frames; And
Selecting one or more candidate key frames from among the plurality of candidate key frames as the key frame based on the similarity between the plurality of candidate key frames.
Key frame selection method comprising a.
제8항에 있어서,
상기 복수의 후보 키 프레임들 간의 유사 여부를 결정하는 단계는,
상기 복수의 후보 키 프레임들 중에서 순차적인 임의의 두 후보 키 프레임들 간의 코사인 유사도가 임계값 이상인 경우, 상기 임의의 두 후보 키 프레임들이 유사하다고 결정하는 단계; 및
상기 복수의 후보 키 프레임들 중에서 상기 임의의 두 후보 키 프레임들 간의 코사인 유사도가 상기 임계값 미만인 경우, 상기 임의의 두 후보 키 프레임들이 유사하지 않다고 결정하는 단계
를 포함하는 키 프레임 선택 방법.
The method of claim 8,
The step of determining whether the plurality of candidate key frames are similar is:
If the degree of cosine similarity between any two candidate key frames sequentially among the plurality of candidate key frames is equal to or greater than a threshold, determining that the two candidate key frames are similar; And
If the cosine similarity between the two candidate key frames among the plurality of candidate key frames is less than the threshold, determining that the two random key frames are not similar
Key frame selection method comprising a.
제8항에 있어서,
상기 하나 이상의 후보 키 프레임을 상기 키 프레임으로 선택하는 단계는,
상기 복수의 후보 키 프레임들 중에서 서로 유사한 후보 키 프레임들을 그룹화하여 추출하는 단계;
그룹화된 후보 키 프레임들 중에서 프레임 순서가 빠른 어느 하나의 후보 키 프레임을 선택하는 단계; 및
상기 복수의 후보 키 프레임들 중에서 상기 그룹화된 후보 키 프레임들을 제외한 나머지 후보 키 프레임들과 상기 어느 하나의 후보 키 프레임을 상기 키 프레임으로 선택하는 단계
를 포함하는 키 프레임 선택 방법.
The method of claim 8,
The step of selecting the one or more candidate key frames as the key frame may include:
Grouping and extracting candidate key frames similar to each other among the plurality of candidate key frames;
Selecting one candidate key frame having a fast frame order from the grouped candidate key frames; And
Selecting remaining candidate key frames from the grouped candidate key frames from among the plurality of candidate key frames and one candidate key frame as the key frame
Key frame selection method comprising a.
통신 모듈; 및
영상에 포함된 복수의 프레임들 간의 코사인 값에 기초하여 상기 복수의 프레임들 간의 코사인 유사도를 계산하고, 상기 코사인 유사도에 기초하여 상기 복수의 프레임들 중에서 하나 이상의 키 프레임을 선택하는 컨트롤러
를 포함하는 키 프레임 선택 장치.
Communication module; And
A controller that calculates cosine similarities between the plurality of frames based on cosine values between a plurality of frames included in an image, and selects one or more key frames from the plurality of frames based on the cosine similarities.
Key frame selection device comprising a.
제11항에 있어서,
상기 키 프레임은 상기 영상을 구성하는 하나 이상의 신을 대표하는 프레임인 키 프레임 선택 장치.
The method of claim 11,
The key frame is a key frame selection device that represents one or more scenes constituting the image.
제11항에 있어서,
상기 코사인 유사도는 상기 복수의 프레임들이 유사한지 여부를 나타내는 지표인 키 프레임 선택 장치.
The method of claim 11,
The cosine similarity is an index indicating whether the plurality of frames are similar.
제11항에 있어서,
상기 컨트롤러는,
CNN(convolutional neural network)을 이용하여 상기 복수의 프레임들의 특징 벡터들을 추출하고, 상기 특징 벡터들 간의 상기 코사인 값을 계산하고, 상기 코사인 값에 기초하여 상기 코사인 유사도를 계산하는 키 프레임 선택 장치.
The method of claim 11,
The controller,
A key frame selection device for extracting feature vectors of the plurality of frames using a convolutional neural network (CNN), calculating the cosine value between the feature vectors, and calculating the cosine similarity based on the cosine value.
제11항에 있어서,
상기 컨트롤러는,
상기 코사인 유사도에 기초하여 상기 복수의 프레임들 간의 유사 여부를 결정하고, 상기 복수의 프레임들 간의 유사 여부에 기초하여 상기 복수의 프레임들 중에서 복수의 후보 키 프레임들을 선택하고, 상기 복수의 후보 키 프레임들 간의 코사인 값에 기초하여 상기 복수의 후보 키 프레임들 간의 코사인 유사도를 계산하고, 상기 복수의 후보 키 프레임들 간의 코사인 유사도에 기초하여 상기 복수의 후보 키 프레임들 중에서 상기 키 프레임을 선택하는 키 프레임 선택 장치.
The method of claim 11,
The controller,
The similarity between the plurality of frames is determined based on the cosine similarity, a plurality of candidate key frames are selected from the plurality of frames based on the similarity between the plurality of frames, and the plurality of candidate key frames A key frame for calculating cosine similarity between the plurality of candidate key frames based on the cosine value between them, and selecting the key frame from among the plurality of candidate key frames based on the cosine similarity between the plurality of candidate key frames Optional device.
제15항에 있어서,
상기 컨트롤러는,
상기 복수의 프레임들 중에서 순차적인 임의의 두 프레임들 간의 코사인 유사도가 임계값 이상인 경우, 상기 임의의 두 프레임들이 유사하다고 결정하고,
상기 복수의 프레임들 중에서 상기 임의의 두 프레임들 간의 코사인 유사도가 상기 임계값 미만인 경우, 상기 임의의 두 프레임들이 유사하지 않다고 결정하는 키 프레임 선택 장치.
The method of claim 15,
The controller,
If the cosine similarity between any two sequential frames among the plurality of frames is greater than or equal to a threshold, it is determined that the two arbitrary frames are similar,
If the cosine similarity between the two frames among the plurality of frames is less than the threshold, the key frame selection device determines that the two arbitrary frames are not similar.
제15항에 있어서,
상기 컨트롤러는,
상기 복수의 프레임들 간의 유사 여부에 기초하여 상기 복수의 프레임들의 유사 프레임 수를 카운팅하고, 상기 복수의 프레임들 중에서 상기 유사 프레임 수가 높은 프레임들을 상기 복수의 후보 키 프레임들로 선택하는 키 프레임 선택 장치.
The method of claim 15,
The controller,
A key frame selection device for counting the number of similar frames of the plurality of frames based on the similarity between the plurality of frames, and selecting the frames having the high number of similar frames among the plurality of frames as the plurality of candidate key frames .
제15항에 있어서,
상기 컨트롤러는,
상기 복수의 후보 키 프레임들 간의 코사인 유사도에 기초하여 상기 복수의 후보 키 프레임들 간의 유사 여부를 결정하고, 상기 복수의 후보 키 프레임들 간의 유사 여부에 기초하여 상기 복수의 후보 키 프레임들 중에서 하나 이상의 후보 키 프레임을 상기 키 프레임으로 선택하는 키 프레임 선택 장치.
The method of claim 15,
The controller,
The similarity between the plurality of candidate key frames is determined based on the cosine similarity between the plurality of candidate key frames, and one or more of the plurality of candidate key frames is based on the similarity between the plurality of candidate key frames. A key frame selection device for selecting a candidate key frame as the key frame.
제18항에 있어서,
상기 컨트롤러는,
상기 복수의 후보 키 프레임들 중에서 순차적인 임의의 두 후보 키 프레임들 간의 코사인 유사도가 임계값 이상인 경우, 상기 임의의 두 후보 키 프레임들이 유사하다고 결정하고,
상기 복수의 후보 키 프레임들 중에서 상기 임의의 두 후보 키 프레임들 간의 코사인 유사도가 상기 임계값 미만인 경우, 상기 임의의 두 후보 키 프레임들이 유사하지 않다고 결정하는 키 프레임 선택 장치.
The method of claim 18,
The controller,
If the cosine similarity between any two candidate key frames sequentially among the plurality of candidate key frames is equal to or greater than a threshold value, it is determined that the two random key frames are similar,
If the cosine similarity between the two candidate key frames among the plurality of candidate key frames is less than the threshold, the key frame selection device determines that the two random key frames are not similar.
제18항에 있어서,
상기 컨트롤러는,
상기 복수의 후보 키 프레임들 중에서 서로 유사한 후보 키 프레임들을 그룹화하여 추출하고, 그룹화된 후보 키 프레임들 중에서 프레임 순서가 빠른 어느 하나의 후보 키 프레임을 선택하고, 상기 복수의 후보 키 프레임들 중에서 상기 그룹화된 후보 키 프레임들을 제외한 나머지 후보 키 프레임들과 상기 어느 하나의 후보 키 프레임을 상기 키 프레임으로 선택하는 키 프레임 선택 장치.The method of claim 18,
The controller,
The candidate key frames similar to each other are extracted by grouping among the plurality of candidate key frames, a candidate key frame having a fast frame order is selected from the grouped candidate key frames, and the grouping is performed from the plurality of candidate key frames. A key frame selection device for selecting the remaining candidate key frames except for the candidate key frames and the one candidate key frame as the key frame.
KR1020190086345A 2018-12-26 2019-07-17 Method of selecting key prame and apparatuses performing the same KR102215285B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180169670 2018-12-26
KR1020180169670 2018-12-26

Publications (2)

Publication Number Publication Date
KR20200080109A true KR20200080109A (en) 2020-07-06
KR102215285B1 KR102215285B1 (en) 2021-02-15

Family

ID=71571308

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190086345A KR102215285B1 (en) 2018-12-26 2019-07-17 Method of selecting key prame and apparatuses performing the same

Country Status (1)

Country Link
KR (1) KR102215285B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102405045B1 (en) * 2022-02-22 2022-06-07 주식회사 전자사탕사 server for platform providing non-face-to-face video production service in the form of shopping mall and operating method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003303195A (en) * 2002-02-28 2003-10-24 Fuji Xerox Co Ltd Method for automatically producing optimal summary of linear medium, and product having information storing medium for storing information
JP2005115952A (en) * 2003-10-03 2005-04-28 Fuji Xerox Co Ltd Method and system for discriminative keyframe selection and program for making computer execute same method
US9436876B1 (en) * 2014-12-19 2016-09-06 Amazon Technologies, Inc. Video segmentation techniques
KR20180054406A (en) * 2016-11-15 2018-05-24 삼성전자주식회사 Image processing apparatus and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003303195A (en) * 2002-02-28 2003-10-24 Fuji Xerox Co Ltd Method for automatically producing optimal summary of linear medium, and product having information storing medium for storing information
JP2005115952A (en) * 2003-10-03 2005-04-28 Fuji Xerox Co Ltd Method and system for discriminative keyframe selection and program for making computer execute same method
US9436876B1 (en) * 2014-12-19 2016-09-06 Amazon Technologies, Inc. Video segmentation techniques
KR20180054406A (en) * 2016-11-15 2018-05-24 삼성전자주식회사 Image processing apparatus and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Y. Li et al., 'Key frames extraction of human motion capture data based on cosine similarity,' The 3th International Conference on Computer Animation and Social Agents, 2017. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102405045B1 (en) * 2022-02-22 2022-06-07 주식회사 전자사탕사 server for platform providing non-face-to-face video production service in the form of shopping mall and operating method thereof

Also Published As

Publication number Publication date
KR102215285B1 (en) 2021-02-15

Similar Documents

Publication Publication Date Title
US11055555B2 (en) Zero-shot object detection
CN110309795B (en) Video detection method, device, electronic equipment and storage medium
WO2020119350A1 (en) Video classification method and apparatus, and computer device and storage medium
CN111062871B (en) Image processing method and device, computer equipment and readable storage medium
CN111522996B (en) Video clip retrieval method and device
CN106557521B (en) Object indexing method, object searching method and object indexing system
AU2020383509B2 (en) Automatic trailer detection in multimedia content
WO2019021088A1 (en) Navigating video scenes using cognitive insights
US11768597B2 (en) Method and system for editing video on basis of context obtained using artificial intelligence
KR102141296B1 (en) Object tracking method and apparatus performing the same
US20240153270A1 (en) System and method for merging asynchronous data sources
KR102215285B1 (en) Method of selecting key prame and apparatuses performing the same
CN112040313B (en) Video content structuring method, device, terminal equipment and medium
CN106484773B (en) Method and device for determining weight of keyword of multimedia resource
CN115346145A (en) Method, device, storage medium and computer program product for identifying repeated video
CN112257689A (en) Training and recognition method of face recognition model, storage medium and related equipment
KR101834084B1 (en) Method and device for tracking multiple objects
US20210322825A1 (en) Graph Based Method of Next Pitch Prediction
US11374893B2 (en) Methods, servers, and non-transitory computer readable record media for converting image to location data
TW202303451A (en) Nail recognation methods, apparatuses, devices and storage media
CN114298018A (en) Video title generation method and device and storage medium
KR102228213B1 (en) Method of recommendating image and apparatuses performing the same
CN113191401A (en) Method and device for three-dimensional model recognition based on visual saliency sharing
CN113810751B (en) Video processing method and device, electronic device and server
CN112818914B (en) Video content classification method and device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant