KR20220153777A - Device and method for detecting pitch point - Google Patents

Device and method for detecting pitch point Download PDF

Info

Publication number
KR20220153777A
KR20220153777A KR1020210061170A KR20210061170A KR20220153777A KR 20220153777 A KR20220153777 A KR 20220153777A KR 1020210061170 A KR1020210061170 A KR 1020210061170A KR 20210061170 A KR20210061170 A KR 20210061170A KR 20220153777 A KR20220153777 A KR 20220153777A
Authority
KR
South Korea
Prior art keywords
frame
pitching
optical flow
scene
determining
Prior art date
Application number
KR1020210061170A
Other languages
Korean (ko)
Inventor
양철종
이영현
하성종
Original Assignee
주식회사 엔씨소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엔씨소프트 filed Critical 주식회사 엔씨소프트
Priority to KR1020210061170A priority Critical patent/KR20220153777A/en
Publication of KR20220153777A publication Critical patent/KR20220153777A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Abstract

According to an embodiment of the present invention, a device for detecting a pitching timepoint comprises at least one processor. The at least one processor determines a person detection area corresponding to a pitcher in each frame included in a pitching scene using a deep neural network, calculates the average size of an optical flow in a person detection area corresponding to the determined pitcher in each frame included in the pitching scene, and determines a pitching timepoint in the pitching scene based on the calculated average size of the optical flow. Therefore, the device can determine the pitching timepoint based on the average size of the optical flow in the frame included in the pitching scene.

Description

투구 시점 검출 장치 및 투구 시점 검출 방법{DEVICE AND METHOD FOR DETECTING PITCH POINT}Pitching point detection device and method for detecting pitching point {DEVICE AND METHOD FOR DETECTING PITCH POINT}

아래의 실시예들은 투구 시점 검출 장치 및 투구 시점 검출 방법에 관한 것이다.The following embodiments relate to a pitch timing detection device and a pitch timing detection method.

머신 러닝(machine learning)은 인공 지능의 한 분야로, 패턴인식과 컴퓨터 학습 이론의 연구로부터 진화한 분야이며, 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야를 말한다. Machine learning is a field of artificial intelligence, which has evolved from the study of pattern recognition and computer learning theory, and refers to the field of developing algorithms and techniques that enable computers to learn.

머신 러닝의 핵심은 표현(representation)과 일반화(generalization)에 있다. 표현이란 데이터의 평가이며, 일반화란 아직 알 수 없는 데이터에 대한 처리이다. 이는 전산 학습 이론 분야이기도 하다.The core of machine learning lies in representation and generalization. Representation is the evaluation of data, and generalization is the treatment of data that is not yet known. This is also the field of computational learning theory.

딥 러닝(deep learning)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계학습(machine learning) 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야라고 이야기할 수 있다.Deep learning is defined as a set of machine learning algorithms that attempt a high level of abstraction through a combination of several nonlinear transformation methods. You could say it's a field.

일반적으로 장면전환(Scene Change)이란 연속되는 동영상의 장면에서 한 장면이 끝난 후, 다른 장면으로 동영상이 다시 시작되는 현상을 말한다. 장면 전환은, 통상 임의의 장면이 점차 사라지다가 다시 다른 장면이 서서히 나타나는 페이드-아웃(fade out) 및 페이드-인(fade in), 임의의 두 장면이 서로 다른 방향에서 시간을 두고 천천히 겹치는 오버랩(overlap)과, 단순장면전환 등으로 구분하기도 한다.In general, a scene change refers to a phenomenon in which a video is restarted with another scene after one scene in a continuous video scene ends. The scene transition is usually a fade-out and fade-in in which an arbitrary scene gradually disappears and another scene gradually appears again, an overlap in which two arbitrary scenes slowly overlap over time in different directions ( overlap) and simple scene transition.

본 발명의 실시예에 따르면, 투구 장면에 포함된 프레임에서 광학 흐름의 평균 크기를 기초로 투구 시점을 결정할 수 있는 투구 시점 검출 장치 및 투구 시점 검출 방법을 제공할 수 있다.According to an embodiment of the present invention, it is possible to provide a pitching point of view detecting device and a pitching point of view detection method capable of determining a pitching point of view based on an average size of an optical flow in a frame included in a pitching scene.

또한, 본 발명의 다른 실시예에 따르면, 투구 장면에 포함된 프레임에서 투수에 해당하는 사람 검출 영역을 결정할 수 있는 투구 시점 검출 장치 및 투구 시점 검출 방법을 제공할 수 있다.Further, according to another embodiment of the present invention, it is possible to provide a pitching time detecting device and a pitching time detecting method capable of determining a person detection area corresponding to a pitcher in a frame included in a pitching scene.

또한, 본 발명의 또 다른 실시예에 따르면, 투수에 해당하는 사람 검출 영역의 광학 흐름(optical flow)의 평균 크기를 계산할 수 있는 투구 시점 검출 장치 및 투구 시점 검출 방법을 제공할 수 있다.In addition, according to another embodiment of the present invention, it is possible to provide a pitching point detection device and a pitching point detection method capable of calculating an average size of an optical flow in a person detection area corresponding to a pitcher.

본 발명의 일실시예에 따르면, 투구 시점 검출 장치에 있어서, 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 투수에 해당하는 사람 검출 영역을 결정하고, 상기 투구 장면에 포함된 프레임 각각에서 상기 결정한 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 계산하고, 상기 계산한 광학 흐름(optical flow)의 평균 크기를 기초로 상기 투구 장면에서 투구 시점을 결정한다.According to one embodiment of the present invention, an apparatus for detecting a throwing time includes at least one processor, wherein the at least one processor uses a deep neural network to detect each frame included in a throwing scene. A person detection area corresponding to the pitcher is determined, an average size of optical flow in the person detection area corresponding to the determined pitcher is calculated in each frame included in the pitching scene, and the calculated optical flow ( A throwing time point is determined in the throwing scene based on the average size of the optical flow.

또한, 상기 적어도 하나의 프로세서는, 상기 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 투구 장면에 포함된 프레임 각각에서 복수개의 사람 검출 영역을 결정하고, 상기 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 결정한 복수개의 사람 검출 영역에서 투수에 해당하는 사람 검출 영역을 결정할 수 있다.In addition, the at least one processor determines a plurality of human detection regions in each frame included in the pitching scene using the deep neural network, and uses the deep neural network. Thus, a person detection area corresponding to the pitcher may be determined from among the determined plurality of person detection areas.

또한, 상기 적어도 하나의 프로세서는, 상기 투구 장면에 포함된 프레임 각각에서 광학 흐름(optical flow)을 추출할 수 있다.Also, the at least one processor may extract an optical flow from each frame included in the pitching scene.

또한, 상기 적어도 하나의 프로세서는, 상기 광학 흐름(optical flow)의 평균 크기를 기초로 상기 투구 장면에 포함된 프레임 각각을 움직임이 없는 프레임, 중간 프레임 및 투구 동작 후보 프레임 중 적어도 어느 하나의 프레임으로 분류하고, 상기 분류한 프레임을 기초로 투구 동작이 포함된 프레임 구간을 결정하고, 상기 결정한 프레임 구간을 기초로 투구 시점을 결정할 수 있다.Also, the at least one processor converts each of the frames included in the throwing scene to at least one of a motionless frame, an intermediate frame, and a pitching action candidate frame based on the average size of the optical flow. Classification, a frame section including a pitching motion may be determined based on the classified frames, and a pitching time may be determined based on the determined frame section.

또한, 상기 적어도 하나의 프로세서는, 상기 투구 동작 후보 프레임 중에서 상기 광학 흐름(optical flow)의 평균 크기가 미리 설정된 제1 크기 이상으로 미리 설정된 시간 동안 지속되는 프레임 구간을 결정하고, 상기 결정한 프레임 구간에 미리 설정된 제2 크기 이상의 광학 흐름(optical flow)의 평균 크기가 포함되어 있는지를 확인할 수 있다.In addition, the at least one processor determines a frame section in which the average size of the optical flow is greater than or equal to a preset first size and lasts for a preset time among the throwing action candidate frames, and determines the frame interval in the determined frame interval. It may be checked whether an average size of an optical flow equal to or greater than a preset second size is included.

또한, 상기 적어도 하나의 프로세서는, 상기 결정한 프레임 구간이 시작되는 프레임에서 가장 가까운 움직임이 없는 프레임으로 분류한 프레임을 투구 시점 프레임으로 선택할 수 있다.Also, the at least one processor may select a frame classified as a motionless frame closest to a frame in which the determined frame period starts as a pitching time frame.

본 발명의 다른 실시예에 따르면, 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 투수에 해당하는 사람 검출 영역을 결정하는 동작, 상기 투구 장면에 포함된 프레임 각각에서 상기 결정한 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 계산하는 동작 및 상기 계산한 광학 흐름(optical flow)의 평균 크기를 기초로 상기 투구 장면에서 투구 시점을 결정하는 동작을 포함한다.According to another embodiment of the present invention, an operation of determining a person detection region corresponding to a pitcher in each frame included in a pitching scene using a deep neural network, An operation of calculating an average size of optical flow in a person detection area corresponding to the determined pitcher and an operation of determining a pitching time point in the throwing scene based on the average size of the calculated optical flow. include

또한, 상기 투구 장면에 포함된 프레임 각각에서 투수에 해당하는 사람 검출 영역을 결정하는 동작은, 상기 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 투구 장면에 포함된 프레임 각각에서 복수개의 사람 검출 영역을 결정하는 동작 및 상기 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 결정한 복수개의 사람 검출 영역에서 투수에 해당하는 사람 검출 영역을 결정하는 동작을 포함할 수 있다.In addition, the operation of determining a person detection area corresponding to a pitcher in each frame included in the pitching scene includes a plurality of person detection areas in each frame included in the pitching scene by using the deep neural network. and determining a person detection area corresponding to the pitcher from among the determined plurality of person detection areas using the deep neural network.

또한, 상기 결정한 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 계산하는 동작은 상기 투구 장면에 포함된 프레임 각각에서 광학 흐름(optical flow)을 추출하는 동작을 포함할 수 있다.In addition, the operation of calculating the average size of the optical flow in the person detection area corresponding to the determined pitcher may include an operation of extracting the optical flow from each frame included in the pitching scene. have.

또한, 상기 계산한 광학 흐름(optical flow)의 평균 크기를 기초로 상기 투구 장면에서 투구 시점을 결정하는 동작은, 상기 광학 흐름(optical flow)의 평균 크기를 기초로 상기 투구 장면에 포함된 프레임 각각을 움직임이 없는 프레임, 중간 프레임 및 투구 동작 후보 프레임 중 적어도 어느 하나의 프레임으로 분류하는 동작, 상기 분류한 프레임을 기초로 투구 동작이 포함된 프레임 구간을 결정하는 동작 및 상기 결정한 프레임 구간을 기초로 투구 시점을 결정하는 동작을 포함할 수 있다.In addition, the operation of determining a pitching time point in the throwing scene based on the calculated average size of the optical flow includes each frame included in the throwing scene based on the average size of the optical flow. Classifying a frame into at least one of a motionless frame, an intermediate frame, and a pitching motion candidate frame, determining a frame section including a pitching motion based on the classified frame, and based on the determined frame section An operation of determining a throwing time may be included.

또한, 상기 분류한 프레임 구간을 기초로 투구 동작이 포함된 프레임 구간을 결정하는 동작은, 상기 투구 동작 후보 프레임 중에서 상기 광학 흐름(optical flow)의 평균 크기가 미리 설정된 제1 크기 이상으로 미리 설정된 시간 동안 지속되는 프레임 구간을 결정하는 동작 및 상기 결정한 프레임 구간에 미리 설정된 제2 크기 이상의 광학 흐름(optical flow)의 평균 크기가 포함되어 있는지를 확인하는 동작을 포함할 수 있다.In addition, the operation of determining a frame section including a pitching motion based on the classified frame section may include a preset time when the average size of the optical flow among the pitching motion candidate frames is greater than or equal to a preset first size. and determining whether an average size of an optical flow equal to or greater than a preset second size is included in the determined frame period.

또한, 상기 결정한 프레임 구간을 기초로 투구 시점을 결정하는 동작은, 상기 결정한 프레임 구간이 시작되는 프레임에서 가장 가까운 움직임이 없는 프레임으로 분류한 프레임을 투구 시점 프레임으로 선택하는 동작을 포함할 수 있다.In addition, the operation of determining the pitching time point based on the determined frame interval may include selecting a frame classified as a frame without motion closest to a frame in which the determined frame interval starts as a throwing time frame.

본 발명의 일실시예에 따르면, 투구 장면에 포함된 프레임에서 광학 흐름의 평균 크기를 기초로 투구 시점을 결정할 수 있는 효과가 있다.According to one embodiment of the present invention, there is an effect of determining a pitching time point based on an average size of an optical flow in a frame included in a pitching scene.

또한, 투구 장면에 포함된 프레임에서 투수에 해당하는 사람 검출 영역을 결정할 수 있는 효과가 있다.In addition, there is an effect of determining a person detection area corresponding to the pitcher in the frame included in the pitching scene.

또한, 투수에 해당하는 사람 검출 영역의 광학 흐름(optical flow)의 평균 크기를 계산할 수 있는 효과가 있다.In addition, there is an effect of calculating the average size of the optical flow in the human detection area corresponding to the pitcher.

도 1은 일실시예에 따른 투구 시점 검출 장치의 구성을 나타내는 도면이다.
도 2는 일실시예에 따라 투구 시점 검출 장치가 투구 장면에서 투수에 해당하는 사람 검출 영역을 획득하는 모습을 나타내는 도면이다.
도 3은 일실시예에 따라 투구 시점 검출 장치가 투구 장면에 포함된 프레임에서 획득한 광학 흐름(optical flow)을 디스플레이 하는 모습을 나타내는 도면이다.
도 4는 일실시예에 따라 투구 시점 검출 장치가 광학 흐름(optical flow)의 평균 크기를 기초로 투구 시점을 결정하는 모습을 나타내는 도면이다.
도 5는 일실시예에 따른 투구 시점 검출 방법을 나타내는 플로우 차트이다.1 is a diagram showing the configuration of a throwing time detection device according to an embodiment.
FIG. 2 is a diagram illustrating how a pitching time detection apparatus acquires a person detection area corresponding to a pitcher in a pitching scene according to an exemplary embodiment.
FIG. 3 is a view showing how an apparatus for detecting a pitching viewpoint displays an optical flow obtained from a frame included in a pitching scene according to an exemplary embodiment.
FIG. 4 is a diagram illustrating a state in which a throwing time point detection apparatus determines a throwing time point based on an average size of an optical flow according to an exemplary embodiment.
5 is a flow chart illustrating a method for detecting a throwing time according to an embodiment.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.Specific structural or functional descriptions of the embodiments according to the concept of the present invention disclosed in this specification are only illustrated for the purpose of explaining the embodiments according to the concept of the present invention, and the embodiments according to the concept of the present invention It can be embodied in various forms and is not limited to the embodiments described herein.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.Embodiments according to the concept of the present invention can apply various changes and can have various forms, so the embodiments are illustrated in the drawings and described in detail in this specification. However, this is not intended to limit the embodiments according to the concept of the present invention to specific disclosure forms, and includes all changes, equivalents, or substitutes included in the spirit and technical scope of the present invention.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various components, but the components should not be limited by the terms. The above terms are only for the purpose of distinguishing one component from another component, e.g., without departing from the scope of rights according to the concept of the present invention, a first component may be termed a second component, and similarly The second component may also be referred to as the first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle. Other expressions describing the relationship between elements, such as "between" and "directly between" or "adjacent to" and "directly adjacent to", etc., should be interpreted similarly.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.Terms used in this specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise.

본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this specification, terms such as "comprise" or "have" are intended to indicate that the described feature, number, step, operation, component, part, or combination thereof exists, but that one or more other features or numbers are present. However, it should be understood that it does not preclude the presence or addition of steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in this specification, it should not be interpreted in an ideal or excessively formal meaning. don't

이하의 설명에서 동일한 식별 기호는 동일한 구성을 의미하며, 불필요한 중복적인 설명 및 공지 기술에 대한 설명은 생략하기로 한다.In the following description, the same identification symbol means the same configuration, and unnecessary redundant descriptions and descriptions of known technologies will be omitted.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail by describing preferred embodiments of the present invention with reference to the accompanying drawings.

도 1은 일실시예에 따른 투구 시점 검출 장치의 구성을 나타내는 도면이다.1 is a diagram showing the configuration of a throwing time detection device according to an embodiment.

도 1을 참조하면, 투구 시점 검출 장치(100)는 프로세서(110), 입출력 인터페이스 모듈(120) 및 메모리(130)를 포함한다.Referring to FIG. 1 , the throwing time detection apparatus 100 includes a processor 110 , an input/output interface module 120 and a memory 130 .

일실시예에 따라, 투구 시점 검출 장치(100)에 포함된 프로세서(110), 입출력 인터페이스 모듈(120) 및 메모리(130)는 상호 연결되어 있으며, 상호 데이터를 전송하는 것이 가능하다.According to one embodiment, the processor 110, the input/output interface module 120, and the memory 130 included in the pitch timing detection device 100 are connected to each other and can transmit data to each other.

일실시예에 따라, 프로세서(110)는 메모리(130)에 저장된 프로그램들 또는 명령들을 실행시킬 수 있다. 이때, 메모리(130)에는 투구 시점 검출 장치(100)를 동작시키기 위한 동작프로그램(예컨대, OS)이 저장될 수 있다.According to one embodiment, the processor 110 may execute programs or instructions stored in the memory 130 . At this time, the memory 130 may store an operation program (eg, OS) for operating the pitching timing detection device 100 .

일실시예에 따라, 프로세서(110)는 투구 시점 검출 장치(100)에 대한 정보를 관리하기 위한 프로그램을 실행시킬 수 있다.According to an embodiment, the processor 110 may execute a program for managing information about the throwing time detection device 100 .

일실시예에 따라, 프로세서(110)는 투구 시점 검출 장치(100)의 동작을 관리하기 위한 프로그램을 실행시킬 수 있다.According to an embodiment, the processor 110 may execute a program for managing the operation of the pitch timing detection device 100 .

일실시예에 따라, 프로세서(110)는 입출력 인터페이스 모듈(120)의 동작을 관리하기 위한 프로그램을 실행시킬 수 있다.According to one embodiment, the processor 110 may execute a program for managing the operation of the input/output interface module 120 .

일실시예에 따라, 프로세서(110)는 입출력 인터페이스 모듈(120)을 통해 투구 장면을 획득할 수 있다. 이때, 투구 장면은 동영상일 수 있으나, 투구 장면이 이에 한정되는 것은 아니다. According to an embodiment, the processor 110 may obtain a pitching scene through the input/output interface module 120 . In this case, the pitching scene may be a video, but the pitching scene is not limited thereto.

일실시예에 따라, 프로세서(110)는 투구 장면에 포함된 프레임 각각을 인식할 수 있다.According to one embodiment, the processor 110 may recognize each frame included in the pitching scene.

일실시예에 따라, 프로세서(110)는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 사람을 검출할 수 있다. 이때, 딥 뉴럴 네트워크는 학습이 완료된 딥 뉴럴 네트워크 일 수 있다. According to an embodiment, the processor 110 may detect a person in each frame included in the pitching scene using a deep neural network. In this case, the deep neural network may be a deep neural network for which learning has been completed.

일실시예에 따라, 프로세서(110)는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 사람을 검출하기 위한 복수개의 사람 검출 영역(예컨대, 바운딩 박스)을 결정할 수 있다. 이때, 사람 검출 영역의 형태는 사각형일 수 있으나, 사람 검출 영역의 형태가 이에 한정되는 것은 아니다. 이때, 딥 뉴럴 네트워크는 학습이 완료된 딥 뉴럴 네트워크 일 수 있다. According to an embodiment, the processor 110 may determine a plurality of human detection areas (eg, bounding boxes) for detecting a person in each frame included in the pitching scene by using a deep neural network. . In this case, the shape of the person detection area may be a rectangle, but the shape of the person detection area is not limited thereto. In this case, the deep neural network may be a deep neural network for which learning has been completed.

일실시예에 따라, 프로세서(110)는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 결정한 복수개의 사람 검출 영역(예컨대, 바운딩 박스) 각각을 미리 설정된 역할(예컨대, 투수, 포수, 심판, 타자 등)에 해당하는 사람 검출 영역으로 분류할 수 있다. 이때, 딥 뉴럴 네트워크는 학습이 완료된 딥 뉴럴 네트워크 일 수 있다. According to an embodiment, the processor 110 assigns each of a plurality of human detection areas (eg, bounding boxes) determined in each of the frames included in the pitching scene to a preset role (eg, a deep neural network) using a deep neural network. pitcher, catcher, umpire, batter, etc.) In this case, the deep neural network may be a deep neural network for which learning has been completed.

일실시예에 따라, 프로세서(110)는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 결정한 복수개의 사람 검출 영역(예컨대, 바운딩 박스) 중에서 투수에 해당하는 사람 검출 영역을 결정할 수 있다. According to an embodiment, the processor 110 uses a deep neural network to detect a person corresponding to a pitcher among a plurality of person detection areas (eg, bounding boxes) determined in each frame included in a pitching scene. can determine

일실시예에 따라, 프로세서(110)는 미리 설정된 기준을 기초로 투구 장면에 포함된 프레임 각각에서 결정한 복수개의 사람 검출 영역(예컨대, 바운딩 박스) 중에서 투수에 해당하는 사람 검출 영역을 결정할 수 있다. 이때, 미리 설정된 기준은 사람 검출 영역의 크기, 사람 검출 영역의 길이, 사람 검출 영역의 비율 및 사람 검출 영역의 위치 중 적어도 어느 하나일 수 있으나, 미리 설정된 기준이 이에 한정되는 것은 아니다. According to an embodiment, the processor 110 may determine a person detection area corresponding to a pitcher from a plurality of person detection areas (eg, bounding boxes) determined in each frame included in a pitching scene based on a preset criterion. In this case, the preset criterion may be at least one of the size of the human detection region, the length of the human detection region, the ratio of the human detection region, and the position of the human detection region, but the preset criterion is not limited thereto.

일실시예에 따라, 프로세서(110)는 투구 장면에 포함된 프레임 각각에서 결정한 투수에 해당하는 사람 검출 영역을 추적할 수 있다. According to an embodiment, the processor 110 may track a person detection area corresponding to the determined pitcher in each frame included in the pitching scene.

다른 실시예에 따라, 프로세서(110)는 제1 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 사람을 검출하고, 제2 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 검출한 사람 중에서 투수를 결정할 수 있다. According to another embodiment, the processor 110 detects a person in each frame included in the pitching scene using a first deep neural network, and uses a second deep neural network to detect a person. The pitcher can be determined from among the detected persons.

또 다른 실시예에 따라, 프로세서(110)는 제1 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 사람을 검출하기 위한 사람 검출 영역(예컨대, 바운딩 박스)을 결정할 수 있고, 제2 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 결정한 사람 검출 영역 중에서 투수에 해당하는 사람 검출 영역을 결정할 수 있다.According to another embodiment, the processor 110 may determine a person detection area (eg, a bounding box) for detecting a person in each frame included in the pitching scene by using the first deep neural network. In addition, a person detection area corresponding to the pitcher may be determined from among the person detection areas determined using the second deep neural network.

일실시예에 따라, 프로세서(110)는 투구 장면에 포함된 프레임 각각에서 결정한 투수에 해당하는 사람 검출 영역을 추적할 수 있다. According to an embodiment, the processor 110 may track a person detection area corresponding to the determined pitcher in each frame included in the pitching scene.

일실시예에 따라, 프로세서(110)는 결정한 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 계산할 수 있다.According to an embodiment, the processor 110 may calculate an average size of an optical flow in a person detection area corresponding to the determined pitcher.

일실시예에 따라, 프로세서(110)는 결정한 투수에 해당하는 사람 검출 영역에 포함된 픽셀들 각각에 대한 움직임 벡터를 획득할 수 있다.According to an embodiment, the processor 110 may obtain a motion vector for each of the pixels included in the person detection area corresponding to the determined pitcher.

일실시예에 따라, 프로세서(110)는 결정한 투수에 해당하는 사람 검출 영역을 미리 설정된 수의 픽셀이 포함된 복수개의 블록(block)으로 분할할 수 있다. According to an embodiment, the processor 110 may divide a person detection area corresponding to the determined pitcher into a plurality of blocks including a preset number of pixels.

일실시예에 따라, 프로세서(110)는 분할한 블록(block)들 각각에 대한 움직임 벡터를 획득할 수 있다.According to an embodiment, the processor 110 may obtain a motion vector for each of the divided blocks.

일실시예에 따라, 프로세서(110)는 미리 설정된 수의 블록을 결합하여 새로운 블록(예컨대, 4X4 블록 등)을 생성할 수 있다.According to an embodiment, the processor 110 may generate a new block (eg, a 4X4 block, etc.) by combining a preset number of blocks.

일실시예에 따라, 프로세서(110)는 결정한 투수에 해당하는 사람 검출 영역에 포함된 새로운 블록(예컨대, 4X4 블록 등)들 각각에 대한 움직임 벡터를 획득할 수 있다.According to an embodiment, the processor 110 may obtain motion vectors for each of the new blocks (eg, 4X4 blocks, etc.) included in the person detection area corresponding to the determined pitcher.

일실시예에 따라, 프로세서(110)는 획득한 움직임 벡터를 기초로 크기와 방향이 포함된 광학 흐름(optical flow)을 추출할 수 있다.According to an embodiment, the processor 110 may extract an optical flow including magnitude and direction based on the obtained motion vector.

일실시예에 따라, 프로세서(110)는 획득한 움직임 벡터를 기초로 크기만 포함된 광학 흐름(optical flow)을 추출할 수 있다.According to an embodiment, the processor 110 may extract an optical flow including only the magnitude based on the obtained motion vector.

일실시예에 따라, 프로세서(110)는 획득한 움직임 벡터를 기초로 추출한 크기와 방향이 포함된 광학 흐름(optical flow)에서 결정한 투수에 해당하는 사람 검출 영역의 광학 흐름(optical flow)의 크기를 결정할 수 있다.According to an embodiment, the processor 110 determines the size of the optical flow of the human detection area corresponding to the pitcher determined from the optical flow including the size and direction extracted based on the obtained motion vector. can decide

일실시예에 따라, 프로세서(110)는 획득한 움직임 벡터를 기초로 추출한 크기만 포함된 광학 흐름(optical flow)에서 결정한 투수에 해당하는 사람 검출 영역의 광학 흐름(optical flow)의 크기를 결정할 수 있다.According to an embodiment, the processor 110 may determine the size of the optical flow of the human detection area corresponding to the determined pitcher from the optical flow including only the extracted size based on the obtained motion vector. have.

일실시예에 따라, 프로세서(110)는 결정한 투수에 해당하는 사람 검출 영역의 광학 흐름(optical flow)의 크기를 기초로 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 계산할 수 있다.According to an embodiment, the processor 110 calculates an average size of the optical flow in the person detection area corresponding to the pitcher based on the size of the optical flow in the person detection area corresponding to the determined pitcher. can be calculated

일실시예에 따라, 프로세서(110)는 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 기초로 투구 장면에 포함된 프레임 각각을 움직임이 없는 프레임, 중간 프레임 및 투구 동작 후보 프레임 중 적어도 어느 하나의 프레임으로 분류할 수 있다. According to an embodiment, the processor 110 selects frames included in the pitching scene based on the average size of the optical flow in the person detection region corresponding to the pitcher: a motionless frame, an intermediate frame, and a pitching motion. At least one of the candidate frames may be classified.

일실시예에 따라, 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기가 미리 설정된 기준 크기(예컨대, 1)보다 작은 경우, 프로세서(110)는 투수에 해당하는 사람 검출 영역이 포함된 프레임을 움직임이 없는 프레임으로 분류할 수 있다.According to an embodiment, when the average size of the optical flow in the person detection area corresponding to the pitcher is smaller than a preset reference size (eg, 1), the processor 110 operates the person detection area corresponding to the pitcher. A frame including this may be classified as a motionless frame.

일실시예에 따라, 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기가 미리 설정된 기준 크기(예컨대, 1)보다 크고, 미리 설정된 제1 크기(예컨대, 2)보다 작은 경우, 프로세서(110)는 투수에 해당하는 사람 검출 영역이 포함된 프레임을 중간 프레임으로 분류할 수 있다.According to one embodiment, when the average size of the optical flow in the human detection area corresponding to the pitcher is larger than a preset reference size (eg, 1) and smaller than a preset first size (eg, 2) , The processor 110 may classify a frame including a person detection area corresponding to a pitcher as an intermediate frame.

일실시예에 따라, 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기가 미리 설정된 제1 크기(예컨대, 2)보다 큰 경우, 프로세서(110)는 투수에 해당하는 사람 검출 영역이 포함된 프레임을 투구 동작 후보 프레임으로 분류할 수 있다.According to an embodiment, when the average size of the optical flow in the detection region corresponding to the pitcher is greater than the first preset size (eg, 2), the processor 110 detects the person corresponding to the pitcher. A frame including the region may be classified as a pitching action candidate frame.

일실시예에 따라, 프로세서(110)는 투구 동작 후보 프레임 중에서 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기가 미리 설정된 제1 크기(예컨대, 2) 이상으로 미리 설정된 시간 동안 지속되는 프레임 구간을 결정할 수 있다.According to an exemplary embodiment, the processor 110 may set an average size of optical flow in a person detection area corresponding to a pitcher among pitching motion candidate frames to a preset first size (eg, 2) or more for a preset time. It is possible to determine a frame interval lasting for

일실시예에 따라, 프로세서(110)는 결정한 프레임 구간에 미리 설정된 제2 크기(예컨대, 10) 이상의 광학 흐름(optical flow)의 평균 크기가 포함되어 있는지를 확인할 수 있다. According to an embodiment, the processor 110 may check whether an average size of an optical flow equal to or greater than a preset second size (eg, 10) is included in the determined frame period.

일실시예에 따라, 프로세서(110)는 결정한 프레임 구간이 시작되는 프레임의 이전 프레임 중에서 가장 가까운 움직임이 없는 프레임으로 분류한 프레임을 투구 시점 프레임으로 선택할 수 있다. According to an embodiment, the processor 110 may select a frame classified as a frame with no movement closest to the previous frame of the frame from which the determined frame section starts, as the pitching time frame.

일실시예에 따라, 프로세서(110)는 선택한 투구 시점 프레임을 기초로 투구 장면에서 투구 시점을 결정할 수 있다. According to an embodiment, the processor 110 may determine a pitching viewpoint in a pitching scene based on the selected throwing viewpoint frame.

일실시예에 따라, 입출력 인터페이스 모듈(120)은 네트워크를 통하여 적어도 하나의 외부 장치(예컨대, 서버 등)와 통신적으로 연결될 수 있다.According to one embodiment, the input/output interface module 120 may be communicatively connected to at least one external device (eg, a server) through a network.

일실시예에 따라, 입출력 인터페이스 모듈(120)은 네트워크를 통하여 적어도 하나의 외부 장치(예컨대, 서버 등)로 데이터를 전송할 수 있다. According to one embodiment, the input/output interface module 120 may transmit data to at least one external device (eg, a server) through a network.

일실시예에 따라, 입출력 인터페이스 모듈(120)은 네트워크를 통하여 적어도 하나의 외부 장치(예컨대, 서버 등)가 전송한 데이터를 수신할 수 있다.According to an embodiment, the input/output interface module 120 may receive data transmitted by at least one external device (eg, a server) through a network.

일실시예에 따라, 입출력 인터페이스 모듈(120)은 사용자의 입력을 획득할 수 있다.According to one embodiment, the input/output interface module 120 may obtain a user's input.

일실시예에 따라, 입출력 인터페이스 모듈(120)은 동영상을 디스플레이 할 수 있다.According to one embodiment, the input/output interface module 120 may display a video.

일실시예에 따라, 입출력 인터페이스 모듈(120)은 프레임 각각을 디스플레이 할 수 있다.According to one embodiment, the input/output interface module 120 may display each frame.

일실시예에 따라, 입출력 인터페이스 모듈(120)은 프로세서(110)가 추출한 광학 흐름을 디스플레이 할 수 있다.According to one embodiment, the input/output interface module 120 may display the optical flow extracted by the processor 110 .

일실시예에 따라, 입출력 인터페이스 모듈(120)은 프로세서(110)가 계산한 투수에 해당하는 사람 검출 영역에서의 광학 흐름의 평균 크기를 디스플레이 할 수 있다.According to an embodiment, the input/output interface module 120 may display the average size of the optical flow in the human detection area corresponding to the pitcher calculated by the processor 110 .

일실시예에 따라, 입출력 인터페이스 모듈(120)은 투구 시점 검출 장치(100)와 일체형으로 제공될 수 있다.According to one embodiment, the input/output interface module 120 may be integrally provided with the pitching timing detection device 100 .

일실시예에 따라, 입출력 인터페이스 모듈(120)은 투구 시점 검출 장치(100)에서 분리되어 제공될 수 있다. According to one embodiment, the input/output interface module 120 may be provided separately from the pitching timing detection device 100 .

일실시예에 따라, 입출력 인터페이스 모듈(120)은 투구 시점 검출 장치(100)와 통신적으로 연결된 별도의 장치일 수 있다. According to one embodiment, the input/output interface module 120 may be a separate device communicatively connected to the pitch timing detection device 100 .

일실시예에 따라, 입출력 인터페이스 모듈(120)은 외부 장치와 연결되기 위한 포트(예컨대, USB 포트)를 포함할 수 있다.According to one embodiment, the input/output interface module 120 may include a port (eg, USB port) for connection with an external device.

일실시예에 따라, 입출력 인터페이스 모듈(120)은 모니터, 터치스크린, 마우스, 전자펜, 마이크로폰, 키보드, 스피커, 이어폰, 헤드폰 또는 터치패드를 포함할 수 있다.According to one embodiment, the input/output interface module 120 may include a monitor, touch screen, mouse, electronic pen, microphone, keyboard, speaker, earphone, headphone, or touch pad.

일실시예에 따라, 메모리(130)는 입출력 인터페이스 모듈(120)이 수신한 데이터를 저장할 수 있다.According to one embodiment, the memory 130 may store data received by the input/output interface module 120 .

일실시예에 따라, 메모리(130)는 입출력 인터페이스 모듈(120)이 전송한 데이터를 저장할 수 있다.According to one embodiment, the memory 130 may store data transmitted by the input/output interface module 120 .

일실시예에 따라, 메모리(130)는 입출력 인터페이스 모듈(120)이 획득한 사용자의 입력을 저장할 수 있다.According to one embodiment, the memory 130 may store a user's input acquired by the input/output interface module 120 .

여기서 사용된 '모듈'이라는 용어는 논리적인 구성 단위를 나타내는 것으로서, 반드시 물리적으로 구분되는 구성 요소가 아니라는 점은 본 발명이 속하는 기술분야의 당업자에게 자명한 사항이다.The term 'module' used herein denotes a logical unit, and it is obvious to those skilled in the art that the term 'module' is not necessarily a physically separated component.

도 2는 일실시예에 따라 투구 시점 검출 장치가 투구 장면에서 투수에 해당하는 사람 검출 영역을 획득하는 모습을 나타내는 도면이다.FIG. 2 is a diagram illustrating how a pitching time detection apparatus acquires a person detection area corresponding to a pitcher in a pitching scene according to an exemplary embodiment.

도 2를 참조하면, 도 2 (a)는 투구 장면에 포함된 프레임에서 사람을 검출하여 사람 검출 영역을 결정하는 모습을 나타내는 도면이고, 도 2 (b)는 결정한 사람 검출 영역에서 투수에 해당하는 사람 검출 영역을 결정하는 모습을 나타내는 도면이다.Referring to FIG. 2, FIG. 2 (a) is a diagram illustrating a state in which a person detection area is determined by detecting a person in a frame included in a pitching scene, and FIG. It is a diagram showing how to determine the human detection area.

도 2 (a)를 참조하면, 일실시예에 따라, 투구 시점 검출 장치는 투구 장면을 획득할 수 있다. 이때, 투구 장면은 동영상일 수 있으나, 투구 장면이 이에 한정되는 것은 아니다.Referring to FIG. 2 (a) , according to an exemplary embodiment, the pitching time detection device may obtain a pitching scene. In this case, the pitching scene may be a video, but the pitching scene is not limited thereto.

일실시예에 따라, 투구 시점 검출 장치는 투구 장면에 포함된 프레임 각각을 인식할 수 있다.According to an embodiment, the pitching time detecting apparatus may recognize each frame included in the pitching scene.

일실시예에 따라, 투구 시점 검출 장치는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임(200)에서 사람을 검출할 수 있다.According to an embodiment, the throwing time detection apparatus may detect a person in the frame 200 included in the throwing scene using a deep neural network.

일실시예에 따라, 투구 시점 검출 장치는 투구 장면에 포함된 프레임(200)에서 사람을 검출하기 위한 복수개의 사람 검출 영역(201, 202, 203, 204)을 결정할 수 있다. 이때, 사람 검출 영역의 형태는 사각형일 수 있으나, 사람 검출 영역의 형태가 이에 한정되는 것은 아니다.According to an embodiment, the throwing time detection apparatus may determine a plurality of human detection areas 201 , 202 , 203 , and 204 for detecting a person in the frame 200 included in the throwing scene. In this case, the shape of the person detection area may be a rectangle, but the shape of the person detection area is not limited thereto.

도 2 (b)를 참조하면, 일실시예에 따라, 투구 시점 검출 장치는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임(210)에서 결정한 복수개의 사람 검출 영역(211, 212, 213, 214)을 투수에 해당하는 사람 검출 영역(211), 포수에 해당하는 사람 검출 영역(212), 심판에 해당하는 사람 검출 영역(213) 또는 타자에 해당하는 사람 검출 영역(214)으로 분류할 수 있다.Referring to FIG. 2 (b), according to an embodiment, the throwing time detection apparatus uses a deep neural network to detect a plurality of people detection areas 211 determined in a frame 210 included in a throwing scene. 212, 213, 214) as a person detection area 211 corresponding to a pitcher, a person detection area 212 corresponding to a catcher, a person detection area 213 corresponding to an referee, or a person detection area 214 corresponding to a batter. can be classified as

일실시예에 따라, 투구 시점 검출 장치는 미리 설정된 기준을 기초로 투구 장면에 포함된 프레임(210)에서 결정한 복수개의 사람 검출 영역(211, 212, 213, 214) 중에서 투수에 해당하는 사람 검출 영역(211)을 결정할 수 있다. 이때, 미리 설정된 기준은 사람 검출 영역의 크기, 사람 검출 영역의 길이, 사람 검출 영역의 비율 및 사람 검출 영역의 위치 중 적어도 어느 하나일 수 있으나, 미리 설정된 기준이 이에 한정되는 것은 아니다.According to an embodiment, the throwing time detection apparatus includes a person detection area corresponding to a pitcher among a plurality of person detection areas 211, 212, 213, and 214 determined in the frame 210 included in a pitching scene based on a preset criterion. (211) can be determined. In this case, the preset criterion may be at least one of the size of the human detection region, the length of the human detection region, the ratio of the human detection region, and the position of the human detection region, but the preset criterion is not limited thereto.

일실시예에 따라, 투구 시점 검출 장치는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임(210)에서 결정한 복수개의 사람 검출 영역(211, 212, 213, 214) 중에서 투수에 해당하는 사람 검출 영역(211)을 결정할 수 있다.According to an embodiment, the pitching time detection apparatus detects a pitcher among a plurality of human detection areas 211, 212, 213, and 214 determined in a frame 210 included in a pitching scene by using a deep neural network. A corresponding person detection area 211 may be determined.

일실시예에 따라, 투구 시점 검출 장치는 결정한 투구 장면에 포함된 프레임(210)에서 결정한 투수에 해당하는 사람 검출 영역(211)을 추적할 수 있다.According to an embodiment, the pitching time detecting apparatus may track the person detection area 211 corresponding to the determined pitcher in the frame 210 included in the determined pitching scene.

도 3은 일실시예에 따라 투구 시점 검출 장치가 투구 장면에 포함된 프레임에서 획득한 광학 흐름(optical flow)을 디스플레이 하는 모습을 나타내는 도면이다. FIG. 3 is a view showing how an apparatus for detecting a pitching viewpoint displays an optical flow obtained from a frame included in a pitching scene according to an exemplary embodiment.

도 3을 참조하면, 도 3 (a)는 크기와 방향이 포함된 광학 흐름(optical flow)을 디스플레이 하는 모습을 나타내는 도면이고, 도 3 (b)는 크기만 포함된 광학 흐름(optical flow) 및 투수에 해당하는 사람 검출 영역의 광학 흐름(optical flow)의 평균 크기를 디스플레이 하는 모습을 나타내는 도면이다.Referring to FIG. 3, FIG. 3 (a) is a diagram illustrating the display of optical flow including size and direction, and FIG. 3 (b) shows optical flow including only size and It is a diagram showing how to display the average size of the optical flow in the human detection area corresponding to the pitcher.

도 3 (a)를 참조하면, 투구 시점 검출 장치는 투구 장면을 획득할 수 있다. 이때, 투구 장면은 동영상일 수 있으나, 투구 장면이 이에 한정되는 것은 아니다.Referring to FIG. 3 (a) , the pitching time detection device may obtain a pitching scene. In this case, the pitching scene may be a video, but the pitching scene is not limited thereto.

일실시예에 따라, 투구 시점 검출 장치는 투구 장면에 포함된 프레임(300)을 인식할 수 있다.According to an embodiment, the pitching time detecting apparatus may recognize the frame 300 included in the pitching scene.

일실시예에 따라, 투구 시점 검출 장치는 투구 장면에 포함된 프레임(300)에서 투수에 해당하는 사람 검출 영역을 결정할 수 있다.According to an embodiment, the pitching time detection apparatus may determine a person detection area corresponding to the pitcher in the frame 300 included in the pitching scene.

일실시예에 따라, 투구 시점 검출 장치는 투구 장면에 포함된 프레임에서 크기와 방향이 포함된 광학 흐름(optical flow)을 추출할 수 있다. According to an embodiment, the throwing time detection apparatus may extract an optical flow including a size and a direction from a frame included in a throwing scene.

일실시예에 따라, 투구 시점 검출 장치는 추출한 크기와 방향이 포함된 광학 흐름(optical flow)을 디스플레이(310) 할 수 있다.According to an embodiment, the throwing point detection apparatus may display 310 an optical flow including the extracted size and direction.

일실시예에 따라, 투구 시점 검출 장치는 디스플레이(310)한 크기와 방향이 포함된 광학 흐름(optical flow)에 투구 장면에 포함된 프레임에서 결정한 투수에 해당하는 사람 검출 영역(311)을 표시할 수 있다.According to an embodiment, the pitching time detecting apparatus may display a person detection area 311 corresponding to a pitcher determined in a frame included in a pitching scene in an optical flow including a size and a direction of the display 310. can

도 3 (b)를 참조하면, 투구 시점 검출 장치는 투구 장면을 획득할 수 있다. 이때, 투구 장면은 동영상일 수 있으나, 투구 장면이 이에 한정되는 것은 아니다.Referring to FIG. 3 (b) , the pitching time detection device may obtain a pitching scene. In this case, the pitching scene may be a video, but the pitching scene is not limited thereto.

일실시예에 따라, 투구 시점 검출 장치는 투구 장면에 포함된 프레임(320)을 인식할 수 있다.According to an embodiment, the pitching time detecting apparatus may recognize the frame 320 included in the pitching scene.

일실시예에 따라, 투구 시점 검출 장치는 투구 장면에 포함된 프레임(320)에서 투수에 해당하는 사람 검출 영역(321)을 결정할 수 있다.According to an embodiment, the pitching time detecting apparatus may determine a person detection area 321 corresponding to a pitcher in the frame 320 included in the pitching scene.

일실시예에 따라, 투구 시점 검출 장치는 투구 장면에 포함된 프레임에서 크기와 방향이 포함된 광학 흐름(optical flow)을 추출할 수 있다. According to an embodiment, the throwing time detection apparatus may extract an optical flow including a size and a direction from a frame included in a throwing scene.

일실시예에 따라, 투구 시점 검출 장치는 추출한 크기와 방향이 포함된 광학 흐름(optical flow) 중에서 크기만 포함된 광학 흐름(optical flow)을 디스플레이(330) 할 수 있다.According to an embodiment, the throwing point detection apparatus may display 330 an optical flow including only the size among the extracted optical flows including the size and direction.

일실시예에 따라, 투구 시점 검출 장치는 디스플레이(330)한 크기만 포함된 광학 흐름(optical flow)에 투구 장면에 포함된 프레임에서 결정한 투수에 해당하는 사람 검출 영역(331)을 표시할 수 있다.According to an embodiment, the pitching timing detection apparatus may display the person detection area 331 corresponding to the pitcher determined in the frame included in the pitching scene in an optical flow including only the size of the display 330. .

일실시예에 따라, 투구 시점 검출 장치는 표시한 투수에 해당하는 사람 검출 영역(311)에 해당하는 광학 흐름(optical flow)의 크기를 획득할 수 있다.According to an embodiment, the pitching time detecting apparatus may acquire the size of an optical flow corresponding to the person detection area 311 corresponding to the displayed pitcher.

일실시예에 따라, 투구 시점 검출 장치는 획득한 광학 흐름(optical flow)의 크기의 평균을 계산할 수 있다.According to an embodiment, the pitch timing detection device may calculate an average of the acquired optical flow magnitudes.

일실시예에 따라, 투구 시점 검출 장치는 계산한 투수에 해당하는 사람 검출 영역(311)에 해당하는 광학 흐름(optical flow)의 크기의 평균을 표시(332)할 수 있다.According to an embodiment, the throwing time detecting apparatus may display (332) an average of magnitudes of optical flows corresponding to the person detection area 311 corresponding to the calculated pitcher.

도 4는 일실시예에 따라 투구 시점 검출 장치가 광학 흐름(optical flow)의 평균 크기를 기초로 투구 시점을 결정하는 모습을 나타내는 도면이다.FIG. 4 is a diagram illustrating a state in which a throwing time point detection apparatus determines a throwing time point based on an average size of an optical flow according to an exemplary embodiment.

도 4를 참조하면, 일실시예에 따라, 투구 시점 검출 장치는 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기(400)를 획득할 수 있다. Referring to FIG. 4 , according to an exemplary embodiment, the pitch timing detection apparatus may obtain an average size 400 of optical flow in a person detection area corresponding to a pitcher.

일실시예에 따라, 투구 시점 검출 장치는 획득한 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기(400)를 기초로 투구 장면에 포함된 프레임 각각을 움직임이 없는 프레임, 중간 프레임 또는 투구 동작 후보 프레임으로 분류할 수 있다. According to an embodiment, the pitching time detection apparatus selects each of the frames included in the pitching scene based on the obtained average size 400 of the optical flow in the human detection area corresponding to the pitcher as a motionless frame; It can be classified as an intermediate frame or a pitching motion candidate frame.

일실시예에 따라, 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기(400)가 기준 크기(410)보다 작은 경우, 투구 시점 검출 장치는 투수에 해당하는 사람 검출 영역이 포함된 프레임을 움직임이 없는 프레임(411)으로 분류할 수 있다.According to an embodiment, when the average size 400 of the optical flow in the person detection area corresponding to the pitcher is smaller than the reference size 410, the pitching time detection device detects the person detection area corresponding to the pitcher. Included frames may be classified as motionless frames 411 .

일실시예에 따라, 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기(400)가 기준 크기(410)보다 크고, 미리 설정된 제1 크기(420)보다 작은 경우, 투구 시점 검출 장치는 투수에 해당하는 사람 검출 영역이 포함된 프레임을 중간 프레임(421)으로 분류할 수 있다.According to an embodiment, when the average size 400 of the optical flow in the human detection area corresponding to the pitcher is greater than the reference size 410 and smaller than the preset first size 420, the pitching time point The detection device may classify a frame including a person detection area corresponding to a pitcher as an intermediate frame 421 .

일실시예에 따라, 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기(400)가 미리 설정된 제1 크기(420)보다 큰 경우, 투구 시점 검출 장치는 투수에 해당하는 사람 검출 영역이 포함된 프레임을 투구 동작 후보 프레임(422)으로 분류할 수 있다.According to an embodiment, when the average size 400 of the optical flow in the detecting area of the person corresponding to the pitcher is greater than the preset first size 420, the pitching time detection device is configured to detect the person corresponding to the pitcher. A frame including the detection region may be classified as a pitching motion candidate frame 422 .

일실시예에 따라, 투구 시점 검출 장치는 투구 동작 후보 프레임(422)중에서 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기가 미리 설정된 제1 크기(420) 이상으로 미리 설정된 시간 동안 지속되는 프레임 구간(440)을 결정할 수 있다.According to an embodiment, in the pitching time detection apparatus, an average size of an optical flow in a person detection area corresponding to a pitcher in a pitching motion candidate frame 422 is preset to be greater than or equal to a preset first size 420. A frame period 440 lasting for time may be determined.

일실시예에 따라, 투구 시점 검출 장치는 결정한 프레임 구간에 미리 설정된 제2 크기(430) 이상의 광학 흐름(optical flow)의 평균 크기가 포함(431)되어 있는지를 확인할 수 있다.According to an embodiment, the throwing time detection apparatus may check whether the determined frame section includes an average optical flow size 431 equal to or greater than the preset second size 430 .

일실시예에 따라, 투구 시점 검출 장치는 결정한 프레임 구간(440)이 시작되는 프레임에서 가장 가까운 움직임이 없는 프레임으로 분류한 프레임(450)을 투구 시점 프레임으로 선택할 수 있다.According to an embodiment, the throwing time detecting apparatus may select a frame 450 classified as a motionless frame closest to a frame where the determined frame period 440 starts as a throwing time frame.

일실시예에 따라, 투구 시점 검출 장치는 선택한 투구 시점 프레임을 기초로 투구 장면에서 투구 시점을 결정할 수 있다.According to an embodiment, the throwing time detection apparatus may determine a pitching time point in a pitching scene based on the selected throwing time frame.

도 5는 일실시예에 따른 투구 시점 검출 방법을 나타내는 플로우 차트이다.5 is a flow chart illustrating a method for detecting a throwing time according to an embodiment.

도 5를 참조하면, 투구 시점 검출 장치가 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 투수에 해당하는 사람 검출 영역을 결정한다(510).Referring to FIG. 5 , the pitching time detection apparatus determines a person detection area corresponding to a pitcher in each frame included in a pitching scene by using a deep neural network (510).

이때, 투구 시점 검출 장치는 투구 장면을 획득할 수 있다. 이때, 투구 장면은 동영상일 수 있으나, 투구 장면이 이에 한정되는 것은 아니다.In this case, the pitching time detecting device may obtain a pitching scene. In this case, the pitching scene may be a video, but the pitching scene is not limited thereto.

또한, 투구 시점 검출 장치는 투구 장면에 포함된 프레임 각각을 인식할 수 있다.Also, the pitching time detecting apparatus may recognize each frame included in the pitching scene.

또한, 투구 시점 검출 장치는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 사람을 검출하기 위한 사람 검출 영역(예컨대, 바운딩 박스)을 결정할 수 있다. 이때, 사람 검출 영역의 형태는 사각형일 수 있으나, 사람 검출 영역의 형태가 이에 한정되는 것은 아니다.Also, the throwing time detection apparatus may determine a person detection area (eg, a bounding box) for detecting a person in each frame included in a throwing scene by using a deep neural network. In this case, the shape of the person detection area may be a rectangle, but the shape of the person detection area is not limited thereto.

또한, 투구 시점 검출 장치는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 결정한 복수의 사람 검출 영역(예컨대, 바운딩 박스) 각각을 미리 설정된 역할(예컨대, 투수, 포수, 심판, 타자 등)에 해당하는 사람 검출 영역으로 분류할 수 있다.In addition, the throwing time detection apparatus assigns each of a plurality of human detection areas (eg, bounding boxes) determined in each frame included in a pitching scene using a deep neural network to a preset role (eg, pitcher, catcher, Referee, batter, etc.) can be classified into human detection areas.

또한, 투구 시점 검출 장치는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 결정한 복수의 사람 검출 영역(예컨대, 바운딩 박스) 중에서 투수에 해당하는 사람 검출 영역을 결정할 수 있다.In addition, the pitching time detection apparatus may determine a person detection area corresponding to a pitcher from a plurality of person detection areas (eg, bounding boxes) determined in each frame included in a pitching scene by using a deep neural network. .

또한, 투구 시점 검출 장치는 미리 설정된 기준을 기초로 투구 장면에 포함된 프레임 각각에서 결정한 복수의 사람 검출 영역(예컨대, 바운딩 박스) 중에서 투수에 해당하는 사람 검출 영역을 결정할 수 있다. 이때, 미리 설정된 기준은 사람 검출 영역의 크기, 사람 검출 영역의 길이, 사람 검출 영역의 비율 및 사람 검출 영역의 위치 중 적어도 어느 하나일 수 있으나, 미리 설정된 기준이 이에 한정되는 것은 아니다.Also, the pitching time detection apparatus may determine a person detection area corresponding to a pitcher from among a plurality of person detection areas (eg, bounding boxes) determined in each frame included in a pitching scene based on a preset criterion. In this case, the preset criterion may be at least one of the size of the human detection region, the length of the human detection region, the ratio of the human detection region, and the position of the human detection region, but the preset criterion is not limited thereto.

또한, 투구 시점 검출 장치는 투구 장면에 포함된 프레임 각각에서 결정한 투수에 해당하는 사람 검출 영역을 추적할 수 있다.Also, the pitching time detecting apparatus may track a person detection area corresponding to the determined pitcher in each frame included in the pitching scene.

투구 시점 검출 장치가 투구 장면에 포함된 프레임 각각에서 결정한 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 계산한다(510).The throwing time detection apparatus calculates an average size of an optical flow in a person detection area corresponding to a pitcher determined in each frame included in a pitching scene (510).

이때, 투구 시점 검출 장치는 결정한 투수에 해당하는 사람 검출 영역에 포함된 픽셀들 각각에 대한 움직임 벡터를 획득할 수 있다.In this case, the pitching time detecting apparatus may obtain a motion vector for each of the pixels included in the person detection area corresponding to the determined pitcher.

또한, 투구 시점 검출 장치는 결정한 투수에 해당하는 사람 검출 영역을 미리 설정된 수의 픽셀이 포함된 복수개의 블록(block)으로 분할할 수 있다.Also, the pitching time detecting apparatus may divide a person detection area corresponding to the determined pitcher into a plurality of blocks including a preset number of pixels.

또한, 투구 시점 검출 장치는 분할한 블록(block)들 각각에 대한 움직임 벡터를 획득할 수 있다.Also, the throwing time detection apparatus may obtain a motion vector for each of the divided blocks.

또한, 투구 시점 검출 장치는 미리 설정된 수의 블록을 결합하여 새로운 블록(예컨대, 4X4 블록 등)을 생성할 수 있다.Also, the throwing time detection apparatus may generate a new block (eg, a 4X4 block, etc.) by combining a preset number of blocks.

또한, 투구 시점 검출 장치는 결정한 투수에 해당하는 사람 검출 영역에 포함된 새로운 블록(예컨대, 4X4 블록 등)들 각각에 대한 움직임 벡터를 획득할 수 있다.Also, the pitching time detecting apparatus may obtain a motion vector for each of new blocks (eg, 4X4 blocks, etc.) included in the person detection area corresponding to the determined pitcher.

또한, 투구 시점 검출 장치는 획득한 움직임 벡터를 기초로 크기와 방향이 포함된 광학 흐름(optical flow)을 추출할 수 있다.In addition, the throwing time detection apparatus may extract an optical flow including a size and a direction based on the obtained motion vector.

또한, 투구 시점 검출 장치는 획득한 움직임 벡터를 기초로 크기만 포함된 광학 흐름(optical flow)을 추출할 수 있다.In addition, the throwing time detection apparatus may extract an optical flow including only a size based on the obtained motion vector.

또한, 투구 시점 검출 장치는 획득한 움직임 벡터를 기초로 추출한 크기와 방향이 포함된 광학 흐름(optical flow)에서 결정한 투수에 해당하는 사람 검출 영역의 광학 흐름(optical flow)의 크기를 결정할 수 있다.In addition, the pitch timing detection apparatus may determine the size of the optical flow of the person detection area corresponding to the determined pitcher from the optical flow including the size and direction extracted based on the acquired motion vector.

또한, 투구 시점 검출 장치는 획득한 움직임 벡터를 기초로 추출한 크기만 포함된 광학 흐름(optical flow)에서 결정한 투수에 해당하는 사람 검출 영역의 광학 흐름(optical flow)의 크기를 결정할 수 있다.In addition, the pitch timing detection apparatus may determine the size of the optical flow of the person detection area corresponding to the determined pitcher from the optical flow including only the extracted size based on the acquired motion vector.

또한, 투구 시점 검출 장치는 결정한 투수에 해당하는 사람 검출 영역의 광학 흐름(optical flow)의 크기를 기초로 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 계산할 수 있다.Also, the pitch timing detection apparatus may calculate an average size of the optical flow in the person detection area corresponding to the pitcher based on the determined size of the optical flow in the person detection area corresponding to the pitcher.

투구 시점 검출 장치가 계산한 광학 흐름(optical flow)의 평균 크기를 기초로 투구 장면에서 투구 시점을 결정한다(520).A throwing viewpoint is determined in the throwing scene based on the average size of the optical flow calculated by the throwing viewpoint detection device (520).

이때, 투구 시점 검출 장치는 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 기초로 투구 장면에 포함된 프레임 각각을 움직임이 없는 프레임, 중간 프레임 및 투구 동작 후보 프레임 중 적어도 어느 하나의 프레임으로 분류할 수 있다.At this time, the throwing time detection apparatus selects each of the frames included in the pitching scene based on the average size of the optical flow in the person detection area corresponding to the pitcher, at least among frames without motion, intermediate frames, and pitching motion candidate frames. It can be classified as any one frame.

또한, 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기가 미리 설정된 기준 크기(예컨대, 1)보다 작은 경우, 투구 시점 검출 장치는 투수에 해당하는 사람 검출 영역이 포함된 프레임을 움직임이 없는 프레임으로 분류할 수 있다.In addition, when the average size of the optical flow in the person detection area corresponding to the pitcher is smaller than a preset reference size (eg, 1), the pitching time detection device detects a frame including the person detection area corresponding to the pitcher. can be classified as a motionless frame.

또한, 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기가 미리 설정된 기준 크기(예컨대, 1)보다 크고, 미리 설정된 제1 크기(예컨대, 2)보다 작은 경우, 투구 시점 검출 장치는 투수에 해당하는 사람 검출 영역이 포함된 프레임을 중간 프레임으로 분류할 수 있다.In addition, when the average size of the optical flow in the human detection area corresponding to the pitcher is larger than a preset reference size (eg, 1) and smaller than a preset first size (eg, 2), pitching time detection The apparatus may classify a frame including a person detection area corresponding to a pitcher as an intermediate frame.

또한, 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기가 미리 설정된 제1 크기(예컨대, 2)보다 큰 경우, 투구 시점 검출 장치는 투수에 해당하는 사람 검출 영역이 포함된 프레임을 투구 동작 후보 프레임으로 분류할 수 있다.In addition, when the average size of the optical flow in the person detection area corresponding to the pitcher is greater than the preset first size (eg, 2), the pitching time detection device includes the person detection area corresponding to the pitcher. The frame may be classified as a pitching motion candidate frame.

또한, 투구 시점 검출 장치는 투구 동작 후보 프레임 중에서 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기가 미리 설정된 제1 크기(예컨대, 2) 이상으로 미리 설정된 시간 동안 지속되는 프레임 구간을 결정할 수 있다.In addition, the pitching time detection apparatus selects a frame lasting for a preset time in which the average size of optical flow in a person detection area corresponding to a pitcher is greater than or equal to a preset first size (eg, 2) among pitching motion candidate frames. section can be determined.

또한, 투구 시점 검출 장치는 결정한 프레임 구간에 미리 설정된 제2 크기(예컨대, 10) 이상의 광학 흐름(optical flow)의 평균 크기가 포함되어 있는지를 확인할 수 있다.In addition, the throwing time detecting apparatus may check whether the determined frame section includes an average optical flow greater than or equal to a preset second size (eg, 10).

또한, 투구 시점 검출 장치는 결정한 프레임 구간이 시작되는 프레임의 이전 프레임 중에서 가장 가까운 움직임이 없는 프레임으로 분류한 프레임을 투구 시점 프레임으로 선택할 수 있다.In addition, the throwing time detecting apparatus may select a frame classified as a frame without motion closest among frames preceding the frame from which the determined frame section starts as a throwing time frame.

또한, 투구 시점 검출 장치는 선택한 투구 시점 프레임을 기초로 투구 장면에서 투구 시점을 결정할 수 있다.Additionally, the throwing time detection apparatus may determine a pitching time point in a pitching scene based on the selected throwing time frame.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 적어도 하나로 선택적으로 결합하여 동작할 수도 있다. In the above, even though all the components constituting the embodiment of the present invention have been described as being combined or operated as one, the present invention is not necessarily limited to these embodiments. That is, within the scope of the object of the present invention, all of the components may be selectively combined with at least one and operated.

또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. In addition, although all of the components may be implemented as a single independent piece of hardware, some or all of the components are selectively combined to perform some or all of the combined functions in one or a plurality of hardware. It may be implemented as a computer program having. Codes and code segments constituting the computer program may be easily inferred by a person skilled in the art.

이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.Such a computer program may implement an embodiment of the present invention by being stored in a computer readable storage medium, read and executed by a computer. A storage medium of a computer program may include a magnetic recording medium, an optical recording medium, and the like.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. In addition, terms such as "include", "comprise" or "have" described above mean that the corresponding component may be inherent unless otherwise stated, excluding other components. It should be construed as being able to further include other components.

기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.All terms, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs, unless defined otherwise. Commonly used terms, such as terms defined in a dictionary, should be interpreted as consistent with the meaning in the context of the related art, and unless explicitly defined in the present invention, they are not interpreted in an ideal or excessively formal meaning.

본 발명에서 개시된 방법들은 상술된 방법을 달성하기 위한 하나 이상의 동작들 또는 단계들을 포함한다. 방법 동작들 및/또는 단계들은 청구항들의 범위를 벗어나지 않으면서 서로 상호 교환될 수도 있다. 다시 말해, 동작들 또는 단계들에 대한 특정 순서가 명시되지 않는 한, 특정 동작들 및/또는 단계들의 순서 및/또는 이용은 청구항들의 범위로부터 벗어남이 없이 수정될 수도 있다.The methods disclosed herein include one or more actions or steps for achieving the methods described above. The method actions and/or steps may be interchanged with one another without departing from the scope of the claims. In other words, unless a specific order of actions or steps is specified, the order and/or use of specific actions and/or steps may be modified without departing from the scope of the claims.

본 발명에서 이용되는 바와 같이, 아이템들의 리스트 중 "그 중 적어도 하나" 를 지칭하는 구절은 단일 멤버들을 포함하여, 이들 아이템들의 임의의 조합을 지칭한다. 일 예로서, "a, b, 또는 c: 중의 적어도 하나" 는 a, b, c, a-b, a-c, b-c, 및 a-b-c 뿐만 아니라 동일한 엘리먼트의 다수의 것들과의 임의의 조합 (예를 들어, a-a, a-a-a, a-a-b, a-a-c, a-b-b, a-c-c, b-b, b-b-b, b-b-c, c-c, 및 c-c-c 또는 a, b, 및 c 의 다른 임의의 순서 화한 것) 을 포함하도록 의도된다.As used herein, a phrase referring to “at least one of” a list of items refers to any combination of those items, including single members. As an example, "at least one of a, b, or c" means a, b, c, a-b, a-c, b-c, and a-b-c, as well as any combination with multiples of the same element (e.g., a-a , a-a-a, a-a-b, a-a-c, a-b-b, a-c-c, b-b, b-b-b, b-b-c, c-c, and c-c-c or any other ordering of a, b, and c).

본 발명에서 이용되는 바와 같이, 용어 "결정하는"는 매우 다양한 동작들을 망라한다. 예를 들어, "결정하는"는 계산하는, 컴퓨팅, 프로세싱, 도출하는, 조사하는, 룩업하는 (예를 들어, 테이블, 데이터베이스, 또는 다른 데이터 구조에서 룩업하는), 확인하는 등을 포함할 수도 있다. 또한, "결정하는"은 수신하는 (예를 들면, 정보를 수신하는), 액세스하는 (메모리의 데이터에 액세스하는) 등을 포함할 수 있다. 또한, "결정하는"은 해결하는, 선택하는, 고르는, 확립하는 등을 포함할 수 있다.As used herein, the term "determining" encompasses a wide variety of operations. For example, “determining” may include calculating, computing, processing, deriving, examining, looking up (eg, looking up in a table, database, or other data structure), ascertaining, and the like. . Also, “determining” may include receiving (eg, receiving information), accessing (accessing data in memory), and the like. Also, “determining” can include resolving, selecting, selecting, establishing, and the like.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. The above description is merely an example of the technical idea of the present invention, and various modifications and variations can be made to those skilled in the art without departing from the essential characteristics of the present invention.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed according to the claims below, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.

100... 투구 시점 검출 장치100... Throwing point detection device

Claims (13)

투구 시점 검출 장치에 있어서,
적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는,
딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 투수에 해당하는 사람 검출 영역을 결정하고,
상기 투구 장면에 포함된 프레임 각각에서 상기 결정한 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 계산하고,
상기 계산한 광학 흐름(optical flow)의 평균 크기를 기초로 상기 투구 장면에서 투구 시점을 결정하는 투구 시점 검출 장치.In the throwing time detection device,
includes at least one processor;
The at least one processor,
Determining a human detection area corresponding to a pitcher in each frame included in a pitching scene using a deep neural network,
Calculate an average size of optical flow in a person detection area corresponding to the determined pitcher in each frame included in the pitching scene;
A pitching point detection device for determining a pitching point of view in the throwing scene based on the calculated average size of the optical flow. 제1항에 있어서,
상기 적어도 하나의 프로세서는,
상기 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 투구 장면에 포함된 프레임 각각에서 복수개의 사람 검출 영역을 결정하고,
상기 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 결정한 복수개의 사람 검출 영역에서 투수에 해당하는 사람 검출 영역을 결정하는 투구 시점 검출 장치.According to claim 1,
The at least one processor,
Determining a plurality of human detection areas in each frame included in the pitching scene using the deep neural network;
A pitching time detection device for determining a person detection area corresponding to a pitcher in the determined plurality of person detection areas by using the deep neural network. 제1항에 있어서,
상기 적어도 하나의 프로세서는,
상기 투구 장면에 포함된 프레임 각각에서 광학 흐름(optical flow)을 추출하는 투구 시점 검출 장치.According to claim 1,
The at least one processor,
A pitching time detection device for extracting an optical flow from each frame included in the pitching scene. 제1항에 있어서,
상기 적어도 하나의 프로세서는,
상기 광학 흐름(optical flow)의 평균 크기를 기초로 상기 투구 장면에 포함된 프레임 각각을 움직임이 없는 프레임, 중간 프레임 및 투구 동작 후보 프레임 중 적어도 어느 하나의 프레임으로 분류하고,
상기 분류한 프레임을 기초로 투구 동작이 포함된 프레임 구간을 결정하고,
상기 결정한 프레임 구간을 기초로 투구 시점을 결정하는 투구 시점 검출 장치.According to claim 1,
The at least one processor,
Classifying each frame included in the throwing scene into at least one of a motionless frame, an intermediate frame, and a pitching action candidate frame based on the average size of the optical flow;
Determining a frame section including a pitching motion based on the classified frames;
A pitching time detection device for determining a pitching time based on the determined frame section. 제4항에 있어서,
상기 적어도 하나의 프로세서는,
상기 투구 동작 후보 프레임 중에서 상기 광학 흐름(optical flow)의 평균 크기가 미리 설정된 제1 크기 이상으로 미리 설정된 시간 동안 지속되는 프레임 구간을 결정하고,
상기 결정한 프레임 구간에 미리 설정된 제2 크기 이상의 광학 흐름(optical flow)의 평균 크기가 포함되어 있는지를 확인하는 투구 시점 검출 장치.According to claim 4,
The at least one processor,
Determining a frame section in which the average size of the optical flow is equal to or greater than a preset first size and lasts for a preset time among the throwing action candidate frames;
The pitching timing detection device for determining whether the determined frame section includes an average size of an optical flow equal to or greater than a preset second size. 제5항에 있어서,
상기 적어도 하나의 프로세서는,
상기 결정한 프레임 구간이 시작되는 프레임에서 가장 가까운 움직임이 없는 프레임으로 분류한 프레임을 투구 시점 프레임으로 선택하는 투구 시점 검출 장치.According to claim 5,
The at least one processor,
and selecting a frame classified as a motionless frame closest to a frame in which the determined frame section starts as a throwing time frame. 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 투수에 해당하는 사람 검출 영역을 결정하는 동작;
상기 투구 장면에 포함된 프레임 각각에서 상기 결정한 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 계산하는 동작; 및
상기 계산한 광학 흐름(optical flow)의 평균 크기를 기초로 상기 투구 장면에서 투구 시점을 결정하는 동작
을 포함하는 투구 시점 검출 방법.determining a person detection region corresponding to a pitcher in each frame included in a pitching scene by using a deep neural network;
calculating an average size of an optical flow in a person detection area corresponding to the determined pitcher in each frame included in the pitching scene; and
Determining a pitching time point in the pitching scene based on the calculated average size of the optical flow
Throwing time detection method comprising a. 제7항에 있어서,
상기 투구 장면에 포함된 프레임 각각에서 투수에 해당하는 사람 검출 영역을 결정하는 동작은,
상기 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 투구 장면에 포함된 프레임 각각에서 복수개의 사람 검출 영역을 결정하는 동작; 및
상기 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 결정한 복수개의 사람 검출 영역에서 투수에 해당하는 사람 검출 영역을 결정하는 동작
을 포함하는 투구 시점 검출 방법.According to claim 7,
The operation of determining a person detection area corresponding to a pitcher in each frame included in the pitching scene,
determining a plurality of human detection areas in each frame included in the pitching scene by using the deep neural network; and
Determining a person detection area corresponding to a pitcher from the determined plurality of person detection areas by using the deep neural network
Throwing time detection method comprising a. 제7항에 있어서,
상기 결정한 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 계산하는 동작은,
상기 투구 장면에 포함된 프레임 각각에서 광학 흐름(optical flow)을 추출하는 동작
을 포함하는 투구 시점 검출 방법.According to claim 7,
The operation of calculating the average size of the optical flow in the human detection area corresponding to the determined pitcher,
An operation of extracting an optical flow from each frame included in the pitching scene.
Throwing time detection method comprising a. 제7항에 있어서,
상기 계산한 광학 흐름(optical flow)의 평균 크기를 기초로 상기 투구 장면에서 투구 시점을 결정하는 동작은,
상기 광학 흐름(optical flow)의 평균 크기를 기초로 상기 투구 장면에 포함된 프레임 각각을 움직임이 없는 프레임, 중간 프레임 및 투구 동작 후보 프레임 중 적어도 어느 하나의 프레임으로 분류하는 동작;
상기 분류한 프레임을 기초로 투구 동작이 포함된 프레임 구간을 결정하는 동작; 및
상기 결정한 프레임 구간을 기초로 투구 시점을 결정하는 동작
을 포함하는 투구 시점 검출 방법.According to claim 7,
The operation of determining the throwing time point in the throwing scene based on the calculated average size of the optical flow,
classifying each of the frames included in the throwing scene into at least one of a motionless frame, an intermediate frame, and a pitching motion candidate frame based on the average size of the optical flow;
determining a frame section including a pitching motion based on the classified frames; and
Determining a pitching time point based on the determined frame section
Throwing time detection method comprising a. 제10항에 있어서,
상기 분류한 프레임 구간을 기초로 투구 동작이 포함된 프레임 구간을 결정하는 동작은,
상기 투구 동작 후보 프레임 중에서 상기 광학 흐름(optical flow)의 평균 크기가 미리 설정된 제1 크기 이상으로 미리 설정된 시간 동안 지속되는 프레임 구간을 결정하는 동작; 및
상기 결정한 프레임 구간에 미리 설정된 제2 크기 이상의 광학 흐름(optical flow)의 평균 크기가 포함되어 있는지를 확인하는 동작
을 포함하는 투구 시점 검출 방법.According to claim 10,
The operation of determining a frame period including a pitching motion based on the classified frame period,
determining a frame section in which the average size of the optical flow is greater than or equal to a preset first size and lasts for a preset time among the throwing motion candidate frames; and
An operation of checking whether the determined frame section includes an average size of an optical flow equal to or greater than a preset second size.
Throwing time detection method comprising a. 제11항에 있어서,
상기 결정한 프레임 구간을 기초로 투구 시점을 결정하는 동작은,
상기 결정한 프레임 구간이 시작되는 프레임에서 가장 가까운 움직임이 없는 프레임으로 분류한 프레임을 투구 시점 프레임으로 선택하는 동작
을 포함하는 투구 시점 검출 방법.According to claim 11,
The operation of determining the throwing time based on the determined frame period,
An operation of selecting a frame classified as a frame without motion closest to a frame where the determined frame section starts as a pitching time frame.
Throwing time detection method comprising a. 제7항 내지 제12항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체.A computer-readable recording medium on which a program for executing the method of any one of claims 7 to 12 is recorded.
KR1020210061170A 2021-05-12 2021-05-12 Device and method for detecting pitch point KR20220153777A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210061170A KR20220153777A (en) 2021-05-12 2021-05-12 Device and method for detecting pitch point

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210061170A KR20220153777A (en) 2021-05-12 2021-05-12 Device and method for detecting pitch point

Publications (1)

Publication Number Publication Date
KR20220153777A true KR20220153777A (en) 2022-11-21

Family

ID=84233709

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210061170A KR20220153777A (en) 2021-05-12 2021-05-12 Device and method for detecting pitch point

Country Status (1)

Country Link
KR (1) KR20220153777A (en)

Similar Documents

Publication Publication Date Title
US11106920B2 (en) People flow estimation device, display control device, people flow estimation method, and recording medium
US10129608B2 (en) Detect sports video highlights based on voice recognition
CN103797783B (en) Comment information generating means and comment information generation method
US9846845B2 (en) Hierarchical model for human activity recognition
US9342785B2 (en) Tracking player role using non-rigid formation priors
CN106028134A (en) Detect sports video highlights for mobile computing devices
CN105631399A (en) Fast object tracking framework for sports video recognition
JP6557592B2 (en) Video scene division apparatus and video scene division program
Fan et al. Fall detection via human posture representation and support vector machine
US20130271361A1 (en) Method and apparatus for detecting talking segments in a video sequence using visual cues
US11189035B2 (en) Retrieval device, retrieval method, and computer program product
CN105095853A (en) Image processing apparatus and image processing method
CN113766330A (en) Method and device for generating recommendation information based on video
Meng et al. A video information driven football recommendation system
CN111797850A (en) Video classification method and device, storage medium and electronic equipment
CN113822254B (en) Model training method and related device
KR20160074958A (en) Apparatus and method for generating motion effects by analyzing motion of object
JP6653423B2 (en) Play section extracting method and play section extracting apparatus
JP7438690B2 (en) Information processing device, image recognition method, and learning model generation method
KR20220153777A (en) Device and method for detecting pitch point
CN113544700A (en) Neural network training method and device, and associated object detection method and device
KR102493956B1 (en) Device and method for providing interface
US20170068848A1 (en) Display control apparatus, display control method, and computer program product
US20240046704A1 (en) Determination method and determination apparatus
US20170068841A1 (en) Detecting device, and detecting method

Legal Events

Date Code Title Description
A201 Request for examination