KR20180066474A - 모션 기반 축구 이벤트 검출 장치 및 방법 - Google Patents

모션 기반 축구 이벤트 검출 장치 및 방법 Download PDF

Info

Publication number
KR20180066474A
KR20180066474A KR1020160167319A KR20160167319A KR20180066474A KR 20180066474 A KR20180066474 A KR 20180066474A KR 1020160167319 A KR1020160167319 A KR 1020160167319A KR 20160167319 A KR20160167319 A KR 20160167319A KR 20180066474 A KR20180066474 A KR 20180066474A
Authority
KR
South Korea
Prior art keywords
event
information
motion
motion information
referee
Prior art date
Application number
KR1020160167319A
Other languages
English (en)
Inventor
이지원
남도원
문성원
이정수
김호원
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160167319A priority Critical patent/KR20180066474A/ko
Publication of KR20180066474A publication Critical patent/KR20180066474A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G06K9/00348—
    • G06K9/00375—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

모션 기반 축구 이벤트 검출 장치 및 방법이 개시된다. 본 발명에 따른 모션 기반 축구 이벤트 검출 장치는, 축구 경기 영상에 포함된 객체를 추적하여, 상기 객체의 위치 정보 및 크기 정보 중 적어도 어느 하나를 포함하는 트래킹 정보를 생성하는 객체 트래킹부, 상기 트래킹 정보를 상기 객체의 종류 별로 분류하고, 분류된 상기 객체의 트래킹 정보를 이용하여 상기 객체의 모션 정보를 생성하는 모션 정보 생성부, 그리고 상기 객체의 모션 정보 및 상기 객체의 위치 정보를 기반으로 상기 축구 경기 영상에 포함된 이벤트를 검출하는 이벤트 검출부를 포함한다.

Description

모션 기반 축구 이벤트 검출 장치 및 방법{APPARATUS AND METHOD FOR SOCCER EVENT DETECTION BASED ON MOTION}
본 발명은 모션 기반 축구 이벤트 검출 기술에 관한 것으로, 특히 축구 경기 영상에 포함된 객체의 위치 및 모션 정보를 기반으로 축구 주요 이벤트를 검출하는 기술에 관한 것이다.
최근 스포츠 과학과 ICT 기술을 접목하여 스포츠 활동을 분석 및 판정하고, 이를 스포츠 콘텐츠에 활용하려는 시도가 증가하고 있다. 특히, 음성 또는 영상을 기반으로 스포츠 경기 내 주요 이벤트를 인식하는 기술이 개발되어 활용되고 있다.
예를 들어 축구 경기의 주요 이벤트를 인식하는 경우, 음성 기반 이벤트 인식 기술은 심판의 휘슬 소리, 경기 해설자의 해설, 관중의 음성 스타일 등을 인지하여 주요 이벤트를 인식한다.
그리고 영상 기반 이벤트 인식 기술은 축구 경기 영상에서 각 이벤트 별로 카메라가 경기를 촬영하는 형태를 패턴화하고, 이를 토대로 골, 슈팅, 코너킥, 프리킥, 패널티킥, 반칙 등을 인식한다. 한국 등록 특허 제10-0963744호는 영상 기반 이벤트 인식 기술은 축구 경기 영상을 클로즈업뷰, 숏뷰, 롱뷰, 관중뷰 등으로 1차 분류하고, 각 이벤트 별로 해당 뷰들이 어떠한 패턴을 가지는지 학습하며, 이를 토대로 축구 경기의 주요 이벤트를 인식한다.
기존의 스포츠 이벤트 인식 기술은 실제 경기를 진행하는 선수/심판과 같은 객체의 행동을 기반으로 주요 축구 이벤트를 판별하는 것이 아니라, 경기가 촬영된 방송 영상에서 음성 단서나 영상 단서를 찾아 이를 토대로 주요 이벤트를 인식하는 방법이다.
이로 인하여 촬영 기법의 변화나 관객 및 경기 해설자의 반응 형태가 미리 정의된 방법과 다른 경우, 이를 충분히 반영할 수 없다는 한계를 갖는다. 또한, 기존 기술은 선수나 심판의 움직임 및 모션을 정확하게 파악하지 않으므로 이벤트 자체를 인식할 수 없고, 각각의 이벤트를 정확하게 분류하고 분석하기 보다는 해당 시점에 주요 이벤트가 존재할 것이라는 가정 하에 해당 시점을 묶어 하이라이트 영상을 제작하는 것에 더 초점을 맞추고 있다.
따라서 카메라 움직임 및 관중이나 해설자의 반응과 같이 경기에 간접 관련이 있는 대상이 아닌, 선수, 심판, 축구공과 같이 경기에 직접 관련이 있는 대상의 위치 및 모션정보를 통하여 각 축구 이벤트를 정확하게 판별할 수 있는 기술의 개발이 필요하다.
한국 등록 특허 제10-0963744호, 2010년 06월 14일 공개(명칭: 축구 동영상의 이벤트 학습 및 검출방법)
본 발명의 목적은 선수, 심판 및 공의 위치 정보와 모션 정보를 기반으로 축구 경기에서 발생하는 주요 이벤트를 인식하는 것이다.
또한, 본 발명의 목적은 축구 경기의 개별 이벤트를 패턴에 기반하여 구체적으로 정확하게 인식하는 것이다.
또한, 본 발명의 목적은 객체의 위치 정보, 모션 정보 및 검출된 이벤트를 기반으로 고차원의 축구 경기 전략을 인식할 수 있도록 하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 모션 기반 축구 이벤트 검출 장치는 축구 경기 영상에 포함된 객체를 추적하여, 상기 객체의 위치 정보 및 크기 정보 중 적어도 어느 하나를 포함하는 트래킹 정보를 생성하는 객체 트래킹부, 상기 트래킹 정보를 상기 객체의 종류 별로 분류하고, 분류된 상기 객체의 트래킹 정보를 이용하여 상기 객체의 모션 정보를 생성하는 모션 정보 생성부, 그리고 상기 객체의 모션 정보 및 상기 객체의 위치 정보를 기반으로 상기 축구 경기 영상에 포함된 이벤트를 검출하는 이벤트 검출부를 포함한다.
이때, 상기 객체는, 선수, 주심, 부심 및 축구공 중 적어도 어느 하나를 포함할 수 있다.
이때, 상기 모션 정보 생성부는, 상기 주심에 상응하는 상기 트래킹 정보를 분석하여, 걸음 유형, 지시 유형 및 경고 유형 중 적어도 어느 하나에 상응하는 상기 주심의 모션 정보를 생성할 수 있다.
이때, 상기 모션 정보 생성부는, 상기 부심에 상응하는 상기 트래킹 정보를 분석하여, 깃발의 위치 및 걸음 유형 중 적어도 어느 하나에 상응하는 상기 부심의 모션 정보를 생성할 수 있다.
이때, 상기 모션 정보 생성부는, 상기 선수에 상응하는 상기 트래킹 정보를 분석하여, 걸음 유형, 손의 움직임 유형, 킥 유형 중 적어도 어느 하나에 상응하는 상기 선수의 모션 정보를 생성할 수 있다.
이때, 상기 이벤트 검출부는, 기 저장된 이벤트 패턴과 패턴 매칭을 수행하여, 상기 객체의 모션 정보 및 상기 객체의 위치 정보에 상응하는 상기 이벤트 패턴을 검색 할 수 있다.
이때, 상기 이벤트 검출부는, 상기 선수의 위치 정보와 상기 축구공의 위치 정보 간 거리가 임계치 미만인 경우, 상기 선수의 모션 정보를 기반으로 상기 이벤트를 검출할 수 있다.
이때, 상기 이벤트 검출부는, 상기 주심 및 상기 부심 중 적어도 어느 하나에 상응하는 모션 정보가 생성된 후 임계 시간 이내에 생성된 상기 객체의 모션 정보 및 상기 객체의 위치 정보 중 적어도 어느 하나를 기반으로 상기 이벤트를 검출할 수 있다.
이때, 검출된 상기 이벤트를 출력하는 이벤트 출력부를 더 포함할 수 있다.
이때, 상기 이벤트 출력부는, 상기 이벤트의 종류, 상기 이벤트의 시작 시점, 상기 이벤트의 종료 시점 및 상기 이벤트에 상응하는 객체 정보 중 적어도 어느 하나의 기준으로 상기 검출된 이벤트를 구분하여 출력할 수 있다.
또한, 본 발명의 일실시예에 따른 모션 기반 축구 이벤트 검출 장치에 의해 수행되는 모션 기반 축구 이벤트 검출 방법은 축구 경기 영상에 포함된 객체를 추적하여, 상기 객체의 위치 정보 및 크기 정보 중 적어도 어느 하나를 포함하는 트래킹 정보를 생성하는 단계, 상기 트래킹 정보를 상기 객체의 종류 별로 분류하는 단계, 분류된 상기 객체의 트래킹 정보를 이용하여, 상기 객체의 모션 정보를 생성하는 단계, 그리고 상기 객체의 모션 정보 및 상기 객체의 위치 정보를 기반으로 상기 축구 경기 영상에 포함된 이벤트를 검출하는 단계를 포함한다.
이때, 상기 객체는, 선수, 주심, 부심 및 축구공 중 적어도 어느 하나를 포함할 수 있다.
이때, 상기 객체의 모션 정보를 생성하는 단계는, 상기 주심에 상응하는 상기 트래킹 정보를 분석하여, 걸음 유형, 지시 유형 및 경고 유형 중 적어도 어느 하나에 상응하는 상기 주심의 모션 정보를 생성할 수 있다.
이때, 상기 객체의 모션 정보를 생성하는 단계는, 상기 부심에 상응하는 상기 트래킹 정보를 분석하여, 깃발의 위치 및 걸음 유형 중 적어도 어느 하나에 상응하는 상기 부심의 모션 정보를 생성할 수 있다.
이때, 상기 객체의 모션 정보를 생성하는 단계는, 상기 선수에 상응하는 상기 트래킹 정보를 분석하여, 걸음 유형, 손의 움직임 유형, 킥 유형 중 적어도 어느 하나에 상응하는 상기 선수의 모션 정보를 생성할 수 있다.
이때, 상기 이벤트를 검출하는 단계는, 기 저장된 이벤트 패턴과 패턴 매칭을 수행하여, 상기 객체의 모션 정보 및 상기 객체의 위치 정보에 상응하는 상기 이벤트 패턴을 검색할 수 있다.
이때, 상기 이벤트를 검출하는 단계는, 상기 선수의 위치 정보와 상기 축구공의 위치 정보 간 거리가 임계치 미만인 경우, 상기 선수의 모션 정보를 기반으로 상기 이벤트를 검출할 수 있다.
이때, 상기 이벤트를 검출하는 단계는, 상기 주심 및 상기 부심 중 적어도 어느 하나에 상응하는 모션 정보가 생성된 후 임계 시간 이내에 생성된 상기 객체의 모션 정보 및 상기 객체의 위치 정보 중 적어도 어느 하나를 기반으로 상기 이벤트를 검출할 수 있다.
이때, 검출된 상기 이벤트를 출력하는 단계를 더 포함할 수 있다.
이때, 상기 검출된 이벤트를 출력하는 단계는, 상기 이벤트의 종류, 상기 이벤트의 시작 시점, 상기 이벤트의 종료 시점 및 상기 이벤트에 상응하는 객체 정보 중 적어도 어느 하나의 기준으로 상기 검출된 이벤트를 구분하여 출력할 수 있다.
본 발명에 따르면, 선수, 심판 및 공의 위치 정보와 모션 정보를 기반으로 축구 경기에서 발생하는 주요 이벤트를 인식할 수 있다.
또한 본 발명에 따르면, 축구 경기의 개별 이벤트를 패턴에 기반하여 구체적으로 정확하게 인식할 수 있다.
또한 본 발명에 따르면, 객체의 위치 정보, 모션 정보 및 검출된 이벤트를 기반으로 고차원의 축구 경기 전략을 인식할 수 있다.
도 1은 본 발명의 일실시예에 따른 모션 기반 축구 이벤트 검출 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 모션 기반 축구 이벤트 검출 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일실시예에 따른 모션 기반 축구 이벤트 검출 과정을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 객체 별 모션 정보를 설명하기 위한 예시도이다.
도 5는 본 발명의 일실시예에 따른 이벤트 패턴 매칭을 설명하기 위한 예시도이다.
도 6은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일실시예에 따른 모션 기반 축구 이벤트 검출 장치의 구성을 나타낸 블록도이다.
도 1에 도시한 바와 같이, 모션 기반 축구 이벤트 검출 장치(100)는 객체 트래킹부(110), 모션 정보 생성부(120), 이벤트 검출부(130) 및 이벤트 출력부(140)를 포함한다.
먼저, 객체 트래킹부(110)는 축구 경기 영상에 포함된 객체를 추적하여, 객체의 트래킹 정보를 생성한다. 이때, 객체 트래킹부(110)는 객체의 위치 정보 및 크기 정보 중 적어도 어느 하나를 포함하는 트래킹 정보를 생성할 수 있다. 여기서, 객체는 축구 경기를 플레이하는 선수, 주심, 부심 및 축구공 중 적어도 어느 하나를 포함할 수 있다.
그리고 모션 정보 생성부(120)는 생성된 트래킹 정보를 객체의 종류별로 분류한다. 모션 정보 생성부(120)는 객체 트래킹부(110)로부터 생성된 트래킹 정보를 선수 트래킹 정보, 주심 트래킹 정보 및 부심 트래킹 정보로 분류할 수 있다. 또한, 각각의 객체 별 트래킹 정보는 해당 객체의 위치 정보 및 크기 정보 중 적어도 어느 하나를 포함할 수 있다.
모션 정보 생성부(120)는 분류된 객체의 트래킹 정보를 이용하여 객체의 모션 정보를 생성한다. 모션 정보 생성부(120)는 선수 위치 정보 및 선수 크기 정보를 이용하여 선수 모션 정보를 생성하고, 주심 위치 정보 및 주심 크기 정보를 이용하여 주심 모션 정보를 생성하며, 부심 위치 정보 및 부심 크기 정보를 이용하여 부심 모션 정보를 생성할 수 있다.
이때, 모션 정보 생성부(120)는 선수에 상응하는 트래킹 정보를 분석하여, 걸음 유형, 손의 움직임 유형, 킥 유형 중 적어도 어느 하나에 상응하는 선수의 모션 정보를 생성할 수 있다.
그리고 모션 정보 생성부(120)는 주심에 상응하는 트래킹 정보를 분석하여, 걸음 유형, 지시 유형 및 경고 유형 중 적어도 어느 하나에 상응하는 주심의 모션 정보를 생성할 수 있다.
또한, 모션 정보 생성부(120)는 부심에 상응하는 트래킹 정보를 분석하여, 깃발의 위치 및 걸음 유형 중 적어도 어느 하나에 상응하는 부심의 모션 정보를 생성할 수 있다.
다음으로 이벤트 검출부(130)는 객체의 모션 정보 및 객체의 위치정보를 기반으로 축구 경기 영상에 포함된 이벤트를 검출한다. 이때, 이벤트 검출부(130)는 기 저장된 이벤트 패턴과 패턴 매칭을 수행하여, 객체의 모션 정보 및 객체의 위치 정보에 상응하는 이벤트 패턴을 검색할 수 있다.
이벤트 검출부(130)는 선수의 위치 정보와 축구공의 위치 정보간 거리가 임계치 미만인 경우, 선수의 모션 정보를 기반으로 이벤트를 검출할 수 있다. 그리고 이벤트 검출부(130)는 주심에 상응하는 모션 정보 및 부심에 상응하는 모션 정보 중 적어도 어느 하나가 생성된 후 임계 시간 이내에 선수 또는 축구공에 상응하는 모션 정보가 생성된 경우, 해당 모션 정보를 기반으로 이벤트를 검출할 수 있다.
또한, 이벤트 검출부(130)는 주심에 상응하는 모션 정보 및 부심에 상응하는 모션 정보 중 적어도 어느 하나가 생성된 후 임계 시간 이내에 선수 또는 축구공에 상응하는 위치 정보가 생성된 경우, 해당 위치 정보를 기반으로 이벤트를 검출할 수 있다.
마지막으로 이벤트 출력부(140)는 검출된 이벤트를 출력한다. 이벤트 출력부(140)는 이벤트의 종류, 이벤트의 시작 시점, 이벤트의 종료 시점 및 이벤트에 상응하는 객체 정보 중 적어도 어느 하나의 기준으로 이벤트를 구분하여 출력할 수 있다.
설명의 편의상, 모션 기반 축구 이벤트 검출 장치(100)가 검출된 이벤트를 출력하는 것으로 설명하였으나 이에 한정하지 않고, 모션 기반 축구 이벤트 검출 장치(100)는 외부의 출력 장치로 검출된 이벤트를 전송하여, 외부의 출력 장치가 이벤트 관련 정보를 출력하도록 구현될 수도 있다.
이하에서는 도 2 내지 도 5를 통하여 본 발명의 일실시예에 따른 모션 기반 축구 이벤트 검출 장치에 의해 수행되는 축구 이벤트 검출 방법에 대하여 더욱 상세하게 설명한다.
도 2는 본 발명의 일실시예에 따른 모션 기반 축구 이벤트 검출 방법을 설명하기 위한 순서도이고, 도 3은 본 발명의 일실시예에 따른 모션 기반 축구 이벤트 검출 과정을 나타낸 도면이다.
먼저, 모션 기반 축구 이벤트 검출 장치(100)는 객체 추적 및 트래킹 정보를 생성한다(S210).
모션 기반 축구 이벤트 검출 장치(100)는 축구 경기 영상에 포함된 객체를 추적하여, 객체의 위치 정보 및 크기 정보 중 적어도 어느 하나를 포함하는 트래킹 정보를 생성한다. 이때, 모션 기반 축구 이벤트 검출 장치(100)는 추적된 객체에 상응하는 시간 정보를 포함하는 트래킹 정보를 생성할 수 있다.
여기서, 축구 경기 영상에 포함된 객체는 선수, 주심, 부심 및 축구공 중 적어도 어느 하나를 포함할 수 있으며, 모션 기반 축구 이벤트 검출 장치(100)는 선수, 주심, 부심 및 축구공 중 적어도 어느 하나의 위치 정보 및 크기 정보를 포함하는 트래킹 정보를 생성할 수 있다.
이때, 모션 기반 축구 이벤트 검출 장치(100)는 도 3에 도시한 바와 같이 선수 및 심판을 트래킹하는 모듈과 축구공을 트래킹하는 모듈을 별개의 모듈로 구비할 수 있다. 그리고 선수 및 심판을 트래킹하는 모듈은 선수, 주심 및 부심의 위치 정보 및 크기 정보 중 적어도 어느 하나를 포함하는 트래킹 정보를 생성하고, 축구공을 트래킹하는 모듈은 축구공의 위치 정보 및 크기 정보 중 적어도 어느 하나를 포함하는 트래킹 정보를 생성할 수 있다.
다시 도 3에 대하여 설명하면, 모션 기반 축구 이벤트 검출 장치(100)는 객체의 종류별 트래킹 정보를 분류한다(S220).
모션 기반 축구 이벤트 검출 장치(100)는 S210 단계에서 생성된 트래킹 정보를 객체의 종류별로 분류한다. 모션 기반 축구 이벤트 검출 장치(100)는 생성된 트래킹 정보를 선수의 트래킹 정보, 주심의 트래킹 정보 및 부심의 트래킹 정보로 분류할 수 있다.
그리고 모션 기반 축구 이벤트 검출 장치(100)는 객체의 모션 정보를 생성한다(S230).
모션 기반 축구 이벤트 검출 장치(100)는 선수의 트래킹 정보에 포함된 선수의 위치 정보 및 크기 정보를 기반으로, 선수의 모션 정보를 생성한다. 그리고 모션 기반 축구 이벤트 검출 장치(100)는 주심의 트래킹 정보에 포함된 주심의 위치 정보 및 크기 정보를 기반으로 주심의 모션 정보를 생성하고, 부심의 트래킹 정보에 포함된 부심의 위치 정보 및 크기 정보를 기반으로 부심의 모션 정보를 생성할 수 있다.
이때, 모션 기반 축구 이벤트 검출 장치(100)는 도 3과 같이 객체의 종류 별로 모션 정보를 생성하는 모듈을 별개로 구비하여 객체의 모션 정보를 생성할 수 있다.
또한, 모션 기반 축구 이벤트 검출 장치(100)는 딥러닝 기반의 모션 인식기를 이용하여, 객체의 위치 정보 및 크기 정보로부터 모션 정보를 인식할 수 있다.
그리고 객체의 모션 정보는 객체의 종류별로 상이할 수 있다.
도 4는 본 발명의 일실시예에 따른 객체 별 모션 정보를 설명하기 위한 예시도이다.
도 4에 도시한 바와 같이, 선수의 모션 정보는 걷기, 뛰기, 코너킥, 프리킥, 경기 중 팔을 휘두르면서 차기 및 드로우 인 등에 관한 정보를 의미할 수 있다. 그리고 주심의 모션 정보는 아무 지시 없이 걷기, 아무 지시 없이 뛰기, 한쪽 팔을 들어 가리키기, 옐로우 카드 및 레드 카드 등에 관한 정보를 의미할 수 있다.
그리고 부심의 모션 정보는 깃발을 들지 않고 걷기, 깃발을 들지 않고 뛰기, 깃발을 들지 않고 옆으로 걷기, 깃발을 머리 위로 들어올리기, 깃발을 가슴 방향으로 들어올리기 및 깃발을 들어 가리키기 등에 관한 정보를 의미할 수 있다.
마지막으로 모션 기반 축구 이벤트 검출 장치(100)는 패턴 매칭을 수행하여 축구 이벤트를 검출한다(S240).
모션 기반 축구 이벤트 검출 장치(100)는 객체의 모션 정보 및 객체의 위치 정보를 기반으로 축구 경기 영상에 포함된 이벤트를 검출한다. 이때, 모션 기반 축구 이벤트 검출 장치(100)는 기 저장된 이벤트 패턴과 패턴 매칭을 수행하여 객체의 모션 정보 및 객체의 위치 정보에 상응하는 이벤트 패턴을 검색할 수 있다.
여기서, 축구 경기에 상응하는 이벤트는 한국 프로축구연맹에서 정의하여 사용 중인 11개의 주요 축구 이벤트를 의미할 수 있다. 주요 축구 이벤트는 슈팅, 패스, 태클, 코너킥, 프리킥, 패널티킥, 오프사이드, 파울, 카드, 어시스트 및 교체 등을 포함할 수 있으며, 이벤트의 종류는 이에 한정되지 않는다. 즉, 필요에 따라 이벤트의 종류를 더 추가하거나 삭제 또는 수정할 수 있다.
그리고 모션 기반 축구 이벤트 검출 장치(100)는 선수의 모션 정보, 주심의 모션 정보, 부심의 모션 정보와 선수의 위치 정보, 주심의 위치 정보, 부심의 위치 정보 및 축구공의 위치 정보 중 적어도 어느 하나를 기반으로, 기 저장된 이벤트 패턴과 패턴 매칭을 수행한다.
또한, 모션 기반 축구 이벤트 검출 장치(100)는 기 저장된 이벤트 패턴 데이터베이스와 일치하거나 유사한 패턴의 경기 내용이 발생한 것으로 판단된 경우, 해당 경기 내용을 이벤트로 인식하여 검출할 수 있다.
모션 기반 축구 이벤트 검출 장치(100)는 선수의 위치 정보와 축구공의 위치 정보간 거리가 임계치 미만인 경우, 선수의 모션 정보를 기반으로 이벤트를 검출할 수 있다. 그리고 모션 기반 축구 이벤트 검출 장치(100)는 주심의 모션 정보 및 부심의 모션 정보 중 적어도 어느 하나의 모션 정보가 생성된 후 임계 시간 이내에 생성된 모션 정보 또는 위치 정보를 기반으로 이벤트를 검출할 수 있다.
도 5는 본 발명의 일실시예에 따른 이벤트 패턴 매칭을 설명하기 위한 예시도이다.
각각의 이벤트에 대한 패턴은 도 5와 같을 수 있다. 도 5에 도시한 바와 같이, 선수의 위치 정보와 축구공(볼)의 위치 정보 간 거리가 임계치 미만이고, 선수의 모션 정보가 킥 모션에 상응하며, 축구공의 위치 정보가 골대 방향으로 변화한 경우, 모션 기반 축구 이벤트 검출 장치(100)는 슈팅 이벤트가 발생한 것으로 인식할 수 있다.
또한, 주심의 모션 정보가 한쪽 팔을 들어 가리키는 모션이고, 선수의 위치 정보와 축구공의 위치 정보 간 거리가 임계치 미만이며, 선수의 모션 정보가 킥 모션에 상응하고, 축구공의 위치 정보가 변화한 경우, 모션 기반 축구 이벤트 검출 장치(100)는 프리킥 이벤트가 발생한 것으로 판단할 수 있다.
축구 경기 영상에 포함된 이벤트를 검출한 모션 기반 축구 이벤트 검출 장치(100)는 도 2의 S240 단계에서 검출한 축구 이벤트를 구비된 출력 모듈을 통하여 출력하거나, 외부의 출력 장치로 전송할 수 있다. 또한, 모션 기반 축구 이벤트 검출 장치(100)는 검출된 축구 이벤트를 구비된 저장 모듈에 저장하거나, 외부의 데이터 베이스에 저장할 수 있다.
이때, 모션 기반 축구 이벤트 검출 장치(100)는 검출된 이벤트를 이벤트의 종류, 이벤트의 시작 시점, 이벤트의 종료 시점 및 이벤트에 상응하는 객체 정보 중 적어도 어느 하나의 구분 기준으로 분류하여 출력하거나, 저장할 수 있다. 특히, 모션 기반 축구 이벤트 검출 장치(100)는 이벤트를 선수 별로 구분하거나, 팀 별로 구분하여 출력할 수 있으며, 출력된 이벤트 정보는 스포츠 관련 서비스 제공 서버 등으로 제공될 수 있다.
한편, 모션 기반 축구 이벤트 검출 장치(100)가 축구 경기 영상에 포함된 축구 이벤트를 검출하는 것으로 설명하였으나, 본 발명에 따른 패턴이 있는 행동에 대한 인식 기법은 다양한 스포츠 활동 기록 시스템, CCTV 기반 행동 패턴 분석 시스템 등과 같이, 영상 이해 응용 분야에 적용될 수도 있다.
도 6은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
도 5을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(500)에서 구현될 수 있다. 도 5에 도시된 바와 같이, 컴퓨터 시스템(500)은 버스(520)를 통하여 서로 통신하는 하나 이상의 프로세서(510), 메모리(530), 사용자 입력 장치(540), 사용자 출력 장치(550) 및 스토리지(560)를 포함할 수 있다. 또한, 컴퓨터 시스템(500)은 네트워크(580)에 연결되는 네트워크 인터페이스(570)를 더 포함할 수 있다. 프로세서(510)는 중앙 처리 장치 또는 메모리(530)나 스토리지(560)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(530) 및 스토리지(560)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(531)이나 RAM(532)을 포함할 수 있다.
따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 태양에 따른 방법을 수행할 수 있다.
이상에서와 같이 본 발명에 따른 모션 기반 축구 이벤트 검출 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100: 모션 기반 축구 이벤트 검출 장치
110: 객체 트래킹부
120: 모션 정보 생성부
130: 이벤트 검출부
140: 이벤트 출력부

Claims (20)

  1. 축구 경기 영상에 포함된 객체를 추적하여, 상기 객체의 위치 정보 및 크기 정보 중 적어도 어느 하나를 포함하는 트래킹 정보를 생성하는 객체 트래킹부,
    상기 트래킹 정보를 상기 객체의 종류 별로 분류하고, 분류된 상기 객체의 트래킹 정보를 이용하여 상기 객체의 모션 정보를 생성하는 모션 정보 생성부, 그리고
    상기 객체의 모션 정보 및 상기 객체의 위치 정보를 기반으로 상기 축구 경기 영상에 포함된 이벤트를 검출하는 이벤트 검출부
    를 포함하는 모션 기반 축구 이벤트 검출 장치.
  2. 제1항에 있어서,
    상기 객체는,
    선수, 주심, 부심 및 축구공 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 모션 기반 축구 이벤트 검출 장치.
  3. 제2항에 있어서,
    상기 모션 정보 생성부는,
    상기 주심에 상응하는 상기 트래킹 정보를 분석하여, 걸음 유형, 지시 유형 및 경고 유형 중 적어도 어느 하나에 상응하는 상기 주심의 모션 정보를 생성하는 것을 특징으로 하는 모션 기반 축구 이벤트 검출 장치.
  4. 제2항에 있어서,
    상기 모션 정보 생성부는,
    상기 부심에 상응하는 상기 트래킹 정보를 분석하여, 깃발의 위치 및 걸음 유형 중 적어도 어느 하나에 상응하는 상기 부심의 모션 정보를 생성하는 것을 특징으로 하는 모션 기반 축구 이벤트 검출 장치.
  5. 제2항에 있어서,
    상기 모션 정보 생성부는,
    상기 선수에 상응하는 상기 트래킹 정보를 분석하여, 걸음 유형, 손의 움직임 유형, 킥 유형 중 적어도 어느 하나에 상응하는 상기 선수의 모션 정보를 생성하는 것을 특징으로 하는 모션 기반 축구 이벤트 검출 장치.
  6. 제2항에 있어서,
    상기 이벤트 검출부는,
    기 저장된 이벤트 패턴과 패턴 매칭을 수행하여, 상기 객체의 모션 정보 및 상기 객체의 위치 정보에 상응하는 상기 이벤트 패턴을 검색하는 것을 특징으로 하는 모션 기반 축구 이벤트 검출 장치.
  7. 제6항에 있어서,
    상기 이벤트 검출부는,
    상기 선수의 위치 정보와 상기 축구공의 위치 정보 간 거리가 임계치 미만인 경우, 상기 선수의 모션 정보를 기반으로 상기 이벤트를 검출하는 것을 특징으로 하는 모션 기반 축구 이벤트 검출 장치.
  8. 제6항에 있어서,
    상기 이벤트 검출부는,
    상기 주심 및 상기 부심 중 적어도 어느 하나에 상응하는 모션 정보가 생성된 후 임계 시간 이내에 생성된 상기 객체의 모션 정보 및 상기 객체의 위치 정보 중 적어도 어느 하나를 기반으로 상기 이벤트를 검출하는 것을 특징으로 하는 모션 기반 축구 이벤트 검출 장치.
  9. 제1항에 있어서,
    검출된 상기 이벤트를 출력하는 이벤트 출력부를 더 포함하는 모션 기반 축구 이벤트 검출 장치.
  10. 제9항에 있어서,
    상기 이벤트 출력부는,
    상기 이벤트의 종류, 상기 이벤트의 시작 시점, 상기 이벤트의 종료 시점 및 상기 이벤트에 상응하는 객체 정보 중 적어도 어느 하나를 포함하는 구분 기준으로 상기 검출된 이벤트를 구분하여 출력하는 것을 특징으로 하는 모션 기반 축구 이벤트 검출 장치.
  11. 모션 기반 축구 이벤트 검출 장치에 의해 수행되는 축구 이벤트 검출 방법에 있어서,
    축구 경기 영상에 포함된 객체를 추적하여, 상기 객체의 위치 정보 및 크기 정보 중 적어도 어느 하나를 포함하는 트래킹 정보를 생성하는 단계,
    상기 트래킹 정보를 상기 객체의 종류 별로 분류하는 단계,
    분류된 상기 객체의 트래킹 정보를 이용하여, 상기 객체의 모션 정보를 생성하는 단계, 그리고
    상기 객체의 모션 정보 및 상기 객체의 위치 정보를 기반으로 상기 축구 경기 영상에 포함된 이벤트를 검출하는 단계
    를 포함하는 모션 기반 축구 이벤트 검출 방법.
  12. 제11항에 있어서,
    상기 객체는,
    선수, 주심, 부심 및 축구공 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 모션 기반 축구 이벤트 검출 방법.
  13. 제12항에 있어서,
    상기 객체의 모션 정보를 생성하는 단계는,
    상기 주심에 상응하는 상기 트래킹 정보를 분석하여, 걸음 유형, 지시 유형 및 경고 유형 중 적어도 어느 하나에 상응하는 상기 주심의 모션 정보를 생성하는 것을 특징으로 하는 모션 기반 축구 이벤트 검출 방법.
  14. 제12항에 있어서,
    상기 객체의 모션 정보를 생성하는 단계는,
    상기 부심에 상응하는 상기 트래킹 정보를 분석하여, 깃발의 위치 및 걸음 유형 중 적어도 어느 하나에 상응하는 상기 부심의 모션 정보를 생성하는 것을 특징으로 하는 모션 기반 축구 이벤트 검출 방법.
  15. 제12항에 있어서,
    상기 객체의 모션 정보를 생성하는 단계는,
    상기 선수에 상응하는 상기 트래킹 정보를 분석하여, 걸음 유형, 손의 움직임 유형, 킥 유형 중 적어도 어느 하나에 상응하는 상기 선수의 모션 정보를 생성하는 것을 특징으로 하는 모션 기반 축구 이벤트 검출 방법.
  16. 제12항에 있어서,
    상기 이벤트를 검출하는 단계는,
    기 저장된 이벤트 패턴과 패턴 매칭을 수행하여, 상기 객체의 모션 정보 및 상기 객체의 위치 정보에 상응하는 상기 이벤트 패턴을 검색하는 것을 특징으로 하는 모션 기반 축구 이벤트 검출 방법.
  17. 제16항에 있어서,
    상기 이벤트를 검출하는 단계는,
    상기 선수의 위치 정보와 상기 축구공의 위치 정보 간 거리가 임계치 미만인 경우, 상기 선수의 모션 정보를 기반으로 상기 이벤트를 검출하는 것을 특징으로 하는 모션 기반 축구 이벤트 검출 방법.
  18. 제16항에 있어서,
    상기 이벤트를 검출하는 단계는,
    상기 주심 및 상기 부심 중 적어도 어느 하나에 상응하는 모션 정보가 생성된 후 임계 시간 이내에 생성된 상기 객체의 모션 정보 및 상기 객체의 위치 정보 중 적어도 어느 하나를 기반으로 상기 이벤트를 검출하는 것을 특징으로 하는 모션 기반 축구 이벤트 검출 방법.
  19. 제11항에 있어서,
    검출된 상기 이벤트를 출력하는 단계를 더 포함하는 모션 기반 축구 이벤트 검출 방법.
  20. 제19항에 있어서,
    상기 검출된 이벤트를 출력하는 단계는,
    상기 이벤트의 종류, 상기 이벤트의 시작 시점, 상기 이벤트의 종료 시점 및 상기 이벤트에 상응하는 객체 정보 중 적어도 어느 하나를 포함하는 구분 기준으로 상기 검출된 이벤트를 구분하여 출력하는 것을 특징으로 하는 모션 기반 축구 이벤트 검출 방법.
KR1020160167319A 2016-12-09 2016-12-09 모션 기반 축구 이벤트 검출 장치 및 방법 KR20180066474A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160167319A KR20180066474A (ko) 2016-12-09 2016-12-09 모션 기반 축구 이벤트 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160167319A KR20180066474A (ko) 2016-12-09 2016-12-09 모션 기반 축구 이벤트 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20180066474A true KR20180066474A (ko) 2018-06-19

Family

ID=62790382

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160167319A KR20180066474A (ko) 2016-12-09 2016-12-09 모션 기반 축구 이벤트 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20180066474A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781523A (zh) * 2021-09-13 2021-12-10 浙江大学 一种足球检测跟踪方法及装置、电子设备、存储介质
KR20230042951A (ko) * 2021-09-23 2023-03-30 포항공과대학교 산학협력단 규칙 기반 축구 이벤트 추출 방법 및 장치
KR102627521B1 (ko) * 2022-11-04 2024-01-24 주식회사 핏투게더 스포츠 세션 내 타겟 이벤트의 유형을 획득하는 방법 및 이를 수행하는 전자 장치
WO2024096167A1 (ko) * 2022-11-04 2024-05-10 주식회사 핏투게더 스포츠 세션 내 타겟 이벤트의 유형을 획득하는 방법 및 이를 수행하는 전자 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100963744B1 (ko) 2003-07-31 2010-06-14 엘지전자 주식회사 축구 동영상의 이벤트 학습 및 검출방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100963744B1 (ko) 2003-07-31 2010-06-14 엘지전자 주식회사 축구 동영상의 이벤트 학습 및 검출방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781523A (zh) * 2021-09-13 2021-12-10 浙江大学 一种足球检测跟踪方法及装置、电子设备、存储介质
CN113781523B (zh) * 2021-09-13 2024-04-26 浙江大学 一种足球检测跟踪方法及装置、电子设备、存储介质
KR20230042951A (ko) * 2021-09-23 2023-03-30 포항공과대학교 산학협력단 규칙 기반 축구 이벤트 추출 방법 및 장치
KR102627521B1 (ko) * 2022-11-04 2024-01-24 주식회사 핏투게더 스포츠 세션 내 타겟 이벤트의 유형을 획득하는 방법 및 이를 수행하는 전자 장치
WO2024096167A1 (ko) * 2022-11-04 2024-05-10 주식회사 핏투게더 스포츠 세션 내 타겟 이벤트의 유형을 획득하는 방법 및 이를 수행하는 전자 장치

Similar Documents

Publication Publication Date Title
US9699419B2 (en) Image processing apparatus and image processing method
US11176411B2 (en) System and method for player reidentification in broadcast video
KR20180066474A (ko) 모션 기반 축구 이벤트 검출 장치 및 방법
KR102187208B1 (ko) 스포츠 경기의 하이라이트 추출 방법 및 장치
US20190266407A1 (en) Classify actions in video segments using play state information
US11189035B2 (en) Retrieval device, retrieval method, and computer program product
US20180096209A1 (en) Non-transitory computer-readable storage medium, event detection apparatus, and event detection method
US10186044B2 (en) Person tracking method and person tracking device
US11062128B2 (en) Interaction classification using the role of people interacting over time
KR102248456B1 (ko) 스포츠 경기의 하이라이트 추출 방법 및 장치
US9256945B2 (en) System for tracking a moving object, and a method and a non-transitory computer readable medium thereof
US20190005331A1 (en) Apparatus and method for detecting event based on deterministic finite automata in soccer video
Bianco et al. Karate moves recognition from skeletal motion
KR20070050271A (ko) 오디오 데이터를 이용한 이벤트 검출 방법 및 장치
KR102624650B1 (ko) 스포츠 이벤트를 검출하는 방법 및 이를 수행하는 시스템
KR20190002271A (ko) 축구 영상에서 결정적 유한 오토마타를 기초로 이벤트를 검출하는 방법 및 장치
Varadarajan et al. A topic model approach to represent and classify american football plays
KR20220096335A (ko) 모션 인식 확률 기반의 스포츠 이벤트 인식 방법 및 장치
CN116109981B (zh) 投篮识别方法、篮球识别装置、电子设备和存储介质
Bertini et al. Automatic annotation of sport video content
WO2022038702A1 (en) Causal interaction detection apparatus, control method, and computer-readable storage medium
Chen et al. Recognizing jump patterns with physics-based validation in human moving trajectory
KR20200063965A (ko) 모션 인식 확률 기반 축구 이벤트 인식 방법 및 장치
Li et al. Beyond MOT: Semantic Multi-Object Tracking
Song Towards automatic refereeing systems through deep event detection in soccer game videos