KR20200061747A - 스포츠 경기 영상에서 이벤트를 인식하는 장치 및 방법 - Google Patents

스포츠 경기 영상에서 이벤트를 인식하는 장치 및 방법 Download PDF

Info

Publication number
KR20200061747A
KR20200061747A KR1020180147402A KR20180147402A KR20200061747A KR 20200061747 A KR20200061747 A KR 20200061747A KR 1020180147402 A KR1020180147402 A KR 1020180147402A KR 20180147402 A KR20180147402 A KR 20180147402A KR 20200061747 A KR20200061747 A KR 20200061747A
Authority
KR
South Korea
Prior art keywords
image
present
event
motion
recognizing
Prior art date
Application number
KR1020180147402A
Other languages
English (en)
Inventor
문성원
남도원
이정수
이지원
유원영
윤기송
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180147402A priority Critical patent/KR20200061747A/ko
Publication of KR20200061747A publication Critical patent/KR20200061747A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • G06K9/00342
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

스포츠 경기 영상 내의 이벤트를 인식하는 방법이 개시된다. 본 발명의 일 실시예에 따른 이벤트 인식 방법은, 입력되는 영상의 각 컬러 성분에 대해 가중치를 적용하여 열지도 영상으로 변환하는 단계, 열지도 영상에서 상기 영상 내 제1 객체 영역의 위치 및 제2 객체 영역의 위치에 대한 차벡터 방향을 산출하는 단계 및 상기 차벡터 방향에 따라 동작을 인식하는 단계를 포함할 수 있다.

Description

스포츠 경기 영상에서 이벤트를 인식하는 장치 및 방법{APPARATUS AND METHOD FOR RECOGNIZING EVENTS IN SPORTS VIDEO}
본 발명은 스포츠 경기 영상 내 이벤트를 인식하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 축구 경기 영상 내 부심의 동작과 관련한 이벤트를 인식하는 방법 및 장치에 관한 것이다.
근래에 스포츠 활동을 분석하고 활용하려는 시도가 증가하면서, 인기 스포츠인 축구 경기 영상에서의 모션 및 이벤트 인식 기술이 개발되어 활용되고 있다.
기존 축구 경기 내 모션 및 이벤트 인식 기술은 크게 영상기반 및 음성기반 두 부류가 존재한다. 먼저, 영상 기반 이벤트 인식의 경우 축구 방송 영상에서 각 이벤트별로 카메라가 경기를 촬영하는 형태를 패턴화하여 이를 토대로 코너킥, 프리킥, 패널티킥, 반칙 등을 인식하는 형태가 존재한다.
이는 축구 경기 영상을 클로즈업뷰, 숏뷰, 롱뷰, 관중뷰 등으로 1차 분류한 후 각 이벤트별로 해당 뷰들이 어떤 패턴을 가지고 나타나는지를 학습시킨 후 이를 토대로 경기 주요 장면을 인식하는 방법이다. 반면, 음성 기반 이벤트 인식의 경우, 심판 휘슬 소리 및 경기 해설자 및 관중의 음성 스타일을 인지하여 주요 이벤트를 인식하는 방법을 사용하였다.
위와 같은 기존 방법들은 방송 영상에서 음성/영상 단서를 찾아 이를 토대로 주요 이벤트를 인식하는 방법으로 촬영 기법의 변화나 관객 및 경기 해설자의 반응 형태가 기존의 방송 형태와 크게 다른 경우 이벤트 인식 성공률이 크게 떨어진다.
더욱이, 기존 기술은 심판의 모션을 정확하게 파악하지 않기 때문에 이벤트 자체를 인식할 수 없고 따라서 이벤트를 하나하나 정확하게 분류하고 분석하기 보다는 중요 요약 영상을 제작하는 것에 적합한 기술이다. 따라서 응용 분야를 기존 방송 영상 및 편집 방법에 구애받지 않고 축구 경기 내 부심 모션 및 관련 이벤트를 영상 정보를 통하여 정확하게 판별할 수 있는 방법이 필요하다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 부심과 깃발의 색상 대비를 강화하여 고속으로 스포츠 경기 영상 내의 이벤트를 인식하는 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 상기 이벤트 인식 방법을 이용하는 이벤트 인식 장치를 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이벤트 인식 방법은 스포츠 경기 영상 내의 이벤트를 인식하는 방법으로서, 입력되는 영상의 각 컬러 성분에 대해 가중치를 적용하여 열지도 영상으로 변환하는 단계; 열지도 영상에서 상기 영상 내 제1 객체 영역의 위치 및 제2 객체 영역의 위치에 대한 차벡터 방향을 산출하는 단계; 및 상기 차벡터 방향에 따라 동작을 인식하는 단계를 포함할 수 있다.
각 컬러 성분에 대한 상기 가중치는, 상기 제1 객체 영역의 픽셀 값을 최대화하고, 제2 객체 영역의 픽셀 값을 최소화하는 값으로 설정될 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 이벤트 인식 장치는, 프로세서 및 프로세서를 통해 실행되는 적어도 하나의 명령 및 명령 수행의 결과를 저장하는 메모리를 포함할 수 있다.
여기서, 적어도 하나의 명령은, 상기 프로세서로 하여금, 입력되는 영상의 각 컬러 성분에 대해 가중치를 적용하여 열지도 영상으로 변환하도록 하는 명령; 열지도 영상에서 상기 영상 내 제1 객체 영역의 위치 및 제2 객체 영역의 위치에 대한 차벡터 방향을 산출하도록 하는 명령; 및 상기 차벡터 방향에 따라 동작을 인식하도록 하는 명령을 포함할 수 있다.
여기서, 각 컬러 성분에 대한 상기 가중치는, 상기 제1 객체 영역의 픽셀 값을 최대화하고, 제2 객체 영역의 픽셀 값을 최소화하는 값으로 설정될 수 있다.
상기와 같은 본 발명의 실시예들에 따르면, 기존 스포츠 경기 내 모션/이벤트 인식 방법에 비해 매우 적은 자원을 사용하여 고속으로 신뢰성 있는 모션/이벤트 인식을 수행할 수 있다.
또한, 본 발명의 실시예들은 축구 외에도 심판의 동작이 이벤트의 발생과 밀접한 연관이 있는 모든 스포츠에 또한 활용이 가능하다.
그에 따라, 본 발명은 스포츠 경기에 대한 객관적 분석의 기반 기술이 되어 스포츠 경기 전체의 수준을 향상시킬 수 있으며, 체계적인 경기 분석에 도움을 줄 수 있다.
또한, 급격히 성장하고 있는 스포츠 영상 분석 및 중계 시장에서 기술적 경쟁력을 갖춤으로써 사업적 파급 효과도 클 것으로 기대된다.
도 1은 본 발명의 일 실시예에 따른 경기 이벤트 인식 방법의 개념도이다.
도 2은 본 발명의 일 실시예에 따른 경기 이벤트 인식 장치의 개념적 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따라 원영상 및 원영상에 대해 열영상 변환을 수행한 결과 영상을 도시한다.
도 4는 본 발명의 일 실시예에 따라 깃발과 심판의 픽셀의 위치 관계를 통해 부심 동작을 인식하는 방법의 개념도이다.
도 5는 본 발명에 따른 입력 영상에 대한 심판의 동작 인식 결과를 정량적으로 나타낸 표이다.
도 6은 본 발명의 일 실시예에 따른 스포츠 경기 영상에서의 이벤트 인식 방법의 동작 순서도이다.
도 7은 본 발명의 일 실시예에 따른 이벤트 인식 장치의 블록 구성도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명에서 사용되는 용어 "영상"은 정지영상 및 동영상을 포함하며, 동영상은 비디오와 동일한 의미로 이해될 수 있다. 통상적으로 동영상은 일련의 픽쳐(다시 말해, 정지 영상, 스틸 픽쳐)를 포함할 수 있으며, 각 픽쳐는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 경기 이벤트 인식 방법의 개념도이다.
도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 이벤트 인식 장치(100)는 필드-뷰 비디오, 즉, 필드에서 벌어지는 스포츠 경기에 대한 비디오를 수신하여 객체 트래킹, 모션 인식을 순차적으로 수행하여 인식된 이벤트에 대한 정보를 출력한다.
본 발명에서 인식하고자 하는 대상은 스포츠 경기, 특히 축구 영상 내의 부심의 모션(깃발을 통한 지시)과 이와 관련된 이벤트(코너킥, 오프사이드, 스로인 등)이다.
여기서, 객체는 플레이어, 심판, 볼, 심판이 사용하는 깃발 등 경기 이벤트와 관련하여 유의미한 움직임이 발생하는 대상을 나타낼 수 있다. 또한, 모션 인식은 객체, 즉, 선수, 심판, 볼, 깃발 등에 대한 모션 인식을 포함할 수 있다. 또한, 축구 경기 관련 이벤트는 골, 슈팅, 코너킥, 프리킥, 패널티킥, 반칙, 오프사이드, 파울, 스로인 등을 포함할 수 있다.
본 발명에서 선수 또는 심판의 모션을 인식할 때에는 부가 정보로 객체, 즉, 선수, 심판, 깃발 등의 위치에 대한 정보 또한 활용할 수 있다.
도 2은 본 발명의 일 실시예에 따른 경기 이벤트 인식 장치의 개념적 블록 구성도이다.
본 발명의 일 실시예에 따른 경기 이벤트 인식 장치는, 경기 영상의 색상을 열지도(Heatmap) 영상 형태로 변환하는 색상공간 변환부(101)와 색상공간 변환부(101)를 통해 열지도 영상으로 변환된 영상에서 모션 및 이벤트를 판별 및 인식하는 이벤트 식별부(102)를 포함할 수 있다.
좀더 구체적으로, 색상공간 변환부(101)는 통상적인 RGB 영상을 입력으로 수신하여 본 발명의 일 실시예 따라 색상 성분별 가중치를 적용하여 입력된 영상의 색상공간에 대한 변환을 수행한다.
스포츠 경기 관련 일반적인 영상/동영상은 다른 영상/동영상과 마찬가지로 RGB 색상 성분으로, 즉, RGB 공간으로 표현될 수 있다. RGB 색상 성분으로 표현될 수 있는 영상의 각 픽셀 성분 I 는 아래 수학식 1과 같이 표현될 수 있다.
Figure pat00001
여기서, IR 은 해당 픽셀의 RED 성분 값을, IG 는 GREEN 성분 값을. IB는 BLUE 성분 값을 나타낸다. 본 발명에서는 입력된 스포츠 경기 영상의 각 픽셀에 대해 R, G, B 값을 열지도 영상 형태의 값으로 변환한다.
즉, 기존의 RGB 색상 공간의 값들을 모션 판별이 용이한 형태인 열지도 영상 형태로 변환한다. 각 영역에 대한 열영상으로의 변환은 아래 수학식 2에 따라 수행될 수 있다.
Figure pat00002
여기서, IH 는 주어진 RGB 영상 I의 각 채널 영상의 가중합산모델이다. 또한, IR 은 해당 픽셀의 RED 성분 값을, IG 는 GREEN 성분 값을, IB는 BLUE 성분 값을 나타낸다. 또한, ω* R 은 열 영상으로의 변환시 RED 성분에 대해 적용되는 가중치, ω* G는 GREEN 성분에 대해 적용되는 가중치, ω* B는 BLUE 성분에 대해 적용되는 가중치를 나타낸다.
본 발명의 일 실시예에 따른 이벤트 인식 방법에 따르면 주어진 부심 영상으로부터 예를 들어, 깃발, 심판, 배경의 3가지 객체 영역에 대한 픽셀을 선택할 수 있다. 3종류의 픽셀은 데이터셋으로부터 무작위로 선택된 복수의 영상(예를 들어, 36장의 영상)으로부터 각각 1개씩 추출되어, 예를 들어, 총 108개의 픽셀을 포함할 수 있다.
부심과 깃발의 위치를 특정하기 위하여 깃발, 몸통, 배경(운동장)에 해당하는 n번째 픽셀의 채널 값을 각각
Figure pat00003
,
Figure pat00004
,
Figure pat00005
라고 할 때, 수학식 2에서 사용된 각 컬러 성분, 즉 채널에 대한 가중치는 아래 수학식 3으로 정의되는 선형 연립방정식에 대한 근사적인 해를 통해 도출할 수 있다.
Figure pat00006
수학식 3은 깃발, 심판, 배경 픽셀이 열지도 영상 상에서 각각 1, -1, 0의 값을 가지도록 가중치 값을 결정하는 선형 연립방정식이다. 수학식 3은
Figure pat00007
의 형태를 갖는 과결정 선형 연립방정식이므로, 다음 수학식 4 같이 표현되는 의사역행렬을 적용하여 근사해를 구할 수 있다.
Figure pat00008
수학식 4에 따라 산출되는 각 컬러 성분별 가중치에 대한 해는 예를 들어, ω* R = 5.13, ω* G = - 4.05, ω* B = - 0.91와 같이 얻어질 수 있다.
본 발명에 따라 획득되는 열지도 영상은 예를 들어, 깃발과 심판(예를 들어, 심판의 상반신 복장)의 색상 대비를 부각하는 방향으로 얻어진다.
도 3은 본 발명의 일 실시예에 따라 원영상(21) 및 원영상에 대해 열영상 변환을 수행한 결과 영상(22)을 도시한다.
도 3의 열지도 영상은 본 발명에서 색상 성분별 가중치를 ω* R = 5.13, ω* G = - 4.05, ω* B = - 0.91와 같이 설정했을 경우의 열지도 영상의 예이다. 원본 영상과 열지도 영상을 비교해 보면, IH 의 픽셀은 깃발 영역에서 큰 값을, 심판 영역에서는 작은 값을 가짐을 확인할 수 있다. 본 발명에 따른 실시예에서는 IH 의 값이 최대인 지점을 깃발로, 최소인 지점을 심판의 위치로 결정할 수 있다.
상술한 방법으로 정해진 깃발 픽셀의 위치 및 심판 픽셀의 위치 간의 차벡터 방향을 산출하고, 두 위치 간 차벡터의 방향을 이용해 부심의 동작을 구분할 수 있다. 차벡터의 방향을 이용한 동작 인식 방법의 예가 도 4에 도시된다.
도 4는 본 발명의 일 실시예에 따라 깃발과 심판의 픽셀의 위치 관계를 통해 부심 동작을 인식하는 방법의 개념도이다.
도 4를 참조하면, 해당 실시예에서는, 깃발 픽셀의 위치 및 심판 픽셀의 위치를 각각 x, y 방향에 대해 정의하고 x 방향에서의 차이 및 y 방향에서의 차이에 따라 각 이벤트를 인식할 수 있다.
심판 동작은 깃발 위로 들기, 깃발 왼쪽으로 들기, 깃발 오른쪽으로 들기, 깃발 아래로 들기, 판정 없이 서 있기, 걷기, 뛰기 등의 동작을 포함할 수 있다.
본 발명에 따른 이벤트 인식 방법의 효과를 확인하기 위해, 수천 장의 축구 경기 영상 데이터셋을 활용하여 심판의 동작 인식 결과에 대한 성능 평가를 실시하였다. 도 5는 이러한 성능 평가의 결과를 나타내는 표를 도시한다.
도 5는 본 발명에 따른 입력 영상에 대한 동작 인식 결과를 정량적으로 나타낸 표이다.
도 5에 도시된 바와 같이, 각 동작별 인식 정확도는 89.17%에서 98.29% 사이의 수치를 보였으며, 전체 영상 대비 정확히 인식한 영상의 비율을 나타내는 종합 정확도는 94.60%가 얻어졌다.
추가적으로, 축구 경기에서의 동작 인식은 기상 환경 등에 의한 조명 조건의 변화에도 강인할 필요가 있다. 본 발명에서는 이에 대한 검증을 위해 주어진 데이터셋 내의 영상을 감마 보정을 통해 조도의 변화를 주어 동작 인식을 수행할 수 있다.
본 발명의 실시예에 따른 방법을 알고리즘으로 구현하여 실험한 결과, 예를 들어, 본 발명에 따른 실시예에 따른 방법 관련 알고리즘은 일반 i7 CPU PC에서 600fps 이상의 처리 속도를 가지는 것을 확인할 수 있었다. 서버급 PC에서 1~10fps 내외의 속도를 보이던 기존 모션/이벤트 인식 기술 대비 매우 빠른 인식이 가능함을 확인할 수 있다.
이상 실시예들을 살펴본 바와 같은 본 발명은, 예를 들어, 수학식 3에 따라 산출된 가중치에 따라 입력 영상을 모션 인식에 유리한 형태의 열 영상으로 변환하고, 이에 대해 인식된 각 파트의 위치에 대한 벡터 값의 변화를 추적하여 부심의 깃발을 통한 동작, 즉 지시 모션을 인식하고 이와 관련된 이벤트들을 인식하는 것이 가능하다.
상술한 실시예에 따른 본 발명의 동작 인식 방법은 복잡한 연산과 고성능의 프로세서를 요구하던 기존의 전통적인 모션인식 방법이나 기계학습(딥러닝) 기반의 모션인식과는 달리 축구 영상 내의 부심 모션 인식에 특화된 간단한 방법을 사용하여 적은 자원으로 고속 연산이 가능하다는 장점을 가진다.
도 6은 본 발명의 일 실시예에 따른 스포츠 경기 영상에서의 이벤트 인식 방법의 동작 순서도이다.
본 발명에 따른 이벤트 인식 장치는 우선 입력되는 경기 영상에 대해 객체 트래킹을 수행한다(S610, S620) 여기서, 객체는 플레이어, 심판, 볼, 심판이 사용하는 깃발 등 경기 이벤트와 관련하여 유의미한 움직임이 발생하는 대상을 나타낼 수 있다. 객체 트래킹은 입력되는 동영상에 대해 실시간으로 수행될 수 있다.
이후, 이벤트 인식 장치는 입력된 영상을 열지도 영상으로 변환한다(S630). 여기서, 열지도 영상으로의 변환시 입력 영상의 각 컬러 성분에 대해 다른 가중치가 적용될 수 있다. 또한, 컬러 성분별 가중치는 제1 객체 영역의 픽셀 값을 최대화하고, 제2 객체 영역의 픽셀 값을 최소화하도록 수행될 수 있다. 여기서, 예를 들어, 제1 객체 영역은 경기 영상 내에서 깃발 영역일 수 있으며, 제2 객체 영역은 경기 영상 내에서 심판 영역일 수 있다.
본 발명에 따른 이벤트 인식 장치는, 열지도 영상에서 객체 영역 위치들 간의 차벡터 방향을 산출한다(S640). 즉, 제1 객체 영역의 위치와 제2 객체 영역의 위치 간의 차벡터 방향을 산출한다. 객체 영역 위치들 간의 차벡터 방향에 따라 동작을 인식할 수 있다(S650). 각 동작이 인식되면 해당 동작과 관련한 이벤트를 도출할 수 있다(S660).
도 7은 본 발명의 일 실시예에 따른 이벤트 인식 장치의 블록 구성도이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 이벤트 인식 장치(100)는 프로세서(110), 메모리(120), 스토리지(130)를 포함할 수 있다.
본 발명의 일 실시예에 따른 이벤트 인식 장치는 프로세서 및 프로세서를 통해 실행되는 적어도 하나의 명령 및 명령 수행의 결과를 저장하는 메모리를 포함할 수 있다.
여기서, 적어도 하나의 명령은, 상기 프로세서로 하여금, 입력되는 영상의 각 컬러 성분에 대해 가중치를 적용하여 열지도 영상으로 변환하도록 하는 명령; 열지도 영상에서 상기 영상 내 제1 객체 영역의 위치 및 제2 객체 영역의 위치에 대한 차벡터 방향을 산출하도록 하는 명령; 및 상기 차벡터 방향에 따라 동작을 인식하도록 하는 명령을 포함할 수 있다.
여기서, 각 컬러 성분에 대한 상기 가중치는, 상기 제1 객체 영역의 픽셀 값을 최대화하고, 제2 객체 영역의 픽셀 값을 최소화하는 값으로 설정될 수 있다.
한편, 스토리지(130)는 실시간으로 입력된 스포츠 경기 영상, 열지도 영상을 일시적으로 또는 장기간 저장할 수 있으며, 이들 영상을 인식된 이벤트에 대한 정보와 함께 저장할 수도 있다.
본 발명에 따른 이벤트 인식 장치는, 영상 처리 장치를 포함하거나 영상 처리 장치 내에 포함될 수 있다. 여기서, 영상 처리 장치는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또 등과 같은 사용자 단말기이거나 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 이벤트를 인식하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 이벤트 인식 장치 101: 색상공간 변환부
102: 이벤트 식별부 110: 프로세서
120: 메모리 130: 스토리지

Claims (1)

  1. 스포츠 경기 영상 내의 이벤트를 인식하는 방법으로서,
    입력되는 영상의 각 컬러 성분에 대해 가중치를 적용하여 열지도 영상으로 변환하는 단계;
    열지도 영상에서 상기 영상 내 제1 객체 영역의 위치 및 제2 객체 영역의 위치에 대한 차벡터 방향을 산출하는 단계; 및
    상기 차벡터 방향에 따라 동작을 인식하는 단계를 포함하는, 이벤트 인식 방법.
KR1020180147402A 2018-11-26 2018-11-26 스포츠 경기 영상에서 이벤트를 인식하는 장치 및 방법 KR20200061747A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180147402A KR20200061747A (ko) 2018-11-26 2018-11-26 스포츠 경기 영상에서 이벤트를 인식하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180147402A KR20200061747A (ko) 2018-11-26 2018-11-26 스포츠 경기 영상에서 이벤트를 인식하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20200061747A true KR20200061747A (ko) 2020-06-03

Family

ID=71087700

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180147402A KR20200061747A (ko) 2018-11-26 2018-11-26 스포츠 경기 영상에서 이벤트를 인식하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20200061747A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102336480B1 (ko) 2021-03-04 2021-12-07 주식회사 스누아이랩 자동 세그먼트 분류를 위한 영상처리장치 및 그 장치의 구동방법
US20220122340A1 (en) * 2020-04-28 2022-04-21 Rakuten Group, Inc. Object region identification device, object region identification method, and object region identification program
KR20240003876A (ko) 2022-07-04 2024-01-11 한국과학기술연구원 스포츠 경기 영상의 선수 행동과 경기 상황을 인식하는 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220122340A1 (en) * 2020-04-28 2022-04-21 Rakuten Group, Inc. Object region identification device, object region identification method, and object region identification program
US11922667B2 (en) * 2020-04-28 2024-03-05 Rakuten Group, Inc. Object region identification device, object region identification method, and object region identification program
KR102336480B1 (ko) 2021-03-04 2021-12-07 주식회사 스누아이랩 자동 세그먼트 분류를 위한 영상처리장치 및 그 장치의 구동방법
KR20240003876A (ko) 2022-07-04 2024-01-11 한국과학기술연구원 스포츠 경기 영상의 선수 행동과 경기 상황을 인식하는 시스템

Similar Documents

Publication Publication Date Title
Bukschat et al. EfficientPose: An efficient, accurate and scalable end-to-end 6D multi object pose estimation approach
US10529077B2 (en) System and method for detecting interaction
Tran et al. Two-stream flow-guided convolutional attention networks for action recognition
CN106778854B (zh) 基于轨迹和卷积神经网络特征提取的行为识别方法
CN109145784B (zh) 用于处理视频的方法和装置
WO2021120157A1 (en) Light weight multi-branch and multi-scale person re-identification
US10380173B2 (en) Dynamic feature selection for joint probabilistic recognition
CN109902547B (zh) 动作识别方法和装置
KR20200061747A (ko) 스포츠 경기 영상에서 이벤트를 인식하는 장치 및 방법
WO2021098616A1 (zh) 运动姿态识别方法、运动姿态识别装置、终端设备及介质
KR101384627B1 (ko) 영상 내 객체 영역 자동분할 방법
US11048944B2 (en) Spatio-temporal features for video analysis
WO2023093244A1 (zh) 一种模型训练方法、装置、设备、介质和程序产品
CN110781962A (zh) 基于轻量级卷积神经网络的目标检测方法
Mustamo Object detection in sports: TensorFlow Object Detection API case study
Vainstein et al. Modeling video activity with dynamic phrases and its application to action recognition in tennis videos
KR20180054406A (ko) 영상 처리 장치 및 방법
Park et al. Binary dense sift flow based two stream CNN for human action recognition
CN112970031A (zh) 用于关联视频中的目标的方法
CN115243073B (zh) 一种视频处理方法、装置、设备及存储介质
CN112966673A (zh) 一种行人重识别模型的构建方法及行人重识别方法
CN108121963B (zh) 视频数据的处理方法、装置及计算设备
WO2023187899A1 (ja) コンピュータビジョンシステム、コンピュータビジョン方法、コンピュータビジョンプログラム及び学習方法
Walters et al. BenderNet and RingerNet: Highly efficient line segmentation deep neural network architectures for ice rink localization
CN111291692B (zh) 视频场景识别方法、装置、电子设备及存储介质