KR20220096335A - 모션 인식 확률 기반의 스포츠 이벤트 인식 방법 및 장치 - Google Patents

Abstract

스포츠 이벤트 인식 방법이 개시된다. 상기 스포츠 이벤트 인식 방법은, 실제 모션과 입력된 영상으로부터 인식된 관심 모션의 일치 정도를 평가하는 혼동 행렬을 생성하는 단계; 상기 혼동 행렬에 기반하여 관심 모션에 대한 오인식률을 추출하는 단계; 상기 오인식률에 기반하여 이벤트 인식과 관련된 임계치를 추출하는 단계; 상기 관심 모션으로 인식되기 위한 모션의 지속 시간에 따라 슬라이딩 윈도우(Sliding Window)의 크기를 결정하는 단계; 상기 슬라이딩 윈도우를 기초로 입력된 영상을 프레임별로 분할하는 단계; 프레임별로 분할된 영상에서 관심 모션의 개수를 추출하는 단계; 및 상기 관심 모션의 개수가 상기 임계치를 초과하는 경우 이벤트로 인식하는 단계를 포함한다.

Description

모션 인식 확률 기반의 스포츠 이벤트 인식 방법 및 장치{APPARATUS AND METHOD FOR RECOGNIZING SPORTS EVENTS BASED ON MOTION RECOGNITION PROBABILITY}

본 발명은 스포츠 경기 중에 발생하는 이벤트를 인식하는 방법 및 장치에 관한 것으로, 더욱 상세하게는 객체의 위치를 고려하고 모션 인식 장치를 통하여 일부 오류가 있는 모션을 입력으로 하여 스포츠 경기에서 발생하는 이벤트를 정확하게 인식하는 방법 및 장치에 관한 것이다.

스포츠 영상 기반의 이벤트 인식 기술은 크게 방송 영상 기반 이벤트 인식과 촬영 영상 기반 이벤트 인식으로 나눌 수 있다.

방송 영상 기반 이벤트 인식 기술의 최종 목적은 경기 주요내용의 요약이며, 이를 위하여 영상에서 이벤트를 인식하는 기술이다. 따라서, 스포츠 경기를 실제로 수행하는 선수나 심판과 같은 객체의 위치나 움직임이 아닌 카메라 촬영 방법, 그래픽 사용 여부 등과 같은 경기 외적인 요소를 통하여 이벤트 인식을 시도하므로 이벤트 발생 여부는 인식할 수 있으나, 누가, 어디서, 언제 등과 같은 각 이벤트의 세부 정보까지는 알아낼 수 없다는 문제점이 존재한다.

또한, 방송 영상 기반 이벤트 인식 기술 중에는 방송 영상의 줌 인/아웃 정도, 촬영된 필드의 위치, 카메라의 촬영 대상(선수, 관객 등), 재생 속도, 그래픽 정보의 사용 여부 등을 종합하여 은닉 마코프 모델 기반으로 이벤트 인식을 시도하는 기술도 기존에 제안된 바 있다.

한편, 촬영 영상 기반 이벤트 인식 기술의 경우 최종 목적이 경기 내용의 기록 및 분석이므로 자세한 이벤트 인식이 수반되어야 한다. 따라서, 촬영된 경기 영상으로부터 경기를 구성하는 선수 및 심판 객체의 위치를 특정하고, 객체의 움직임을 파악한 후 이를 기반으로 이벤트를 인식하여야 하는 기술적 어려움이 있다.

기존의 객체 위치 및 모션 기반의 이벤트 인식 기술은, 이벤트를 인식하는 구체적인 방법을 제안하지 않고, 특히, 모션 인식의 경우 항상 정확하게 객체의 모션을 인식하지 못하고 오인식 되는 경우가 빈번히 발생하는 문제점이 존재하는 바, 이벤트 인식 기술에 대한 해결책이 요구된다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 스포츠 이벤트 인식을 위하여 입력되는 각 객체의 모션 데이터에 오류 데이터가 포함되어 있는 경우에도 일정 수준 이상의 정확도를 보장하면서 이벤트를 인식하는 방법을 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명은 실제 모션과 입력된 영상으로부터 인식된 관심 모션의 일치 정도를 평가하는 혼동 행렬을 생성하는 단계; 상기 혼동 행렬에 기반하여 관심 모션에 대한 오인식률을 추출하는 단계; 상기 오인식률에 기반하여 이벤트 인식과 관련된 임계치를 추출하는 단계; 상기 관심 모션으로 인식되기 위한 모션의 지속 시간에 따라 슬라이딩 윈도우(Sliding Window)의 크기를 결정하는 단계; 상기 슬라이딩 윈도우를 기초로 입력된 영상을 프레임별로 분할하는 단계; 프레임별로 분할된 영상에서 관심 모션의 개수를 추출하는 단계; 및 상기 관심 모션의 개수가 상기 임계치를 초과하는 경우 이벤트로 인식하는 단계를 포함할 수 있다.

본 발명에 따른 모션 인식 확률 기반 이벤트 인식 방법은, 스포츠 영상에서 객체의 위치와 모션을 입력으로 하여 이벤트를 세부적으로 인식하는 방법을 제공하고, 특히, 모션 인식 장치의 출력이 부정확한 경우에도 안정적으로 일정 수준의 정확도를 유지하면서 이벤트를 인식할 수 있게 한다.

본 발명에 따른 모션 인식 확률 기반 이벤트 인식 방법은, 이벤트 발생 여부만을 판단할 수 있는 기존 이벤트 인식 장치와는 달리 이벤트 발생 객체, 이벤트 발생 시점, 이벤트 발생 위치, 이벤트 길이 및 관련 이벤트 세부 정보까지 인식이 가능하여, 세부 정보를 기반으로 경기를 분석하고 더 나아가 전술까지 분석할 수 있을 뿐만 아니라, 이벤트 기반의 경기 검색, 사용자 맞춤형 경기 요약 등 이벤트 정보를 기반으로 하는 여러 응용 분야로의 확장을 가능하게 한다.

도 1은 본 발명의 일 실시 예에 따른 모션 인식 확률 기반 이벤트 인식 장치의 동작 원리를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 모션 인식 확률 기반 이벤트 인식 장치가 인식할 수 있는 모션을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 모션 인식 확률 기반 이벤트 인식 장치의 동작 원리를 개념적으로 설명하기 위한 개념도이다.
도 4a는 본 발명의 일 실시예에 따른 모션 인식 확률 기반 이벤트 인식 장치의 객체 모션 인식 장치(102)의 출력 결과를 혼동 행렬로 변환한 도면이다.
도 4b는 본 발명의 일 실시예에 따른 모션 인식 확률 기반 이벤트 인식 장치의 모션 인식 장치의 출력 결과를 혼동 행렬로 나타낸 것에 기반하여 모션의 정밀도 및 오인식률을 추출한 도면이다.
도 5은 본 발명의 일 실시예에 따른 모션 인식 확률 기반 스포츠 이벤트 인식 장치의 블록 구성도이다.
도 6는 본 발명의 일 실시예에 따른 모션 인식 확률 기반 스포츠 이벤트 인식 방법의 동작 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하에서 설명하는 스포츠는 '축구'를 예로 들어 설명하지만 반드시 이에 한정되지 않으며 다양한 종목의 스포츠를 모두 포함하는 개념으로 해석될 수 있다.

방송 영상 기반 이벤트 인식 기술은, 최종 목적이 경기 주요 내용 요약이며, 이를 위하여 영상에서 이벤트를 인식하는 기술이다. 이러한 방송 영상 기반 이벤트 인식 기술은 모든 스포츠 이벤트를 대상으로 하지 않고, 슛, 골, 파울 등 주요 이벤트 발생 여부만을 인식하는 것이 목적이며, 자세한 이벤트 내용이 아닌 이벤트 발생 시점 및 간략한 이벤트 정보만을 추출하는 것을 목적으로 한다. 예를 들어, 유튜브 (Youtube) 영상에서 2-3초 분량의 골 또는 노골 영상을 기반으로 딥 러닝을 적용하여 단순히 골 이벤트가 발생한 경우에 대해서만 이벤트 인식을 시도한 예(골 인식률 98% 달성)가 있으며, 방송 영상에서 플레이-브레이크(play-break) 및 롱 뷰(Long View), 숏 뷰(Short View), 클로즈업 뷰(Close-up View) 등과 같은 촬영 기술로 분류한 것을 기반으로 딥 러닝을 적용하여 이벤트 인식을 시도한 예(총 4종의 이벤트에 대해 약 90%의 인식률 달성)가 있다.

한편, 촬영 영상 기반 이벤트 인식 기술의 경우 최종 목적이 경기 내용의 기록 및 분석이므로 자세한 이벤트 인식이 수반되어야 한다. 또한, 자세한 이벤트가 인식되면 방송 영상 기반 이벤트 인식 기술의 목적인 경기 내용 요약이 자연스럽게 가능하며, 인식된 이벤트에 기반한 영상 검색, 전술 분석 등의 여러 응용 분야로 확장되어 활용이 가능하다.

객체의 위치와 모션에 기반하여 이벤트를 인식하는 기술이 가진 문제점은, 정확한 위치와 정확한 모션 정보가 입력되었을 경우에 한하여 이벤트가 인식된다는 점에 있다. 따라서, 스포츠 경기 내 선수 및 심판의 모션을 인식하는 장치는 영상의 노이즈 및 모션간 유사성 등과 같은 문제와 더불어 현재 기술의 한계로 인하여 항상 정확하고 일관된 이벤트 인식 결과를 내놓을 수 없다.

따라서, 오류가 있는 모션 정보가 입력되어도 정확하게 이벤트를 인식할 수 있는 방법이 필요하며, 본 발명에서는 모션 인식 장치의 오류 발생 확률에 기반하여 이벤트 인식 장치를 구성하는 방법을 제안함으로써 부정확한 모션 입력 데이터 하에서도 사용자가 설정한 정확도를 보장하는 이벤트 인식 방법을 제안하고자 한다.

도 1은 본 발명의 일 실시 예에 따른 모션 인식 확률 기반 이벤트 인식 장치의 동작 원리를 설명하기 위한 블록도이다.

본 발명의 일 실시예에 따른 모션 인식 확률 기반 스포츠 이벤트 인식 장치(100)는 다중 객체 추적 장치(101) 및 객체 모션 인식 장치(102)로 구성될 수 있다.

더욱 상세하게는, 다중 객체 추적 장치(101)는 입력된 영상에 기반하여 객체의 위치 데이터를 출력하여 객체 모션 인식 장치(102)에 입력하거나 직접 모션 인식 확률 기반 스포츠 이벤트 인식 장치(100)에 객체 위치 데이터를 입력할 수 있다. 또한, 객체 모션 인식 장치(102)는 입력된 영상 및 객체 위치 데이터에 기반하여 객체별 모션 인식 데이터를 출력하여 이벤트 인식 장치(100)에 입력할 수 있다. 또한, 본 발명의 스포츠 이벤트 인식 장치(100)는 객체 위치 데이터와 객체별 모션 데이터에 기반하여 이벤트로 인식된 이벤트 데이터가 출력되도록 구성될 수 있다.

여기서, 다중 객체 추적 장치(101)는 객체 위치 데이터에 오류가 발생할 경우 사용자에 의한 수동 보정이 가능하나, 객체 모션 인식 장치(102)는 각 프레임에 대한 객체별 모션 인식 데이터 오류를 모두 수동으로 보정할 수 없으므로, 오류가 포함된 모션 인식 데이터가 모션 인식 확률 기반 이벤트 인식 장치(100)에 입력될 수 있다.

따라서, 오류를 포함한 모션 인식 데이터로부터 이벤트를 인식하기 위해서는 적어도 두 가지 이상의 모션과 관련된 정보가 포함되어야 할 수 있다. 여기서, 모션과 관련된 정보는 관심 모션으로 인식되기 위해 최소한으로 모션이 지속되어야 할 시간 정보일 수 있고, 객체 모션 인식 장치로부터 출력된 객체 모션별 정밀도 및 오인식률일 수 있다.

도 2는 본 발명의 일 실시예에 따른 모션 인식 확률 기반 이벤트 인식 장치가 인식할 수 있는 모션을 설명하기 위한 도면이다.

도 2를 참고하면, 모션 목록에서 아이들(Idle)은 인식하고자 하는 이벤트와 관련되지 않은 해당 객체의 모든 모션을 통칭할 수 있다. 또한, 모션 인식 확률 기반 이벤트 인식 장치가 인식할 수 있는 이벤트의 종류는 모션의 객체에 따라 구분될 수 있다. 다만, 인식하고자 하는 이벤트의 종류 또는 응용되는 모션에 따라 인식하여야 할 모션의 종류는 바뀔 수 있다.

따라서, 태클 이벤트는 선수가 태클(Tackle) 모션을 0.5초 이상 유지한 경우 인식이 가능할 수 있으며, 스로인 이벤트는 선수가 스로우(Throw) 모션을 0.5초 이상 유지한 경우 인식이 가능할 수 있다.

또한, 파울 이벤트는 주심이 원 암(OneArm) 모션을 1초 이상 유지한 경우 인식이 가능할 수 있으며, 이 경우 주심의 위치에 따라 패널티 킥 또는 프리킥 이벤트가 연속적으로 인식이 가능할 수 있다. 또한, 어드벤티지 이벤트는 주심이 투 암(TwoArm) 모션을 1초 이상 유지한 경우 인식이 가능할 수 있다. 또한, 카드 이벤트는 주심이 원 암 업(OneArmUp) 모션을 1초 이상 유지한 경우 인식이 가능할 수 있으며, 이 경우 주심의 위치에 따라 패널티 킥 또는 프리킥 이벤트가 연속적으로 발생할 수 있다.

또한, 골라인 아웃 이벤트는 부심이 골라인 근처 위치에서 암 프론트(ArmFront) 모션을 1초 이상 유지한 경우 인식이 가능할 수 있으며, 라인 아웃 이벤트는 부심이 암 사이드(ArmSide) 모션을 1초 이상 유지한 경우 인식이 가능할 수 있으며, 오프사이드 이벤트는 부심이 암 업(ArmUp) 모션을 1초 유지하고 암 프론트(ArmFront) 모션을 1초 이상 유지한 경우 인식이 가능할 수 있으며, 파울 이벤트는 부심이 암 업(ArmUp) 모션을 1초 유지하고 암 사이드(ArmSide) 모션을 1초 이상 유지한 경우 인식이 가능할 수 있으며, 교체 이벤트는 부심이 투 암 업(TwoArmUp) 모션을 1초 이상 유지한 경우 인식이 가능할 수 있다.

위에서 제시한 이벤트 외에도 모션을 추가하거나 규칙을 추가하는 경우 모션 인식 확률 기반 이벤트 인식 장치가 인식 가능한 이벤트의 종류와 개수는 변경될 수 있다.

도 3은 본 발명의 일 실시예에 따른 모션 인식 확률 기반 이벤트 인식 장치의 동작 원리를 개념적으로 설명하기 위한 개념도이다.

본 발명의 일 실시예에 따르면 모션 리스트와 이벤트 인식 규칙을 통하여 이벤트 인식을 진행할 수 있는데, 이 때 전술한 바와 같이 객체 모션 인식 장치의 출력이 정확하지 않기 때문에 출력 보정이 수반되어야 할 수 있다.

따라서, 본 발명에서 제안하는 스포츠 이벤트 인식 장치에서는 도 3과 같이 슬라이딩 윈도우 방식을 통하여 각 객체 별로 최근 n개의 프레임으로부터 인식된 모션을 검사하여 총 검사 프레임에서 관심 모션의 수(m)가 미리 정의된 임계치(t) 이상인 경우에 이벤트로 인식하는 방법이 사용될 수 있다.

여기서, 관심 모션은 태클(tackle)일 수 있다.

즉, 매 프레임이 이동할 때마다 모든 객체(즉, 선수 22명, 주심 1명, 부심 2명)에 대해서 발생 가능한 모든 이벤트를 인식하는 것은 비효율적이므로 과거 n개의 프레임 중 첫 번째 프레임(즉, 가장 과거의 프레임 또는 슬라이딩 윈도우 내 현재 프레임에서 가장 먼 프레임)의 값이 아이들(Idle)이 아닌 경우에 대해서만 첫 번째 프레임이 가진 모션(즉, 관심 모션)에 대하여 슬라이딩 윈도우 내의 관심 모션의 개수(m)가 임계치(t)를 넘었는지 확인하여 이벤트를 인식할 수 있다. 또한, 인식된 이벤트의 지속 시간은 현재 프레임을 이동하면서 슬라이딩 윈도우 내에서 관심 모션(m)의 수가 임계치(t)를 넘는 시간만큼 유지될 수 있다.

예를 들어, 30fps(frame per second)로 촬영된 영상에서 관심 모션으로 인식되기 위한 모션의 최소 지속시간이 1초인 경우 슬라이딩 윈도우의 크기 즉, 프레임 개수(n)는 30개이다. 다만, 실제 상황에서는 이벤트 인식을 위한 모션의 최소 지속시간이 각각 다르므로 이벤트에 대한 모션 검사 범위인 슬라이딩 윈도우 크기 즉, 프레임 개수(n)는 이벤트 별로 다를 수 있다.

또한, 각 모션에 대한 임계치(t)를 계산하기 위해서는 객체별 모션 인식 장치의 정확도를 알아야 하며, 이벤트 인식 장치의 이벤트 인식 목표치를 결정하여야 한다.

예를 들어, 객체별 모션 인식 장치의 정확도는 모션 인식 장치를 테스트하는 과정에서 얻을 수 있는 혼동 행렬(Confusion Matrix)에 기반하여 정밀도(precision)와 오인식률을 추출하여 알 수 있다.

도 4a는 본 발명의 일 실시예에 따른 모션 인식 확률 기반 이벤트 인식 장치의 객체 모션 인식 장치(102)의 출력 결과를 혼동 행렬로 변환한 도면이다.

여기서, GT는 지상 진실(Ground Truth) 즉, 객체 모션 인식 장치에 실제 입력된 모션을 의미하고, 아웃풋(Output)은 객체 모션 인식 장치에 의한 출력 데이터인 객체별 모션 인식 데이터를 의미한다.

도 4b는 본 발명의 일 실시예에 따른 모션 인식 확률 기반 이벤트 인식 장치의 모션 인식 장치의 출력 결과를 혼동 행렬로 나타낸 것에 기반하여 모션의 정밀도 및 오인식률을 추출한 것을 나타낸 도면이다.

도 4b를 참고하면, 모션 인식 장치의 출력이 스로우(Throw)인 경우 실제 스로우 모션이 제대로 인식된 확률 즉, 정밀도는 80.59%이고, 태클(Tackle)이나 아이들(Idle) 모션으로 오인식 되었을 확률은 19.41% 임을 알 수 있다.

따라서, 정밀도(precision)는 아래 수학식 1에 의해 계산될 수 있다.

여기서, retrieved data는 모션 인식 장치에 실제 입력된 모션 중에서 특정 모션 데이터를 의미할 수 있고, relavant data는 모션 인식 장치에서 출력된 모션 인식 데이터를 의미할 수 있다. 또한, true positive는 모션 인식 장치에 실제 입력된 모션의 관심 모션과 모션 인식 장치에서 출력된 모션이 일치하는 것으로 판별된 경우를 말할 수 있고, false positive는 모션 인식 장치에 실제 입력된 모션의 관심 모션과 모션 인식 장치에서 출력된 모션이 일치하지 않음에도 일치하는 것으로 판별된 경우를 말할 수 있다.

본 발명의 일 실시예에 따르면, 본 발명은 계산된 각 모션별 정밀도, 오인식률 및 관심 모션의 최소 지속시간을 토대로 모션별 인식 성능을 계산할 수 있다. 또한, 모션별 인식 성능에 기반하여 본 발명의 모션 오인식률을 일정 확률 이하로 유지할 수 있게 하는 임계치(t)를 계산할 수 있다.

슬라이딩 윈도우 크기(n) 즉, n 개의 모션 중에서 관심 모션의 개수(m)에 대해 특정 모션이 실제로 발생했을 확률(true positive rate; TPR)은 수학식 2에 의해 계산될 수 있다.

여기서, p는 모션 인식 장치의 출력 모션이 관심 모션인 경우 관심 모션이 실제 발생하였을 확률인 정밀도(precision)를 의미할 수 있다.

슬라이딩 윈도우 크기 즉, n 개의 모션 중에서 관심 모션의 개수(m)에 대해 특정 모션이 실제로 발생하지 않았으나 발생한 것으로 오인식 되었을 확률(false positive rate; FPR)은 수학식 3에 의해 계산될 수 있다.

상기 수학식들을 기반으로 슬라이딩 윈도우 크기(n) 내에 임의의 관심 모션의 개수(m)가 미리 정의한 목표 수준 이하의 False Positive Rate(FPR)의 합(target SUMFPR)을 갖는 관심 모션의 발생 개수 즉, 임계치(t)를 넘는지 확인하여 사용자가 설정한 정확도 수준을 만족하는 이벤트 인식이 가능할 수 있다.

수학식 4는, 수학식 2 및 3에 기반하여 임계치(t)를 결정하기 위한 수학식이다.

예를 들어, 사용자가 선수의 스로인 이벤트를 10-3 이하의 오인식률을 갖도록 모션을 인식하고 싶은 경우, 스로우 모션의 최소 지속시간을 확인하여 슬라이딩 윈도우의 크기(n)로 설정한 후, 이어서, 수학식 4의 target SUMFPR 을 10-3로 설정하여 수학식 4를 만족하는 가장 작은 임계치(t)를 계산할 수 있다. 따라서, 슬라이딩 윈도우의 첫 프레임의 모션이 스로우인 경우에 대해 슬라이딩 윈도우 내(n)의 스로우 모션의 수(m)가 임계치(t)를 넘는 경우 해당 선수가 스로인 이벤트를 발생시킨 것으로 인식할 수 있다.

발생한 이벤트의 세부 정보를 결정하는 과정을 살펴보면, 이벤트 시작 시점은 이벤트 인식이 시작된 슬라이딩 윈도우의 첫 번째 프레임에 해당될 수 있고, 이 후 슬라이딩 윈도우를 한 프레임 간격으로 이동해가면서 관심 모션의 개수(m)가 임계치(t)를 넘지 못하는 경우 슬라이딩 윈도우의 가장 마지막 프레임이 이벤트 종료 시점이 될 수 있다.

마지막으로, 이벤트 인식이 종료된 후 일정 시간 동안 동일한 이벤트가 발생하지 않을 경우, 아이들(Idle)이 아닌 모션이 이벤트 인식 장치에 입력되더라도 이벤트로 인식하지 않음으로써 이벤트 인식 장치의 불필요한 이벤트 인식 시도를 줄일 수 있다. 예를 들어, 부심이 골라인 아웃을 선언하고 골라인 아웃 이벤트가 인식된 경우, 적어도 5~10초 내에는 동일한 이벤트가 발생하지 않을 확률이 높으므로 이벤트 인식 장치에 부심의 암 프론트(ArmFront) 모션이 입력되더라도, 오류 데이터로 인식하고 이벤트 인식 장치가 이벤트 인식을 시도하지 않음으로써 불필요한 이벤트 인식 시도를 줄일 수 있다.

전술한 바와 같이, 모션 인식 확률 기반 이벤트 인식 장치의 사용자가 원하는 관심 모션의 오인식률(FPR)에 기반하여 계산된 임계치(t)를 미리 정의하고, 슬라이딩 윈도우 방식으로 윈도우 내 아이들(Idle)이 아닌 첫 번째 모션에 대해 이벤트 인식을 수행함으로써 사용자가 원하는 수준의 정확도 성능을 가지는 이벤트 인식 장치를 구성할 수 있다.

도 5는 본 발명의 일 실시예에 따른 모션 인식 확률 기반 스포츠 이벤트 인식 장치의 블록 구성도이다.

본 발명의 일 실시예에 따른 모션 인식 확률 기반 이벤트 인식 장치(100)는 프로세서(110) 및 프로세서를 통해 실행되는 적어도 하나의 명령 및 명령 수행의 결과를 저장하는 메모리(120), 그리고 통신 모듈(130)을 포함할 수 있다.

여기서, 적어도 하나의 명령은 상기 프로세서(110)로 하여금 실제 모션과 입력된 영상으로부터 인식된 관심 모션의 일치 정도를 평가하는 혼동 행렬을 생성하도록 하는 명령; 상기 혼동 행렬에 기반하여 관심 모션에 대한 오인식률을 추출하도록 하는 명령; 상기 오인식률에 기반하여 이벤트 인식과 관련된 임계치를 추출하도록 하는 명령; 상기 관심 모션으로 인식되기 위한 모션의 지속 시간에 따라 슬라이딩 윈도우(Sliding Window)의 크기를 결정하도록 하는 명령; 상기 슬라이딩 윈도우를 기초로 입력된 영상을 프레임별로 분할하도록 하는 명령; 프레임별로 분할된 영상에서 관심 모션의 개수를 추출하도록 하는 명령; 및 상기 관심 모션의 개수가 상기 임계치를 초과하는 경우 이벤트로 인식하도록 하는 명령을 포함할 수 있다.

또한, 통신 모듈(130)은 프로세서의 제어에 따라 연결망을 통해 입력 영상 데이터, 객체 위치 데이터 및 모션 인식 데이터 등을 수집하여 프로세서로 전달할 수 있다. 상기 통신 모듈은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신 하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.

도 6는 본 발명의 일 실시예에 따른 모션 인식 확률 기반 스포츠 이벤트 인식 방법의 동작 순서도이다.

본 발명의 일 실시예에 따른 스포츠 이벤트 인식 방법은 객체 모션 인식 장치(102)에서 출력된 객체별 모션 인식 데이터에 기반하여 실제 모션과 입력된 영상으로부터 인식된 관심 모션의 일치 정도를 평가하는 혼동 행렬을 생성하는 단계(S410)를 포함할 수 있다. 이어서, 상기 혼동 행렬에 기반하여 관심 모션에 대한 오인식률을 추출하는 단계 (S420)를 포함할 수 있다. 이어서, 상기 오인식률에 기반하여 이벤트 인식과 관련된 임계치를 추출하는 단계(S430)를 포함할 수 있다. 즉, 사용자가 원하는 관심 모션에 대한 오인식률의 합을 임계치로 설정할 수 있다.

이어서, 상기 관심 모션으로 인식되기 위한 모션의 지속 시간에 따라 슬라이딩 윈도우(Sliding Window)의 크기를 결정하는 단계(S440)를 포함할 수 있다. 이어서, 상기 슬라이딩 윈도우를 기초로 입력된 영상을 프레임별로 분할하는 단계(S450)를 포함할 수 있다. 이어서, 상기 프레임별로 분할된 영상에서 관심 모션의 개수를 추출하는 단계(S460)를 포함할 수 있다. 즉, 관심 모션으로 인식되기 위한 지속시간에 기반하여 프레임별로 분할된 영상에서 관심 모션의 개수를 추출할 수 있다. 마지막으로, 상기 관심 모션의 개수가 상기 임계치를 넘는 경우 이벤트로 인식하는 단계(S470)를 포함할 수 있다. 즉, 사용자가 상기 관심 모션의 오인식률을 고려하여 임계치를 설정할 수 있고, 관심 모션의 오인식률이 임계치보다 낮은 경우에만 관심 모션이 이벤트로서 발생한 것으로 인식될 수 있다.

전술한 실시예들을 통해 설명된 본 발명은 스포츠 이벤트 인식을 위해 경기 영상만을 입력으로 받는 기존 기술과는 달리 각 객체의 위치 정보 및 모션 정보를 동시에 입력으로 받고, 인식된 각각의 이벤트에 대한 세부 정보를 제시할 수 있어, 이벤트 발생 여부 혹은 개별 이벤트에 대한 단순한 정보만을 제공하는 기존 기술과는 인식 이벤트 분석의 정확도 및 구체성에서 차별성을 보인다.

본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.

또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.

실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.

이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (3)

1. 실제 모션과 입력된 영상으로부터 인식된 관심 모션의 일치 정도를 평가하는 혼동 행렬을 생성하는 단계;
   상기 혼동 행렬에 기반하여 관심 모션에 대한 오인식률을 추출하는 단계;
   상기 오인식률에 기반하여 이벤트 인식과 관련된 임계치를 추출하는 단계;
   상기 관심 모션으로 인식되기 위한 모션의 지속 시간에 따라 슬라이딩 윈도우(Sliding Window)의 크기를 결정하는 단계;
   상기 슬라이딩 윈도우를 기초로 입력된 영상을 프레임별로 분할하는 단계;
   프레임별로 분할된 영상에서 관심 모션의 개수를 추출하는 단계; 및
   상기 관심 모션의 개수가 상기 임계치를 초과하는 경우 이벤트로 인식하는 단계를 포함하는, 스포츠 이벤트 인식 방법.
2. 청구항 1에서,
   상기 임계치를 추출하는 단계는,
   상기 관심 모션에 대한 오인식율의 합을 상기 임계치로 설정하는, 스포츠 이벤트 인식 방법.
3. 청구항 2에서,
   상기 관심 모션의 개수를 추출하는 단계는,
   상기 관심 모션으로 인식되기 위한 상기 지속 시간에 기초하여 상기 관심 모션의 개수를 추출하는, 스포츠 이벤트 인식 방법.

Images