KR20150127684A - 스포츠 비디오에서의 롱 샷들의 검출 - Google Patents

스포츠 비디오에서의 롱 샷들의 검출 Download PDF

Info

Publication number
KR20150127684A
KR20150127684A KR1020157028312A KR20157028312A KR20150127684A KR 20150127684 A KR20150127684 A KR 20150127684A KR 1020157028312 A KR1020157028312 A KR 1020157028312A KR 20157028312 A KR20157028312 A KR 20157028312A KR 20150127684 A KR20150127684 A KR 20150127684A
Authority
KR
South Korea
Prior art keywords
pixels
standard deviation
color
candidate
field
Prior art date
Application number
KR1020157028312A
Other languages
English (en)
Other versions
KR101800099B1 (ko
Inventor
스티븐 피. 이메오트
케빈 엘. 바움
렌샹 리
Original Assignee
제너럴 인스트루먼트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제너럴 인스트루먼트 코포레이션 filed Critical 제너럴 인스트루먼트 코포레이션
Publication of KR20150127684A publication Critical patent/KR20150127684A/ko
Application granted granted Critical
Publication of KR101800099B1 publication Critical patent/KR101800099B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G06K9/00724—
    • G06T7/408—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

복수의 픽셀을 포함하는 비디오 프레임을 수신하는 단계, 상기 복수의 픽셀 각각을 후보 필드 픽셀 또는 후보 넌-필드 픽셀로 분류하는 단계, 최소한 상기 복수의 픽셀의 미리 정의된 퍼센트가 후보 필드 픽셀들인지를 결정하는 단계, 모든 후보 필드 픽셀들의 색상들의 표준 편차인 제1 표준 편차를 계산하는 단계, 및 최소한 상기 복수의 픽셀의 상기 미리 정의된 퍼센트가 후보 필드 픽셀들이고 상기 제1 표준 편차가 미리 정의된 최대 표준 편차 값 이하일 때 상기 비디오 프레임을 스포츠 비디오의 롱 샷으로서 분류하는 단계를 포함하는, 스포츠 비디오의 롱 샷들을 확인하는 방법.

Description

스포츠 비디오에서의 롱 샷들의 검출{DETECTION OF LONG SHOTS IN SPORTS VIDEO}
본 개시는 디지털 비디오 분석과 인코딩의 분야, 특히 스포츠 비디오에서의 롱 샷들을 검출하는 방법에 관한 것이다.
스포츠 비디오 시청은 많은 사람들을 위한 인기 있는 오락이다. 스포츠 비디오의 디지털 전송들은 직접적으로 또는 셋톱 박스들을 통하여 텔레비전들을 통해, 또는 개인용 컴퓨터들, 태블릿 컴퓨터들, 스마트폰들, 모바일 장치들, 게임 콘솔들, 및/또는 다른 장비와 같은 기타 장치들을 통해 볼 수 있다. 스포츠 비디오의 디지털 레코딩들은 동일한 장치들을 통해 볼 수 있고 디지털 레코딩들을 보는 것은 레코딩된 이벤트의 초기에 또는 이벤트를 통한 중간에 시작할 수 있다.
시각적 및/또는 시네마토그래픽 큐들을 기반으로 하는 스포츠 비디오의 자동적 파싱(parsing)은 뷰어가 잠재적으로 관심을 갖고 있는 세그먼트들, 및/또는 비디오 온 디맨드 재생이 시작할 수 있는 포인트들을 확인하는데 사용될 수 있다. 롱 샷들, 미디엄 샷들 및 클로즈업 샷들과 같은, 시각적 큐들은 온-필드 이벤트(on-field event)들이 발생하고 있는 비디오의 세그먼트들을 확인하는데 사용되거나, 또는 플레이어들, 심판들, 볼들, 로고들, 또는 다른 아이템들의 클로즈업 뷰들로부터 온-필드 이벤트들을 구별하는데 사용될 수 있다. 롱 샷들은 필드 또는 코트와 같은, 경기 면의 큰 영역들의 커버리지를 자주 제공하고, 필드 상의 활동이 최대가 되는 동안의 시간 주기들을 자주 확인한다. 플레이의 확장된 기간들은 플레이의 끝을 의미하거나 키 플레이어들의 기여들을 강조하는 미디엄 및/또는 클로즈업 샷들에 선행하는 일련의 롱 샷들을 포함할 수 있다. 롱 샷들의 검출은 또한 비디오로부터 하이라이트들을 자동적으로 식별하고, 및/또는 자동적으로 비디오를 요약하는 것에 도움을 줄 수 있다.
롱 샷들을 검출하는 일부 방법들이 개발되었다. 그러나, 대부분의 기존의 방법들은 트레이닝 시간을 필요로 하며 비디오의 단일 프레임을 기초로 롱 샷들을 즉시 식별할 수는 없다. 예를 들어, 일부 방법들은 일정 시간 주기에 걸쳐서 무작위로 선택된 프레임들로부터 색상 히스토그램들을 생성하고, 그리고 나서 히스토그램으로부터 피크들 및 임계값들을 확인한다. 이러한 방법들은 스포츠 비디오의 초기에 그들의 모델이 트레이닝될 시간을 필요로 하고 트레이닝은 비-스포츠 비디오가 광고 방송들 또는 게임 전 분석과 같이, 스포츠 비디오와 함께 배치될 때, 또는 필드의 일부들이 통계들, 로고들 또는 다른 그래픽들로 커버되는 경우에 방해 받을 수 있다. 다른 방법들에서, 경기 면의 컬러는 스포츠 비디오의 초기에 학습되지만, 이 방법은 롱 샷 검출 알고리즘이 시작할 수 있기 전에 경기 면의 컬러를 학습할 시간을 필요로 할 수 있다. 또 다른 방법들에서, 경기 면의 컬러는 사전에 확인되어야 하고, 및/또는 경기 면의 컬러를 기준 모델에 비교한다.
필요한 것은, 시간 주기에 걸쳐 복수의 프레임들을 분석할 필요 없이, 또는 경기 면의 컬러에 관한 이전의 정보 없이도, 단일 프레임 상에서 작동할 수 있는 스포츠 비디오에서의 롱 샷들을 검출하기 위한 방법이다. 본 개시는 장치가, 비디오 프레임을 수신하여 비디오 프레임을 후보 필드 픽셀들과 후보 넌-필드 픽셀들로 나눔으로써 프레임이 롱 샷인지를 결정하고, 충분한 픽셀들이 후보 필드 픽셀들인지를 결정하고, 그들 후보 필드 픽셀들의 색상이 전형적인 범위 내에 있는지를, 그리고 하나 이상의 표준 편차들이 후보 필드 픽셀들이 일관된 색상을 갖고 있다는 것을 확인할 수 있을 정도로 충분히 작은지를 결정하는 방법을 제공한다.
한 실시 형태에서, 본 개시는 스포츠 비디오의 롱 샷들을 확인하는 방법을 포함하고, 이 방법은 복수의 픽셀을 포함하는 비디오 프레임을 수신하는 단계, 복수의 픽셀 각각을 후보 필드 픽셀 또는 후보 넌-필드 픽셀로 분류하는 단계, 복수의 픽셀 중 최소한 미리 정해진 퍼센트가 후보 필드 픽셀들인지를 결정하는 단계, 모든 후보 필드 픽셀들의 색상들의 표준 편차인 제1 표준 편차를 계산하는 단계, 및 복수의 픽셀 중 최소한 미리 정해진 퍼센트가 후보 필드 픽셀들이고 제1 표준 편차가 미리 정해진 최대 표준 편차 값 이하일 때 비디오 프레임을 스포츠 비디오의 롱 샷으로서 분류하는 단계를 포함한다.
또 대안적인 실시 형태에서, 본 발명은 시스템을 포함하고, 이 시스템은 복수의 픽셀을 포함하는 비디오 프레임을 수신 및 저장하도록 구성된 메모리, 및 복수의 픽셀 각각을 후보 필드 픽셀 또는 후보 넌-필드 픽셀로 분류하고, 복수의 픽셀 중 최소한 미리 정해진 퍼센트가 후보 필드 픽셀들인지를 결정하고, 모든 후보 필드 픽셀들의 색상들의 표준 편차인 제1 표준 편차를 계산하고, 복수의 픽셀 중 최소한 미리 정해진 퍼센트가 후보 필드 픽셀들이고 제1 표준 편차가 미리 정해진 최대 표준 편차 값 이하일 때 비디오 프레임을 스포츠 비디오의 롱 샷으로서 분류하도록 구성된 프로세서를 포함한다.
본 발명의 추가 상세들이 첨부 도면들을 이용하여 설명된다.
도 1은 스포츠 비디오의 롱 샷의 예시적 프레임을 묘사한다.
도 2는 프레임이 스포츠 비디오의 롱 샷인지를 결정하기 위한 방법을 묘사한다.
도 3은 도 2에 도시된 방법의 단계들을 구현할 수 있는 예시적 코드를 묘사한다.
도 4a는 스포츠 비디오의 롱 샷의 예시적 프레임을 묘사한다.
도 4b는 도 4a에 도시된 프레임의 색상들의 히스토그램을 묘사한다.
도 5a는 스포츠 비디오의 롱 샷의 예시적 프레임을 묘사한다.
도 5b는 도 5a에 도시된 프레임의 색상들의 히스토그램을 묘사한다.
도 6a는 스포츠 비디오의 롱 샷의 예시적 프레임을 묘사한다.
도 6b는 도 6a에 도시된 프레임의 색상들의 히스토그램을 묘사한다.
도 7a는 스포츠 비디오의 롱 샷의 예시적 프레임을 묘사한다.
도 7b는 도 7a에 도시된 프레임의 색상들의 히스토그램을 묘사한다.
도 8은 개시된 실시 형태들과 방법들을 수행할 수 있는 컴퓨터 하드웨어의 예시적 실시 형태를 묘사한다.
도 1은 스포츠 비디오에서 롱 샷의 예시적 프레임(100)을 묘사한다. 비디오 프레임(100)은 복수의 픽셀을 포함할 수 있다. 비-제한적인 예로서, 일부 1080p 고해상도 비디오들에서, 각각의 프레임(100)은 1920 픽셀 x 1080 픽셀을 포함할 수 있다. 롱 샷들은 일정 거리를 두고 촬영되고 및/또는 넓은 시야를 갖는 하나 이상의 대상들의 샷들일 수 있다. 스포츠 비디오에서, 롱 샷은 일반적으로 도 1에 나타난 바와 같이, 경기 면(102)의 일부를 보여준다. 일부 스포츠에서, 경기 면(102)은 풋볼, 야구, 및 축구에서와 같이, 필드일 수 있다. 다른 스포츠에서, 경기 면(102)은 농구 또는 테니스에서와 같이, 코트일 수 있다. 또 다른 스포츠에서, 경기 면(102)은 아이스 하키에서와 같이, 아이스 링크, 또는 다른 타입의 경기 면일 수 있다. 경기 면(102)들은 잔디(grass), 인조 잔디(turf), 목재, 얼음, 시멘트, 점토, 모래, 다른 타입의 표면으로 만들어질 수 있다. 특정한 스포츠에 상관없이, 대부분의 경기 면(102)들은 균일한 또는 거의 균일한 컬러의 큰 영역을 갖고 있다. 비-제한적 예들로서, 축구에서 대부분의 필드들은 주로 녹색인 잔디 또는 인조 잔디로 만들어지고, 반면에 농구에서 많은 코트들은 주로 황갈색인 경목재로 만들어진다. 더욱이, 일부 실시 형태들 및/또는 상황들에서, 큰 경기 면(102)들은 주변 영역들보다 좀 더 밝거나 덜 밝을 수 있다. 비-제한적인 예로서, 농구 비디오에서의 코트 표면은 코트에 바로 인접한 구역들보다 더 높은 강도의 광들로 조명될 수 있다.
도 1에서 볼 수 있는 바와 같이, 롱 샷에서, 경기 면(102)은 공격 및/또는 수비 플레이어(104)들, 심판들, 볼들, 라인(106)들, 로고들, 온-스크린 디스플레이(108)들 또는 다른 아이템들에 의해 적어도 부분적으로 가려질 수 있다. 일부 롱 샷에서, 팬들, 스탠드들, 사이드 라인들, 경기장의 일부들 또는 다른 아이템들과 같이, 다른 요소들 또는 배경들이 보일 수 있다. 다른 아이템들이 프레임(100)에서 보일 수 있을지라도, 대부분의 롱 샷에서 경기 면(102)의 균일한 또는 거의 균일한 컬러는 도 1에 나타난 바와 같이, 여전히 프레임의 중요한 부분을 채울 수 있다. 롱 샷들이 스포츠 비디오에서 확인될 수 있으면, 이 정보는 비디오 인코더들 및/또는 트랜스코더들을 포함하는 비디오 처리 장비의 동작에 영향을 미치는데 사용될 수 있다. 예를 들어, 일부 실시 형태들에서 비디오 인코더는 신호화되는 롱 샷의 존재에 기초하여 양자화 스텝 사이즈, 코딩 유닛 사이즈, 변환 유닛 사이즈 및 매크로-블럭 모드들과 같은 동작 파라미터들을 수정할 수 있다. 일부 실시 형태들에서, 대부분의 경기 면(110)들이 균일한 또는 거의 균일한 컬러를 갖고 있으므로, 경기 면(102)과는 다른 플레이어들, 팬들, 또는 배경들과 같은 이미지의 다른 영역들보다 세부 사항이 적기 때문에 비디오 인코딩은 최적화될 수 있다. 덧붙여, 롱 샷으로서 분류된 비디오 프레임들은 스탠드에 있는 팬들과 같은, 대부분의 뷰어들에게는 별로 관심이 없는 영역들에 인접한, 이벤트에서의 플레이 필드 및 적극적인 참가자들과 같이, 상당히 관심 있는 영역들을 자주 포함한다.
일부 실시 형태들에서, 비디오 인코더의 입력과 통신 가능하게 연결된 비디오 전처리 시스템은 인코더 대신에 미디어 분석 및 콘텐츠 분류를 수행할 수 있는데, 이는 인코더로 하여금, 균일한 또는 거의 균일한 경기 면(102)과 경기 면(102) 외부 영역들에 투자되는 프레임(100)의 부분들을 인코딩하는데 더 적은 시간과 더 적은 비트들을 투자하게 하고, 뷰어에 대해 더 많은 세부 사항과 관련성을 갖는 이미지의 영역들에 더 많은 시간과 노력이 투자될 수 있게 한다.
도 2는 스포츠 비디오의 롱 샷들을 결정하기 위한 방법을 묘사한다. 도 2의 방법은 픽셀들의 색상들이 스포츠 이벤트의 경기 면(102)에 전형적인 인 색상들 쪽으로 편향된 이봉 분포(bimodal distribution)를 갖고, 또한 경기 면(102)에 전형적인 색상 주위에 타이트한 표준 편차를 가질 때 프레임(100)이 롱 샷이라는 것을 알 수 있다.
200 단계에서, 미디어 분석 시스템은 복수의 픽셀을 포함하는 비디오 프레임(100)을 수신할 수 있다. 시스템은 비디오 전처리 시스템, 비디오 프로세서, 인코더, 서버, 컴퓨터, 또는 비디오 프레임(100)들을 수신하여 분석할 수 있는 임의의 다른 장비일 수 있다.
비디오 프레임(100)은 비디오 디코더, 카메라, 미디어 서버, 수신기, 또는 비 압축 및/또는 압축 비디오 신호들을 운반할 수 있는 임의의 다른 타입의 텔레비전 또는 비디오 전송 장비와 같은 소스로부터 수신될 수 있다. 비-제한적인 예로서, 일부 실시 형태들에서 비디오 프레임(100)은, 근거리 통신망을 통해 또는 위성, 지상파, 또는 케이블 텔레비전 수신기의 출력으로부터 수신된 압축 비디오 신호를 획득하고, 이를 RGB (적색, 녹색, 청색) 신호와 같은, 비 압축 컴포넌트 비디오 신호로 확장시키는 비디오 디코더로부터 수신될 수 있다.
202 단계에서, 시스템은 프레임(100)에서 각각의 픽셀의 HSV(색상, 채도, 및 값) 성분들을 결정할 수 있다. 픽셀의 HSV 성분들은 픽셀의 컬러를 함께 설명할 수 있다. 색상 성분은 픽셀의 색상 또는 색조(tint)를 설명할 수 있다. 채도 성분은 픽셀의 채도 또는 그레이의 양을 설명할 수 있다. 값 성분은 픽셀의 휘도 또는 컬러의 농도를 설명할 수 있다. 일부 실시 형태들에서, 픽셀들의 컬러는 처음에 RGB (적색, 녹색, 청색) 컬러 모델로 설명될 수 있고, RGB 값들은 HSV 값들로 변환될 수 있다.
204 단계에서, 프레임의 각각의 픽셀은 후보 필드 픽셀(110) 또는 후보 넌-필드 픽셀(112)로서 분류될 수 있다. 일부 실시 형태들에서, 색상 성분 임계값(114)이 결정될 수 있고, 시스템은 후보 필드 픽셀(110)로서 색상 성분 임계값(114) 미만의 색상 성분을 갖는 모든 픽셀들, 그리고 후보 넌-필드 픽셀(112)로서 색상 성분 임계값(114) 초과의 색상 성분을 갖는 모든 픽셀들을 분류한다. 색상 성분 임계값(114)에서의 픽셀들의 분할은 롱 샷들을 결정하기 위한 단계로서 적절할 수 있는데, 그 이유는 롱 샷들의 프레임(100)들의 색상들은 일반적으로 이봉 분포들을 갖고 있는 반면, 클로즈업 샷들 및/또는 미디엄 샷들의 프레임(100)들의 색상들은 일반적으로 이봉 분포들을 갖고 있지 않기 때문이다.
일부 실시 형태들에서, 색상 성분 임계값(114)은 이미지 이진화(image thresholding) 방법을 이용하여 결정될 수 있다. 일부 실시 형태들에서, 히스토그램 기반 이미지 이진화 방법이 이용될 수 있는데, 여기서 프레임(100) 내의 모든 픽셀들의 색상 성분들의 히스토그램(116)이 생성되고 히스토그램(116)이 색상 성분 임계값(114)에서, 2개의 구간들, 즉 후보 필드 픽셀(110)들과 후보 넌-필드 픽셀(112)들로 나뉘어진다. 비-제한적인 예로서, 일부 실시 형태들에서 색상 성분 임계값(114)은 오츠의 방법(Otsu's method)을 이용하여 결정될 수 있는데, 여기서 색상 성분 임계값(114)은 색상 성분 임계값(114)의 어느 한 측의 픽셀들의 색상 성분들의 결합 스프레드(combined spread)가 최소가 되는 히스토그램(116) 상의 색상 레벨이 되도록 결정될 수 있다. 대안적 실시 형태들에서, 색상 성분 임계값(114)은 클러스터링 기반 방법들, 엔트로피 기반 방법들, 객체 속성 기반 방법들, 공간 방법들, 로컬 방법들, 및/또는 다른 임의의 바람직한 이미지 이진화 방법을 이용하여 결정될 수 있다.
대안적 실시 형태들에서, 색상 성분 임계값(114) 외에도 값 성분 임계값이 결정될 수 있고 시스템은 후보 필드 픽셀(110)로서 색상 성분 임계값(114) 미만의 그리고 값 성분 임계값 초과의 색상 성분을 갖는 모든 픽셀들, 그리고 후보 넌-필드 픽셀(112)로서 색상 성분 임계값(114) 초과의 색상 성분 또는 값 성분 임계값 미만의 값 성분 중 어느 하나를 갖는 모든 픽셀들을 분류한다. 값 성분 임계값에서의 픽셀들의 분할은 롱 샷들을 결정하기 위한 단계로서 적절할 수 있는데, 그 이유는 예를 들어, 경기 면(102)이 주변 영역들보다 더 큰 범위로 스타디움 조명들에 의해 조명될 때 롱 샷들의 프레임(100)들의 값들은 색상 및 값 성분들 양측에서 이봉 분포들을 종종 갖는 반면, 클로즈업 샷들 및/또는 미디엄 샷들의 프레임(100)들의 색상 및 값 성분들은 높은 상관 관계의 이봉 분포들을 일반적으로 갖지 않기 때문이다.
일부 실시 형태들에서, 값 성분 임계값은 색상 성분 임계값(114)의 결정과 유사한 이미지 이진화 방법을 이용하여 결정될 수 있다. 일부 실시 형태들에서, 히스토그램 기반 이미지 이진화 방법이 이용될 수 있는데, 여기서 프레임(100) 내의 모든 픽셀들의 값 성분들의 히스토그램(116)이 생성되고 히스토그램(116)은 값 성분 임계값에서, 2개의 구간들, 즉 후보 필드 픽셀(110)들과 후보 넌-필드 픽셀(112)들로 나뉘어진다. 비-제한적인 예로서, 일부 실시 형태들에서 값 성분 임계값은 오츠의 방법을 이용하여 결정될 수 있는데, 여기서 값 성분 임계값은 값 성분 임계값의 어느 한 측에 있는 픽셀들의 값 성분들의 결합 스프레드가 최소가 되는 히스토그램(116) 상의 값 레벨이 되도록 결정될 수 있다. 대안적 실시 형태들에서, 값 성분 임계값은 클러스터링 기반 방법들, 엔트로피 기반 방법들, 객체 속성 기반 방법들, 공간 방법들, 로컬 방법들, 및/또는 다른 임의의 바람직한 이미지 이진화 방법을 이용하여 결정될 수 있다.
방법이 경기 면(102)의 임의의 타입 또는 컬러, 그리고 임의의 조명 또는 날씨 상황들과 함께 사용될 수 있도록, 단일 프레임(100)의 색상 성분 임계값(114) 또는 단일 프레임의 색상 성분 임계값(114)과 값 성분 임계값 양쪽 모두를 기반으로 하는 후보 필드 픽셀(110)들과 후보 넌-필드 픽셀(112)들로서의 픽셀들의 분류는 도 2의 방법이 히스토그램(116) 상의 특정한 색상들 및/또는 값들에 상관없이 기능하게 할 수 있다. 방법이 단일 프레임(100) 내의 픽셀들을 분류하기 때문에, 방법은 복수의 프레임(100)들에 대해서 트레이닝 시간을 요구하지 않고 복수의 프레임(100)들에 대해서 변화하는 조명 또는 날씨 상황들에 의해 영향을 받지 않는다.
206 단계에서, 시스템은 최소한 프레임(100) 내의 픽셀들의 미리 정의된 퍼센트가 후보 필드 픽셀(110)들인지를 결정할 수 있다. 일부 실시 형태들에서, 시스템이 후보 필드 픽셀(110)들이 프레임(100)의 대부분을 차지하는지를 결정할 수 있도록, 미리 정의된 퍼센트는 50%일 수 있다. 대안적인 실시 형태들에서, 미리 정의된 퍼센트는 임의의 바람직한 퍼센트일 수 있다.
일부 실시 형태들에서 미리 정의된 퍼센트가 50%일 때, 시스템은 206 단계에서 전체 평균 색상(118), 프레임(100) 내의 모든 픽셀들의 평균 색상을 계산함으로써 프레임(100) 내의 픽셀들의 대부분이 후보 필드 픽셀(110)들인지를 결정할 수 있다. 시스템은 204 단계에서 결정된 색상 성분 임계값(114)에 전체 평균 색상(118)을 비교할 수 있다. 전체 평균 색상(118)이 색상 성분 임계값(114) 초과이면, 시스템은 프레임(100) 내의 픽셀들의 대부분이 후보 필드 픽셀(110)들이라는 것을 결정할 수 있다.
시스템이 206 단계에서 프레임(100) 내의 픽셀들의 미리 정의된 퍼센트보다 적은 것이 후보 필드 픽셀(110)들이라고 결정하면, 시스템은 프레임(100)이 롱 샷이 아니라고 결정할 수 있고, 프레임(100)이 롱 샷이 아니라는 것을 인코더에 통보하고 및/또는 프레임(100)이 롱 샷인 것으로 간주하지 않고 정상적으로 프레임을 인코딩하도록 인코더에 통보하기 위해 220 단계로 이동할 수 있다. 일부 실시 형태들에서, 인코더는 시스템 자체의 일부분일 수 있다. 대안적 실시 형태들에서, 인코더는 시스템과 통신하는 별도의 구성 요소일 수 있다. 시스템이 206 단계에서 최소한 프레임(100) 내의 픽셀들의 미리 정의된 퍼센트가 후보 필드 픽셀(110)들이라고 결정하면, 시스템은 208 단계로 이동할 수 있다.
일부 실시 형태들에서, 208 단계에서 시스템은 필드 평균 색상(120), 즉 204 단계에서 후보 필드 픽셀(110)들이라고 결정된 프레임(100) 내의 픽셀들의 평균 색상을 계산할 수 있다. 평균 필드 색상(120)은 후보 필드 픽셀(110)들의 색상 성분들을 평균화시킴으로써 획득될 수 있다.
일부 실시 형태들에서, 210 단계에서 시스템은 후보 필드 픽셀(110)들의 필드 평균 색상(120)이 값들의 미리 정의된 범위 내에 포함되는지를 결정할 수 있다. 일부 실시 형태들에서, 값들의 미리 정의된 범위는 비디오에 나타나는 특별한 스포츠 이벤트 및/또는 공연 장소의 경기 면(102)에 전형적인 색상 성분의 값들의 범위일 수 있다. 상이한 스포츠들 및/또는 특정 공연 장소들의 경기 면(102)은 색상 성분들의 상이한 전형적인 범위들을 가질 수 있다. 비-제한적인 예로서, 잔디 축구장은 녹색 색상들을 나타내는 색상 성분들의 전형적인 범위를 가질 수 있다.
대안적인 실시 형태들에서, 후보 필드 픽셀(110)들의 필드 평균 색상(120)이 결정되지 않고, 값들의 미리 정의된 범위와 비교되지 않도록, 208과 210 단계들이 부재할 수 있다. 이러한 대안적인 실시 형태들에서, 시스템이 최소한 프레임(100) 내의 픽셀들의 미리 정의된 퍼센트가 후보 필드 픽셀(110)들인 것으로 206 단계 동안 결정하면 시스템은 212 및/또는 214 단계들로 바로 이동할 수 있다.
시스템이 210 단계에서 필드 평균 색상(120)이 값들의 미리 정의된 범위 내에 있지 않다고 결정하면, 시스템은 프레임(100)이 롱 샷이 아니라고 결정할 수 있고, 프레임(100)이 롱 샷이 아닌 것을 인코더에 통보하고 및/또는 프레임(100)이 롱 샷인 것으로 간주하지 않고 정상적으로 프레임을 인코딩하도록 인코더에 통보하기 위해 220 단계로 이동할 수 있다. 시스템이 210 단계에서 필드 평균 색상(120)이 값들의 미리 정의된 범위 내에 포함된다고 결정하면, 시스템은 212 및/또는 214 단계들로 이동할 수 있다.
212 단계에서, 시스템은 제1 표준 편차(122), 즉 프레임(100) 내의 모든 후보 필드 픽셀(110)들의 색상 성분들의 표준 편차를 계산할 수 있다. 일부 실시 형태들에서는, 214 단계에서, 시스템은 또한 제2 표준 편차(124), 즉 값들의 미리 정의된 범위 내에 포함된 색상 성분들을 갖는 후보 필드 픽셀(110)들의 부집합의 색상 성분들의 표준 편차를 계산할 수 있다. 상술한 바와 같이, 일부 실시 형태들에서 값들의 미리 정의된 범위는 비디오에 나타나는 특별한 스포츠 이벤트 및/또는 공연 장소의 경기 면(102)에 전형적인 색상 성분의 값들의 범위일 수 있다. 대안적인 실시 형태들에서, 제1 표준 편차(122)만이 212 단계에서 계산되도록, 214 단계는 부재할 수 있다.
일부 실시 형태들에서, 필드 평균 색상(120), 제1 표준 편차(122) 및/또는 제2 표준 편차(124)는 히스토그램(116)으로부터 직접 계산될 수 있다. 필드 평균 색상(120)은 색상 성분 임계값(114) 미만인 색상 히스토그램 값들로부터 계산될 수 있다. 비-제한적인 예로서, 제1 히스토그램 합계가 그것의 히스토그램 값에 의해 곱해진 색상 성분 임계값(114) 미만인 각각의 색상 값의 곱의 합계와 같도록, 그리고 제2 히스토그램 합계가 색상 성분 임계값(114) 미만인 색상을 갖는 히스토그램 값들의 합계와 같도록, 필드 평균 색상(120)은 제2 히스토그램 합계에 의해 나눠진 제1 히스토그램 합계와 같을 수 있다. 마찬가지로, 제3 히스토그램 합계가 그것의 히스토그램 값의 제곱에 의해 곱해진 색상 성분 임계값(114) 미만인 각각의 색상 값의 곱의 합계와 같도록, 필드 평균 제곱 색상은 제2 히스토그램 합계에 의해 제3 히스토그램 합계를 나눔으로써 계산될 수 있다. 제1 표준 편차(122)는 필드 평균 색상 제곱을 뺀 필드 평균 제곱의 합계의 제곱근을 취함으로써 필드 평균 색상과 필드 평균 제곱 색상으로부터 계산될 수 있다. 미리 정의된 범위 평균 색상과 미리 정의된 범위 평균 제곱 색상이 색상 성분 임계값(114) 미만인 히스토그램 값들로부터 대신에 미리 정의된 범위의 경계들 내의 히스토그램 값들로부터 계산되는 것을 제외하고, 제1 표준 편차(122) 계산에 사용된 동일한 기술을 이용하여 미리 정의된 범위 평균 색상과 미리 정의된 평균 제곱 색상으로부터 제2 표준 편차(124)가 계산될 수 있다. 상술한 바와 같이, 값들의 미리 정의된 범위는 비디오에 나타나는 특별한 스포츠 이벤트 및/또는 공연 장소의 경기 면(102)에 전형적인 색상 성분의 값들의 범위일 수 있다. 후보 필드 픽셀(110)들의 수가 색상 값들의 수보다 큰 일부 상황들 및/또는 실시 형태들에서, 색상 히스토그램(116)으로부터 평균 색상과 표준 편차 값들을 계산하는 것은 후보 필드 픽셀(110)들로부터 보다는 직접 이러한 값들을 계산하는 것보다 계산적으로 더 효율적일 수 있다.
216 단계에서의 일부 실시 형태들에서, 시스템은 212와 214 단계에서 계산된 제1 표준 편차(122)와 제2 표준 편차(124) 중 적어도 하나가 미리 정의된 최대 표준 편차 값 이하인지를 결정할 수 있다. 일부 실시 형태들에서, 미리 정의된 최대 표준 편차 값은, 제1 표준 편차(122)와 제2 표준 편차(124) 중 적어도 하나가 미리 정의된 최대 표준 편차 값보다 낮을 때 시스템이 지배적 전체 색상에 의해 단일화된 경기 면(102)을 나타내는 검출된 후보 필드 픽셀(110)들을 가질 수 있도록 선택될 수 있다. 일부 상황들 및/또는 실시 형태들에서, 경기 면(102)은 지배적 전체 색상과는 다른 하나 이상의 컬러들을 갖는 2차 플레이 필드 특징들을 가질 수 있기 때문에, 상이한 컬러들이 텔레비전과 라이브 청중들에 눈에 띌 수 있고 및/또는 플레이어들과 게임 관리자들을 위한 경기 면(102)의 상이한 부분들을 지정할 수 있다. 비 제한적인 예들로서, 일부 농구 코트들에서 바스켓 바로 밑에 핵심 영역들은 코트의 나머지와는 상이한 컬러일 수 있고, 일부 축구장들에서 엔드 존 영역(end zone area)은 필드의 나머지와는 상이한 컬러일 수 있다. 일부 실시 형태들에서, 색상들의 제한된 범위에 걸쳐 계산된 제2 표준 편차(124)가 상이한 컬러들을 갖는 2차 플레이 필드 특징들로부터 경기 면(102)의 지배적 전체 색상을 분리하는데 사용될 수 있다.
대안적인 실시 형태들에서, 216 단계에서 시스템은 212 단계에서 계산된 제1 표준 편차(122)가 예를 들어, 214 단계가 부재인 실시 형태들에서 제2 표준 편차(124)를 고려하는 것 없이 미리 정의된 최대 표준 편차 값 이하인지를 결정할 수 있다.
시스템이 216 단계에서 제1 표준 편차(122)와 제2 표준 편차(124) 중 어느 쪽도 미리 정의된 최대 표준 편차 값 이하가 아니다는 것을 결정하면, 시스템은 프레임(100)이 롱 샷이 아니라는 것을 결정할 수 있고, 프레임(100)이 롱 샷이 아닌 것을 인코더에 통보하고 및/또는 프레임(100)이 롱 샷인 것으로 간주하는 것 없이 정상적으로 프레임을 인코딩하도록 인코더에 통보하기 위해 220 단계로 이동할 수 있다. 시스템이 210 단계에서 제1 표준 편차(122)와 제2 표준 편차(124) 중 하나 또는 둘 다가 미리 정의된 최대 표준 편차 값 이하라는 것을 결정하면, 시스템은 프레임(100)이 롱 샷이라는 것을 결정할 수 있고, 프레임(100)이 롱 샷이라는 것을 인코더에 통보하기 위해 218 단계로 이동할 수 있다. 일부 실시 형태들에서, 218 단계에서 시스템은 또한 롱 샷 프레임(100) 내의 어느 픽셀들이 후보 필드 픽셀(110)들인 것으로 결정되었는지 인코더에 통보할 수 있다.
시스템이 프레임(100)이 218 단계에서 롱 샷인 것을 인코더에 통보하였거나, 프레임(100)이 롱 샷이 아니거나 프레임(100)이 220 단계에서 롱 샷인 것으로 간주하는 것 없이 정상적으로 인코딩하는 것으로 인코딩되어야 하는 것을 인코더에 통보한 후, 시스템은 비디오 내에서의 다음 프레임(100)을 소스로부터 수신하기 위해 200 단계로 되돌아갈 수 있다. 도 3은 도 2에 도시된 프로세스를 구현하는데 사용될 수 있는 피톤 코드(Python code)의 비제한적 예시적 실시 형태를 묘사한다. 도 3에서, 210 단계는 평균 필드 색상(120)일 수 있는 변수들 "bin_mean_otsu" 그리고 값들의 미리 정의된 범위, 예를 들어 비디오에 나타나는 특별한 스포츠 이벤트 및/또는 특정 공연 장소의 경기 면(102)에 전형적인 색상 성분의 값들의 범위의 하부 및 상부 경계들일 수 있는 "lowerLongShotThresh" 및 "upperLongShotThresh"을 이용하여 구현될 수 있다. 216 단계는 변수들, 제1 표준 편차(122)일 수 있는 "bin_std_otsu", 제2 표준 편차(124)일 수 있는 "bin_std_range", 및 미리 정의된 최대 표준 편차 값일 수 있는 "stdHueThresh"를 사용하여 도 3에서 구현될 수 있다. 206 단계는 변수들, 전체 평균 색상(118)일 수 있는 "bin_mean_hue", 및 색상 성분 임계값(114)일 수 있는 "int(t_hue)"를 이용하여 도 3에서 구현될 수 있다. 218 단계, 즉 프레임(100)이 롱 샷인 것을 인코더에 통보하는 단계는 "longShot"을 "참"으로 설정함으로써 보여질 수 있다. 도 2, 도 3에 도시된 방법의 실시 형태들, 또는 임의의 다른 실시 형태에서, 206, 210 및/또는 216 단계들의 테스트들이 임의의 순서로 실행될 수 있다는 것이 주목되어야 한다.
도 4a-7b는 비디오 프레임(100)들과 그들과 관련된 히스토그램(116)들의 예들을 묘사한다. 각각의 예시적 히스토그램(116)은 프레임의 색상 성분 임계값(114), 전체 평균 색상(118), 필드 평균 색상(120), 제1 표준 편차(122), 및 제2 표준 편차(124)를 묘사한다.
도 4a는 부감(high angle)으로부터 얻어진 축구 게임의 롱 샷을 보여주는 예시적 프레임(100)을 묘사한다. 도 2의 방법은 도 4a에 도시된 프레임(100)이 스포츠 비디오의 롱 샷이라는 것을 결정할 수 있다. 도 4b의 히스토그램에서 볼 수 있는 바와 같이, 시스템은 204 단계에서 색상 성분 임계값(110)을 결정하고 후보 넌-필드 픽셀들로서 색상 성분 임계값(110)보다 큰 색상 성분들을 갖는 픽셀들과, 후보 필드 픽셀들로서 색상 성분 임계값(110)보다 작은 색상 성분들을 갖는 픽셀들을 나눌 수 있다. 시스템은 206 단계에서 전체 평균 색상(112)이 색상 성분 임계값(110)보다 작기 때문에 픽셀들의 대부분이 후보 필드 픽셀들이라는 것을 결정할 수 있다. 시스템은 210 단계에서 필드 평균 색상(114)이 스포츠 이벤트를 위한 전형적인 범위 내에 포함된다는 것을 알 수 있다. 시스템은 216 단계에서 제1 표준 편차(116)와 제2 표준 편차 모두가 미리 정의된 최대 표준 편차 값보다 작다는 것을 알 수 있다. 프레임(100)이 206 및 210 단계들의 평균 테스트들, 그리고 216 단계의 표준 편차 테스트를 통과하기 때문에, 도 4a의 프레임(100)은 스포츠 비디오의 롱 샷인 것으로 결정될 수 있다.
도 5a는 녹색 잔디 근처, 집 앞의 차량들의 롱 샷을 보여주는 예시적 프레임(100)을 묘사한다. 녹색 잔디가 녹색 축구장과 동일한 색상들을 많이 갖고 있을지라도, 도 2의 방법은 도 5a에 도시된 프레임(100)이 스포츠 비디오의 롱 샷이 아니라는 것을 결정할 수 있다. 도 5b의 히스토그램에서 볼 수 있는 바와 같이, 시스템은 204 단계에서 색상 성분 임계값(110)을 결정하고 후보 넌-필드 픽셀들로서 색상 성분 임계값(110)보다 큰 색상 성분들을 갖는 픽셀들과, 후보 필드 픽셀들로서 색상 성분 임계값(110)보다 작은 색상 성분들을 갖는 픽셀들을 나눌 수 있다. 시스템은 206 단계에서 전체 평균 색상(112)이 색상 성분 임계값(110)보다 작기 때문에 픽셀들의 대부분이 후보 필드 픽셀들이라는 것을 결정할 수 있다. 스포츠 이벤트가 프레임(100)에 나타나지 않을지라도, 시스템은 210 단계에서 필드 평균 색상(114)이 스포츠 이벤트를 위한 전형적인 범위 내에 포함된다는 것을 알 수 있다. 그러나, 시스템은 216 단계에서 제1 표준 편차(116)와 제2 표준 편차 중 어느 쪽도 미리 정의된 최대 표준 편차 값보다 작지 않다는 것을 알 수 있다. 프레임(100)이 206 및 210 단계들의 평균 테스트들을 통과하더라도, 프레임(100)은 216 단계의 표준 편차 테스트에 실패하고 따라서 도 5a의 프레임(100)은 스포츠 비디오의 롱 샷이 아닌 것으로 결정될 수 있다.
도 6a는 축구 플레이어의 클로즈-업 샷을 보여주는 예시적 프레임(100)을 묘사한다. 프레임(100)이 축구의 스포츠를 보여줄지라도, 도 2의 방법은 도 6a에 도시된 프레임(100)이 스포츠 비디오의 롱 샷이 아니라는 것을 결정할 수 있다. 도 6b의 히스토그램에서 볼 수 있는 바와 같이, 시스템은 204 단계에서 색상 성분 임계값(110)을 결정하고 후보 넌-필드 픽셀들로서 색상 성분 임계값(110)보다 큰 색상 성분들을 갖는 픽셀들과 후보 필드 픽셀들로서 색상 성분 임계값(110)보다 작은 색상 성분들을 갖는 픽셀들을 나눌 수 있다. 시스템은 206 단계에서 전체 평균 색상(112)이 색상 성분 임계값(110)보다 크기 때문에 픽셀들의 대부분보다 적은 것이 후보 필드 픽셀들이라는 것을 결정할 수 있다. 시스템은 이 시점에 프레임(100)이 롱 샷이 아닌 것으로 결정되었다는 것을 인코더에 통보할 수 있지만, 프로세스가 계속된다면 시스템은 210 단계에서 또한 필드 평균 색상(114)이 스포츠 이벤트를 위한 전형적인 범위 내에 있지 않다는 것을 알 수 있다. 시스템은 또한 이 시점에 프레임(100)이 롱 샷이 아닌 것으로 결정되었다는 것을 인코더에 통보할 수 있다. 그러나, 프로세스가 더 계속된다면, 시스템은 216 단계에서 또한 제1 표준 편차(116)와 제2 표준 편차 중 어느 쪽도 미리 정의된 최대 표준 편차 값보다 작지 않다는 것을 알 수 있다. 프레임(100)이 206 및 210 단계들의 평균 테스트들에 실패하고, 또한 216 단계의 표준 편차 테스트에 실패하기 때문에, 도 6a의 프레임(100)은 스포츠 비디오의 롱 샷이 아닌 것으로 결정될 수 있다.
도 7a는 공항에서 대기하고 있는 여행자들의 미디엄 샷을 보여주는 예시적 프레임(100)을 묘사한다. 도 2의 방법은 도 7a에 도시된 프레임(100)이 스포츠 비디오의 롱 샷이 아니라는 것을 결정할 수 있다. 도 7b의 히스토그램에서 볼 수 있는 바와 같이, 시스템은 204 단계에서 색상 성분 임계값(110)을 결정하고 후보 넌-필드 픽셀들로서 색상 성분 임계값(110)보다 큰 색상 성분들을 갖는 픽셀들과 후보 필드 픽셀들로서 색상 성분 임계값(110)보다 작은 색상 성분들을 갖는 픽셀들을 나눌 수 있다. 시스템은 206 단계에서 전체 평균 색상(112)이 색상 성분 임계값(110)보다 작기 때문에 픽셀들의 대부분이 후보 필드 픽셀들이라는 것을 결정할 수 있다. 그러나, 시스템은 210 단계에서 필드 평균 색상(114)이 스포츠 이벤트를 위한 전형적인 범위 내에 있지 않다는 것을 알 수 있다. 시스템은 이 시점에 프레임(100)이 롱 샷이 아닌 것으로 결정되었다는 것을 인코더에 통보할 수 있지만, 프로세스가 계속된다면 시스템은 216 단계에서 또한 제1 표준 편차(116)와 제2 표준 편차 중 어느 쪽도 미리 정의된 최대 표준 편차 값보다 작지 않다는 것을 알 수 있다. 프레임(100)이 206 단계의 평균 테스트를 통과하더라도, 프레임(100)이 210 단계의 평균 테스트에 실패하고 또한 216 단계의 표준 편차 테스트에 실패하고 따라서 도 7a의 프레임(100)은 스포츠 비디오의 롱 샷이 아닌 것으로 결정될 수 있다.
실시 형태들을 실시하도록 요구된 명령어들의 시퀀스들의 실행은 도 8에 나타난 바와 같은 컴퓨터 시스템(800)에 의해 실행될 수 있다. 실시 형태에서, 명령어들의 시퀀스들의 실행은 단일 컴퓨터 시스템(800)에 의해 수행된다. 다른 실시 형태들에 따르면, 통신 링크(815)에 의해 연결된 2개 이상의 컴퓨터 시스템(800)들이 서로 협동하여 명령어들의 시퀀스를 수행할 수 있다. 오직 하나의 컴퓨터 시스템(800)의 설명이 본 명세서에 제시될 수 있지만, 임의의 개수의 컴퓨터 시스템(800)들이 사용될 수 있다는 점이 이해되어야 한다.
한 실시 형태에 따른 컴퓨터 시스템(800)이 이제 컴퓨터 시스템(800)의 기능적 구성 요소들의 블록도인 도 8을 참조하여 설명될 것이다. 여기서 사용될 때, 용어 컴퓨터 시스템(800)은 하나 이상의 프로그램을 저장하고 독립적으로 실행할 수 있는 임의의 컴퓨팅 장치를 설명하기 위해 광범위하게 이용된다.
컴퓨터 시스템(800)은 버스(806)에 결합된 통신 인터페이스(814)를 포함할 수 있다. 통신 인터페이스(814)는 컴퓨터 시스템(800)들 사이에 양방향 통신을 제공한다. 각각의 컴퓨터 시스템(800)의 통신 인터페이스(814)는 여러 유형의 신호 정보, 예를 들어, 명령어들, 메시지들 및 데이터를 나타내는 데이터 스트림들을 포함하는 전기, 전자기 또는 광학 신호들을 전송하고 수신한다. 통신 링크(815)는 하나의 컴퓨터 시스템(800)을 또 다른 컴퓨터 시스템(800)과 링크시킨다. 예를 들어, 통신 링크(815)는 LAN, 통합 서비스 디지털 네트워크(ISDN) 카드, 모뎀, 또는 인터넷일 수 있다.
컴퓨터 시스템(800)은 그 각각의 통신 링크(815)와 통신 인터페이스(814)를 통해, 프로그램들 즉, 애플리케이션, 코드를 포함하는, 메시지들, 데이터, 및 명령어들을 전송하고 수신할 수 있다. 수신된 프로그램 코드는 수신 시에 각각의 프로세서(들)(807)에 의해 실행되고, 및/또는 이후의 실행을 위해 저장 장치(810), 또는 다른 연관된 비휘발성 매체에 저장될 수 있다.
한 실시 형태에서, 컴퓨터 시스템(800)은 데이터 저장 시스템(831), 예를 들어, 컴퓨터 시스템(800)에 의해 쉽게 액세스 가능한 데이터베이스(832)를 포함하는 데이터 저장 시스템(831)과 공조하여 동작한다. 컴퓨터 시스템(800)은 데이터 인터페이스(833)를 통하여 데이터 저장 시스템(831)과 통신한다.
컴퓨터 시스템(800)은 명령어들, 메시지들 및 데이터, 집합적으로 정보를 통신하기 위한 버스(806) 또는 다른 통신 메커니즘, 및 정보를 처리하기 위해 버스(806)와 연결된 하나 이상의 프로세서(807)를 포함할 수 있다. 컴퓨터 시스템(800)은 또한, 버스(806)에 결합되어 프로세서(들)(807)에 의해 실행될 동적 데이터 및 명령어들을 저장하기 위한 랜덤 액세스 메모리(RAM) 또는 다른 동적 저장 장치 등, 메인 메모리(808)를 포함한다. 컴퓨터 시스템(800)은 프로세서(들)(807)에 대한 정적 데이터 및 명령어들을 저장하기 위해 버스(806)에 연결된 판독 전용 메모리(ROM)(809) 또는 다른 정적 저장 장치를 더 포함할 수 있다. 자기 디스크 또는 광 디스크 등의 저장 장치(810)도 제공되고 버스(806)에 결합되어 프로세서(들)(807)에 대한 데이터 및 명령어들을 저장할 수 있다.
컴퓨터 시스템(800)은 LCD 스크린과 같은, 디스플레이 장치(811)에 버스(806)를 통해 연결될 수 있다. 입력 장치(812), 예를 들어, 영숫자 및 다른 키들이 버스(806)에 결합되어 프로세서(들)(807)에 정보 및 커맨드 선택들을 전달할 수 있다.
한 실시 형태에 따르면, 개별 컴퓨터 시스템(800)은 메인 메모리(808)에 포함된 하나 이상의 명령어의 하나 이상의 시퀀스를 실행하는 각각의 프로세서(들)(807)에 의해 특정 동작들을 수행한다. 이러한 명령어들은 ROM(809) 또는 저장 장치(810)와 같은, 또 다른 컴퓨터-사용 가능한 매체로부터 메인 메모리(808) 내로 판독될 수 있다. 메인 메모리(808)에 포함된 명령어들의 시퀀스들의 실행은 프로세서(들)(807)로 하여금 여기서 설명된 프로세스들을 수행하게 한다. 대안적인 실시 형태들에서, 소프트웨어 명령어들 대신에 또는 이들과 조합하여, 하드와이어 회로(hard-wired circuitry)가 사용될 수 있다. 따라서, 실시 형태들은 하드웨어 회로 및/또는 소프트웨어의 임의의 특정 조합에 제한되지 않는다.
본 발명은 상기에서 특정적으로 설명되었지만, 이것은 본 발명을 실시하고 이용하는 방법을 본 분야의 숙련자에게 교시하기 위함일 뿐이다. 많은 추가적인 수정들이 본 발명의 범위 내에 들며, 그 범위는 이하의 청구항들에 의해 정의된다.

Claims (17)

  1. 스포츠 비디오의 롱 샷들을 확인하는 방법으로서,
    복수의 픽셀을 포함하는 비디오 프레임을 수신하는 단계;
    상기 복수의 픽셀 각각을 후보 필드 픽셀 또는 후보 넌-필드 픽셀로 분류하는 단계;
    최소한 상기 복수의 픽셀의 미리 정의된 퍼센트가 후보 필드 픽셀들인지를 결정하는 단계;
    모든 후보 필드 픽셀들의 색상들의 표준 편차인 제1 표준 편차를 계산하는 단계; 및
    최소한 상기 복수의 픽셀의 상기 미리 정의된 퍼센트가 후보 필드 픽셀들이고 상기 제1 표준 편차가 미리 정의된 최대 표준 편차 값 이하일 때 상기 비디오 프레임을 스포츠 비디오의 롱 샷으로서 분류하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    모든 상기 후보 필드 픽셀들의 평균 색상인 필드 평균 색상을 계산하는 단계;
    상기 필드 평균 색상이 미리 정의된 범위 내에 있는지를 결정하는 단계;
    상기 미리 정의된 범위 내의 색상 성분들을 갖는 후보 필드 픽셀들의 부집합의 색상들의 표준 편차인 제2 표준 편차를 계산하는 단계; 및
    최소한 상기 복수의 픽셀의 상기 미리 정의된 퍼센트가 후보 필드 픽셀들이고 상기 제1 표준 편차와 상기 제2 표준 편차 중 적어도 하나가 상기 미리 정의된 최대 표준 편차 값 이하일 때 상기 비디오 프레임을 스포츠 비디오의 롱 샷으로서 분류하는 단계를 더 포함하는, 방법.
  3. 제2항에 있어서, 상기 제1 표준 편차, 상기 필드 평균 색상 및 상기 제2 표준 편차를 계산하는 상기 단계들은 상기 비디오 프레임의 색상 히스토그램을 생성하고 상기 색상 히스토그램으로부터 상기 제1 표준 편차, 상기 필드 평균 색상 및 상기 제2 표준 편차를 계산하는 단계를 포함하는, 방법.
  4. 제1항에 있어서, 상기 복수의 픽셀 각각을 후보 필드 픽셀 또는 후보 넌-필드 픽셀로서 분류하는 상기 단계는 색상 성분 임계값을 결정하고, 상기 색상 성분 임계값보다 작은 색상 성분들을 갖는 상기 복수의 픽셀 각각을 후보 필드 픽셀들로서 분류하고; 상기 색상 성분 임계값보다 큰 색상 성분들을 갖는 상기 복수의 픽셀 각각을 후보 넌-필드 픽셀들로서 분류하는 단계를 포함하는, 방법.
  5. 제2항에 있어서, 상기 색상 성분 임계값은 오츠의 방법을 이용하여 결정되는, 방법.
  6. 제4항에 있어서, 상기 복수의 픽셀 각각을 후보 필드 픽셀 또는 후보 넌-필드 픽셀로서 분류하는 상기 단계는 값 성분 임계값을 결정하고, 상기 값 성분 임계값보다 큰 값 성분들을 갖는 상기 복수의 픽셀 각각을 후보 필드 픽셀들로서 분류하고; 상기 값 성분 임계값보다 큰 값 성분들을 갖는 상기 복수의 픽셀 각각을 후보 넌-필드 픽셀들로서 분류하는 단계를 더 포함하는, 방법.
  7. 제6항에 있어서, 상기 색상 성분 임계값과 상기 값 성분 임계값은 오츠의 방법을 이용하여 결정되는, 방법.
  8. 제1항에 있어서, 상기 미리 정의된 퍼센트는 50%인, 방법.
  9. 제8항에 있어서, 최소한 상기 복수의 픽셀의 50%가 후보 필드 픽셀들인지를 결정하는 단계는 전체 평균 색상이 색상 성분 임계값 미만인지를 결정하는 단계를 포함하며, 여기에서 상기 전체 평균 색상은 모든 상기 복수의 픽셀의 평균 색상인, 방법.
  10. 제1항에 있어서, 상기 미리 정의된 범위는 스포츠 이벤트의 경기 면에 전형적인 색상 값들의 범위인, 방법.
  11. 제1항에 있어서, 상기 복수의 픽셀의 상기 미리 정의된 퍼센트보다 더 많이 후보 넌-필드 픽셀들로서 결정될 때 상기 비디오 프레임이 스포츠 비디오의 롱 샷이 아니라는 것을 인코더에 통보하는 단계를 더 포함하는, 방법.
  12. 제1항에 있어서, 모든 후보 필드 픽셀들의 평균 색상이 상기 미리 정의된 범위 밖에 있는 것으로 결정될 때 상기 비디오 프레임이 스포츠 비디오의 롱 샷이 아니라는 것을 인코더에 통보하는 단계를 더 포함하는, 방법.
  13. 제1항에 있어서, 상기 제1 표준 편차와 상기 제2 표준 편차 둘 다가 상기 미리 정의된 최대 표준 편차 값보다 높을 때 상기 비디오 프레임이 스포츠 비디오의 롱 샷이 아니라는 것을 인코더에 통보하는 단계를 더 포함하는, 방법.
  14. 제1항에 있어서, 상기 제1 표준 편차와 상기 제2 표준 편차 중 적어도 하나가 미리 정의된 최대 표준 편차 값 이하일 때 상기 비디오 프레임이 스포츠 비디오의 롱 샷이라는 것을 인코더에 통보하는 단계를 더 포함하는, 방법.
  15. 제1항에 있어서, 후보 필드 픽셀들의 값 성분들의 표준 편차인 제3 표준 편차를 계산하고; 상기 제3 표준 편차를 미리 정의된 최대값과 비교하고; 상기 제3 표준 편차가 상기 미리 정의된 최대값 미만일 때 상기 프레임이 롱 샷이 아니라는 것을 결정하는 단계를 더 포함하는, 방법.
  16. 시스템으로서,
    복수의 픽셀을 포함하는 비디오 프레임을 수신 및 저장하도록 구성된 메모리; 및
    상기 복수의 픽셀 각각을 후보 필드 픽셀 또는 후보 넌-필드 픽셀로서 분류하고;
    최소한 상기 복수의 픽셀의 미리 정의된 퍼센트가 후보 필드 픽셀들인지를 결정하고;
    모든 후보 필드 픽셀들의 색상들의 표준 편차인 제1 표준 편차를 계산하고;
    최소한 상기 복수의 픽셀의 상기 미리 정의된 퍼센트가 후보 필드 픽셀들이고 상기 제1 표준 편차가 미리 정의된 최대 표준 편차 값 이하일 때 상기 비디오 프레임을 스포츠 비디오의 롱 샷으로서 분류하도록 구성된 프로세서를 포함하는, 시스템.
  17. 제16항에 있어서, 상기 프로세서는,
    모든 상기 후보 필드 픽셀들의 평균 색상인 필드 평균 색상을 계산하고;
    상기 필드 평균 색상이 미리 정의된 범위 내에 있는지를 결정하고;
    상기 미리 정의된 범위 내의 색상 성분들을 갖는 후보 필드 픽셀들의 부집합의 색상들의 표준 편차인 제2 표준 편차를 계산하고;
    최소한 상기 복수의 픽셀의 상기 미리 정의된 퍼센트가 후보 필드 픽셀들이고 상기 제1 표준 편차와 상기 제2 표준 편차 중 적어도 하나가 상기 미리 정의된 최대 표준 편차 값 이하일 때 상기 비디오 프레임을 스포츠 비디오의 롱 샷으로서 분류하도록 더 구성되는, 시스템.
KR1020157028312A 2013-03-15 2014-03-07 스포츠 비디오에서의 롱 샷들의 검출 KR101800099B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/842,056 2013-03-15
US13/842,056 US9098923B2 (en) 2013-03-15 2013-03-15 Detection of long shots in sports video
PCT/US2014/022147 WO2014150081A1 (en) 2013-03-15 2014-03-07 Detection of long shots in sports video

Publications (2)

Publication Number Publication Date
KR20150127684A true KR20150127684A (ko) 2015-11-17
KR101800099B1 KR101800099B1 (ko) 2017-11-21

Family

ID=50555238

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157028312A KR101800099B1 (ko) 2013-03-15 2014-03-07 스포츠 비디오에서의 롱 샷들의 검출

Country Status (8)

Country Link
US (1) US9098923B2 (ko)
EP (1) EP2981928A1 (ko)
KR (1) KR101800099B1 (ko)
AU (2) AU2014237511A1 (ko)
BR (1) BR112015022051B1 (ko)
CA (1) CA2904376C (ko)
MX (1) MX354558B (ko)
WO (1) WO2014150081A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102201353B1 (ko) 2019-11-22 2021-01-08 연세대학교 산학협력단 배경 프레임 억제를 통한 약한 지도 학습 기반의 행동 프레임 검출 방법 및 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9569696B1 (en) * 2015-08-12 2017-02-14 Yahoo! Inc. Media content analysis system and method
US10181192B1 (en) * 2017-06-30 2019-01-15 Canon Kabushiki Kaisha Background modelling of sport videos
CN113544698A (zh) 2019-02-28 2021-10-22 斯塔特斯公司 广播视频中运动员再识别的系统及方法
CN117115114B (zh) * 2023-08-29 2024-01-30 南京晓庄学院 基于yolo的电力电子器件生产工艺目标识别与缺陷检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7170941B2 (en) * 1999-08-13 2007-01-30 Patapsco Designs Inc. Temporal compression
US6813313B2 (en) 2000-07-06 2004-11-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for high-level structure analysis and event detection in domain specific videos
US7499077B2 (en) 2001-06-04 2009-03-03 Sharp Laboratories Of America, Inc. Summarization of football video content
WO2004014061A2 (en) 2002-08-02 2004-02-12 University Of Rochester Automatic soccer video analysis and summarization
US20120114184A1 (en) * 2009-07-21 2012-05-10 Thomson Licensing Trajectory-based method to detect and enhance a moving object in a video sequence
EP2513841A1 (en) * 2009-12-16 2012-10-24 Thomson Licensing Human interaction trajectory-based system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102201353B1 (ko) 2019-11-22 2021-01-08 연세대학교 산학협력단 배경 프레임 억제를 통한 약한 지도 학습 기반의 행동 프레임 검출 방법 및 장치

Also Published As

Publication number Publication date
BR112015022051B1 (pt) 2023-05-09
MX2015011880A (es) 2016-07-05
AU2017204459A1 (en) 2017-07-20
AU2017204459B2 (en) 2018-09-20
KR101800099B1 (ko) 2017-11-21
WO2014150081A1 (en) 2014-09-25
US20140270501A1 (en) 2014-09-18
EP2981928A1 (en) 2016-02-10
BR112015022051A2 (pt) 2017-12-19
AU2014237511A1 (en) 2015-11-05
CA2904376A1 (en) 2014-09-25
CA2904376C (en) 2017-11-28
MX354558B (es) 2018-03-09
US9098923B2 (en) 2015-08-04

Similar Documents

Publication Publication Date Title
US9064189B2 (en) Playfield detection and shot classification in sports video
AU2017204459B2 (en) Detection of long shots in sports video
JP4424590B2 (ja) スポーツ映像の分類装置
Hu et al. Robust camera calibration and player tracking in broadcast basketball video
EP2457214B1 (en) A method for detecting and adapting video processing for far-view scenes in sports video
CN107454437B (zh) 一种视频标注方法及其装置、服务器
WO2007045001A1 (en) Preprocessing of game video sequences for transmission over mobile networks
CN110418150B (zh) 一种信息提示方法、设备、系统及计算机可读存储介质
Bayat et al. Goal detection in soccer video: Role-based events detection approach
Tahan et al. A computer vision driven squash players tracking system
Goyani et al. Key frame detection based semantic event detection and classification using heirarchical approach for cricket sport video indexing
Lee Automating NFL Film Study: Using Computer Vision to Analyze All-‐22 NFL Film
KR100707205B1 (ko) 스포츠 동영상의 플레이 구간 검출 방법 및 장치
RU2526049C2 (ru) Способ и устройство для обнаружения игровых эпизодов в полевых видах спорта в видеопоследовательностях
Chen et al. Event-based segmentation of sports video using motion entropy
Tabii et al. A new method for video soccer shot classification.
Zhai The Key Events Extraction Algorithm Based on Shot Events in Soccer Video
Zhen et al. The application of shot classification based on C4. 5 decision tree in video retrieval
Bayat et al. A new framework for goal detection based on semantic events detection in soccer video
Voldhaug et al. Automatic football video highlights extraction
Mentzelopoulos et al. Football video annotation based on player motion recognition using enhanced entropy
KITAHARA et al. A Proposal on Automatic Analysis Method of Tennis Play Using Movies of Tennis Match
Hedayati et al. Network Structure for Tracking of Jockeys in Horse Races
JP2003153192A (ja) 複数のフレームを含む圧縮されているビデオを分析する方法およびシステム
Hegde et al. Spatial Localization and Color Histograms based Insertion of Virtual Advertisements in Videos

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right