KR101468159B1 - 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치 - Google Patents

스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치 Download PDF

Info

Publication number
KR101468159B1
KR101468159B1 KR20140026241A KR20140026241A KR101468159B1 KR 101468159 B1 KR101468159 B1 KR 101468159B1 KR 20140026241 A KR20140026241 A KR 20140026241A KR 20140026241 A KR20140026241 A KR 20140026241A KR 101468159 B1 KR101468159 B1 KR 101468159B1
Authority
KR
South Korea
Prior art keywords
unit
information
image
dimensional
objects
Prior art date
Application number
KR20140026241A
Other languages
English (en)
Inventor
이강석
김정현
Original Assignee
(주)리얼허브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)리얼허브 filed Critical (주)리얼허브
Priority to KR20140026241A priority Critical patent/KR101468159B1/ko
Application granted granted Critical
Publication of KR101468159B1 publication Critical patent/KR101468159B1/ko
Priority to US14/564,383 priority patent/US20150254528A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30228—Playing field
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Geometry (AREA)

Abstract

본 발명은 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치에 관한 것으로, 더욱 상세하게는 스포츠 중계시 경기장 내에 있는 모든 선수들의 위치를 나타내는 3차원 미니맵을 생성하여 서비스하는 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치에 관한 것이다.
이러한 본 발명은, 복수 명의 선수와 하나의 공을 포함하는 객체들이 내부에 존재하는 경기장을 경기장의 라인이 나타나도록 촬상하여 경기장 영상 프레임을 획득하는 영상획득부; 상기 영상획득부에서 획득한 상기 경기장 영상 프레임에 포함되는 상기 라인을 추적하여 라인 정보를 추출한 후 상기 라인 정보를 이용하여 상기 경기장 영상 프레임의 왜곡을 보정하여 보정 영상 프레임을 생성하는 영상보정부; 상기 영상보정부에서 생성한 상기 보정 영상 프레임에 나타나는 상기 객체들의 영역 정보를 추출하여 상기 객체들의 영역 정보로부터 상기 객체들의 움직임 정보와 함께 상기 객체들의 속성 정보를 분석하는 영상분석부; 상기 영상보정부에서 생성한 상기 보정 영상 프레임에 나타나는 상기 라인 정보와 함께 상기 객체들의 영역 정보를 상기 객체들의 움직임 정보와 상기 객체들의 속성 정보에 대응되게 표시하여 2차원 미니맵을 생성하는 2차원미니맵생성부; 상기 2차원미니맵생성부에서 생성한 상기 2차원 미니맵에 상기 객체들의 속성 정보에 기초하여 상기 객체들 중에서 상기 공으로 판별되는 객체의 영역 정보를 포함하는 제1영역과, 상기 제1영역을 제외한 제2영역이 구분되도록 표시하는 특징영역표시부; 및 상기 특징영역표시부에 의해 상기 제1영역과 제2영역이 구분되도록 표시한 상기 2차원 미니맵에 나타나는 상기 객체들의 영역 정보를 상기 객체들의 속성 정보에 대응되게 기설정된 3차원 백터 정보를 이용하여 3차원 영역 정보로 대체하여 상기 2차원 미니맵을 3차원 미니맵으로 변환하는 3차원변환부;를 포함하여 구성되는 것을 특징으로 하는 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치를 기술적 요지로 한다.

Description

스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치{Providing apparatus of three dimensions mini map service for sports broadcasting}
본 발명은 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치에 관한 것으로, 더욱 상세하게는 스포츠 중계시 경기장 내에 있는 모든 선수들의 위치를 나타내는 3차원 미니맵을 생성하여 서비스하는 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치에 관한 것이다.
일반적으로 스포츠 중계 시스템은 경기장에 설치되는 복수 개의 영상획득장치로부터 경기장 영상을 획득한 후 방송국으로 전송한 다음 방송국에서 경기장 영상을 송출 형식에 맞도록 중계 영상으로 처리한 후 텔레비전, 휴대폰 등으로 송출하는 것이다.
그러나 스포츠 중계 시스템의 중계 영상에는 경기장 전체를 보여주는 시간이 극히 적고 경기장의 주요부분만을 선택적으로 변경해가면서 보여주는 시간이 대부분이다.
즉, 중계 영상에는 주로 공이 위치하는 경기장의 일부와 일부 선수들만이 클로즈업된 영상이 대부분이고 중계 영상에 나타나지 않는 나머지 다른 선수들이 경기장의 어느 위치에 있는지 알 수 없으므로 전체적인 경기 흐름을 제대로 파악 및 예측하는데 어려움이 있었다.
국내 등록특허공보 제10-079065호, 2007.12.21.자 등록. 국내 공개특허공보 제10-2009-0039272호, 2009.04.22.자 공개. 국내 공개특허공보 제10-2013-0066931호, 2013.06.21.자 공개.
본 발명은 상기한 문제점을 해소하기 위해 발명된 것으로서, 스포츠 중계시 중계 영상과는 별도로 경기장 내에 있는 모든 선수들의 위치를 시청자가 확인 가능하도록 함으로써 시청자로 하여금 전체적인 경기 흐름을 용이하게 파악 및 예측하여 흥미롭게 시청할 수 있도록 하는 스포츠 중계를 위한 3차원 미니 맵 서비스 제공 장치를 제공하는데 그 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명에 따른 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치는, 복수 명의 선수와 하나의 공을 포함하는 객체들이 내부에 존재하는 경기장을 경기장의 라인이 나타나도록 촬상하여 경기장 영상 프레임을 획득하는 영상획득부; 상기 영상획득부에서 획득한 상기 경기장 영상 프레임에 포함되는 상기 라인을 추적하여 라인 정보를 추출한 후 상기 라인 정보를 이용하여 상기 경기장 영상 프레임의 왜곡을 보정하여 보정 영상 프레임을 생성하는 영상보정부; 상기 영상보정부에서 생성한 상기 보정 영상 프레임에 나타나는 상기 객체들의 영역 정보를 추출하여 상기 객체들의 영역 정보로부터 상기 객체들의 움직임 정보와 함께 상기 객체들의 속성 정보를 분석하는 영상분석부; 상기 영상보정부에서 생성한 상기 보정 영상 프레임에 나타나는 상기 라인 정보와 함께 상기 객체들의 영역 정보를 상기 객체들의 움직임 정보와 상기 객체들의 속성 정보에 대응되게 표시하여 2차원 미니맵을 생성하는 2차원미니맵생성부; 상기 2차원미니맵생성부에서 생성한 상기 2차원 미니맵에 상기 객체들의 속성 정보에 기초하여 상기 객체들 중에서 상기 공으로 판별되는 객체의 영역 정보를 포함하는 제1영역과, 상기 제1영역을 제외한 제2영역이 구분되도록 표시하는 특징영역표시부; 및 상기 특징영역표시부에 의해 상기 제1영역과 제2영역이 구분되도록 표시한 상기 2차원 미니맵에 나타나는 상기 객체들의 영역 정보를 상기 객체들의 속성 정보에 대응되게 기설정된 3차원 백터 정보를 이용하여 3차원 영역 정보로 대체하여 상기 2차원 미니맵을 3차원 미니맵으로 변환하는 3차원변환부;를 포함하여 구성되는 것을 특징으로 한다.
방송국에서 송출하는 상기 경기장에 대한 중계 영상을 수신하는 중계영상수신부; 및 상기 3차원변환부에서 생성한 상기 3차원 미니맵을 기설정된 크기로 축소하여 상기 중계영상수신부에서 수신한 상기 중계 영상의 기설정 픽셀 좌표값을 기준으로 상기 중계 영상에 오버랩시켜 3차원 미니맵을 포함하는 중계 영상으로 병합하는 영상병합부;를 더 포함하여 구성되는 것을 특징으로 한다.
상기 영상병합부에서 병합한 상기 3차원 미니맵을 포함하는 중계 영상을 상기 방송국을 통해 송출하는 영상송출부를 더 포함하여 구성되는 것을 특징으로 한다.
상기 영상보정부는, 상기 경기장 영상 프레임을 기설정된 문턱치값을 기준으로 하여 이진 영상 프레임으로 변환하는 영상변환부; 상기 영상변환부에서 변환한 상기 이진 영상 프레임에서 프레임별로 일정한 위치에 나타나는 상기 라인을 추적하여 상기 라인 정보를 추출하는 라인추출부; 상기 라인추출부에서 추출된 상기 라인 정보를 통해 상기 경기장 영상 프레임의 왜곡 정보를 분석하는 왜곡정보분석부; 및 상기 왜곡정보분석부에서 분석한 상기 왜곡 정보에 대응되게 상기 경기장 영상 프레임을 보정하여 상기 보정 영상 프레임을 생성하는 보정영상생성부;를 포함하여 구성되는 것을 특징으로 한다.
상기 영상분석부는, 상기 경기장 영상 프레임의 픽셀 영역에서 프레임에 따라 픽셀값이 변화하는 복수 개의 픽셀을 검출하는 픽셀검출부; 상기 픽셀검출부에서 검출된 상기 복수 개의 픽셀을 상하좌우로 연결하여 상기 객체의 영역 정보를 사각형 형태로 추출하는 객체추출부; 상기 객체추출부에서 추출된 상기 객체의 영역 정보가 상기 경기장 영상 프레임의 프레임별에 따라 변화하는 형태를 근거로 하여 상기 객체의 움직임 정보를 분석하는 움직임분석부; 및 상기 객체추출부에서 추출된 상기 객체의 영역 정보의 픽셀 크기와 픽셀값을 근거로 하여 상기 객체의 속성 정보를 분석하는 속성분석부;를 포함하여 구성되는 것을 특징으로 한다.
상기 2차원미니맵생성부는, 상기 보정 영상 프레임과 대응되는 크기를 가지는 배경 영상 프레임을 생성하는 배경영상생성부; 상기 배경영상생성부에서 생성한 상기 배경 영상 프레임에 상기 라인 정보를 표시하는 라인표시부; 및 상기 배경영상생성부에서 생성한 상기 배경 영상 프레임에 상기 객체들의 영역 정보를 상기 객체들의 움직임 정보와 상기 객체들의 속성 정보에 대응되게 표시하는 객체표시부;를 포함하여 구성되는 것을 특징으로 하는 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치.
상기 특징영역표시부는, 상기 객체들의 영역 정보에 대한 픽셀 크기를 서로 비교하여 크기가 가장 작은 객체를 상기 공으로 판별하는 객체판별부; 상기 객체판별부에서 상기 공으로 판별한 상기 객체를 포함하는 상기 제1영역과, 상기 제1영역을 제외한 상기 제2영역으로 분할하는 영역분할부; 및 상기 영역분할부에서 분할한 상기 제1영역이 상기 제2영역과 구분되도록 상기 제1영역의 픽셀값을 변경하는 픽셀값변경부;를 포함하여 구성되는 것을 특징으로 한다.
상기 3차원변환부는, 복수 개의 3차원 백터 정보가 저장되는 백터저장부; 상기 백터저장부에 저장된 상기 복수 개의 3차원 백터 정보 중에서 상기 객체들의 속성 정보에 대응되는 3차원 백터 정보를 매칭시키는 백터매칭부; 및 상기 백터매칭부에서 매칭시킨 3차원 백터 정보를 상기 객체들의 영역 정보에 적용하여 3차원 영역 정보로 대체하는 백터매핑부;를 포함하여 구성되는 것을 특징으로 한다.
상기한 구성에 의한 본 발명은, 스포츠 중계시 경기장 내에 있는 모든 선수들의 위치를 나타내는 3차원 미니맵을 생성하여 중계 영상과 함께 서비스함에 따라 중계 영상에 나타나지 않는 선수들의 위치를 3차원 미니맵을 통해 확인 가능함으로써 스포츠 중계의 품질을 향상시켜 시청자의 관심과 흥미를 증대시킬 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치의 전체 구성을 도시한 블록도.
도 2는 본 발명의 바람직한 실시예에 따른 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치의 영상보정부를 도시한 블록도.
도 3은 본 발명의 바람직한 실시예에 따른 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치의 영상분석부를 도시한 블록도.
도 4는 본 발명의 바람직한 실시예에 따른 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치의 2차원미니맵생성부를 도시한 블록도.
도 5는 본 발명의 바람직한 실시예에 따른 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치의 특징영역표시부를 도시한 블록도.
도 6은 본 발명의 바람직한 실시예에 따른 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치의 3차원변환부를 도시한 블록도.
본 발명에 따른 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치는, 스포츠 중계시 중계 영상과는 별도로 경기장 내에 있는 모든 선수들의 위치를 확인 가능하도록 한 것이다.
즉, 라인을 포함하는 경기장과 상기 경기장 내에 있는 모든 선수들 및 공(ball)을 배경 영상 프레임에 표시한 3차원 미니맵을 중계 영상의 크기보다 작은 크기로 생성하여 서비스하는 것이다.
이에 따라 시청자는 방송국에서 송출되는 중계 영상을 시청함과 동시에 상기 3차원 미니맵을 보면서 중계 영상에 나타나지 않는 선수들의 위치까지도 확인할 수 있으므로 스포츠 중계를 흥미롭게 시청할 수 있다.
또한, 본 발명에 따른 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치는, 중계 영상에 나타나는 선수들이 위치한 영역을 예측하여 상기 3차원 미니맵에 상기 영역을 나머지 다른 영역과 구분되도록 표시하여 서비스도 가능하다.
이에 따라 시청자는 중계 영상에 나타나는 선수들의 위치가 3차원 미니맵 상에서 어느 위치인지를 쉽게 확인할 수 있으므로 경기 흐름을 용이하게 파악할 수 있다.
이하 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명하면 다음과 같다.
도 1은 본 발명의 바람직한 실시예에 따른 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치의 전체 구성을 도시한 블록도이고, 도 2는 본 발명의 바람직한 실시예에 따른 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치의 영상보정부를 도시한 블록도이며, 도 3은 본 발명의 바람직한 실시예에 따른 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치의 영상분석부를 도시한 블록도이다.
도 4는 본 발명의 바람직한 실시예에 따른 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치의 2차원미니맵생성부를 도시한 블록도이고, 도 5는 본 발명의 바람직한 실시예에 따른 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치의 특징영역표시부를 도시한 블록도이며, 도 6은 본 발명의 바람직한 실시예에 따른 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치의 3차원변환부를 도시한 블록도이다.
본 발명의 바람직한 실시예에 따른 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치는, 도 1에 도시된 바와 같이 크게 영상획득부(100), 영상보정부(200), 영상분석부(300), 2차원미니맵생성부(400), 특징영역표시부(500), 및 3차원변환부(600)를 포함하여 구성될 수 있다.
먼저, 상기 영상획득부(100)는, 경기장을 경기장의 라인이 나타나도록 촬상하여 경기장 영상 프레임을 획득하는 구성이다.
즉, 경기장 상부에 설치되는 영상획득장치를 통해 경기장의 라인이 포함되도록 경기장 전체를 촬상하여 경기장 영상 프레임을 획득하는 것이다. 상기 영상획득장치를 경기장 상부에 설치하는 것은 최소한의 왜곡으로 경기장 영상 프레임을 획득하기 위함이다.
이때 경기장 내에는 라인을 비롯하여 제1팀과 제2팀으로 구분되는 복수 명의 선수와, 상기 선수들이 경합하는 하나의 공(ball)이 모두 존재하므로 영상획득장치에 의해 획득되는 경기장 영상 프레임에는 라인과 선수 및 공이 모두 나타난다.
다음으로, 상기 영상보정부(200)는, 영상획득부(100)에서 획득한 경기장 영상 프레임의 왜곡을 보정하는 구성이다.
즉, 경기장 영상 프레임에 나타나는 특징 정보인 라인을 추적하여 라인 정보를 추출하고 상기 라인 정보를 이용하여 경기장 영상 프레임의 왜곡을 보정하여 보정 영상 프레임을 생성하는 것이다.
여기서 영상보정부(200)는, 도 2에 도시된 바와 같이 영상변환부(210), 라인추출부(220), 왜곡정보분석부(230), 및 보정영상생성부(240)를 포함하여 구성될 수 있다.
상기 영상변환부(210)는 경기장 영상 프레임을 기설정된 문턱치값을 기준으로 하여 이진 영상 프레임으로 변환하는 구성이다. 상기 문턱치값은 경기장의 조명 조건에 많은 영향받는 경기장 영상 프레임의 화질에 따라 이진 영상 프레임에서 경기장의 라인이 뚜렷하게 나타나도록 하는 픽셀값으로 설정한다.
상기 라인추출부(220)는 이진 영상 프레임에 나타나는 라인을 추적하여 라인 정보를 추출하는 구성이다. 즉, 경기장 내에 있는 모든 라인을 추적하여 라인 정보를 획득하는 것이다.
상기 왜곡정보분석부(230)는 라인 정보를 이용하여 경기장 영상 프레임의 왜곡 정보를 분석하는 구성이다. 즉, 라인 정보 중에서 가장 외각에 위치하는 수평 성분인 한 쌍의 사이드라인 정보와 수직 성분인 한 쌍의 엔드라인 정보가 이루는 각도가 직각에서 얼마나 틀어져 있는지와, 상기 사이드라인과 엔드라인의 길이 비율이 실제 경기장의 사이드라인과 엔드라인의 길이 비율과는 얼마나 차이가 있는지를 근거로 하여 경기장 영상 프레임의 왜곡 정보를 산출하는 것이다.
상기 보정영상생성부(240)는 경기장 영상 프레임의 왜곡 정보에 따라 경기장 영상 프레임에 나타나는 경기장을 직사각형 형태로 보정하여 보정 영상 프레임을 생성하는 구성이다. 이때 경기장 영상 프레임의 왜곡 보정시 영상 품질이 저하되지 않도록 보간 기법 등을 사용할 수 있다.
다음으로, 상기 영상분석부(300)는, 영상보정부(200)에서 보정한 보정 영상 프레임에 나타나는 복수 명의 선수와 하나의 공을 포함하는 객체들의 움직임 정보와 속성 정보를 분석하는 구성이다.
즉, 영상분석부(300)는 보정 영상 프레임에서 프레임별로 나타나는 객체들의 영역 정보를 추출하여 시간대별로 변화하는 객체들의 움직임 정보와 함께 객체들이 가지는 객체들의 속성 정보를 분석하는 것이다.
이때 영상분석부(300)는, 도 3에 도시된 바와 같이 픽셀검출부(310), 객체추출부(320), 움직임분석부(330), 및 속성분석부(340)를 포함하여 구성될 수 있다.
상기 픽셀검출부(310)는 보정 영상 프레임에서 프레임별로 픽셀값이 변화하는 복수 개의 픽셀을 검출하는 구성이다. 즉, t시간 대의 프레임과 t+1시간 대의 프레임을 차분하면 픽셀값이 임계값 이상으로 변화된 픽셀들을 추출하는 것이다.
상기 객체추출부(320)는 픽셀검출부(310)에서 검출된 복수 개의 픽셀을 상하좌우로 연결하여 객체들의 영역 정보를 사각형 형태로 추출하는 구성이다. 즉, 픽셀값이 임계값 이상으로 변화된 픽셀들을 상하좌우로 연결하여 최외각에 존재하는 픽셀들을 기준으로 하여 사각형 형태로 추출하여 객체들의 영역 정보를 획득하는 것이다. 단, t+2시간 대의 프레임에서 추출된 객체들의 영역 정보 중에서 그 이전 시간 대의 프레임에서 추출된 객체의 영역 정보와 가장 대응되는 픽셀 영역을 갖는 것을 동일한 객체로 판별하여 객체들의 영역 정보를 시간대별로 갱신한다.
상기 움직임분석부(330)는 객체추출부(320)에서 추출된 객체들의 영역 정보가 보정 영상 프레임에서 프레임별로 변화하는 형태를 근거로 하여 객체들의 움직임 정보를 분석하는 구성이다.
상기 속성분석부(340)는, 객체추출부(330)에서 추출된 객체들의 영역 정보를 근거로 하여 객체들의 속성 정보를 분석하여 객체들을 구분하기 위한 구성이다. 즉, 객체들의 영역 정보에 나타나는 픽셀 크기를 근거로 하여 크게 선수들과 공을 구분하고, 선수들은 공으로 구분한 객체를 제외한 나머지 객체들의 영역 정보에 나타나는 픽셀값을 근거로 하여 제1팀과 제2팀으로 구분한다.
다음으로, 상기 2차원미니맵생성부(400)는, 영상보정부(200)에서 생성한 보정 영상 프레임에 나타나는 라인 정보와 객체들의 영역 정보를 표시하여 2차원 미니맵을 생성하는 구성이다.
여기서 2차원미니맵생성부(400)는, 도 4에 도시된 바와 같이 배경영상생성부(410), 라인표시부(420), 및 객체표시부(430)를 포함하여 구성될 수 있다.
상기 배경영상생성부(410)는 보정 영상 프레임과 대응되는 크기를 가지는 배경 영상 프레임을 생성하는 구성이다.
상기 라인표시부(420)는 배경 영상 프레임에 라인 정보를 표시하는 구성이다. 이때 라인 정보는 변화가 없으므로 배경 영상 프레임에서 일정한 위치에 표시한다.
상기 객체표시부(430)는 라인 정보가 표시된 배경 영상 프레임에 객체들의 영역 정보를 표시하는 구성이다. 단, 보정 영상 프레임에서 객체들의 영역 정보는 프레임별로 변화하므로 배경 영상 프레임에 표시되는 객체들의 영역 정보도 객체들의 움직임 정보와 속성 정보에 대응되도록 표시한다.
다음으로, 상기 특징영역표시부(500)는, 2차원미니맵생성부(400)에서 생성한 2차원 미니맵에 객체들의 속성 정보에 기초하여 특징영역을 구분되게 표시하는 구성이다.
상기 특징영역은 스포츠 중계시 방송국에서 송출되는 중계 영상에 나타나는 선수들의 위치가 예측되는 영역으로, 중계 영상이 2차원 미니맵 상에서의 위치가 어딘지를 부각시켜 나타내기 위한 것이다.
이때 특징영역표시부(500)는, 도 5에 도시된 바와 같이 객체판별부(510), 영역분할부(520), 및 픽셀값변경부(530)를 포함하여 구성될 수 있다.
상기 객체판별부(510)는 객체들의 영역 정보에 대한 픽셀 크기를 서로 비교하여 크기가 가장 작은 객체를 공으로 판별하는 구성이다. 즉, 선수와 공을 포함하는 객체들 중에서 공이 되는 객체를 판별하기 위한 것이다.
상기 영역분할부(520)는 공으로 판별한 객체를 포함하는 제1영역과, 제1영역을 제외한 제2영역으로 분할하는 구성이다. 즉, 상기 특징영역은 제1영역이 되고, 특징영역을 제외한 영역은 제2영역이 된다.
상기 픽셀값변경부(530)는 제1영역과 제2영역이 구분되도록 제1영역의 픽셀값을 변경하는 구성이다. 즉, 제1영역의 픽셀값을 반전하거나 제2영역의 픽셀값과 다르게 변경함으로서 제1영역이 제2영역과 구분되게 표시하는 것이다.
마지막으로, 상기 3차원변환부(600)는, 특징영역표시부(500)에 의해 제1영역과 제2영역이 구분되도록 표시한 2차원 미니맵에 나타나는 객체들의 영역 정보를 3차원 영역 정보로 대체하여 2차원 미니맵을 3차원 미니맵으로 변환하는 구성이다.
여기서 3차원변환부(600)는, 도 6에 도시된 바와 같이 백터저장부(610), 백터매칭부(620), 및 백터매칭부(630)를 포함하여 구성될 수 있다.
상기 백터저장부(610)는 복수 개의 3차원 백터 정보가 저장되는 구성입니다. 이때 3차원 백터 정보는 객체들의 속성 정보에 의해 결정되는 제1팀의 선수, 제2팀의 선수, 그리고 공에 대한 3차원 백터 정보가 기설정되는 것이다.
상기 백터매칭부(620)는 복수 개의 3차원 백터 정보 중에서 객체들의 속성 정보에 대응되도록 3차원 백터 정보를 매칭시키는 구성이다. 객체들의 속성 정보에 따라 제1팀의 선수로 판별된 객체에는 제1 3차원 백터 정보가 매칭되고, 제2팀의 선수로 판별된 객체에는 제2 3차원 백터 정보가 매칭되며, 공으로 판별된 객체에는 제3 3차원 백터 정보가 매칭되는 것이다.
상기 백터매핑부(630)는 3차원 백터 정보를 상기 객체들의 영역 정보에 적용하여 3차원 영역 정보로 대체하는 구성이다. 따라서 2차원 미니맵은 3차원 영역 정보의 매핑에 따라 3차원 미니맵으로 변환된다.
이에 따라 본 발명은 경기장 내에 있는 모든 선수들의 위치를 손쉽게 파악할 수 있는 3차원 미니맵을 제공할 수 있다.
여기서 본 발명의 바람직한 실시예에 따른 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치는, 도 1에 도시된 바와 같이 중계영상수신부(700), 및 영상병합부(800)를 더 포함하여 구성될 수 있다.
상기 중계영상수신부(700)는, 방송국에서 송출하는 경기장에 대한 중계 영상을 수신하는 구성이다. 상기 영상병합부(800)는, 3차원변환부(600)에서 생성한 3차원 미니맵을 기설정된 크기로 축소하여 중계영상수신부(700)에서 수신한 상기 중계 영상의 기설정 픽셀 좌표값을 기준으로 중계 영상에 오버랩하여 3차원 미니맵을 포함하는 중계 영상으로 병합하는 구성이다.
이에 따라 본 발명은 중계 영상에 3차원 미니맵을 오버랩시킨 3차원 미니맵을 포함하는 중계 영상을 제공할 수 있다.
또한, 본 발명의 바람직한 실시예에 따른 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치는, 도 1에 도시된 바와 같이 영상송출부(900)를 더 포함하여 구성될 수 있다.
상기 영상송출부(900)는, 영상병합부(800)에서 병합한 3차원 미니맵을 포함하는 중계 영상을 방송국을 통해 송출하는 구성이다.
이에 따라 본 발명은 3차원 미니맵을 포함하는 중계 영상을 방송국을 통해 송출하여 텔레비전, 휴대폰 등으로 서비스할 수 있다.
상기한 실시예는 예시적인 것에 불과한 것으로, 당해 기술분야에 대한 통상의 지식을 가진 자라면 이로부터 다양하게 변형된 다른 실시예가 가능하다.
따라서 본 발명의 진정한 기술적 보호범위에는 하기의 특허청구범위에 기재된 발명의 기술적 사상에 의해 상기의 실시예뿐만 아니라 다양하게 변형된 다른 실시예가 포함되어야 한다.
100: 영상획득부
200: 영상보정부 210: 영상변환부
220: 라인추출부 230: 왜곡정보분석부
240: 보정영상생성부
300: 영상분석부 310: 픽셀검출부
320: 객체추출부 330: 움직임분석부
340: 속성분석부
400: 2차원미니맵생성부 410: 배경영상생성부
420: 라인표시부 430: 객체표시부
500: 특징영역표시부 510: 객체판별부
520: 영역분할부 530: 픽셀값변경부
600: 3차원변환부 610: 백터저장부
620: 백터매칭부 630: 백터매핑부
700: 중계영상수신부
800: 영상병합부
900: 영상송출부

Claims (8)

  1. 복수 명의 선수와 하나의 공을 포함하는 객체들이 내부에 존재하는 경기장을 경기장의 라인이 나타나도록 촬상하여 경기장 영상 프레임을 획득하는 영상획득부(100);
    상기 영상획득부(100)에서 획득한 상기 경기장 영상 프레임에 포함되는 상기 라인을 추적하여 라인 정보를 추출한 후 상기 라인 정보를 이용하여 상기 경기장 영상 프레임의 왜곡을 보정하여 보정 영상 프레임을 생성하는 영상보정부(200);
    상기 영상보정부(200)에서 생성한 상기 보정 영상 프레임에 나타나는 상기 객체들의 영역 정보를 추출하여 상기 객체들의 영역 정보로부터 상기 객체들의 움직임 정보와 함께 상기 객체들의 속성 정보를 분석하는 영상분석부(300);
    상기 영상보정부(200)에서 생성한 상기 보정 영상 프레임에 나타나는 상기 라인 정보와 함께 상기 객체들의 영역 정보를 상기 객체들의 움직임 정보와 상기 객체들의 속성 정보에 대응되게 표시하여 2차원 미니맵을 생성하는 2차원미니맵생성부(400);
    상기 2차원미니맵생성부(400)에서 생성한 상기 2차원 미니맵에 상기 객체들의 속성 정보에 기초하여 상기 객체들 중에서 상기 공으로 판별되는 객체의 영역 정보를 포함하는 제1영역과, 상기 제1영역을 제외한 제2영역이 구분되도록 표시하는 특징영역표시부(500); 및
    상기 특징영역표시부(500)에 의해 상기 제1영역과 제2영역이 구분되도록 표시한 상기 2차원 미니맵에 나타나는 상기 객체들의 영역 정보를 상기 객체들의 속성 정보에 대응되게 기설정된 3차원 백터 정보를 이용하여 3차원 영역 정보로 대체하여 상기 2차원 미니맵을 3차원 미니맵으로 변환하는 3차원변환부(600);를 포함하여 구성되는 것을 특징으로 하는 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치.
  2. 제1항에 있어서,
    방송국에서 송출하는 상기 경기장에 대한 중계 영상을 수신하는 중계영상수신부(700); 및
    상기 3차원변환부(600)에서 생성한 상기 3차원 미니맵을 기설정된 크기로 축소하여 상기 중계영상수신부(700)에서 수신한 상기 중계 영상의 기설정 픽셀 좌표값을 기준으로 상기 중계 영상에 오버랩시켜 3차원 미니맵을 포함하는 중계 영상으로 병합하는 영상병합부(800);를 더 포함하여 구성되는 것을 특징으로 하는 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치.
  3. 제2항에 있어서,
    상기 영상병합부(800)에서 병합한 상기 3차원 미니맵을 포함하는 중계 영상을 상기 방송국을 통해 송출하는 영상송출부(900)를 더 포함하여 구성되는 것을 특징으로 하는 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치.
  4. 제1항에 있어서,
    상기 영상보정부(200)는,
    상기 경기장 영상 프레임을 기설정된 문턱치값을 기준으로 하여 이진 영상 프레임으로 변환하는 영상변환부(210);
    상기 영상변환부에서 변환한 상기 이진 영상 프레임에서 프레임별로 일정한 위치에 나타나는 상기 라인을 추적하여 상기 라인 정보를 추출하는 라인추출부(220);
    상기 라인추출부에서 추출된 상기 라인 정보를 통해 상기 경기장 영상 프레임의 왜곡 정보를 분석하는 왜곡정보분석부(230); 및
    상기 왜곡정보분석부(230)에서 분석한 상기 왜곡 정보에 대응되게 상기 경기장 영상 프레임을 보정하여 상기 보정 영상 프레임을 생성하는 보정영상생성부(240);를 포함하여 구성되는 것을 특징으로 하는 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치.
  5. 제1항에 있어서,
    상기 영상분석부(300)는,
    상기 경기장 영상 프레임의 픽셀 영역에서 프레임에 따라 픽셀값이 변화하는 복수 개의 픽셀을 검출하는 픽셀검출부(310);
    상기 픽셀검출부(310)에서 검출된 상기 복수 개의 픽셀을 상하좌우로 연결하여 상기 객체의 영역 정보를 사각형 형태로 추출하는 객체추출부(320);
    상기 객체추출부(320)에서 추출된 상기 객체의 영역 정보가 상기 경기장 영상 프레임의 프레임별에 따라 변화하는 형태를 근거로 하여 상기 객체의 움직임 정보를 분석하는 움직임분석부(330); 및
    상기 객체추출부(320)에서 추출된 상기 객체의 영역 정보의 픽셀 크기와 픽셀값을 근거로 하여 상기 객체의 속성 정보를 분석하는 속성분석부(340);를 포함하여 구성되는 것을 특징으로 하는 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치.
  6. 제1항에 있어서,
    상기 2차원미니맵생성부(400)는,
    상기 보정 영상 프레임과 대응되는 크기를 가지는 배경 영상 프레임을 생성하는 배경영상생성부(410);
    상기 배경영상생성부(410)에서 생성한 상기 배경 영상 프레임에 상기 라인 정보를 표시하는 라인표시부(420); 및
    상기 배경영상생성부(410)에서 생성한 상기 배경 영상 프레임에 상기 객체들의 영역 정보를 상기 객체들의 움직임 정보와 상기 객체들의 속성 정보에 대응되게 표시하는 객체표시부(430);를 포함하여 구성공판되는 것을 특징으로 하는 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치.
  7. 제1항에 있어서,
    상기 특징영역표시부(500)는,
    상기 객체들의 영역 정보에 대한 픽셀 크기를 서로 비교하여 크기가 가장 작은 객체를 상기 공으로 판별하는 객체판별부(510);
    상기 객체판별부(510)에서 상기 공으로 판별한 상기 객체를 포함하는 상기 제1영역과, 상기 제1영역을 제외한 상기 제2영역으로 분할하는 영역분할부(520); 및
    상기 영역분할부(520)에서 분할한 상기 제1영역이 상기 제2영역과 구분되도록 상기 제1영역의 픽셀값을 변경하는 픽셀값변경부(530);를 포함하여 구성되는 것을 특징으로 하는 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치.
  8. 제1항에 있어서,
    상기 3차원변환부(600)는,
    복수 개의 3차원 백터 정보가 저장되는 백터저장부(610);
    상기 백터저장부(610)에 저장된 상기 복수 개의 3차원 백터 정보 중에서 상기 객체들의 속성 정보에 대응되는 3차원 백터 정보를 매칭시키는 백터매칭부(620); 및
    상기 백터매칭부(620)에서 매칭시킨 3차원 백터 정보를 상기 객체들의 영역 정보에 적용하여 3차원 영역 정보로 대체하는 백터매핑부(630);를 포함하여 구성되는 것을 특징으로 하는 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치.
KR20140026241A 2014-03-05 2014-03-05 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치 KR101468159B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20140026241A KR101468159B1 (ko) 2014-03-05 2014-03-05 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치
US14/564,383 US20150254528A1 (en) 2014-03-05 2014-12-09 Apparatus for providing three-dimensional mini-map service for sports broadcasting

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20140026241A KR101468159B1 (ko) 2014-03-05 2014-03-05 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치

Publications (1)

Publication Number Publication Date
KR101468159B1 true KR101468159B1 (ko) 2014-12-05

Family

ID=52677311

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20140026241A KR101468159B1 (ko) 2014-03-05 2014-03-05 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치

Country Status (2)

Country Link
US (1) US20150254528A1 (ko)
KR (1) KR101468159B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823359B2 (en) * 2017-10-06 2023-11-21 Google Llc Systems and methods for leveling images

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111249691B (zh) * 2018-11-30 2021-11-23 百度在线网络技术（北京）有限公司 一种基于形体识别的运动员训练方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100790065B1 (ko) * 2006-10-10 2008-01-02 삼성전자주식회사 미니 맵을 이용한 위치 정보 제공 시스템 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005099423A2 (en) * 2004-04-16 2005-10-27 Aman James A Automatic event videoing, tracking and content generation system
JP2001265562A (ja) * 1999-12-30 2001-09-28 Nokia Corp スポーツイベントのリアルタイム通信
WO2006103662A2 (en) * 2005-03-29 2006-10-05 Sportvu Ltd. Real-time objects tracking and motion capture in sports events
KR20090039272A (ko) * 2007-10-18 2009-04-22 주승환 방송 영상의 미니맵 정보 제공 시스템
GB2455313B (en) * 2007-12-04 2012-06-13 Sony Corp Apparatus and method for estimating orientation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100790065B1 (ko) * 2006-10-10 2008-01-02 삼성전자주식회사 미니 맵을 이용한 위치 정보 제공 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823359B2 (en) * 2017-10-06 2023-11-21 Google Llc Systems and methods for leveling images

Also Published As

Publication number Publication date
US20150254528A1 (en) 2015-09-10

Similar Documents

Publication Publication Date Title
US8385595B2 (en) Motion detection method, apparatus and system
GB2577009A (en) Video and chart image fusion systems and methods
US20170116461A1 (en) Image processing device and image processing method
US10127702B2 (en) Image processing device and image processing method
US20160212338A1 (en) Apparatus and method for generating panoramic image based on image quality
US20090073255A1 (en) Video Transmitting Apparatus, Video Display Apparatus, Video Transmitting Method and Video Display Method
US9715632B2 (en) Intersection recognizing apparatus and computer-readable storage medium
KR101605314B1 (ko) 영상처리장치 및 영상처리방법
KR20170001223A (ko) 정보 추출 시스템, 정보 추출 장치, 그의 정보 추출 방법 및 비일시적 컴퓨터 판독가능 기록매체
WO2012081319A1 (ja) 映像監視装置
KR101468159B1 (ko) 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치
US20180253823A1 (en) Image processing device, image processing method and computer readable medium
US20120162386A1 (en) Apparatus and method for correcting error in stereoscopic image
JP2016531470A (ja) 視聴場所についてのステレオ情報の取得、送信および受信、ならびに、眼点系のその自動測定のためのｔｖマルチアングル法
CN104767985A (zh) 使用区域分布分析以自动检测三维图像格式的方法
WO2012120880A1 (ja) 立体画像出力装置及び立体画像出力方法
CN102426693A (zh) 一种梯度边缘检测算法实现2d转3d的方法
US20130169627A1 (en) Display apparatus and method for providing three dimensional (3d) image
JP4892105B1 (ja) 映像処理装置、映像処理方法および映像表示装置
US11263784B2 (en) Determine image capture position information based on a quasi-periodic pattern
KR20120062436A (ko) 영상 감시 시스템 및 방법
RU2490819C1 (ru) Способ получения стереоскопических телевизионных изображений с автоматическим измерением предметного пространства в реальном времени
KR102646048B1 (ko) 머신러닝 기반 가로세로 영상 변환 및 송출 장치
CN102487447A (zh) 调整物件三维深度的方法与装置、以及检测物件三维深度的方法与装置
EP4319150A1 (en) 3d format image detection method and electronic apparatus using the same method

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170808

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180807

Year of fee payment: 5