KR102112517B1 - 실시간 영상 분석을 통한 카메라 위치 제어 및 영상 편집을 통한 무인 스포츠 중계 서비스 방법 및 이를 위한 장치 - Google Patents

실시간 영상 분석을 통한 카메라 위치 제어 및 영상 편집을 통한 무인 스포츠 중계 서비스 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR102112517B1
KR102112517B1 KR1020200028216A KR20200028216A KR102112517B1 KR 102112517 B1 KR102112517 B1 KR 102112517B1 KR 1020200028216 A KR1020200028216 A KR 1020200028216A KR 20200028216 A KR20200028216 A KR 20200028216A KR 102112517 B1 KR102112517 B1 KR 102112517B1
Authority
KR
South Korea
Prior art keywords
subject
detection
camera
detection area
main camera
Prior art date
Application number
KR1020200028216A
Other languages
English (en)
Inventor
황인수
Original Assignee
모바일센 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모바일센 주식회사 filed Critical 모바일센 주식회사
Priority to KR1020200028216A priority Critical patent/KR102112517B1/ko
Application granted granted Critical
Publication of KR102112517B1 publication Critical patent/KR102112517B1/ko
Priority to JP2022578939A priority patent/JP7357413B2/ja
Priority to PCT/KR2020/013989 priority patent/WO2021177535A1/ko
Priority to US17/909,755 priority patent/US11831929B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2228—Video assist systems used in motion picture production, e.g. video cameras connected to viewfinders of motion picture cameras or related video signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/23218—
    • H04N5/23299—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

본 발명은 복수의 탐지 카메라들 및 적어도 하나의 메인 카메라와 연결된 중계 서버가 스포츠 중계 방송을 송출하는 방법을 개시한다. 특히, 상기 방법은, 상기 복수의 탐지 카메라들 각각에 대응하는 탐지 영역들 중, 제 1 탐지 영역에서 상기 제 1 탐지 영역에 대응하는 제 1 탐지 카메라를 통해 피사체를 감지하고, 상기 적어도 하나의 메인 카메라의 촬영 위치를 상기 제 1 탐지 카메라를 향하도록 제어하고, 상기 적어도 하나의 메인 카메라를 통해 촬영된 영상을 단말로 송출하는 것을 특징으로 한다.

Description

실시간 영상 분석을 통한 카메라 위치 제어 및 영상 편집을 통한 무인 스포츠 중계 서비스 방법 및 이를 위한 장치{Unmanned sports relay service method through real time video analysis and video editing and apparatus for same}
본 발명은 실시간 영상 분석을 통한 카메라 위치 제어 및 영상 편집을 통한 무인 스포츠 중계 서비스 방법 및 이를 위한 장치에 관한 것으로서, 실시간 영상 분석 및 카메라 위치를 제어하여 축구, 농구, 배구 등과 같은 각종 스포츠 중계 시 자동으로 화면을 편집 구성하여 동영상을 송출 및 제작하는 방법에 관한것으로서, 기존의 방송 업체에서 방송 송출 시, 송출자가 여러대의 카메라 화면을 모니터링 하면서 비디오 믹서를 이용하여 수작업으로 화면 전환을 하는 부분을 S/W를 통해 자동화 하여 다양한 화면구성의 중계 동영상을 제작하는 서비스 방법에 관한 것이다.
일반적으로 스포츠 방송 송출 시, 여러 대의 카메라들을 필요한 위치에 배치하여, 각각의 카메라 화면을 중앙조정실로 송출하고, 중앙조정실은 채널 별로 들어오는 카메라 화면을 카메라와 일대일로 매칭되는 모니터 화면을 통해 모니터링 하다가 프로듀서(PD) 의 사인에 의해 엔지니어가 비디오 믹서를 이용해서 채널 별 화면을 믹싱하여, 믹싱한 화면을 방송 송출하거나 동영상으로 저장하고 있다.
이와 같은 방식의 송출은 카메라 댓수 별로 카메라 별 카메라맨과 중앙조정실의 PD 및 비디오 믹서 엔지니어와 같은 많은 인력을 필요하여, 인건비의 비중이 매우 높은 구조의 고비용이 소요됨으로, 적은 비용으로 송출 및 동영상 제작을 하는 것은 어렵다.
또한, 적은 비용을 가지고 소규모 방송을 통해 동영상을 송출 및 제작하는 것은 한 두대의 고정 카메라를 이용하여 촬영이 가능하나, 이와 같은 방식은 카메라 별 화면 전환이 어렵고, 고정된 화면만 송출 및 녹화 될 수 있다. 또한, 이러한 방식은 카메라 별 송출되는 화면의 믹싱 작업이 없이 송출 됨으로 매우 단조로운 화면만 공급되는 문제가 있다. 또한, 이렇게 녹화된 영상들은 다양한 화면구성의 동영상을 제작 하기 위하여 별도의 동영상 편집 작업을 거쳐햐 하는 번거로움이 발생한다.
본 발명은 위와 같은 문제점들을 해결하기 위해 AI 머신런닝(기계학습)을 응용한 실시간 영상분석 기술을 이용하여 각 카메라의 위치를 자동으로 제어하고 카메라로부터 송출되는 화면을 자동으로 믹싱하여 영상을 제작함으로써 별도의 송출 인력들이 필요 없는 서비스 방법을 제시한다.
한국공개특허 제10-2002-0084513호 (명칭: 스포츠 중계 시스템 및 그 중계 방법, 2002.11.09.)
본 발명은 실시간 영상 분석을 통한 카메라 위치 제어 및 영상 편집을 통한 무인 스포츠 중계 서비스 방법 및 이를 위한 장치를 제공하고자 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시 예에 따른 복수의 탐지 카메라들 및 적어도 하나의 메인 카메라와 연결된 중계 서버가 스포츠 중계 방송을 송출하는 방법에 있어서, 상기 복수의 탐지 카메라들 각각에 대응하는 탐지 영역들 중, 제 1 탐지 영역에서 상기 제 1 탐지 영역에 대응하는 제 1 탐지 카메라를 통해 피사체를 감지하고, 상기 적어도 하나의 메인 카메라의 촬영 위치를 상기 제 1 탐지 카메라를 향하도록 제어하고, 상기 적어도 하나의 메인 카메라를 통해 촬영된 영상을 단말로 송출할 수 있다.
이 때, 상기 피사체는, 상기 스포츠 중계 방송으로 송출되는 스포츠 경기에 사용되는 공(Ball)일 수 있다.
또한, 상기 피사체가 상기 제 1 탐지 영역에서 일정 시간 이상으로 감지되는 경우, 상기 제 1 탐지 카메라를 통해 촬영된 영상을 단말로 송출할 수 있다.
또한, 상기 피사체가 상기 제 1 탐지 영역을 벗어난 것으로 판단되는 경우, 상기 적어도 하나의 메인 카메라를 통해 촬영된 영상을 단말로 송출할 수 있다.
또한, 상기 피사체가 상기 제 1 탐지 영역을 벗어난 이후, 제 2 탐지 영역에서 상기 일정 시간 이상으로 감지되는 경우, 상기 제 2 탐지 영역에 대응하는 제 2 탐지 카메라를 통해 촬영된 영상을 단말로 송출할 수 있다.
또한, 상기 적어도 하나의 메인 카메라의 촬영 위치를 상기 제 2 탐지 카메라를 향하도록 제어할 수 있다.
또한, 상기 제 1 탐지 영역은 상기 제 1 탐지 카메라의 촬영 가능 범위를 기준으로 설정될 수 있다.
본 발명의 실시 예에 따른 스포츠 중계 방송 시스템에 있어서, 스포츠 경기장에 포함된 서로 다른 탐지 영역들 각각을 촬영하는 복수의 탐지 카메라들; 상기 서로 다른 탐지 영역들 중, 피사체가 감지된 탐지 영역에 대응하는 탐지 카메라 방향으로 회전 가능하게 설치된 적어도 하나의 메인 카메라; 및 상기 서로 다른 탐지 영역들 중, 제 1 탐지 영역에서 상기 제 1 탐지 영역에 대응하는 제 1 탐지 카메라를 통해 상기 피사체를 감지하고, 상기 적어도 하나의 메인 카메라의 촬영 위치를 상기 제 1 탐지 카메라를 향하도록 제어하고, 상기 적어도 하나의 메인 카메라를 통해 촬영된 영상을 단말로 송출하는 중계 서버;를 포함할 수 있다.
이 때, 상기 복수의 탐지 카메라들은, 상기 스포츠 경기장을 구성하는 4개의 모서리들 주위로 설치될 수 있다.
또한, 상기 적어도 하나의 메인 카메라는, 상기 스포츠 경기장의 중앙선과 일직선이 되도록 설치될 수 있다.
본 발명에 따르면, 과도한 인건비를 사용하지 않고도 효율적으로, 카메라 별 화면을 믹싱하여, 방송을 송출할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시 예에 따른 스포츠를 중계하기 위한 시스템을 설명하기 위한 도면이다.
도 2 내지 도 5는 본 발명의 실시 예에 따른 스포츠 중계 방법을 설명하기 위한 도면이다.
도 6 내지 도 8은 본 발명의 실시 예를 구현하기 위한 장치들의 구성을 설명하기 위한 도면이다.
본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.
다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "부", "기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
상술한 용어들 이외에, 이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독 가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.
아울러, 본 발명은 퍼스널 컴퓨터, 랩탑 컴퓨터, 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 또는 프로그램 가능한 가전제품(programmable consumer electronics), 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 모바일 전화, PDA, 페이저(pager) 등을 포함하는 다양한 유형의 컴퓨터 시스템 구성을 가지는 네트워크 컴퓨팅 환경에서 실시될 수 있다. 본 발명은 또한 네트워크를 통해 유선 데이터 링크, 무선 데이터 링크, 또는 유선 및 무선 데이터 링크의 조합으로 링크된 로컬 및 원격 컴퓨터 시스템 모두가 태스크를 수행하는 분산형 시스템 환경에서 실행될 수 있다. 분산형 시스템 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치에 위치될 수 있다.
또한, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
본 개시의 실시예들을 구체적으로 설명함에 있어서, 특정 시스템의 예를 주된 대상으로 할 것이지만, 본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.
이제, 본격적으로 본 발명의 실시 예에 따른 스포츠 중계 방법에 대해 살펴보도록 한다.
도 1을 참조하면, 본 발명의 실시 예에 따른 스포츠 중계 시스템은, 통신망 (100), 단말(200), 중계 서버(300), 탐지 카메라(400) 및 메인 카메라(500)를 포함할 수 있다.
여기서, 단말(200)는 중계 서버(300)와 통신망(100)을 통해 연동될 수 있다. 이 때, 통신망(100)은 무선 통신망일 수 있다. 예를 들어, 해당 무선 통신망은 LTE (Long Term Evolution), 5G (5 Generation) 및 WiFi 등을 이용하는 무선 통신망일 수 있다.
본 발명의 단말(200)는 사용자의 조작에 따라 통신망(100)을 경유하여 각종 데이터를 송수신할 수 있는 사용자의 장치를 의미한다. 이러한 단말(200)는 통신망(100)을 통하여 음성 또는 데이터 통신을 수행할 수 있으며, 중계 서버(300)와 통신망(100)을 통해 정보를 송수신 할 수 있다. 이를 위한 본 발명의 단말(200)는 중계 서버(300)와 데이터를 송수신하기 위한 프로그램 및 프로토콜을 저장하는 메모리, 각종 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비할 수 있다.
이러한 단말(200)는 우선적으로 통신망(100)에 접속된 어플리케이션(이하, '앱') 제공 장치(미도시) 예컨대, 앱 스토어 등에 접속을 수행하고 해당 앱 스토어로부터 스포츠 중계 서비스를 위한 앱을 수신하여 설치할 수 있다.
또한, 이러한 단말(200)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 단말(200)는 스마트 폰(smart phone), 타블렛 PC(Tablet PC), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), MP3 Player 등의 이동 단말기는 물론, 스마트 TV(Smart TV), 데스크탑 컴퓨터 등과 같은 고정 단말기가 사용될 수도 있다.
또한, 본 발명의 단말(200)는 디지털 기기의 컨버전스(convergence) 추세에 따라 휴대 기기의 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 유닛들과 동등한 수준의 유닛이 본 발명에 따른 단말(200)로 사용될 수 있으며, 본 발명에 따른 스포츠 중계 서비스에 관련된 앱을 다운 및 설치할 수 있는 장치라면, 그 어떠한 장치도 본 발명의 실시 예에 따른 단말(200)로 이용될 수 있다.
중계 서버(300)는 본 발명의 실시 예에 따른 스포츠 중계 서비스를 제공하기 위한 각종 데이터 및 정보를 단말(200), 탐지 카메라(400) 및 메인 카메라(500)와 송수신하고, 상기 각종 데이터 및 정보를 기반으로 탐지 카메라(400) 및 메인 카메라(500)에 의해 촬영된 영상을 믹싱하여 저장하거나 단말(200)로 송출하기 위한 서버 장치이다.
탐지 카메라(400)는 본 발명의 실시 예에 따른 스포츠 중계 서비스를 제공하기 위하여 중계 서버(300)와 각종 데이터 및 정보를 송수신하기 위한 장치이다. 특히, 스포츠 경기장을 구성하는 4개의 모서리들 주위로 복수의 탐지 카메라(400)들이 설치되며, 복수의 탐지 카메라(400)는 각각에게 할당된 탐지 영역을 촬영하여, 촬영된 탐지 영역의 영상을 중계 서버(300)로 전송할 수 있다.
메인 카메라(500)는 본 발명의 실시 예에 따른 스포츠 중계 서비스를 제공하기 위하여 중계 서버(300)와 각종 데이터 및 정보를 송수신하기 위한 장치이다. 특히, 메인 카메라(500)는 스포츠 경기장의 중앙선과 일직선을 이루는 위치에 설치될 수 있으며, 180도 이상을 회전할 수 있는 회전형일 수 있다. 메인 카메라(500)는 회전하면서 스포츠 경기장을 전반적으로 촬영할 수 있으며, 메인 카메라(500)가 설치된 중심을 0도로 하는 기준점을 기준으로, 메인 카메라(500)와 복수의 탐지 카메라(400)들 각각 간의 각도 정보를 저장할 수 있다. 이 때, 메인 카메라(500)의 기준점은 중앙선과 일직선을 이루는 위치일 수 있다.
또한, 메인 카메라(500)는 저장된 각도 정보를 기반으로, 중계 서버(300)로부터 특정 탐지 카메라(400) 방향으로 촬영 위치가 향하도록 하는 제어 신호를 수신하면, 해당 특정 탐지 카메라(400)에 대응하는 각도로 회전하여, 메인 카메라(500)의 촬영 위치가 상기 특정 탐지 카메라(400) 방향으로 향하도록 회전할 수 있다.
도 2 내지 도 5는 본 발명의 실시 예에 따른, 무인 스포츠 중계 방법을 설명하기 위한 도면이다.
본격적인 설명에 앞서, 본 발명에서 언급하는 피사체는, 해당 스포츠 중계 방송으로 송출되는 스포츠 경기에 사용되는 공(Ball)을 의미할 수 있다. 예를 들어, 해당 스포츠 중계가 축구 중계라면 피사체는 축구공이 될 수 있고, 해당 스포츠 중계가 농구 중계라면 피사체는 농구공이 될 수 있다. 또한, 해당 피사체는 공(Ball)에 한정되지 않고, 스포츠 경기를 위해 사용되는 물체면 무엇이든 피사체가 될 수 있다. 예를 들어, 해당 스포츠 중계가 하키라면 피사체는 퍽(puck)일 수 있고, 해당 스포츠 중계가 배드민턴이라면 피사체는 셔틀콕일 수 있으며, 해당 스포츠 중계가 컬링이라면 피사체는 스톤일 수 있다.
이제 본격적으로 도 2 내지 도 5를 참조하여 본 발명의 실시 예에 따른 무인 스포츠 중계 방법을 설명하도록 한다.
도 2를 참조하면, 중앙선을 중심으로 스포츠 경기장의 양편에 복수의 탐지 카메라들(400)이 설치될 수 있다. 또한, 복수의 탐지 카메라들(400)은 각각의 탐지 영역이 할당되어 있을 수 있다. 예를 들어, 도 2를 참조할 때, 1번 탐지 영역은 탐지 카메라(400a)에 의해 촬영되고, 2번 탐지 영역은 탐지 카메라(400b)에 의해 촬영된다. 도 2에서는 6대의 탐지 카메라들에 각각의 탐지 영역이 할당된 것으로 표시하고 있으나, 이는 하나의 예시일 뿐이며, 경기장의 크기 및 해당 스포츠의 역동성 정도에 따라 경기장에 설치되는 탐지 카메라들의 수는 달라질 수 있다.
또한, 각각의 탐지 카메라(400)는 하나의 방향으로 고정되어, 각 탐지 카메라(400)에 할당된 탐지 영역만을 촬영하도록 설치될 수 있다.
또한, 각 탐지 카메라(400)에 할당되는 탐지 영역은 각 탐지 카메라(400)가 설치된 위치에서 각 탐지 카메라(400)가 촬영할 수 있는 촬영 가시 범위를 기준으로 설정될 수 있다. 다시 말해, 각 탐지 카메라(400)에 할당되는 탐지 영역의 각도는 각 탐지 카메라(400)가 촬영할 수 있는 촬영 가시 범위보다 작거나 같을 수 있다. 또한, 각 탐지 카메라(400)에 할당되는 탐지 영역의 길이는 각 탐지 카메라(400)가 피사체를 식별할 수 있는 길이가 기준이 될 수 있다. 예를 들어, 탐지 카메라(400)의 성능을 기반으로, 피사체의 한쪽 지름의 길이가 0.5cm 인 경우까지 탐지 카메라(400)가 해당 피사체를 인식할 수 있다면, 탐지 영역의 길이는, 탐지 카메라(400)의 줌(Zoom) 정보 및 해상도 정보를 기반으로 피사체의 한쪽 지름의 길이가 0.5cm로 보일 수 있는 길이까지로 설정될 수 있다. 여기서, 줌(Zoom)정보는 탐지 카메라(400)의 촬영 배율 및 촬영 가시 길이에 대한 정보일 수 있다. 다시 말해, 줌(Zoom) 정보는 탐지 카메라(400)의 초점 거리에 대한 정보일 수 있다.
또한, 중앙선 근처에는 회전형의 메인 카메라(500)가 설치될 수 있다. 메인 카메라(500)는 회전형으로 설치되어, 탐지 카메라(400)들 중 어느 하나를 향해 촬영 위치를 조정할 수 있다. 또한, 메인 카메라(500)는 경기장 당 한대 이상 설치될 수 있다.
예를 들어, 도 2에서 보이는 것처럼, 중앙선과 일직선이 되는 지점의 양끝에 메인 카메라 2대(500a, 500b)가 설치될 수 있다. 이 때, 메인 카메라(500) 각각은 동일한 해상도와 동일한 줌(Zoom) 정도를 가질 수도 있지만, 상이한 해상도와 상이한 줌(Zoom) 정도를 가질 수 있다.
예를 들어, 메인 카메라(500a)는 메인 카메라(500b)에 비해 1.5 ~ 2.5 배 사이의 줌인(Zoom-In)된 촬영을 하도록 설정될 수 있다.
상술한 내용을 기반으로 도 3을 통해 본 발명의 실시 예에 따른 스포츠 중계 방법을 구체적으로 살펴보도록 한다.
도 3을 참조하면, 탐지 카메라(400)들 중, 제 1 탐지 카메라(400)가 피사체를 감지할 수 있다(S305). 이 때, 탐지 카메라(400)들은 카메라 영상 프로세스를 이용하여 피사체의 색깔, 형태 및 크기를 미리 입력 받고, 해당 피사체의 색깔, 형태 및 크기를 기반으로 해당 피사체를 감지할 수 있다.
예를 들어, 농구공이 피사체인 경우, 색깔이 갈색이고, 원형이며, 공인구의 사이즈인 것으로 입력되면, 해당 탐지 카메라(400)의 탐지 영역에서 원형이고 갈색이며, 공인구의 사이즈와 일정 배율 관계를 가지는 물체가 감지되면, 이를 피사체로 인식할 수 있다. 다만, 색깔의 경우에는 생산 과정, 경기장의 조명 및 탐지 카메라의 촬영 성능 등으로 인하여 다소 변하여 인식 되는 경우가 있다. 따라서, 색깔을 탐지하는데에 있어서도 일정 오차 범위를 두고, 해당 오차 범위 내의 색깔이 인식된다면 해당 탐지 영역 내에 피사체가 있는 것으로 인식할 수 있다.
예를 들어, 탐지 카메라(400)들에 공유된 피사체의 색깔이 RGB (184,134,11)일 때, 각각의 요소들의 오차 범위가 일정 이하라면, 탐지 카메라(400)는 해당 피사체인 것으로 인지할 수 있다.
제 1 탐지 카메라(400)가 피사체를 인지했다는 신호를 중계 서버(300)에게 전송하면, 중계 서버(300)는 이를 메인 카메라(500)를 제 1 탐지 카메라(400) 방향으로 회전시키고, 메인 카메라(500) 제 1 탐지 카메라(400) 방향의 경기장 모습을 촬영할 수 있다(S310).
이 때, 제 1 탐지 카메라(400)는 피사체의 움직임을 관찰하여 이를 중계 서버(300)로 보고할 수 있다. 또한, 중계 서버(300)는 피사체가 제 1 탐지 영역 내에 제 1 시간(예를 들어, 1~2초) 이상 존재하는 것으로 판단되는 경우, 제 1 탐지 카메라(400)에 의해 촬영되는 영상을 단말(200)에게 송출할 수 있다(S315). 또한, 중계 서버(300)는 피사체가 제 1 탐지 영역 내에 제 1 시간 미만으로 존재할 것으로 판단되는 경우, 메인 카메라(400)에 의해 촬영되는 영상을 단말(200)에게 송출할 수 있다(S320).
한편, 중계 서버(300)는 피사체가 제 1 탐지 영역 내에 일정 시간 존재하는지를 예측하여, 단말(200)에게 송출할 영상을 판단할 수도 있다. 예를 들어, 제 1 탐지 카메라(400)가 피사체의 움직임을 관찰하여 중계 서버(300)로 보고하면, 중계 서버(300)는 피사체의 움직임을 기반으로 피사체의 이동 속도 및 이동 방향을 추정하여 제 1 탐지 영역에 제 2 시간 (예를 들어, 3~5초)이상으로 존재할 것인지를 판단할 수 있다. 만약, 제 2 시간 이상으로 피사체가 제 1 탐지 영역에 존재할 것으로 판단되면, 제 1 탐지 카메라(400)에 의해 촬영되는 영상을 단말(200)에게 송출할 수 있다. 또한, 제 2 시간 미만으로 피사체가 제 1 탐지 영역 내에 존재하고, 다른 탐지 영역으로 이동할 것으로 판단되면, 메인 카메라(500)에 의해 촬영되는 영상을 단말(200)에게 송출할 수 있다.
예를 들어, 중계 서버(300)가 제 1 탐지 카메라(400)로부터 보고를 수신하면, 제 1 탐지 영역을 촬영한 촬영 화면 내에서 피사체가 단위 시간(예를 들어, 0.1초)에 이동한 거리를 측정하고, 이를 실제 제 1 탐지 영역의 넓이 혹은 길이와 촬영 화면 내의 넓이 혹은 길이 간의 배율을 이동한 거리에 곱하면, 단위 시간 당 피사체가 이동한 속력 및 방향을 산출할 수 있고, 이를 통해, 중계 서버(300)가 피사체가 제 2 시간 미만의 시간 내에 다른 탐지 영역으로 이동할 것인지, 아니면, 제 2 시간 이상으로 제 1 탐지 영역 내에 존재할 것인지를 판단할 수 있다.
이를 기반으로, 제 2 시간 이상으로 제 1 탐지 영역 내에 피사체가 존재할 것이라고 판단되면, 중계 서버(300)는 제 1 탐지 카메라(400)의 촬영 영상을 단말(200)로 송출하고, 제 2 시간 미만으로 제 1 탐지 영역 내에 피사체가 존재하고 다른 탐지 영역으로 피사체가 이동할 것이라고 생각되면, 메인 카메라(500)의 촬영 영상을 단말(200)로 송출할 수 있다.
제 1 탐지 카메라(400)는 피사체를 지속적으로 관찰하며, 피사체가 제 1 탐지 영역에서 벗어났는지 여부를 관찰할 수 있다(S325). 만약, 피사체가 제 1 탐지 영역에서 벗어나지 않았다면 지속적으로 제 1 탐지 카메라(400)에 의해 촬영된 영상을 중계 서버(300)로 전송하고, 중계 서버(300)는 이를 단말(200)로 송출할 수 있다.
만약, 피사체가 제 1 탐지 영역을 벗어난 것으로 판단되는 경우, 제 1 탐지 영역의 바로 좌측 또는 바로 우측에 있는 제 2 탐지 카메라(400)를 통해 제 2 탐지 영영 내에 상술한 방법과 같이 피사체가 제 1 시간 이상으로 존재하는지 또는 제 2 시간 이상으로 존재할 것인지 여부를 판단할 수 있다(S330). 예를 들어, 제 1 탐지 카메라(400)가 도 2에서의 탐지 카메라(400b)라면, 탐지 카메라(400a) 또는 탐지 카메라(400c)에 해당하는 탐지 영역에 피사체가 제 1 시간 이상으로 존재하는지 또는 제 2 시간 이상으로 존재할 것인지를 판단할 수 있다.
만약, 피사체가 제 2 탐지 영역에 제 1 시간 이상으로 존재하거나 제 2 시간 이상으로 존재할 것으로 예상된다면, 중계 서버(300)는 제 2 탐지 카메라(400)의 영상을 수신하여 단말(200)로 송출할 수 있다(S335). 만약, 피사체가 제 2 탐지 영역에 제 1 시간 이상으로 존재하지 않거나 제 2 시간 이상으로 존재하지 않을 것으로 예상된다면, 중계 서버(300)는 메인 카메라(500)에 의해 촬영된 영상을 단말(200)에게 송출할 수 있다(S320). 이 때, 메인 카메라(500)는 제 2 탐지 카메라(400) 방향을 촬영 위치가 변경되도록 회전할 수 있다. 예를 들어, 메인 카메라(500)는 피사체가 제 1 탐지 영역을 벗어난 이후, 제 2 탐지 카메라(400)에서 피사체가 인식되면, 메인 카메라(500)는 제 2 탐지 카메라(400) 방향으로 촬영 위치가 변경되도록 회전할 수 있다.
또한, 중계 서버(300)가 분석한 피사체의 이동 속도 및 이동 방향을 기반으로 피사체가 제 1 탐지 영역에서 왼쪽으로 이동하는지 오른쪽으로 이동하는지를 판단하고, 제 1 탐지 영역에서 피사체가 벗어난 것으로 판단되면, 이동 방향에 위치하는 탐지 카메라(400) 방향으로 메인 카메라(500)의 촬영 위치가 변경되도록 회전할 수 있다.
예를 들어, 도 4와 같이 피사체가 제 1 탐지 카메라(400a)의 제 1 탐지 영역에서 오른쪽으로 방향으로 이동하는 것으로 중계 서버(300)가 판단되고, 피사체가 제 1 탐지 영역에서 벗어난 것으로 판단되면, 중계 서버(300)는 메인 카메라(500)가 제 2 탐지 카메라(400b) 방향으로 촬영 위치가 변경되게 회전하도록 제어할 수 있다. 또한, 피사체가 제 2 탐지 카메라(400b)의 제 2 탐지 영역에서 오른쪽으로 지속하여 이동하는 것으로 판단되고, 피사체가 제 2 탐지 영역에서 벗어난 것으로 판단되면, 중계 서버(300)는 메인 카메라(500)가 제 3 탐지 카메라(400c) 방향으로 촬영 위치가 변경되게 회전하도록 제어할 수 있다. 또한, 피사체가 제 2 탐지 영역에서 오른쪽으로 이동하면서 제 1 시간 이상 존재하거나 제 2 시간 이상으로 존재할 것으로 예상되면, 제 2 탐지 카메라 (400b)의 촬영 영상을 단말(200)에게 송출할 수 있다.
한편, 도 5를 참조하면, 제 2 탐지 카메라(400b)에서 피사체가 인지된 이후, 중계 서버(300)가 추정한 피사체의 이동 방향 및 이동 속도를 기반으로 오른쪽으로 피사체가 이동하는 것을 판단하였고, 피사체가 이와 마찬가지로 제 3 탐지 카메라(400c)의 제 3 탐지 영역에서 인지될 수 있다.
그런데, 제 3 탐지 카메라(400c)의 제 3 탐지 영역에서 피사체가 인지됨과 동시에 또는 제 3 탐지 영역에서 피사체가 인지된 이후, 제 1 탐지 카메라(400a)의 제 1 탐지 영역에서 피사체가 인지될 수 있다. 예를 들어, 외부에서 현재 경기 진행 중인 공 말고 다른 공이 실수 또는 경기를 방해할 목적으로 들어오는 경우, 피사체의 이동을 기반으로는 예측할 수 없는 방향에서 피사체가 발견될 수 있다.
따라서, 중계 서버(300)는 중계 서버(300)가 추정한 피사체의 이동 속도 및 이동 방향과 부합하지 않는, 즉, 제 3 탐지 영역에서 피사체가 인지되고, 해당 피사체가 계속 오른쪽으로 이동하는 것으로 추정되는데, 제 3 탐지 영역의 왼쪽에 위치하는 제 1 탐지 영역 또는 제 2 탐지 영역에서 피사체가 인지되면, 해당 피사체는 경기 진행과는 관련 없는 피사체인 것으로 인지하고, 해당 피사체를 무시할 수 있다.
다시 말해, 도 5의 경우, 제 3 탐지 영역에서 피사체가 인지된 이후, 제 1 탐지 영역에서 인지된 피사체는 경기 진행과 관련 없는 피사체인 것으로 인지하고, 제 1 탐지 카메라(400a)의 영상을 단말(200)로 송출하지 않으며, 메인 카메라(500)의 촬영 위치도 제 1 탐지 카메라(400a) 방향으로 회전하지 않고, 제 3 탐지 카메라(400c) 방향으로 그대로 유지할 수 있다.
또한, 현재 피사체가 인지되는 탐지 영역과 연속되지 않은 (즉, 인접하지 않는) 탐지 영역에서 피사체가 인지되는 경우에도 경기 진행과 관련 없는 피사체인 것으로 판단하고, 중계 서버(300)는 해당 탐지 영역의 탐지 카메라(400)의 영상을 단말(200)로 송출하지 않고, 메인 카메라(500)를 회전시키지 않을 수 있다.
예를 들어, 도 5에서, 제 3 탐지 영역에서 피사체가 인지된 이후, 인접한 제 2 탐지 영역에서 피사체가 발견되면, 피사체의 이동 방향이 급격히 변하여 제 2 탐지 영역으로 이동한 것으로 판단할 수 있다. 다만, 제 3 탐지 영역에서 피사체가 인지된 이후, 인접하지 않은 제 1 탐지 영역에서 피사체가 인지되면, 제 1 탐지 영역에서 인지된 피사체는 경기 진행과 관련 없는 피사체인 것으로 판단하고, 중계 서버는 제 1 탐지 카메라(400a)의 영상을 단말(200)로 송출하지 않고, 메인 카메라(500)도 제 1 탐지 카메라(400a) 방향으로 회전시키지 않을 수 있다.
또한, 제 3 탐지 영역에서 피사체가 인지된 이후, 해당 경기장의 외곽 라인 밖으로 피사체가 이동한 것으로 판단되면, 해당 제 3 탐지 영역의 외곽 라인에서 경기가 재개될 가능성이 높으므로, 제 3 탐지 카메라(400c)의 촬영 화면을 중계 서버(300)는 단말(200)로 송출하거나 메인 카메라(500)의 촬영 위치를 제 3 탐지 카메라(400c) 방향으로 회전시킨 이후, 단말(200)로 메인 카메라(500)의 영상을 단말(200)로 송출할 수 있다.
또한, 제 3 탐지 영역에서 피사체가 인지된 이후, 해당 경기장의 외곽 라인 밖으로 피사체가 이동한 것으로 판단되었고, 탐지 영역들 중, 어느 하나의 탐지 영역에서 피사체가 인지되었다면, 해당 피사체가 경기 진행과 관련된 피사체인지를 중계 서버(300)는 경기 상황을 분석함으로서 판단할 수도 있다.
예를 들어, 제 3 탐지 영역에서 피사체가 인지된 이후, 경기 외곽 라인 밖으로 피사체가 벗어난 것으로 판단되었을 때, 마지막으로 피사체를 소유하고 있는 선수의 유니폼을 분석할 수 있다. 다시 말해, 중계 서버(300)는 해당 경기의 홈팀의 유니폼 색깔 (예를 들어, '빨강')과 어웨이 팀의 유니폼 색깔(예를 들어, '파랑')을 저장할 수 있고, 피사체가 경기 외곽 라인 밖으로 벗어나기 전에 마지막으로 소유한 선수의 유니폼 색깔을 '파랑'으로 분석할 수 있다. 또한, 경기 외곽 라인 밖으로 피사체가 벗어난 이후, 다시 특정 탐지 영역에서 피사체가 인지되었을 때, 해당 피사체를 소유한 선수의 유니폼 색깔이 '빨강'이라면, 해당 피사체는 경기 진행과 관련된 피사체인 것으로 보고, 해당 피사체가 발견된 탐지 영역의 탐지 카메라(400) 방향으로 메인 카메라(500)의 촬영 위치가 변경되도록 회전시키고, 해당 탐지 영역의 탐지 카메라(400)의 영상 또는 메인 카메라(500)의 영상을 단말(200)로 송출하도록 제어할 수 있다. 만약, 피사체가 경기 외곽 라인 밖으로 벗어나기 전에 마지막으로 소유한 선수의 유니폼 색깔을 '파랑'으로 분석되었는데, 경기 외곽 라인 밖으로 피사체가 벗어난 이후, 다시 특정 탐지 영역에서 피사체가 인지되었을 때, 해당 피사체를 소유한 선수의 유니폼 색깔이 동일한 '파랑'이라면, 해당 피사체는 경기 진행과 관련 없는 피사체인 것으로 보고, 해당 피사체를 촬영하는 탐지 카메라(400)의 영상은 송출하지 않으며, 메인 카메라(500)도 해당 탐지 카메라(400) 방향을 회전되지 않게 할 수 있다.
한편, 복수의 탐지 카메라들(400)이 피사체를 인지한 이후, 갑자기 피사체가 사라져서 인지하지 못하는 경우가 발생할 수 있다. 예를 들어, 피사체를 가지고 드리블하던 선수를 상대방 선수들이 둘러싸고 방어하는 과정에서 피사체가 선수들에게 가려져, 복수의 탐지 카메라들(400) 중, 어떠한 탐지 카메라(400)에 의해서도 피사체가 인지되지 못하는 경우가 발생할 수 있다.
이러한 경우, 중계 서버(300)는 마지막으로 피사체가 인지된 탐지 영역 및 인접한 탐지 영역 중에서 상술한 것과 같이 추정한 피사체의 이동 방향 및 이동 속도를 기반으로 현재 피사체가 존재할 것이라고 예상되는 탐지 영역 및/또는 해당 탐지 영역 내부의 세부 영역을 추정한다. 여기서, 세부 영역이란, 탐지 영역을 일정 단위로 구분한 영역을 의미할 수 있다.
또한, 해당 탐지 영역 및/또는 세부 영역에서 선수들의 유니폼 색깔을 추적한다. 유니폼 색깔을 기반으로 선수들의 위치를 파악한 중계 서버(300)는 선수들의 손 또는 발의 위치를 추적할 수 있다. 피사체는 선수들의 손 또는 발에 밀착해 있을 것이고, 따라서 피사체는 손끝 또는 발끝 부분이 가려져 있는 선수들에게 소유되고 있을 것이라고 추정 가능하다.
따라서, 해당 탐지 영역을 담당하는 탐지 카메라(400)가 선수들의 손 또는 발의 위치를 추적하고, 여러 선수들 중에서 손 또는 발의 끝 부분이 다른 선수들에게 가려져 인식되지 않는다면, 해당 선수가 피사체를 소유하고 있는 것으로 판단하고, 해당 선수가 위치하는 탐지 영역의 탐지 카메라(400)가 촬영하는 영상을 단말(200)로 송출하거나, 메인 카메라(500)의 촬영 위치를 해당 탐지 카메라(400) 방향으로 회전하여 메인 카메라(500)의 촬영 영상을 단말(200)로 송출하도록 제어할 수 있다.
한편, 도 2를 참조하면, 메인 카메라(500)은 복수 개일 수 있다. 예를 들어, 메인 카메라(500)는 2개일 수 있는데, 이러한 경우 2개의 메인 카메라(500)들은 서로 다른 줌(즉, 서로 다른 초점 거리)를 가지고 촬영할 수 있다. 다만, 2개의 메인 카메라(500)들은 동일한 줌(즉, 동일한 초점 거리)를 가지고 촬영할 수 있다.
2개의 메인 카메라(500)는 중계 서버(300)의 제어에 따라 피사체가 인지된 탐지 영역의 탐지 카메라(400) 방향으로 촬영 위치가 변경되도록 회전할 수 있다. 또한, 2개의 메인 카메라(500)는 촬영하는 영상을 중계 서버(300)로 전송할 수 있다.
만약, 중계 서버(300)가 메인 카메라(500)의 영상을 단말(200)로 전송할 때, 2개의 메인 카메라(500) 중, 어느 하나의 메인 카메라(500)에 의해 촬영되는 영상을 단말(200)로 전송할 수 있다. 예를 들어, 2개의 메인 카메라(500)가 서로 다른 줌(즉, 서로 다른 초점 거리)로 촬영하고 있다면, 중계 서버(300)는 피사체의 속도를 추정하여, 속도가 일정 값 이상이 경우, 상대적으로 줌 아웃된(즉, 초점 거리가 상대적으로 먼) 메인 카메라(500)의 촬영 영상을 단말(200)로 송출할 수 있다. 반대로, 피사체의 속도가 일정 값 미만인 경우, 상대적으로 줌 인된(즉, 초점 거리가 상대적으로 가까운) 메인 카메라(500)의 촬영 영상을 단말(200)로 송출할 수 있다.
한편, 상대적으로 줌인된 메인 카메라(500)의 촬영 영상을 단말(200)로 송출하기로 결정하는 경우, 피사체가 탐지 영역에 존재하는 시간이 제 1 시간 이상이거나 제 2 시간 이상일 것으로 예상되어, 해당 탐지 영역에 대응하는 탐지 카메라(400)의 영상을 단말(200)로 송출할지, 줌인된 메인 카메라(500)의 촬영 영상을 단말(200)로 송출할지 여부를 결정해야 할 수도 있다.
이 때에는, 피사체가 더 잘 인지되는 카메라의 촬영 영상을 단말(200)로 송출할 수 있다. 예를 들어, 도 2 에서 메인 카메라(500a)가 줌인된 메인 카메라이고, 제 1 탐지 카메라(400a)의 제 1 탐지 영역에서 피사체가 제 1 시간 이상이거나 제 2 시간 이상일 것으로 예상되는데, 피사체를 소유하는 특정 선수가 상대편 선수들에게 둘러싸여 방어 당하고 있어, 제 1 탐지 카메라(400a)에서는 피사체가 인지되지 않고, 상술한 바와 같이, 특정 선수의 손끝 또는 발끝이 가려져 특정 선수가 피사체를 소유하고 있는 것으로 추정되는 반면, 메인 카메라(500a)에서는 특정 선수의 뒷모습을 통과하여 특정 선수가 소유하고 있는 피사체를 인지할 수 있다면, 중계 서버(300)는 메인 카메라(500a)가 촬영하는 영상을 단말(200)에게 송출할 수 있다.
한편, 중계 서버(300)가 단말(200)로 영상을 송출할 때, 경기장의 음성도 함께 송출할 수 있다. 이 때, 음성 데이터는 경기장에 설치된 복수의 마이크에 의해 녹음될 수 있다. 또한, 이 때, 중계 서버(300)는 음성 데이터와 영상 데이터가 합쳐진 형태가 아닌 별개의 패킷 형태로 전송하기 때문에, 단말(200)에서 음성 데이터와 영상 데이터의 싱크(Sync)가 맞지 않아, 단말(200)에서 재생되는 영상을 소비자가 시청하는데 불편함이 따를 수 있다.
따라서, 중계 서버(300)는 단말(200)로 영상 데이터와 음성 데이터를 함께 전송하면서, 영상 데이터에서의 피사체의 위치 및 영상 데이터에 대응하는 탐지 카메라(400) 및/또는 탐지 영역과 음성 데이터의 재생 시간, 소리 파형 등을 매칭 시킨 매칭 정보를 함께 전송할 수 있다.
영상 데이터, 음성 데이터 및 매칭 정보를 수신한 단말(200)은 매칭 정보를 기반으로 영상 데이터 및 음성 데이터의 싱크가 맞게 수신되고 있는지를 판단하고, 만약, 싱크가 맞게 수신되고 있지 않아, 단말(200)이 재생하는 것이 부자연스럽다고 판단되는 경우, 매칭 정보를 기반으로 영상 데이터의 재생 속도를 느리거나 빠르게 조절할 수 있다.
예를 들어, 현재 단말(200)이 출력하는 음성이 현재 재생하고 있는 영상 이후의 영상에 대응하는 것으로 출력되는 음성이 빠른 것으로 판단되면, 영상 데이터의 재생 속도를 1.1배~1.2배 등으로 올릴 수 있다. 반면, 현재 단말(200)이 출력하는 음성이 현재 재생하고 있는 영상 이전의 영상에 대응하는 것으로 출력되는 음성이 느린 것으로 판단되면, 영상 데이터의 재생 속도를 0.8배~0.9배 등으로 늦출 수 있다.
도 6 내지 도 8은 상술한 본 발명의 실시 예를 구현하기 위한 장치의 구성을 나타내기 위한 블록도이다.
도 6은 상술한 본 발명의 실시 예를 구현하기 위한 단말(200)의 구성을 설명하기 위한 블록도이다.
도 6을 참조하면, 단말(200)는 제어 모듈(210), 통신 모듈(220), 저장 모듈(230), 출력 모듈(240), 입력 모듈(250) 등을 포함할 수 있다.
입력 모듈(250)은 숫자 및 문자 정보 등의 다양한 정보를 입력 받고, 각종 기능을 설정 및 단말(200)의 기능 제어와 관련하여 입력되는 신호를 제어 모듈(250)로 전달한다. 또한, 입력 모듈(250)은 사용자의 터치 또는 조작에 따른 입력 신호를 발생하는 키패드와 터치패드 중 적어도 하나를 포함하여 구성될 수 있다. 이때, 입력 모듈(250)은 출력 모듈(240)와 함께 하나의 터치패널(또는 터치스크린(touch screen))의 형태로 구성되어 입력과 표시 기능을 동시에 수행할 수 있다. 또한, 입력 모듈(250)은 키보드, 키패드, 마우스, 조이스틱 등과 같은 입력 장치 외에도 향후 개발될 수 있는 모든 형태의 입력 수단이 사용될 수 있다. 특히, 본 발명에 따른 입력 모듈(250)은 사용자로부터 입력되는 입력 정보를 감지하여 제어 모듈(210)로 전달한다.
출력 모듈(240)은 단말(200)의 기능 수행 중에 발생하는 일련의 동작상태 및 동작결과 등에 대한 정보를 표시한다. 또한, 출력 모듈(240)은 단말(200)의 메뉴 및 사용자가 입력한 사용자 데이터 등을 표시할 수 있다. 여기서, 출력 모듈(240)은 액정표시장치(LCD, Liquid Crystal Display), 초박막 액정표시장치(TFT-LCD,Thin Film Transistor LCD), 발광다이오드(LED, Light Emitting Diode), 유기 발광다이오드(OLED, OrganicLED), 능동형 유기발광다이오드(AMOLED, Active Matrix OLED), 레티나 디스플레이(Retina Display), 플렉시블 디스플레이(Flexible display) 및 3차원(3 Dimension) 디스플레이 등으로 구성될 수 있다. 이때, 출력 모듈(330)이 터치스크린(Touch screen) 형태로 구성된 경우, 출력 모듈(240)은 입력 모듈(250)의 기능 중 일부 또는 전부를 수행할 수 있다
저장 모듈(230)은 데이터를 저장하기 위한 장치로, 주 기억 장치 및 보조 기억 장치를 포함하고, 단말(200)의 기능 동작에 필요한 응용 프로그램을 저장한다. 이러한 저장 모듈(230)은 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 여기서, 단말(200)는 사용자의 요청에 상응하여 각 기능을 활성화하는 경우, 제어 모듈(210)의 제어 하에 해당 응용 프로그램들을 실행하여 각 기능을 제공하게 된다.
통신 모듈(220)은 통신망(100)을 통해 중계 서버(300)와 데이터를 송수신할 수 있다. 또한, 통신 모듈(220)은 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신 수단과 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신 수단, 특정 통신 방식에 따른 통신 프로토콜을 처리하기 위한 데이터 처리 수단 등을 포함한다. 이러한 통신 모듈(220)은 무선통신 모듈(미도시) 및 유선통신 모듈(미도시) 중 적어도 하나를 포함할 수 있다. 그리고, 무선통신 모듈은 무선 통신 방법에 따라 데이터를 송수신하기 위한 구성이며, 단말(200)이 무선 통신을 이용하는 경우, 무선망 통신 모듈, 무선랜 통신 모듈 및 무선팬 통신 모듈 중 어느 하나를 이용하여 데이터를 중계 서버(300)와 송수신할 수 있다. 여기서 통신 모듈(220)은 복수의 통신 모듈들을 포함할 수 있다. 복수의 통신 모듈이 통신 모듈(220)에 포함되어 있는 경우, 하나의 통신 모듈은 블루투스(Bluetooth)를 포함한 PAN(Personal Area Network) 방식의 통신을 수행할 수 있다.
또한, 다른 하나의 통신 모듈은 통신망(100)을 통해 중계 서버(300)와 통신한다. 여기서, 다른 하나의 통신 모듈은 WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신 방식을 이용할 수 있다.
제어 모듈(210)은 운영 체제(OS, Operation System) 및 각 구성을 구동시키는 프로세스 장치가 될 수 있다.
따라서, 단말(200)의 제어 모듈(210)은 입력 모듈(250)을 통해 입력받은 신호를 통신 모듈(220)을 통해 중계 서버(300)로 전송하도록 제어하고, 통신 모듈(220)을 통해 수신한 비콘, 와이파이, 기지국 신호 또는 중계 서버(300)에서 전송한 정보들을 출력 모듈(240)을 통해 노출하도록 제어할 수 있다.
또한, 단말(200)의 제어 모듈(210)은 본 발명의 실시 예에 따른 단말(200)의 동작 과정 전반을 제어할 수 있다. 다시 말해, 도 1 내지 도 5를 기반으로 상술한 본 발명의 실시 예들에 따른 단말(200)의 동작 과정 전반이 제어 모듈(210)에 의해 제어될 수 있다.
도 7은 본 발명의 실시 예들을 구현하기 위한 중계 서버(300)의 구성을 도시하는 블록도이다.
도 7을 참조하면, 중계 서버(300)는 제어 모듈(310), 통신 모듈(320) 및 저장 모듈(330)을 포함할 수 있다.
통신 모듈(320)은 단말(200)와 통신하기 위한 것으로서, 통신 모듈(320)이 기능을 수행하기 위한 통신망은 WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신 방식을 이용하는 것이 바람직하나, 이에 한정되는 것은 아니며, 시스템 구현 방식에 따라 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coaxial Cable), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신 방식을 이용할 수도 있다.
저장 모듈(330)은 데이터를 저장하기 위한 장치로, 주 기억 장치 및 보조 기억 장치를 포함하고, 중계 서버(300)의 기능 동작에 필요한 응용 프로그램을 저장한다. 이러한 저장 모듈(330)은 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 여기서, 중계 서버(300)는 단말(200)의 요청에 상응하여 각 기능을 활성화하는 경우, 제어 모듈(310)의 제어 하에 해당 응용 프로그램들을 실행하여 각 기능을 제공하게 된다.
제어 모듈(310)은 운영 체제(OS, Operation System) 및 각 구성을 구동시키는 프로세스 장치가 될 수 있다.
따라서, 중계 서버(300)의 제어 모듈(310)은 본 발명의 실시 예에 따른 중계 서버(300)의 동작 과정 전반을 제어할 수 있다. 다시 말해, 도 1 내지 도 5를 기반으로 상술한 본 발명의 실시 예들에 따른 중계 서버(300)의 동작 과정 전반이 제어 모듈(310)에 의해 제어될 수 있다.
도 8은 중계 서버(300)의 제어 모듈(310)의 구체적인 구성을 설명하기 위한 도면이다. 도 8을 참조하면, 중계 서버(300)의 제어 모듈(310)은, 카메라 모니터링부(311), 사물탐지채널부(313) 및 채널 믹싱부(315)를 포함할 수 있다.
카메라 모니터링부(311)는 복수의 모니터링 프로세싱을 포함하며, 각각의 탐지 카메라(400)들과 1대1로 연결되어 각각의 탐지 카메라(400)들이 촬영하는 영상에서 피사체가 인지되는지를 결정할 수 있다.
사물탐지채널부(313)는 카메라 모니터링부(311)를 통해 피사체가 인지된 탐지 카메라(400)의 촬영 영상을 수신하여, 해당 영상을 분석하며, 해당 영상에서 피사체가 제 1 시간 이상으로 존재하는지 또는 제 2 시간 이상으로 존재할 것으로 예상되는지 여부를 결정할 수 있다. 또한, 메인 카메라(500)가 피사체를 촬영하는 탐지 카메라(400) 방향으로 회전할 수 있도록 제어할 수 있다. 또한, 탐지 카메라(400) 및/또는 메인 카메라(500)가 촬영하는 영상을 채널 믹싱부(315)로 전송할 수 있다.
채널 믹싱부(315)는 사물탐지채널부(313)로부터 수신한 영상들을 믹싱하여, 실시간으로 통신망(100)을 통해 단말(200)로 송출하거나, 믹싱된 영상을 저장 모듈(330)에 저장할 수 있다. 한편, 채널 믹싱부(315)는 영상 데이터와 음성 데이터의 매칭 정보를 생성할 수 있으며, 이러한 매칭 정보는 통신망(100)을 통해 단말(200)로 전송되거나, 저장 모듈(330)에 저장될 수 있다.
이상에서 설명한 바와 같이, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시 형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.
본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현 예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 통상의 기술자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 통상의 기술자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.
따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.
본 발명은 실시간 영상 분석을 통한 카메라 위치 제어 및 영상 편집을 통한 무인 스포츠 중계 서비스 방법 및 이를 위한 장치에 관한 것으로서, 실시간 영상 분석 및 카메라 위치를 제어하여 축구, 농구, 배구 등과 같은 각종 스포츠 중계 시 자동으로 화면을 편집 구성하여 동영상을 송출 및 제작하는 방법에 관한것으로서, 기존의 방송 업체에서 방송 송출 시, 송출자가 여러대의 카메라 화면을 모니터링 하면서 비디오 믹서를 이용하여 수작업으로 화면 전환을 하는 부분을 S/W를 통해 자동화 하여 다양한 화면구성의 중계 동영상을 제작하는 서비스 방법에 관한 것이다.
본 발명에 따르면, 과도한 인건비를 사용하지 않고도 효율적으로, 카메라 별 화면을 믹싱하여, 방송을 송출할 수 있다.
따라서, 본 발명은 실시간 영상 분석을 통한 카메라 위치 제어 및 영상 편집을 통한 무인 스포츠 중계 서비스 방법 및 이를 위한 장치를 통해 스포츠 중계 산업 전반의 발전에 이바지할 수 있으며, 시판 또는 영업의 가능성이 충분할 뿐 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.
100: 통신망 200: 단말 300: 중계 서버 400: 탐지 카메라 500: 메인 카메라

Claims (10)

  1. 복수의 탐지 카메라들 및 적어도 하나의 메인 카메라와 연동된 중계 서버가 스포츠 중계 방송을 송출하는 방법에 있어서,
    상기 복수의 탐지 카메라들 각각에 대응하는 탐지 영역들 중, 제 1 탐지 영역에서 상기 제 1 탐지 영역에 대응하는 제 1 탐지 카메라를 통해 피사체를 감지하고,
    상기 적어도 하나의 메인 카메라의 촬영 위치를 상기 제 1 탐지 카메라를 향하도록 제어하고,
    상기 피사체가 상기 제 1 탐지 영역에서 일정 시간 이상으로 감지되는 경우, 상기 제 1 탐지 카메라를 통해 촬영된 영상을 단말로 송출하고,
    상기 피사체가 상기 제 1 탐지 영역에서 일정 시간 미만으로 감지되거나 상기 제 1 탐지 영역을 벗어난 것으로 판단되는 경우, 상기 적어도 하나의 메인 카메라를 통해 촬영된 영상을 단말로 송출하는 것을 포함하고,
    상기 제 1 탐지 카메라를 통해 피사체를 감지하는 것은,
    상기 피사체의 형태, 크기 및 색깔을 입력받고,
    상기 제 1 탐지 영역에서 감지되는 물체가, 상기 피사체의 형태와 동일하고, 상기 피사체의 크기와 일정 배율 관계를 가지며, 상기 피사체의 색깔의 RGB 값과 상기 물체의 색깔의 RGB 값의 오차가 일정 오차 범위 내이면, 상기 물체를 상기 피사체인 것으로 인식하고,
    상기 피사체의 이동 방향 및 이동 속도를 추정하는 것을 포함하고,
    상기 적어도 하나의 메인 카메라의 촬영 위치를 상기 제 1 탐지 카메라를 향하도록 제어하는 것은,
    상기 제 1 탐지 영역이 이전에 상기 피사체가 감지된 제 2 탐지 영역에서의 상기 피사체의 이동 방향과 반대되는 방향에 위치하거나 상기 제 1 탐지 영역이 상기 제 2 탐지 영역과 인접하지 않은 경우, 상기 적어도 하나의 메인 카메라의 촬영 위치를 상기 제 1 탐지 카메라 방향으로 회전하지 않도록 제어하고,
    상기 제 2 탐지 영역에서 상기 피사체가 외곽 라인 밖으로 벗어난 것으로 판단된 이후, 상기 제 1 탐지 영역에서 상기 피사체가 감지되었을 때,
    상기 피사체가 외곽 라인 밖으로 벗어나기 전 마지막으로 상기 피사체를 소유한 선수의 유니폼 색깔과 상기 제 1 탐지 영역에서 상기 피사체를 소유한 선수의 유니폼 색깔이 동일하면, 상기 적어도 하나의 메인 카메라의 촬영 위치를 상기 제 1 탐지 카메라 방향으로 회전하지 않도록 제어하고,
    상기 피사체가 외곽 라인 밖으로 벗어나기 전 마지막으로 상기 피사체를 소유한 선수의 유니폼 색깔과 상기 제 1 탐지 영역에서 상기 피사체를 소유한 선수의 유니폼 색깔이 상이하면, 상기 적어도 하나의 메인 카메라의 촬영 위치를 상기 제 1 탐지 카메라 방향으로 회전하도록 제어하는 것을 포함하고,
    상기 피사체를 감지한 이후, 상기 피사체가 사라진 것으로 감지되는 경우,
    상기 피사체의 이동 방향 및 이동 속도를 기반으로 상기 피사체가 존재할 것으로 예상되는 제 3 탐지 영역을 추정하고,
    상기 제 3 탐지 영역에서 손 또는 발의 끝부분이 제 1 선수들에게 가려져서 인식되지 않는 제 2 선수가 상기 피사체를 소유하고 있는 것으로 인지하는 것을 더 포함하고,
    상기 적어도 하나의 메인 카메라가 2개이고, 2개의 메인 카메라들의 초점 거리가 상이한 경우, 상기 적어도 하나의 메인 카메라를 통해 촬영된 영상을 단말로 송출하는 것은,
    상기 피사체의 이동 속도가 일정 값 이상이면, 상기 초점 거리가 상대적으로 먼 메인 카메라의 촬영 영상을 상기 단말로 송출하고,
    상기 피사체의 이동 속도가 일정 값 미만이면, 상기 초점 거리가 상대적으로 가까운 메인 카메라의 촬영 영상을 상기 단말로 송출하는 것을 더 포함하는,
    스포츠 중계 방송 송출 방법.
  2. 제 1 항에 있어서,
    상기 피사체는, 상기 스포츠 중계 방송으로 송출되는 스포츠 경기에 사용되는 공(Ball)인,
    스포츠 중계 방송 송출 방법.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제 1 항에 있어서,
    상기 제 1 탐지 영역은 상기 제 1 탐지 카메라의 촬영 가능 범위를 기준으로 설정되는,
    스포츠 중계 방송 송출 방법.
  8. 스포츠 경기장에 포함된 서로 다른 탐지 영역들 각각을 촬영하는 복수의 탐지 카메라들;
    상기 서로 다른 탐지 영역들 중, 피사체가 감지된 탐지 영역에 대응하는 탐지 카메라 방향으로 회전 가능하게 설치된 적어도 하나의 메인 카메라; 및
    상기 서로 다른 탐지 영역들 중, 제 1 탐지 영역에서 상기 제 1 탐지 영역에 대응하는 제 1 탐지 카메라를 통해 상기 피사체를 감지하고,
    상기 적어도 하나의 메인 카메라의 촬영 위치를 상기 제 1 탐지 카메라를 향하도록 제어하고,
    상기 피사체가 상기 제 1 탐지 영역에서 일정 시간 이상으로 감지되는 경우, 상기 제 1 탐지 카메라를 통해 촬영된 영상을 단말로 송출하고,
    상기 피사체가 상기 제 1 탐지 영역에서 일정 시간 미만으로 감지되거나 상기 제 1 탐지 영역을 벗어난 것으로 판단되는 경우, 상기 적어도 하나의 메인 카메라를 통해 촬영된 영상을 단말로 송출하는 중계 서버; 를 포함하되,
    상기 중계 서버가 상기 제 1 탐지 카메라를 통해 피사체를 감지하는 것은,
    상기 피사체의 형태, 크기 및 색깔을 입력받고,
    상기 제 1 탐지 영역에서 감지되는 물체가, 상기 피사체의 형태와 동일하고, 상기 피사체의 크기와 일정 배율 관계를 가지며, 상기 피사체의 색깔의 RGB 값과 상기 물체의 색깔의 RGB 값의 오차가 일정 오차 범위 내이면, 상기 물체를 상기 피사체인 것으로 인식하고,
    상기 피사체의 이동 방향 및 이동 속도를 추정하는 것을 포함하고,
    상기 중계 서버가 상기 적어도 하나의 메인 카메라의 촬영 위치를 상기 제 1 탐지 카메라를 향하도록 제어하는 것은,
    상기 제 1 탐지 영역이 이전에 상기 피사체가 감지된 제 2 탐지 영역에서의 상기 피사체의 이동 방향과 반대되는 방향에 위치하거나 상기 제 1 탐지 영역이 상기 제 2 탐지 영역과 인접하지 않은 경우, 상기 적어도 하나의 메인 카메라의 촬영 위치를 상기 제 1 탐지 카메라 방향으로 회전하지 않도록 제어하고,
    상기 제 2 탐지 영역에서 상기 피사체가 외곽 라인 밖으로 벗어난 것으로 판단된 이후, 상기 제 1 탐지 영역에서 상기 피사체가 감지되었을 때,
    상기 피사체가 외곽 라인 밖으로 벗어나기 전 마지막으로 상기 피사체를 소유한 선수의 유니폼 색깔과 상기 제 1 탐지 영역에서 상기 피사체를 소유한 선수의 유니폼 색깔이 동일하면, 상기 적어도 하나의 메인 카메라의 촬영 위치를 상기 제 1 탐지 카메라 방향으로 회전하지 않도록 제어하고,
    상기 피사체가 외곽 라인 밖으로 벗어나기 전 마지막으로 상기 피사체를 소유한 선수의 유니폼 색깔과 상기 제 1 탐지 영역에서 상기 피사체를 소유한 선수의 유니폼 색깔이 상이하면, 상기 적어도 하나의 메인 카메라의 촬영 위치를 상기 제 1 탐지 카메라 방향으로 회전하도록 제어하는 것을 포함하고,
    상기 피사체를 감지한 이후, 상기 피사체가 사라진 것으로 감지되는 경우,
    상기 중계 서버는 상기 피사체의 이동 방향 및 이동 속도를 기반으로 상기 피사체가 존재할 것으로 예상되는 제 3 탐지 영역을 추정하고,
    상기 제 3 탐지 영역에서 손 또는 발의 끝부분이 제 1 선수들에게 가려져서 인식되지 않는 제 2 선수가 상기 피사체를 소유하고 있는 것으로 인지하는 것을 더 포함하고,
    상기 적어도 하나의 메인 카메라가 2개이고, 2개의 메인 카메라들의 초점 거리가 상이한 경우, 상기 중계 서버가 상기 적어도 하나의 메인 카메라를 통해 촬영된 영상을 단말로 송출하는 것은,
    상기 피사체의 이동 속도가 일정 값 이상이면, 상기 초점 거리가 상대적으로 먼 메인 카메라의 촬영 영상을 상기 단말로 송출하고,
    상기 피사체의 이동 속도가 일정 값 미만이면, 상기 초점 거리가 상대적으로 가까운 메인 카메라의 촬영 영상을 상기 단말로 송출하는 것을 더 포함하는,
    스포츠 중계 방송 시스템.
  9. 제 8 항에 있어서,
    상기 복수의 탐지 카메라들은,
    상기 스포츠 경기장을 구성하는 4개의 모서리들 주위로 설치되는,
    스포츠 중계 방송 시스템.
  10. 제 8 항에 있어서,
    상기 적어도 하나의 메인 카메라는,
    상기 스포츠 경기장의 중앙선과 일직선이 되도록 설치되는,
    스포츠 중계 방송 시스템.
KR1020200028216A 2020-03-06 2020-03-06 실시간 영상 분석을 통한 카메라 위치 제어 및 영상 편집을 통한 무인 스포츠 중계 서비스 방법 및 이를 위한 장치 KR102112517B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200028216A KR102112517B1 (ko) 2020-03-06 2020-03-06 실시간 영상 분석을 통한 카메라 위치 제어 및 영상 편집을 통한 무인 스포츠 중계 서비스 방법 및 이를 위한 장치
JP2022578939A JP7357413B2 (ja) 2020-03-06 2020-10-14 リアルタイム映像分析を通じたカメラ位置制御及び映像編集を通じた無人スポーツ中継サービス方法及びこのための装置
PCT/KR2020/013989 WO2021177535A1 (ko) 2020-03-06 2020-10-14 실시간 영상 분석을 통한 카메라 위치 제어 및 영상 편집을 통한 무인 스포츠 중계 서비스 방법 및 이를 위한 장치
US17/909,755 US11831929B2 (en) 2020-03-06 2020-10-14 Unmanned sports relay service method using camera position control and image editing through real-time image analysis and apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200028216A KR102112517B1 (ko) 2020-03-06 2020-03-06 실시간 영상 분석을 통한 카메라 위치 제어 및 영상 편집을 통한 무인 스포츠 중계 서비스 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
KR102112517B1 true KR102112517B1 (ko) 2020-06-05

Family

ID=71088923

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200028216A KR102112517B1 (ko) 2020-03-06 2020-03-06 실시간 영상 분석을 통한 카메라 위치 제어 및 영상 편집을 통한 무인 스포츠 중계 서비스 방법 및 이를 위한 장치

Country Status (4)

Country Link
US (1) US11831929B2 (ko)
JP (1) JP7357413B2 (ko)
KR (1) KR102112517B1 (ko)
WO (1) WO2021177535A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102282356B1 (ko) * 2020-09-15 2021-07-27 주식회사 스포잇 IoT 기반의 스포츠 모니터링 시스템
WO2021177535A1 (ko) * 2020-03-06 2021-09-10 모바일센 주식회사 실시간 영상 분석을 통한 카메라 위치 제어 및 영상 편집을 통한 무인 스포츠 중계 서비스 방법 및 이를 위한 장치
CN114374815A (zh) * 2020-10-15 2022-04-19 北京字节跳动网络技术有限公司 图像采集方法、装置、终端和存储介质
KR20220087330A (ko) 2020-12-17 2022-06-24 강성모 딥러닝을 이용한 동적 오브젝트 감지에 의한 스포츠 경기 무인 촬영 시스템
KR20230091747A (ko) * 2021-12-16 2023-06-23 주식회사 스포비 야구 경기의 스케줄링 정보를 통한 경기 영상 자동 획득 및 메이킹 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958884B (zh) * 2023-09-18 2024-01-16 杭州靖安防务科技有限公司 目标追踪的方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020084513A (ko) 2001-05-02 2002-11-09 김종우 스포츠 중계 시스템 및 그 중계방법
KR20170086493A (ko) * 2014-10-10 2017-07-26 라이브반 잉크. 스포츠 경기장에서의 광학 플레이어 추적 시스템 및 방법
WO2019025833A1 (en) * 2017-08-02 2019-02-07 Playgineering Systems, Sia AUTOMATED TURNING SYSTEM AND METHOD

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7448063B2 (en) * 1991-11-25 2008-11-04 Actv, Inc. Digital interactive system for providing full interactivity with live programming events
US8965898B2 (en) * 1998-11-20 2015-02-24 Intheplay, Inc. Optimizations for live event, real-time, 3D object tracking
AU2010286316B2 (en) 2009-08-31 2016-05-19 Trace Optics Pty Ltd A method and apparatus for relative control of multiple cameras
KR101684461B1 (ko) 2010-07-15 2016-12-09 에스케이테크엑스 주식회사 경기장 영상 공유를 위한 시스템, 이를 위한 서버, 이를 위한 단말, 이 경기장 영상 공유 방법 및 이 방법이 기록된 컴퓨터로 판독 가능한 기록 매체
CN103959802B (zh) * 2012-08-10 2018-01-26 松下电器（美国）知识产权公司 影像提供方法、发送装置以及接收装置
WO2015151095A1 (en) 2014-04-03 2015-10-08 Pixellot Ltd. Method and system for automatic television production
US20180301169A1 (en) * 2015-02-24 2018-10-18 Plaay, Llc System and method for generating a highlight reel of a sporting event
US20170244894A1 (en) * 2016-02-22 2017-08-24 Seastar Labs, Inc. Method and Apparatus for Managing Latency of Remote Video Production
US11082754B2 (en) * 2016-08-18 2021-08-03 Sony Corporation Method and system to generate one or more multi-dimensional videos
KR101824878B1 (ko) 2016-10-07 2018-02-02 주식회사 나우시스템 화상회의를 수행하기 위한 모바일 단말기
CA3054732C (en) * 2017-02-27 2023-11-21 Isolynx, Llc Systems and methods for tracking and controlling a mobile camera to image objects of interest
KR102054132B1 (ko) * 2018-04-05 2019-12-12 삼척시 민물김 추출물을 유효성분으로 포함하는 피부 미백용 조성물
KR102112517B1 (ko) 2020-03-06 2020-06-05 모바일센 주식회사 실시간 영상 분석을 통한 카메라 위치 제어 및 영상 편집을 통한 무인 스포츠 중계 서비스 방법 및 이를 위한 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020084513A (ko) 2001-05-02 2002-11-09 김종우 스포츠 중계 시스템 및 그 중계방법
KR20170086493A (ko) * 2014-10-10 2017-07-26 라이브반 잉크. 스포츠 경기장에서의 광학 플레이어 추적 시스템 및 방법
WO2019025833A1 (en) * 2017-08-02 2019-02-07 Playgineering Systems, Sia AUTOMATED TURNING SYSTEM AND METHOD

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021177535A1 (ko) * 2020-03-06 2021-09-10 모바일센 주식회사 실시간 영상 분석을 통한 카메라 위치 제어 및 영상 편집을 통한 무인 스포츠 중계 서비스 방법 및 이를 위한 장치
US11831929B2 (en) 2020-03-06 2023-11-28 Mobilecen Unmanned sports relay service method using camera position control and image editing through real-time image analysis and apparatus therefor
KR102282356B1 (ko) * 2020-09-15 2021-07-27 주식회사 스포잇 IoT 기반의 스포츠 모니터링 시스템
CN114374815A (zh) * 2020-10-15 2022-04-19 北京字节跳动网络技术有限公司 图像采集方法、装置、终端和存储介质
CN114374815B (zh) * 2020-10-15 2023-04-11 北京字节跳动网络技术有限公司 图像采集方法、装置、终端和存储介质
KR20220087330A (ko) 2020-12-17 2022-06-24 강성모 딥러닝을 이용한 동적 오브젝트 감지에 의한 스포츠 경기 무인 촬영 시스템
KR20230091747A (ko) * 2021-12-16 2023-06-23 주식회사 스포비 야구 경기의 스케줄링 정보를 통한 경기 영상 자동 획득 및 메이킹 시스템
KR102596551B1 (ko) * 2021-12-16 2023-11-01 주식회사 스포비 야구 경기의 스케줄링 정보를 통한 경기 영상 자동 획득 및 메이킹 시스템

Also Published As

Publication number Publication date
JP7357413B2 (ja) 2023-10-06
WO2021177535A1 (ko) 2021-09-10
JP2023516825A (ja) 2023-04-20
US11831929B2 (en) 2023-11-28
US20230106647A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
KR102112517B1 (ko) 실시간 영상 분석을 통한 카메라 위치 제어 및 영상 편집을 통한 무인 스포츠 중계 서비스 방법 및 이를 위한 장치
US20200322592A1 (en) Video imaging an area of interest using networked cameras
US9232353B2 (en) Approaches for device location and communication
US9253440B2 (en) Augmenting a video conference
CN110213636B (zh) 在线视频的视频帧生成方法、装置、存储介质及设备
CN105165013B (zh) 具有个性化内容的移动设备
US10110830B2 (en) Multiple streaming camera navigation interface system
CN103369354B (zh) 藉由多个屏幕联合显示影片的影片播放系统和相关的装置
CN103096986A (zh) 移动装置上的补充视频内容
CN109391822A (zh) 线上视频导播方法、装置及终端设备
KR102282356B1 (ko) IoT 기반의 스포츠 모니터링 시스템
US10022619B2 (en) System and method for multi-player video gaming
CN102934455A (zh) 扩增电视媒体
CN109857321A (zh) 基于屏幕投影的操作方法、移动终端、可读存储介质
US11330240B2 (en) Information processing system, information processing method and non-transitory computer readable medium
WO2023125253A1 (zh) 视频播放方法、装置和电子设备
JP6673796B2 (ja) ゲームプログラム、ゲームを提供する方法、および情報処理装置
TWM551086U (zh) 機台直播系統
JP2017176765A (ja) ゲームプログラム、方法及びタッチスクリーンを備える情報処理装置
JP6924564B2 (ja) ゲームプログラム
CN112269553B (zh) 显示系统、显示方法及计算设备
CN113658544A (zh) 一种led地砖屏的互动感应系统及其控制方法
JP6174202B1 (ja) ゲームプログラム、方法及びタッチスクリーンを備える情報処理装置
CN112312147A (zh) 直播控制方法、装置及存储介质
WO2024001223A1 (zh) 一种显示方法、设备及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant