KR102407516B1 - 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템 - Google Patents

돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템 Download PDF

Info

Publication number
KR102407516B1
KR102407516B1 KR1020210133234A KR20210133234A KR102407516B1 KR 102407516 B1 KR102407516 B1 KR 102407516B1 KR 1020210133234 A KR1020210133234 A KR 1020210133234A KR 20210133234 A KR20210133234 A KR 20210133234A KR 102407516 B1 KR102407516 B1 KR 102407516B1
Authority
KR
South Korea
Prior art keywords
shooting
image
drone
stadium
sports
Prior art date
Application number
KR1020210133234A
Other languages
English (en)
Inventor
김재형
Original Assignee
주식회사 씨스토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨스토리 filed Critical 주식회사 씨스토리
Priority to KR1020210133234A priority Critical patent/KR102407516B1/ko
Application granted granted Critical
Publication of KR102407516B1 publication Critical patent/KR102407516B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/006Apparatus mounted on flying objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N5/23206
    • H04N5/23299
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은, 현장 관전을 위한 관중석(111)이 제거되거나 최소한으로 배치되며, 경기장 영역을 돔형구조물(112)로 커버하고, 돔형구조물(112)의 횡방향과 종방향과 사선방향과 수직방향으로 설치된 아크레일(113)과 직선레일(114)이 배치된, 돔형 경기장(110), 구동수단을 구비하여 아크레일(113)과 직선레일(114)과 경기장 영역의 펜스라인(115)을 따라 이동하거나 정지하여 운동경기 또는 온라인 콘서트를 선택적으로 일반촬영하거나 VR촬영하는 적어도 하나 이상의 이동식 카메라(120), 경기장 영역 상공을 비행하면서 VR카메라(131)를 구비하여 운동경기 또는 온라인 콘서트를 선택적으로 일반촬영하거나 VR촬영하는 적어도 하나 이상의 촬영용 드론(130), 및 이동식 카메라(120)의 이동과 촬영위치와 촬영각도 및 촬영용 드론(130)의 비행과 이동과 촬영위치와 촬영각도를 제어하고, 이동식 카메라(120) 및 촬영용 드론(130)에 의해 촬영된 경기영상 또는 온라인 콘서트영상을 수신하여 편집하고, 편집된 영상을 외부로 실시간 스트리밍하여 송출하는, 방송서버(140)를 포함하여, 비대면 IT 플랫폼을 통해 생동감있고, 멀티뷰의 다양한 드라마틱한 영상 콘텐츠를 중계하는, 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템을 개시한다.

Description

돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템{SYSTEM FOR PHOTOGRAPHING AND BROADCASTING SPORTS AND EVENT IN DOME STADIUM}
본 발명은 비대면 IT 플랫폼을 통해 생동감있고, 멀티뷰의 다양한 드라마틱한 영상 콘텐츠를 중계할 수 있는, 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템에 관한 것이다.
주지하는 바와 같이, 현대스포츠에 있어 영상콘텐츠의 중요성은 부연 설명하지 않아도 누구나 이해할 수 있을 정도의 보편적인 사실이고, 놀라운 속도로 발전하는 IT 기술에 의한 우수한 방송장비, 네트워크, 단말기 등 출현은 기술적인 측면에서 혁신적인 스포츠 영상콘텐츠의 생산을 가능하게 하지만, 여전히 보수적인 성향의 인기 스포츠의 경우 현장에서의 이의 전면 적용은 많은 이해관계로 인해 쉽지 않은 문제가 있다.
하지만, 최근 호흡기 바이러스 감염증, 즉 COVID-19의 전 세계적인 확산으로 인해 비대면 비지니스(Untact Business)의 필요성을 급부상시켜 이러한 현장에서의 어려움마저 이른 시간 내에 극복할 수 있는 동력을 제공하고 새로운 수요창출에 기여하여 새로운 영상콘텐츠 서비스의 급속한 확산에 대한 필요성이 절실히 제기되고 있다.
또한, 한국은 현재 4G(LTE) 속도 세계 1위(524Mbps)를 기록하고 있어, 5G 서비스가 단순히 빠른 속도만으로 소비자들에게 어필하는 것은 한계가 있어서, 이에 통신사들은 새로운 비즈니스 모델이 창출되어 수익성에 있어 상대적으로 밝은 자율주행, 원격의료 또는 공장자동화 등 AI가 적용되는 BtoB(Business to Business) 분야에 비해 BtoC(Business to Consumer) 분야는 수익구조가 다소 불투명해 5G 서비스의 장점을 체험할 수 있는 킬러 콘텐츠의 확보가 매우 중요하고, 스포츠는 5G에 걸맞는 콘텐츠 구성이 가능한 최적의 분야 중 하나로서, 고품질의 영상제공 서비스의 구현이 사실상 매우 어려운 상황이다.
이에, 비대면 IT 플랫폼을 통해 생동감있고, 멀티뷰의 다양한 드라마틱한 영상 콘텐츠를 중계할 수 있는 기술이 요구되는 실정이다.
한국 공개특허공보 제10-2021-0001659호(드론에 부착된 VR 카메라를 이용하여 촬영한 운동 경기 영상을 제공하는 방송 시스템, 2021.01.07) 한국 공개특허공보 제10-2020-0139756호(게임, 스포츠 또는 기타 활동에 물리적 이동 타겟을 통합하기 위한 시스템 및 방법, 2020.12.14)
본 발명의 사상이 이루고자 하는 기술적 과제는, 비대면 IT 플랫폼을 통해 생동감있고, 멀티뷰의 다양한 드라마틱한 영상 콘텐츠를 중계할 수 있는, 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템을 제공하는 데 있다.
전술한 목적을 달성하고자, 본 발명은, 현장 관전을 위한 관중석이 제거되거나 최소한으로 배치되며, 경기장 영역을 돔형구조물로 커버하고, 상기 돔형구조물의 횡방향과 종방향과 사선방향과 수직방향으로 설치된 아크레일과 직선레일이 배치된, 돔형 경기장; 구동수단을 구비하여 상기 아크레일과 상기 직선레일과 경기장 영역의 펜스라인을 따라 이동하거나 정지하여 운동경기 또는 온라인 콘서트를 선택적으로 일반촬영하거나 VR촬영하는 적어도 하나 이상의 이동식 카메라; 경기장 영역 상공을 비행하면서 VR카메라를 구비하여 운동경기 또는 온라인 콘서트를 선택적으로 일반촬영하거나 VR촬영하는 적어도 하나 이상의 촬영용 드론; 및 상기 이동식 카메라의 이동과 촬영위치와 촬영각도 및 상기 촬영용 드론의 비행과 이동과 촬영위치와 촬영각도를 제어하고, 상기 이동식 카메라 및 상기 촬영용 드론에 의해 촬영된 경기영상 또는 온라인 콘서트영상을 수신하여 편집하고, 편집된 영상을 외부로 실시간 스트리밍하여 송출하는, 방송서버;를 포함하는, 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템을 제공한다.
여기서, 상기 이동식 카메라의 구동수단은 상기 아크레일과 상기 직선레일과 경기장 영역의 상기 펜스라인에 결합된 휠을 구동하는 모터부이고, 상기 모터부는 회전수를 감지하는 인코더를 포함하여 상기 방송서버에 의해 상기 아크레일과 상기 직선레일과 경기장 영역의 상기 펜스라인 상에서의 이동과 촬영위치를 제어할 수 있다.
또한, 상기 촬영용 드론은 상기 돔형구조물의 내부 또는 외부에서의 고도를 감지하는 기압센서와, 가속도센서와, GPS센서를 구비하여 상기 방송서버에 의해 상기 촬영용 드론의 비행과 이동과 촬영위치를 제어할 수 있다.
또한, 상기 이동식 카메라 및 상기 촬영용 드론은 각각 지향성 소리감지센서를 구비하여, 경기에서의 타구음과 플레이어의 소리 또는 온라인 콘서트에서의 노래와 연주음을 각각 구분하여, 적어도 하나 이상의 상기 이동식 카메라 및 상기 촬영용 드론은 타구음과 소음 또는 노래와 연주음을 발산되는 방향으로 촬영위치와 촬영각도를 조정하고, 타구음과 소음 또는 노래와 연주음의 이동에 따라 상기 이동식 카메라 및 상기 촬영용 드론이 타구음과 소음 또는 노래와 연주음의 소스를 추적하여 촬영할 수 있다.
또한, 경기운영요원 또는 온라인 콘서트진행요원이 착용하여 일반영상 또는 VR영상을 시야에 따라 자유롭게 촬영하여서 상기 방송서버로 전송하는 웨어러블 캠, 또는 경기장 그라운드 주요지점에 고정 설치되어 일반영상 또는 VR영상을 촬영하여서 상기 방송서버로 전송하는 파일런 캠, 또는 타구음과 소음 또는 노래와 연주음의 소스를 추적하여 슈퍼슬로모션 촬영하여서 상기 방송서버로 전송하는 슈퍼 슬로모 캠을 더 포함할 수 있다.
또한, 야구경기 중계시에, 홈플레이트 후방에 스트라이크 존 영역을 구분하는 다수의 적외선센서가 배치되어 상기 적외선센서에 의해 스트라이크 존 영역 통과 여부에 따라 스트라이크 볼을 판정하고, 상기 방송서버로 수신된 영상을 영상분석하여 1루와 3루 주루라인에 의한 파울여부를 판정하는, AI심판부를 더 포함할 수 있다.
또한, 경기장 영역의 펜스라인을 따라 대형 LED 스크린이 설치되고, 상기 대형 LED 스크린을 통해 현장 관전이 시뮬레이션된 관중석을 연출하거나, 스카이라인을 연출하거나, 협찬 광고를 디스플레이하거나, 다양한 날씨 환경 또는 환상적인 분위기의 장소를 연출할 수 있다.
또한, 상기 방송서버는, 드론 조종사가 드론컨트롤러를 통해 출력한 드론 제어신호를 수신하여 학습하고, 상기 학습된 결과에 따라 드론을 자율 비행시키기 위한 드론 제어신호를 생성하는 비행 제어부, 및 상기 이동식 카메라 및 상기 촬영용 드론의 VR 카메라에 의해 촬영된 영상을 다수의 사용자가 단말기를 통해 실시간으로 360˚ 영상을 수신할 수 있도록 스트리밍 방식으로 영상을 사용자 단말기로 제공하는 영상처리부를 포함할 수 있다.
또한, 상기 비행 제어부는, 상기 VR 카메라를 통해 현재 시점에서 촬영된 영상을 수집하는 영상수집모듈, 상기 영상을 촬영하는 시점에 대응하여 상기 드론컨트롤러로부터 출력된 드론 제어신호를 수집하는 제어신호수집모듈, 상기 수집된 영상 및 드론 제어신호를 신경망 모델에 입력하여 학습시키는 학습모듈, 상기 신경망 모델의 학습 완료 후 상기 학습이 완료된 신경망 모델에 현재 시점에서 촬영된 영상을 입력하여 플레이어의 위치에 따라 자율적으로 비행할 수 있도록 드론 제어신호를 생성하는 제어신호생성모듈, 경기에 참여하고 있는 플레이어의 움직임을 감지하고, 플레이어의 움직임 벡터에 따라 가중치를 부여하여 보정된 드론 제어신호를 생성하는 가중치제공모듈, 및 상기 제어신호를 드론에 전송하는 통신모듈을 포함할 수 있다.
또한, 상기 학습모듈은, 입력된 이미지를 복수의 이미지로 분할하여 처리하는 CNN을 구축하고, 상기 CNN 모델에 현재 촬영한 영상과 이전에 촬영한 영상 n개를 연결한 데이터를 입력하며, 상기 CNN을 통해 출력된 출력값을 RNN 모델에 입력하여 시간적 또는 순서적인 측면에 따른 드론 제어신호를 출력할 수 있다.
또한, 상기 영상처리부는, 상기 VR 카메라를 통해 현재 시점에서 촬영된 영상을 수신하는 영상수집모듈, 일정한 시간 동안 촬영된 영상에 대하여 사용자에 의해 관심영역이 설정되면, 상기 설정된 관심영역을 줌인, 줌아웃된 영상을 출력하도록 CNN과 RNN 모델을 학습시키는 학습모듈, 상기 학습이 완료된 RNN 모델에 일정한 시간 동안 촬영된 영상을 입력하여 사용자 단말기로 제공할 영상을 추출하는 영상추출모듈, 및 상기 추출된 영상을 사용자 단말기에 제공하는 영상제공모듈을 포함할 수 있다.
또한, 상기 학습모듈은, 일정한 시간만큼 360˚로 촬영된 영상 중에서 사용자가 단말기를 통해 줌인 또는 줌아웃한 부분을 관심영역으로 설정하여 입력하면, 상기 설정된 관심영역의 이미지만을 확대하여 출력하도록 CNN과 RNN 모델을 학습시킬 수 있다.
또한, 상기 영상추출모듈은, 사용자가 단말기를 통해 선택한 매뉴얼 모드 또는 다이나믹 모드에 따라 영상을 제공하며, 상기 매뉴얼 모드는, 상기 사용자의 움직임 또는 시선 방향에 따라 영상을 제공하는 모드를 나타내고, 상기 다이나믹 모드는, 상기 CNN과 RNN 모델을 기반으로 영상에 포함된 일부 영역을 자동으로 줌인 또는 줌아웃하여 상기 사용자 단말기로 제공하는 모드를 나타내고, 상기 영상제공모듈은, 평시에는 사용자의 시선 방향에 따라 360˚로 회전 가능한 영상을 제공하고, 사용자의 단말기로부터 다이나믹 모드 신호를 수신할 경우에는, AI 알고리즘에 따라 사용자가 착용한 HMD의 정면에 관심 영역에 대한 부분을 확대하여 제공할 수 있다.
또한, 상기 돔형 경기장에 개최되는 온라인 스포츠 이벤트, 온라인 문화공연, 온라인 전시 또는 온라인 기업이벤트에 적용될 수 있다.
또한, 구기종목 비디오 판독 시스템을 더 포함할 수 있다.
또한, 상기 방송서버는, 상기 이동식 카메라의 이동과 촬영위치와 촬영각도 및 상기 촬영용 드론의 비행과 이동과 촬영위치와 촬영각도를 제어하고, 상기 이동식 카메라 및 상기 촬영용 드론에 의해 촬영된 경기영상 또는 온라인 콘서트영상을 수신하여 편집하는 제어센터와, 편집된 영상을 모바일기반 디바이스 또는 TV기반 디바이스로 실시간 스트리밍하여 송출하는 플랫폼 스트리밍 서버로 구성될 수 있다.
또한, 상기 이동식 카메라 또는 상기 촬영용 드론은 플레이어 별로 또는 콘서트 공연자 별로 개별적으로 추적으로 줌인하여 일반영상 또는 VR영상을 촬영할 수 있다.
본 발명에 의하면, 최근 호흡기 바이러스 감염증, 즉 COVID-19의 전 세계적인 확산으로 인해 야구, 축구 또는 콘서트 등의 관중입장이 제한되는 상황이지만 운동경기 또는 콘서트를 관람하고자 하는 수요가 존재하는 상황에서, 관중석을 없애거나 최소화하여 경기장의 규모를 줄여 건축비용을 상당히 절감하도록 하고, 5G 네트워크를 활용한 비대면 IT 플랫폼을 통해 생동감있고, 멀티뷰의 다양한 드라마틱한 영상 콘텐츠를 중계할 수 있는 효과가 있다.
또한, 돔형 경기장을 통해, 야구 또는 축구 등의 구기종목을 날씨와 계절에 상관없이 주최하도록 하고, 스포츠 경기 이외에도, 5G 네트워크를 통해 온라인 스포츠 이벤트, 온라인 문화공연, 온라인 전시 또는 온라인 기업이벤트를 라이브로 중계하도록 할 수 있고, AI심판부에 의해 판정결과를 체계화하여 심판에 의한 판정시비를 최소화하고 경기진행시간을 단축하도록 할 수 있고, 대형 LED 스크린을 통해 환상적인 분위기 및 효과를 연출하여 집중도를 높일 수 있고, 광고효과를 극대화할 수 있는 효과가 있다.
더 나아가, 사용자에게 몰입감을 극화하기 위해 RNN 모델을 통해 VR 카메라의 워크 제어기술을 도출하여 현장감 및 실제감을 높은 영상을 제공하도록 할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 의한 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템의 개략적인 구성도를 도시한 것이다.
도 2 및 도 3은 도 1의 돔형 경기장을 예시한 것이다.
도 4는 도 1의 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템의 구현도를 예시한 것이다.
도 5는 도 1의 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템의 AI심판부를 예시한 것이다.
도 6은 도 1의 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템이 적용되는 분야를 예시한 것이다.
도 7은 도 1의 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템의 대형 LED 스크린의 활용을 예시한 것이다.
도 8은 도 1의 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템에 의한 다양한 뷰를 예시한 것이다.
도 9는 도 1의 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템에 의한 VR영상 시청을 예시한 것이다.
도 10은 도 1의 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템의 이동식 카메라의 설치를 예시한 것이다.
이하, 첨부된 도면을 참조로 전술한 특징을 갖는 본 발명의 실시예를 더욱 상세히 설명하고자 한다.
본 발명의 실시예에 의한 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템은, 현장 관전을 위한 관중석(111)이 제거되거나 최소한으로 배치되며, 경기장 영역을 돔형구조물(112)로 커버하고, 돔형구조물(112)의 횡방향과 종방향과 사선방향과 수직방향으로 설치된 아크레일(113)과 직선레일(114)이 배치된, 돔형 경기장(110), 구동수단을 구비하여 아크레일(113)과 직선레일(114)과 경기장 영역의 펜스라인(115)을 따라 이동하거나 정지하여 운동경기 또는 온라인 콘서트를 선택적으로 일반촬영하거나 VR촬영하는 적어도 하나 이상의 이동식 카메라(120), 경기장 영역 상공을 비행하면서 VR카메라(131)를 구비하여 운동경기 또는 온라인 콘서트를 선택적으로 일반촬영하거나 VR촬영하는 적어도 하나 이상의 촬영용 드론(130), 및 이동식 카메라(120)의 이동과 촬영위치와 촬영각도 및 촬영용 드론(130)의 비행과 이동과 촬영위치와 촬영각도를 제어하고, 이동식 카메라(120) 및 촬영용 드론(130)에 의해 촬영된 경기영상 또는 온라인 콘서트영상을 수신하여 편집하고, 편집된 영상을 외부로 실시간 스트리밍하여 송출하는, 방송서버(140)를 포함하여, 비대면 IT 플랫폼을 통해 생동감있고, 멀티뷰의 다양한 드라마틱한 영상 콘텐츠를 중계하는 것을 요지로 한다.
이하, 도 1 내지 도 10을 참조하여, 전술한 구성의 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템을 구체적으로 상술하면 다음과 같다.
우선, 돔형 경기장(110)은, 도 2 및 도 3에 도시된 바와 같이, 현장 관전을 위한 관중석(111)이 제거되거나 최소한으로 배치되며, 경기장 영역 전체를 돔형구조물(112)로 커버하고, 돔형구조물(112)에는 횡방향과 종방향과 사선방향과 수직방향으로 설치된 아크레일(113)과 직선레일(114)(도 10 참조)이 배치되어서, 아크레일(113)과 직선레일(114)을 따라 이동식 카메라(120)가 이동하면서 경기장 영역을 촬영하도록 한다.
여기서, 돔형 경기장(110)은 야구 또는 축구 등의 구기종목을 날씨와 계절에 상관없이 주최하도록 하고, 관중석(111)이 전부 제거되거나 최소한으로 배치되어 전체적인 규모를 줄여 건축비용을 상당히 절감하도록 하고, 스포츠 경기 이외에, 도 6에 예시된 바와 같이, 5G 네트워크를 통해 게임VR, 공연VR, 온라인 스포츠 이벤트, 온라인 문화공연, 온라인 전시 또는 온라인 기업이벤트를 VR영상으로 라이브로 중계하도록 할 수 있다.
다음, 이동식 카메라(120)는 적어도 하나 이상 형성되어, 구동수단을 구비하여서, 아크레일(113)과 직선레일(114)과 경기장 영역의 펜스라인(115)(도 7의 (a) 참조)을 따라 이동하거나 정지하여 운동경기 또는 온라인 콘서트를 선택적으로 일반촬영하거나 VR촬영하여 방송서버(140)로 전송한다.
예컨대, 이동식 카메라(120)의 구동수단은 아크레일(113)과 직선레일(114)과 경기장 영역의 펜스라인(115)에 결합된 휠(121)을 구동하는 모터부이고, 모터부는 회전수를 감지하는 인코더(미도시)를 포함하여 방송서버(140)의 촬영위치 제어신호에 의해 아크레일(113)과 직선레일(114)과 경기장 영역의 펜스라인(115) 상에서의 이동과 촬영위치를 제어할 수 있다. 여기서, 모터부는 이동식 카메라(120)에 결합되어 휠(121)을 주행시켜 레일과 펜스라인을 따라 이동할 수 있다.
또는, 도 10에 도시된 바와 같이, 이동식 카메라(120)의 구동수단의 모터부(122)는 이동식 카메라(120)와 분리되어 아크레일(113)과 직선레일(114)과 경기장 영역의 펜스라인(115)의 일측 종단에 결합되고, 이동식 카메라(120)는 모터부(122)로부터 레일과 펜스라인을 따라 형성된 타이밍벨트(123)에 결합되어, 모터부(122)의 회전에 의해 휠(121)은 레일과 펜스라인을 따라 가이드되어 이동할 수 있다.
다음, 촬영용 드론(130)은 적어도 하나 이상 형성되어, 경기장 영역 상공을 비행하면서 VR카메라(131)를 구비하여 운동경기 또는 온라인 콘서트를 선택적으로 일반촬영하거나 VR촬영하도록 할 수 있다.
여기서, 촬영용 드론(130)은 돔형구조물(112)의 내부 또는 외부에서의 고도를 감지하는 기압센서와, 가속도센서와, GPS센서를 구비하여 방송서버(140)에 의해 촬영용 드론(130)의 비행과 이동과 촬영위치와 촬영각도를 제어할 수 있는데, 드론 조종사의 조작에 의해 비행하거나 후술하는 방송서버(140)로부터 드론 제어신호를 수신하여 자율비행하도록 할 수 있어서, 플레이어들의 움직임 벡터에 따라 촬영하는데 필요한 촬영위치 및 촬영각도에 상응하여 돔형구조물(112)의 내부 또는 외부에서 비행하도록 할 수 있다.
한편, 이동식 카메라(120) 및 촬영용 드론(130)은 각각 특정 dB 이상의 소음을 감지하는 지향성 소리감지센서를 구비하여, 경기에서의 '딱'과 같은 타구음과 플레이어의 소리 또는 온라인 콘서트에서의 노래와 연주음을 다른 잡음으로부터 필터링하여 각각 구분하여서, 적어도 하나 이상의 이동식 카메라(120) 및 촬영용 드론(130)은 야구, 축구, 하키 등의 구기종목 타구음과 소음 또는 노래와 연주음을 발산되는 방향으로 촬영위치와 촬영각도를 조정하고, 타구음과 소음 또는 노래와 연주음의 이동에 따라 이동식 카메라(120) 및 촬영용 드론(130)이 타구음과 소음 또는 노래와 연주음의 소스를 추적하여(tracking) 이동하면서 지속적으로 줌인하여 촬영하도록 할 수도 있다.
또한, 도 9를 참고하면, 이동식 카메라(120) 또는 촬영용 드론(130)은 플레이어 별로 또는 콘서트 공연자 별로 개별적으로 추적으로 줌인하거나 줌아웃하여 일반영상 또는 VR영상을 촬영하여 송출할 수 있고, 이외에 방송서버(140)에 의해 AR영상으로 전환하여 송출하여서 AR 헤드마운트디스플레이(HMD)(30)에 의해 실감나게 시청하도록 할 수도 있다.
또한, 이동식 카메라(120)와 촬영용 드론(130)에 의한 VR 촬영은 듀얼이미지 센서를 기반으로 설계되어 360˚전방향에 대해 촬영한 영상을 가상현실 콘텐츠로 전환하여 방송서버(140)로 제공한다.
다음, 방송서버(140)는 이동식 카메라(120)의 이동과 촬영위치와 촬영각도 및 촬영용 드론(130)의 비행과 이동과 촬영위치와 촬영각도를 제어하고, 이동식 카메라(120) 및 촬영용 드론(130)에 의해 촬영된 경기영상 또는 온라인 콘서트영상을 수신하여 편집하고, 편집된 영상을 외부로 실시간 스트리밍하여 송출하여 라이브로 중계하도록 할 수 있다.
예컨대, 방송서버(140)는, 도 4에 도시된 바와 같이, 이동식 카메라(120)의 이동과 촬영위치와 촬영각도 및 촬영용 드론(130)의 비행과 이동과 촬영위치와 촬영각도를 제어하고, 이동식 카메라(120) 및 촬영용 드론(130)에 의해 촬영된 경기영상 또는 온라인 콘서트영상을 수신하여 편집하는 제어센터(140A)와, 편집된 영상을 디코더(decorder)에 의해 디코딩하여 모바일기반 디바이스(mobile based device)(10) 또는 4K/8K TV기반 디바이스(TV based device)(20)로 5G 네트워크를 통해 실시간 스트리밍하여 송출하여서 선호하는 화면을 선택하여 시청하도록 하는 플랫폼 스트리밍 서버(140B)로 구성될 수 있다.
한편, 방송서버(140)는, 도 4 및 도 8을 참고하면, 이동식 카메라(120) 및 촬영용 드론(130) 이외에, 경기운영요원 또는 온라인 콘서트진행요원이 착용하여 일반영상 또는 VR영상을 시야에 따라 자유롭게 촬영하여서 방송서버(140)로 전송하는 웨어러블 캠(wearable cam)(141), 또는 경기장 그라운드 주요지점에 고정 설치되어 일반영상 또는 VR영상을 촬영하여서 방송서버(140)로 전송하는 파일런 캠(pylon cam)(142), 또는 타구음과 소음 또는 노래와 연주음의 소스를 추적하여 슈퍼슬로모션 촬영하여서 방송서버(140)로 전송하는 슈퍼 슬로모 캠(super slomo cam)(143)을 더 포함하여서, 현장관전에서는 제공받을 수 없는, 도 8에 예시된 바와 같은 다양한 뷰의 경기영상을 제공하도록 할 수 있다.
도 5를 참고하면, 인적자원의 식별에 의한 영상판독 이외에, AI심판부(150)에 의해 판정결과를 체계화하여 심판에 의한 판정시비를 최소화하고 경기진행시간을 단축하도록 할 수도 있다.
예컨대, AI심판부(150)는 돔형 경기장(110)에서의 방송서버(140)에 의한 야구경기 중계시에, 홈플레이트 후방에 스트라이크 존 영역(S)을 구분하는 다수의 적외선센서(151)가 배치되어 적외선센서(151)에 의해 스트라이크 존 영역(S) 통과 여부에 따라 스트라이크 볼을 판정하고, 방송서버(140)로 수신된 영상을 영상분석하여 1루와 3루 주루라인에 의한 파울여부를 판정하도록 할 수 있다. 여기서, 스트라이크 존 영역(S)은 타자의 팔꿈치부터 무릎위까지 상하 한계선 및 홈플레이트 좌우 폭의 좌우 한계선에 해당하는 가성의 선으로서 적외선센서(151)에 의해 구분하도록 할 수 있다.
또는, 구기종목 비디오 판독 시스템, 즉 호크아이(Hawk-Eye)을 더 포함하여서, 타구의 인플레이 파울의 판독을 수행하도록 할 수도 있다. 참고로, 호크아이는 경기장 내 여러 곳에 위치한 여러대의 초고속 카메라가 초당 340프레임으로 타구의 움직임을 포착하고, 방송서버(140)가 3차원 영상으로 재구성하여서 AI심판부(150) 또는 인적자원인 심판이 최종 판정을 수행하도록 할 수도 있다.
예컨대, 야구의 경우, 세이프인지 아웃인지 불분명한 경우 심판의 콜에 의해 경기를 홀딩시킨 후 방송서버(140)에 저장된 다양한 촬영각도에서의 경기영상을 실시간으로 판독하거나, 타구 인플레이시 1루, 2루, 3루 및 홈의 각 베이스에서의 판정시에도 심판의 콜에 의해 경기를 홀딩시킨 후 방송서버(140)에 저장된 다양한 촬영각도에서의 경기영상을 실시간으로 판독하도록 할 수 있다.
또한, 도 7을 참고하면, 경기장 영역의 펜스라인(115)을 따라 대형 LED 스크린(160)이 설치되고((a) 참조), 대형 LED 스크린(160)을 통해 현장 관전이 시뮬레이션된 관중석(111)을 연출하거나, 스카이라인을 연출하거나((b) 참조), 협찬 광고를 디스플레이하거나((c) 참조), 가상현실, 다양한 날씨 환경 또는 환상적인 분위기의 장소를 연출할 수 있다((d) 참조). 이에, 라이브로 시청하더라도 현장 관중에 의한 생동감을 느낄 수 없는 단조로롭고 간소한 경기운영으로 인해 집중도가 낮아져 시청률이 저하될 수 있어서, 대형 LED 스크린(160)을 통해 환상적인 분위기 및 효과를 연출하여 집중도를 높일 수 있고, 광고효과를 극대화할 수 있다.
한편, 방송서버(140)는, 드론 조종사가 드론컨트롤러를 통해 출력한 드론 제어신호를 수신하여 학습하고, 학습된 결과에 따라 드론을 자율 비행시키기 위한 드론 제어신호를 생성하는 비행 제어부(144), 및 이동식 카메라(120) 및 촬영용 드론(130)의 VR카메라(131)에 의해 촬영된 영상을 다수의 사용자가 모바일기반 디바이스(10), TV기반 디바이스(20) 또는 AR 헤드마운트디스플레이 등의 단말기를 통해 실시간으로 360˚ 영상을 수신할 수 있도록 플랫폼 스트리밍 서버(140B)에 의해 스트리밍 방식으로 영상을 사용자 단말기로 제공하는 영상처리부(145)를 포함할 수 있다.
여기서, 비행 제어부(144)는, 촬영용 드론(130)의 VR카메라(131)를 통해 현재 시점에서 촬영된 영상을 수집하는 영상수집모듈(144a), 영상을 촬영하는 시점에 대응하여 드론컨트롤러로부터 출력된 드론 제어신호를 수집하는 제어신호수집모듈(144b), 수집된 영상 및 드론 제어신호를 신경망 모델에 입력하여 학습시키는 학습모듈(144c), 신경망 모델의 학습 완료 후 학습이 완료된 신경망 모델에 현재 시점에서 촬영된 영상을 입력하여 플레이어의 위치에 따라 자율적으로 비행할 수 있도록 드론 제어신호를 생성하는 제어신호생성모듈(144d), 경기에 참여하고 있는 플레이어의 움직임을 감지하고, 플레이어의 움직임 벡터에 따라 가중치를 부여하여 보정된 드론 제어신호를 생성하는 가중치제공모듈(144e), 및 제어신호를 드론에 전송하는 통신모듈(144f)을 포함할 수 있다.
예컨대, 영상수집모듈(144a)은 VR카메라(131)를 통해 경기영상을 수집하고, 제어신호수집모듈(144b)은 드론컨트롤러를 통해 출력된 제어신호를 수집하고, 제어신호수집모듈(144b)은 경기영상을 촬영하는 시점에 대응하여 드론컨트롤러로부터 출력된 드론 제어신호를 수집하고, 제어신호수집모듈(144b)은 수집된 드론 제어신호를 학습모듈(144c)로 전달한다.
이후, 학습모듈(144c)은 영상수집모듈(144a)에 수집된 경기영상과 제어신호수집모듈(144b)에 수집된 드론 제어신호를 구축된 신경망 모델에 입력하여 학습시키고, 신경망 모델의 학습이 완료되면, 제어신호생성모듈(144d)은 현재 시점에서 촬영된 경기영상을 신경망 모델에 입력하여 플레이어의 위치에 따라 자율적으로 비행할 수 있도록 드론 제어신호를 생성하되, 여기서, 가중치제공모듈(144e)는 생성된 드론 제어신호에 가중치를 부여하여 보정된 드론 제어신호를 생성한다.
여기서, 학습모듈(144c)은, 입력된 이미지를 복수의 이미지로 분할하여 처리하는 CNN(Convolutional Neural Network;합성곱 신경망)을 구축하고, CNN 모델에 현재 촬영한 영상과 이전에 촬영한 영상 n개를 연결한 데이터를 입력하며, CNN을 통해 출력된 출력값을 RNN(Recurrent Neural Network;순환신경망) 모델에 입력하여 시간적 또는 순서적인 측면에 따른 드론 제어신호를 출력할 수 있다.
또한, 학습모듈(144c)은, 일정한 시간만큼 360˚로 촬영된 영상 중에서 사용자가 단말기를 통해 줌인 또는 줌아웃한 부분을 관심영역으로 설정하여 입력하면, 설정된 관심영역의 이미지만을 확대하여 출력하도록 CNN과 RNN 모델을 학습시킬 수 있다.
즉, 가중치제공모듈(144e)은 경기에 참여하고 있는 플레이어의 수, 플레이어의 움직임 벡터의 평균값 및 상기 플레이어의 상대 위치 중에서 어느 하나의 요소를 이용하여 플레이어의 이동방향을 예측하고 가중치제공모듈(144e)은 예측된 플레이어의 이동방향을 기반으로 타구의 움직임 또는 플레이어의 움직임에 가중치를 부여한 후 드론 제어신호에 가중치를 적용하여 드론 제어신호를 보정한다.
이후, 통신모듈(144f)은 생성된 드론 제어신호를 촬영용 드론(130)으로 전송하고, 촬영용 드론(130)은 수신된 드론 제어신호에 따라 돔형 경기장 상공을 자율비행하면서 플레이어 위주로 촬영하게 된다.
한편, 영상처리부(145)는, VR카메라(131)를 통해 현재 시점에서 촬영된 영상을 수신하는 영상수집모듈(145a), 일정한 시간 동안 촬영된 영상에 대하여 사용자에 의해 관심영역이 설정되면, 설정된 관심영역을 줌인, 줌아웃된 영상을 출력하도록 CNN과 RNN 모델을 학습시키는 학습모듈(145b), 학습이 완료된 RNN 모델에 일정한 시간 동안 촬영된 영상을 입력하여 사용자 단말기로 제공할 영상을 추출하는 영상추출모듈(145c), 및 추출된 영상을 사용자 단말기에 제공하는 영상제공모듈(145d)을 포함할 수 있다.
여기서, 영상추출모듈(145c)은, 사용자가 단말기를 통해 선택한 매뉴얼 모드(manual mode) 또는 다이나믹 모드(dynamic mode)에 따라 영상을 제공하며, 매뉴얼 모드는, 사용자의 움직임 또는 시선 방향에 따라 영상을 제공하는 모드를 나타내고, 다이나믹 모드는, CNN과 RNN 모델을 기반으로 영상에 포함된 일부 영역을 자동으로 줌인 또는 줌아웃하여 사용자 단말기로 제공하는 모드를 나타내고, 영상제공모듈(145d)은, 사용자의 시선 방향에 따라 360˚로 회전 가능한 영상을 제공하되, 사용자의 단말기로부터 다이나믹 모드 신호를 수신할 경우에는, AI 알고리즘에 따라 사용자가 착용한 HMD의 정면에 관심 영역에 대한 부분을 확대하여 제공할 수 있다.
이에, VR 카메라에 의해 촬영된 영상과 사용자가 촬영용 드론을 조작하면서 발생된 드론 제어신호를 기반으로 드론의 자율 비행을 제어할 수 있으며, CNN과 RNN을 이용하여 드론 제어신호를 생성하여 드론 제어신호의 생성 과정을 최소화하고, 촬영용 드론을 정밀하고 정확하게 제어할 수 있는 드론 제어신호를 제공할 수 있고, 사용자에게 몰입감을 극화하기 위해 RNN 모델을 통해 VR 카메라의 워크 제어기술을 도출하여 현장감 및 실제감을 높은 영상을 제공하도록 할 수 있다.
따라서, 전술한 바와 같은 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템의 구성에 의해서, 최근 호흡기 바이러스 감염증, 즉 COVID-19의 전 세계적인 확산으로 인해 야구, 축구 또는 콘서트 등의 관중입장이 제한되는 상황이지만 운동경기 또는 콘서트를 관람하고자 하는 수요가 존재하는 상황에서, 관중석을 없애거나 최소화하여 경기장의 규모를 줄여 건축비용을 상당히 절감하도록 하고, 5G 네트워크를 활용한 비대면 IT 플랫폼을 통해 생동감있고, 멀티뷰의 다양한 드라마틱한 영상 콘텐츠를 중계할 수 있고, 돔형 경기장을 통해, 야구 또는 축구 등의 구기종목을 날씨와 계절에 상관없이 주최하도록 하고, 스포츠 경기 이외에도, 5G 네트워크를 통해 온라인 스포츠 이벤트, 온라인 문화공연, 온라인 전시 또는 온라인 기업이벤트를 라이브로 중계하도록 할 수 있고, AI심판부에 의해 판정결과를 체계화하여 심판에 의한 판정시비를 최소화하고 경기진행시간을 단축하도록 할 수 있고, 대형 LED 스크린을 통해 환상적인 분위기 및 효과를 연출하여 집중도를 높일 수 있고, 광고효과를 극대화할 수 있고, 사용자에게 몰입감을 극화하기 위해 RNN 모델을 통해 VR 카메라의 워크 제어기술을 도출하여 현장감 및 실제감을 높은 영상을 제공하도록 할 수 있다.
이를 비지니스 분야에 적용하여, 코로나 19 이후 시대의 트렌드가 되는 비대면을 기본 속성으로 하는 스포츠 이벤ㅌ트 산업분야에 새로운 비지니스 아이템을 제공할 수 있고, 다양한 스포츠 영상콘텐츠를 제공하고, IPTV/OTT 플랫폼의 특징에 최적화된 멀티뷰-VR 콘텐츠를 전문적으로 제작할 수 있고, 비대면을 주제로 하는 공연, 전시, 문화행사 및 기업 이벤트 등의 대형 행사 주최가 지속적으로 이루어지도록 할 수 있다.
본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
110 : 돔형 경기장 111 : 관중석
112 : 돔형구조물 113 : 아크레일
114 : 직선레일 115 : 펜스라인
120 : 이동식 카메라 121 : 휠
122 : 모터부 123 : 타이밍벨트
130 : 촬영용 드론 131 : VR카메라
140 : 방송서버 140A : 제어센터
140B : 플랫폼 스트리밍 서버 141 : 웨어러블 캠
142 : 파일런 캠 143 : 슈퍼 슬로모 캠
144 : 비행 제어부 145 : 영상처리부
150 : AI심판부 160 : 대형 LED 스크린
10 : 모바일기반 디바이스 20 : TV기반 디바이스
30 : AR 헤드마운트디스플레이

Claims (17)

  1. 현장 관전을 위한 관중석이 제거되거나 최소한으로 배치되며, 경기장 영역을 돔형구조물로 커버하고, 상기 돔형구조물의 횡방향과 종방향과 사선방향과 수직방향으로 설치된 아크레일과 직선레일이 배치된, 돔형 경기장;
    구동수단을 구비하여 상기 아크레일과 상기 직선레일과 경기장 영역의 펜스라인을 따라 이동하거나 정지하여 운동경기 또는 온라인 콘서트를 선택적으로 일반촬영하거나 VR촬영하는 적어도 하나 이상의 이동식 카메라;
    경기장 영역 상공을 비행하면서 VR카메라를 구비하여 운동경기 또는 온라인 콘서트를 선택적으로 일반촬영하거나 VR촬영하는 적어도 하나 이상의 촬영용 드론; 및
    상기 이동식 카메라의 이동과 촬영위치와 촬영각도 및 상기 촬영용 드론의 비행과 이동과 촬영위치와 촬영각도를 제어하고, 상기 이동식 카메라 및 상기 촬영용 드론에 의해 촬영된 경기영상 또는 온라인 콘서트영상을 수신하여 편집하고, 편집된 영상을 외부로 실시간 스트리밍하여 송출하는, 방송서버;를 포함하고,
    상기 촬영용 드론은 상기 돔형구조물의 내부 또는 외부에서의 고도를 감지하는 기압센서와, 가속도센서와, GPS센서를 구비하여 상기 방송서버에 의해 상기 촬영용 드론의 비행과 이동과 촬영위치를 제어하는 것을 특징으로 하는, 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템.
  2. 제1항에 있어서,
    상기 이동식 카메라의 구동수단은 상기 아크레일과 상기 직선레일과 경기장 영역의 상기 펜스라인에 결합된 휠을 구동하는 모터부이고, 상기 모터부는 회전수를 감지하는 인코더를 포함하여 상기 방송서버에 의해 상기 아크레일과 상기 직선레일과 경기장 영역의 상기 펜스라인 상에서의 이동과 촬영위치를 제어하는 것을 특징으로 하는, 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 이동식 카메라 및 상기 촬영용 드론은 각각 지향성 소리감지센서를 구비하여, 경기에서의 타구음과 플레이어의 소리 또는 온라인 콘서트에서의 노래와 연주음을 각각 구분하여, 적어도 하나 이상의 상기 이동식 카메라 및 상기 촬영용 드론은 타구음과 소음 또는 노래와 연주음을 발산되는 방향으로 촬영위치와 촬영각도를 조정하고, 타구음과 소음 또는 노래와 연주음의 이동에 따라 상기 이동식 카메라 및 상기 촬영용 드론이 타구음과 소음 또는 노래와 연주음의 소스를 추적하여 촬영하는 것을 특징으로 하는, 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템.
  5. 제4항에 있어서,
    경기운영요원 또는 온라인 콘서트진행요원이 착용하여 일반영상 또는 VR영상을 시야에 따라 자유롭게 촬영하여서 상기 방송서버로 전송하는 웨어러블 캠, 또는 경기장 그라운드 주요지점에 고정 설치되어 일반영상 또는 VR영상을 촬영하여서 상기 방송서버로 전송하는 파일런 캠, 또는 타구음과 소음 또는 노래와 연주음의 소스를 추적하여 슈퍼슬로모션 촬영하여서 상기 방송서버로 전송하는 슈퍼 슬로모 캠을 더 포함하는 것을 특징으로 하는, 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템.
  6. 제1항에 있어서,
    야구경기 중계시에, 홈플레이트 후방에 스트라이크 존 영역을 구분하는 다수의 적외선센서가 배치되어 상기 적외선센서에 의해 스트라이크 존 영역 통과 여부에 따라 스트라이크 볼을 판정하고, 상기 방송서버로 수신된 영상을 영상분석하여 1루와 3루 주루라인에 의한 파울여부를 판정하는, AI심판부를 더 포함하는 것을 특징으로 하는, 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템.
  7. 제1항에 있어서,
    경기장 영역의 펜스라인을 따라 대형 LED 스크린이 설치되고, 상기 대형 LED 스크린을 통해 현장 관전이 시뮬레이션된 관중석을 연출하거나, 스카이라인을 연출하거나, 협찬 광고를 디스플레이하거나, 다양한 날씨 환경 또는 환상적인 분위기의 장소를 연출하는 것을 특징으로 하는, 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템.
  8. 제1항에 있어서,
    상기 방송서버는, 드론 조종사가 드론컨트롤러를 통해 출력한 드론 제어신호를 수신하여 학습하고, 상기 학습된 결과에 따라 드론을 자율 비행시키기 위한 드론 제어신호를 생성하는 비행 제어부, 및 상기 이동식 카메라 및 상기 촬영용 드론의 VR 카메라에 의해 촬영된 영상을 다수의 사용자가 단말기를 통해 실시간으로 360˚ 영상을 수신할 수 있도록 스트리밍 방식으로 영상을 사용자 단말기로 제공하는 영상처리부를 포함하는 것을 특징으로 하는, 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템.
  9. 제8항에 있어서,
    상기 비행 제어부는, 상기 VR 카메라를 통해 현재 시점에서 촬영된 영상을 수집하는 영상수집모듈, 상기 영상을 촬영하는 시점에 대응하여 상기 드론컨트롤러로부터 출력된 드론 제어신호를 수집하는 제어신호수집모듈, 상기 수집된 영상 및 드론 제어신호를 신경망 모델에 입력하여 학습시키는 학습모듈, 상기 신경망 모델의 학습 완료 후 상기 학습이 완료된 신경망 모델에 현재 시점에서 촬영된 영상을 입력하여 플레이어의 위치에 따라 자율적으로 비행할 수 있도록 드론 제어신호를 생성하는 제어신호생성모듈, 경기에 참여하고 있는 플레이어의 움직임을 감지하고, 플레이어의 움직임 벡터에 따라 가중치를 부여하여 보정된 드론 제어신호를 생성하는 가중치제공모듈, 및 상기 제어신호를 드론에 전송하는 통신모듈을 포함하는 것을 특징으로 하는, 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템.
  10. 제9항에 있어서,
    상기 학습모듈은, 입력된 이미지를 복수의 이미지로 분할하여 처리하는 CNN을 구축하고, 상기 CNN 모델에 현재 촬영한 영상과 이전에 촬영한 영상 n개를 연결한 데이터를 입력하며, 상기 CNN을 통해 출력된 출력값을 RNN 모델에 입력하여 시간적 또는 순서적인 측면에 따른 드론 제어신호를 출력하는 것을 특징으로 하는, 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템.
  11. 제8항에 있어서,
    상기 영상처리부는, 상기 VR 카메라를 통해 현재 시점에서 촬영된 영상을 수신하는 영상수집모듈, 일정한 시간 동안 촬영된 영상에 대하여 사용자에 의해 관심영역이 설정되면, 상기 설정된 관심영역을 줌인, 줌아웃된 영상을 출력하도록 CNN과 RNN 모델을 학습시키는 학습모듈, 상기 학습이 완료된 RNN 모델에 일정한 시간 동안 촬영된 영상을 입력하여 사용자 단말기로 제공할 영상을 추출하는 영상추출모듈, 및 상기 추출된 영상을 사용자 단말기에 제공하는 영상제공모듈을 포함하는 것을 특징으로 하는, 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템.
  12. 제11항에 있어서,
    상기 학습모듈은, 일정한 시간만큼 360˚로 촬영된 영상 중에서 사용자가 단말기를 통해 줌인 또는 줌아웃한 부분을 관심영역으로 설정하여 입력하면, 상기 설정된 관심영역의 이미지만을 확대하여 출력하도록 CNN과 RNN 모델을 학습시키는 것을 특징으로 하는, 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템.
  13. 제12항에 있어서,
    상기 영상추출모듈은, 사용자가 단말기를 통해 선택한 매뉴얼 모드 또는 다이나믹 모드에 따라 영상을 제공하며, 상기 매뉴얼 모드는, 상기 사용자의 움직임 또는 시선 방향에 따라 영상을 제공하는 모드를 나타내고, 상기 다이나믹 모드는, 상기 CNN과 RNN 모델을 기반으로 영상에 포함된 일부 영역을 자동으로 줌인 또는 줌아웃하여 상기 사용자 단말기로 제공하는 모드를 나타내고,
    상기 영상제공모듈은, 평시에는 사용자의 시선 방향에 따라 360˚로 회전 가능한 영상을 제공하고, 사용자의 단말기로부터 다이나믹 모드 신호를 수신할 경우에는, AI 알고리즘에 따라 사용자가 착용한 HMD의 정면에 관심 영역에 대한 부분을 확대하여 제공하는 것을 특징으로 하는, 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템.
  14. 제1항에 있어서,
    상기 돔형 경기장에 개최되는 온라인 스포츠 이벤트, 온라인 문화공연, 온라인 전시 또는 온라인 기업이벤트에 적용되는 것을 특징으로 하는, 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템.
  15. 제1항에 있어서,
    구기종목 비디오 판독 시스템을 더 포함하는 것을 특징으로 하는, 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템.
  16. 제1항에 있어서,
    상기 방송서버는, 상기 이동식 카메라의 이동과 촬영위치와 촬영각도 및 상기 촬영용 드론의 비행과 이동과 촬영위치와 촬영각도를 제어하고, 상기 이동식 카메라 및 상기 촬영용 드론에 의해 촬영된 경기영상 또는 온라인 콘서트영상을 수신하여 편집하는 제어센터와, 편집된 영상을 모바일기반 디바이스 또는 TV기반 디바이스로 실시간 스트리밍하여 송출하는 플랫폼 스트리밍 서버로 구성되는 것을 특징으로 하는, 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템.
  17. 제1항에 있어서,
    상기 이동식 카메라 또는 상기 촬영용 드론은 플레이어 별로 또는 콘서트 공연자 별로 개별적으로 추적으로 줌인하여 일반영상 또는 VR영상을 촬영하는 것을 특징으로 하는, 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템.
KR1020210133234A 2021-10-07 2021-10-07 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템 KR102407516B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210133234A KR102407516B1 (ko) 2021-10-07 2021-10-07 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210133234A KR102407516B1 (ko) 2021-10-07 2021-10-07 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템

Publications (1)

Publication Number Publication Date
KR102407516B1 true KR102407516B1 (ko) 2022-06-13

Family

ID=81984270

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210133234A KR102407516B1 (ko) 2021-10-07 2021-10-07 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템

Country Status (1)

Country Link
KR (1) KR102407516B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170086493A (ko) * 2014-10-10 2017-07-26 라이브반 잉크. 스포츠 경기장에서의 광학 플레이어 추적 시스템 및 방법
KR200484406Y1 (ko) * 2016-08-03 2017-09-01 (주)잼투고 무대 겸용 스튜디오 제어 시스템
KR20200139756A (ko) 2018-03-30 2020-12-14 플라잉티 테크, 엘엘씨 게임, 스포츠 또는 기타 활동에 물리적 이동 타겟을 통합하기 위한 시스템 및 방법
KR20210001659A (ko) 2019-06-28 2021-01-07 (주)스마트모션 드론에 부착된 vr 카메라를 이용하여 촬영한 운동 경기 영상을 제공하는 방송 시스템
KR102282356B1 (ko) * 2020-09-15 2021-07-27 주식회사 스포잇 IoT 기반의 스포츠 모니터링 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170086493A (ko) * 2014-10-10 2017-07-26 라이브반 잉크. 스포츠 경기장에서의 광학 플레이어 추적 시스템 및 방법
KR200484406Y1 (ko) * 2016-08-03 2017-09-01 (주)잼투고 무대 겸용 스튜디오 제어 시스템
KR20200139756A (ko) 2018-03-30 2020-12-14 플라잉티 테크, 엘엘씨 게임, 스포츠 또는 기타 활동에 물리적 이동 타겟을 통합하기 위한 시스템 및 방법
KR20210001659A (ko) 2019-06-28 2021-01-07 (주)스마트모션 드론에 부착된 vr 카메라를 이용하여 촬영한 운동 경기 영상을 제공하는 방송 시스템
KR102282356B1 (ko) * 2020-09-15 2021-07-27 주식회사 스포잇 IoT 기반의 스포츠 모니터링 시스템

Similar Documents

Publication Publication Date Title
US11683452B2 (en) Image-stream windowing system and method
CA2798298C (en) Systems and methods for video processing
JP6761811B2 (ja) スポーツバーチャルリアリティシステム
US9094615B2 (en) Automatic event videoing, tracking and content generation
US20150297949A1 (en) Automatic sports broadcasting system
US10666861B2 (en) Method and system for producing a video production
WO2017159063A1 (ja) 表示装置並びに情報処理端末装置
JP2004500756A (ja) ビデオシーケンスと時空正規化との調整および合成
CN113873174A (zh) 用于自动电视制作的方法和系统
KR102239134B1 (ko) 드론에 부착된 vr 카메라를 이용하여 촬영한 운동 경기 영상을 제공하는 방송 시스템
KR102378738B1 (ko) 돔형 야구경기장의 스포테인먼트 야구리그 실시간 스트리밍 중계 시스템
JP2015514339A (ja) スポーツイベントをビデオ録画し、ウェブキャストするシステム及び方法
JPH06105231A (ja) 画像合成装置
Wu et al. Enhancing fan engagement in a 5G stadium with AI-based technologies and live streaming
KR102407516B1 (ko) 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템
KR101164894B1 (ko) 경기 참여자 관점의 야구공 영상생성 장치, 시스템, 및 그 방법의 기록매체
JP2009519539A (ja) イベントデータを作成し、これをサービス提供可能な状態にするための方法及びシステム
KR20210158362A (ko) 운동 경기장의 가상 공간에 실시간으로 들어가 경기를 관람할 수 있는 가상 운동 경기 서비스 제공 방법 및 그 시스템
AU2012201523B2 (en) Autonomous systems and methods for still and moving picture production
Grimson et al. Immersive Sporting Events

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant