KR102239134B1 - 드론에 부착된 vr 카메라를 이용하여 촬영한 운동 경기 영상을 제공하는 방송 시스템 - Google Patents

드론에 부착된 vr 카메라를 이용하여 촬영한 운동 경기 영상을 제공하는 방송 시스템 Download PDF

Info

Publication number
KR102239134B1
KR102239134B1 KR1020190078060A KR20190078060A KR102239134B1 KR 102239134 B1 KR102239134 B1 KR 102239134B1 KR 1020190078060 A KR1020190078060 A KR 1020190078060A KR 20190078060 A KR20190078060 A KR 20190078060A KR 102239134 B1 KR102239134 B1 KR 102239134B1
Authority
KR
South Korea
Prior art keywords
image
drone
neural network
control signal
athletic event
Prior art date
Application number
KR1020190078060A
Other languages
English (en)
Other versions
KR20210001659A (ko
Inventor
곽용인
곽홍석
황정선
이은하
Original Assignee
(주)스마트모션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)스마트모션 filed Critical (주)스마트모션
Priority to KR1020190078060A priority Critical patent/KR102239134B1/ko
Publication of KR20210001659A publication Critical patent/KR20210001659A/ko
Application granted granted Critical
Publication of KR102239134B1 publication Critical patent/KR102239134B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H04N5/2258—
    • H04N5/23296—
    • B64C2201/127—
    • B64C2201/146—

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 드론에 부착된 VR 카메라를 이용하여 촬영한 운동 경기 영상을 제공하는 방송 시스템에 대한 것이다.
본 발명에 따르면, 듀얼이미지 센서 기반으로 설계되어 영상 녹화 및 재생이 가능한 촬영용 VR 카메라, 탑재된 상기 VR 카메라에 의해 촬영된 영상을 방송서버에 전송하고, 상기 방송 서버로부터 비행에 필요한 드론 제어신호를 수신받아 촬영하는 데 필요한 위치 및 각도에 대응하여 운동 경기장 상측을 비행하는 드론, 그리고 수신된 상기 영상을 기 구축된 신경망 모델에 입력하여 학습시키고, 상기 학습된 신경망 모델을 통해 드론을 제어할 수 있는 제어신호를 생성하며, 상기 전송받은 영상을 사용자 단말기에 전송하는 방송서버를 포함한다.
본 발명의 실시예에 따른 운동 경기 영상을 제공하는 방송 시스템은 VR 카메라에 의해 촬영된 영상과 사용자가 드론을 조작하면서 발생된 드론 제어신호를 기반으로 드론의 자율 비행을 제어할 수 있으며, 합성곱 신경망과 순환 신경망을 이용하여 드론 제어신호를 도출하므로 드론 제어신호의 생성 과정을 줄일 수 있을 뿐만 아니라 정밀하고 정확하게 드론을 제어할 수 있는 드론 제어신호를 제공할 수 있다.

Description

드론에 부착된 VR 카메라를 이용하여 촬영한 운동 경기 영상을 제공하는 방송 시스템{Broadcast system for provides athletic video taken with VR cameras attached to drones}
본 발명은 드론에 부착된 VR 카메라를 이용하여 촬영한 운동 경기 영상을 제공하는 방송 시스템에 관한 것으로서, 더욱 상세하게는 VR 카메라가 탑재된 드론이 스포츠 경기를 참여하고 있는 선수들의 움직임에 따라 비행될 수 있도록 드론 제어신호를 생성하고, VR 카메라에서 촬영된 영상을 사용자에게 제공하는 방송 시스템에 관한 것이다.
일반적으로 영상을 이용한 스포츠 방송 시스템을 통해 운동선수를 촬영하기 위해서는 운동선수들의 위치 정보를 필요로 한다. 그러나, 운동선수들에게 특정 장비를 부착시켜 위치를 확보하고 드론으로 촬영하는 것은 적절하지 않으므로, 운동선수의 움직임에 부담이 없는 무게 또는 특정한 장비를 장착하지 않고도 선수들을 촬영하는 기술을 필요로 하였다.
따라서, 종래의 스포츠 방송 시스템은 사전에 배치된 카메라 및 운동선수에게 부착된 센서를 이용하여 스포츠 분석 데이터를 수집하였다. 그러나, 스포츠 방송 시스템은 실시간으로 변하는 운동선수의 움직임을 자율적으로 촬영하지 못하고, 사전에 정해진 카메라의 각도로만 운동선수의 움직임을 촬영하는 한계가 있었다.
또한, 종래의 스포츠 방송 시스템은 영상을 제공하는 시점과 운동선수의 시점이 달라 운동선수들이 있는 현장감을 동일하게 느끼지는 못하는 문제점이 있었다.
따라서, 종래의 문제점을 해결하기 위해서는 운동선수들의 움직임을 다양한 각도에서 촬영하고 재생하는 기술이 요구되며, 운동 경기 진행에 따른 분석을 통해서 운동선수들이 있는 현장감을 제공할 수 있는 영상 재생 기법을 필요로 하였다.
본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제10-2017-0086203(2017.07.26. 공개)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는, VR 카메라가 탑재된 드론이 스포츠 경기를 참여하고 있는 선수들의 움직임에 따라 비행될 수 있도록 드론 제어신호를 생성하고, 상기 VR 카메라에서 촬영된 영상을 사용자에게 제공하는 드론에 부착된 VR 카메라를 이용하여 촬영한 운동 경기 영상을 제공하는 방송 시스템을 제공하는데 목적이 있다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면, 드론에 부착된 VR 카메라를 이용하여 촬영한 운동 경기 영상을 제공하는 방송 시스템에 있어서, 듀얼이미지 센서 기반으로 설계되어 영상 녹화 및 재생이 가능한 촬영용 VR 카메라, 탑재된 상기 VR 카메라에 의해 촬영된 영상을 방송서버에 전송하고, 상기 방송 서버로부터 비행에 필요한 드론 제어신호를 수신받아 촬영하는 데 필요한 위치 및 각도에 대응하여 운동 경기장 상측을 비행하는 드론, 그리고 수신된 상기 영상을 기 구축된 신경망 모델에 입력하여 학습시키고, 상기 학습된 신경망 모델을 통해 드론을 제어할 수 있는 드론 제어신호를 생성하며, 상기 전송받은 영상을 사용자 단말기에 전송하는 방송서버를 포함한다.
상기 방송서버는, 드론 조종사가 컨트롤러를 통해 출력한 드론 제어신호를 수신하여 학습하고, 상기 학습된 결과에 따라 드론을 자율 비행시키기 위한 드론 제어신호를 생성하는 비행 제어부, 그리고 상기 VR 카메라에 의해 촬영된 운동 경기 영상을 다수의 사용자가 단말기를 통해 실시간으로 360˚ 영상을 수신할 수 있도록 스트리밍 방식으로 영상을 사용자 단말기로 제공하는 영상처리부를 포함할 수 있다.
상기 비행 제어부는, 상기 VR 카메라를 통해 현재 시점에서 촬영된 운동 경기 영상을 수집하는 영상수집모듈, 상기 운동 경기 영상을 촬영하는 시점에 대응하여 상기 컨트롤러로부터 출력된 드론 제어신호를 수집하는 제어신호수집모듈, 상기 수집된 영상 및 드론 제어신호를 기 구축된 신경망 모델에 입력하여 학습시키는 학습모듈, 상기 신경망 모델의 학습이 완료된 다음, 상기 학습이 완료된 신경망 모델에 현재 시점에서 촬영된 운동 경기 영상을 입력하여 상기 선수들의 위치에 따라 자율적으로 비행할 수 있도록 드론 제어신호를 생성하는 제어신호생성모듈, 경기에 참여하고 있는 선수들의 움직임을 감지하고, 상기 선수들의 움직임 벡터에 따라 가중치를 부여하여 보정된 드론 제어신호를 생성하는 가중치 제공모듈, 그리고 상기 생성된 제어신호를 드론에 전송하는 통신모듈을 포함할 수 있다.
상기 학습모듈은, 입력된 이미지를 복수의 이미지로 분할하여 처리하는 합성곱 신경망(CNN)을 구축하고, 상기 구축된 합성곱 신경망(CNN) 모델에 현재 촬영한 영상과 이전에 촬영한 영상 n개를 연결한 데이터를 입력하며, 상기 합성곱 신경망(CNN)을 통해 출력된 출력값을 순환 신경망(RNN) 모델에 입력하여 시간적 또는 순서적인 측면에 따른 드론 제어신호를 출력할 수 있다.
상기 운동 경기는, 축구, 농구, 핸드볼, 럭비, 아이스하키, 하키 중에서 적어도 하나를 포함하며, 상기 가중치 제공모듈은, 진행 중인 운동 경기가 축구, 농구, 럭비 중에서 하나인 경우에는 공의 움직임 벡터에 선수들의 움직임 벡터보다 더 높은 가중치를 부여하고, 진행 중인 운동 경기가 아이스하키, 하키 중에서 하나인 경우에는 선수들의 움직임 벡터에 공의 움직임 벡터보다 더 높은 가중치를 부여할 수 있다.
상기 가중치 제공모듈은, 경기에 참여하고 있는 선수들의 수, 선수들의 움직임 벡터의 평균값 및 상기 선수들의 상대 위치 중에서 어느 하나의 요소를 이용하여 선수들의 이동방향을 예측할 수 있다.
상기 영상처리부는, 상기 VR 카메라를 통해 현재 시점에서 촬영된 운동 경기 영상을 수신하는 영상수집모듈, 일정한 시간 동안 촬영된 운동 경기 영상에 대하여 사용자에 의해 관심영역이 설정되면, 상기 설정된 관심영역을 줌인, 줌아웃된 영상을 출력하도록 합성곱 신경망(CNN)과 순환 신경망(RNN) 모델을 학습시키는 학습모듈, 상기 학습이 완료된 순환 신경망(RNN) 모델에 일정한 시간 동안 촬영된 운동 경기 영상을 입력하여 사용자 단말기로 제공할 영상을 추출하는 영상추출모듈, 그리고 상기 추출된 영상을 사용자 단말기에 제공하는 영상제공모듈을 포함할 수 있다.
상기 학습모듈은, 일정한 시간만큼 360˚로 촬영된 운동 경기 영상 중에서 사용자가 단말기를 통해 줌인 또는 줌아웃한 부분을 관심영역으로 설정하여 입력하면, 상기 설정된 관심영역의 이미지만을 확대하여 출력하도록 기 구축된 합성곱 신경망(CNN)과 순환 신경망(RNN) 모델을 학습시킬 수 있다.
상기 영상추출모듈은, 사용자가 단말기를 통해 선택한 매뉴얼 모드 또는 다이나믹 모드에 따라 운동 경기 영상을 제공하며, 상기 매뉴얼 모드는, 상기 사용자의 움직임 또는 시선 방향에 따라 운동 경기 영상을 제공하는 모드를 나타내고, 상기 다이나믹 모드는, 상기 합성곱 신경망(CNN)과 순환 신경망(RNN) 모델을 기반으로 운동 경기 영상에 포함된 일부 영역을 자동으로 줌인 또는 줌아웃하여 상기 사용자 단말기로 제공하는 모드를 나타낼 수 있다.
상기 영상제공모듈은, 평시에는 사용자의 시선 방향에 따라 360˚로 회전 가능한 운동 경기 영상을 제공하고, 사용자의 단말기로부터 다이나믹 모드 신호를 수신받을 경우에는, AI 알고리즘에 따라 사용자가 착용한 HMD(Head Mounted Display)의 정면에 관심 영역에 대한 부분을 확대하여 제공할 수 있다.
이와 같이 본 발명에 따른 운동 경기 영상을 제공하는 방송 시스템은 VR 카메라에 의해 촬영된 영상과 사용자가 드론을 조작하면서 발생된 제어신호를 기반으로 드론의 자율 비행을 제어할 수 있으며, 합성곱 신경망과 순환 신경망을 이용하여 드론의 제어신호를 도출하므로 제어신호의 생성 과정을 줄일 수 있을 뿐만 아니라 정밀하고 정확하게 드론을 제어할 수 있는 제어신호를 제공할 수 있다.
또한 본 발명에 따르면, 사용자에게 몰입감을 극대화하기 위해 순환 신경망 모델을 통해 VR 카메라의 워크 제어기술을 도출하여 사용자로 하여금 현장감 및 실제감을 높일 수 있는 효과를 지닌다.
도 1은 본 발명의 실시예에 따른 드론에 부착된 VR 카메라로 촬영한 운동 경기 영상을 제공하는 방송 시스템을 설명하기 위한 도면이다.
도 2는 도 1에 도시된 방송서버에 포함된 비행 제어부를 도시한 구성도이다.
도 3은 본 발명의 실시예에 따른 비행 제어부를 통해 드론을 제어하는 드론 제어신호를 생성하는 방법을 도시한 순서도이다.
도 4는 도 3에 도시된 S320 단계를 설명하기 위한 예시도이다.
도 5는 도 1에 도시된 방송서버에 포함된 영상처리부를 도시한 구성도이다.
도 6은 본 발명의 실시예에 따른 영상처리부를 통해 영상을 제공하는 방법을 도시한 순서도이다.
도 7은 도 2에 도시된 S620 단계를 설명하기 위한 예시도이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하에서는 도 1 및 도 2를 통하여 본 발명의 실시예에 따른 VR 카메라로 촬영한 영상을 제공하는 방송 시스템에 대하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 드론에 부착된 VR 카메라로 촬영한 운동 경기 영상을 제공하는 방송 시스템을 설명하기 위한 도면이다.
도 1에 나타난 바와 같이, 본 발명의 실시예에 따른 방송 시스템은 VR 카메라(100), 드론(200), 방송서버(300) 및 사용자 단말기(400)를 포함한다.
먼저, VR 카메라(100)는 듀얼이미지 센서를 기반으로 설계되어 360˚ 전방향에 대해 촬영한 영상을 녹화 및 재생하는 카메라이다. 그리고 VR 카메라(100)는 360˚의 구면 이미지 및 영상을 가상현실(VR) 컨텐츠로 제공한다.
그리고, 드론(200)은 VR 카메라(100)를 장착한 상태에서 드론 조종사의 조작에 의해 비행하거나, 후술되는 방송서버(300)로부터 드론 제어신호를 수신하여 자율 비행을 한다. 따라서, 드론(200)은 경기에 참여하고 있는 선수들의 움직임 벡터에 따라 촬영하는데 필요한 VR 카메라(100)의 위치 및 각도에 대응하여 운동 경기장 상측을 비행한다.
방송서버(300)는 VR 카메라(100)로부터 전송받은 운동 경기 영상을 기 구축된 신경망 모델에 입력하여 학습시키고, 상기 학습된 신경망 모델을 통해 드론을 제어할 수 있는 드론 제어신호를 생성한다. 그리고 방송서버(300)는 전송받은 영상을 사용자 단말기(400)에 전송하여 사용자로 하여금 360˚로 제공되는 운동 경기를 시청 가능하게 한다.
부연하자면, 방송서버(300)는 비행 제어부(310)와 영상처리부(320)를 포함한다.
먼저, 비행 제어부(310)는 컨트롤러(210)를 통해 출력된 드론 제어신호를 수신하여 학습하고, 학습된 결과에 따라 드론을 자율 비행시키기 위한 드론 제어신호를 생성한다.
그리고, 영상처리부(320)는 VR 카메라(100)를 통해 촬영된 운동 경기 영상을 수신하고, 수신된 운동 경기 영상을 사용자 단말기(400)에 전송한다. 그러면, 사용자는 사용자 단말기(400)를 통해 실시간으로 360˚ 영상을 시청하게 된다.
마지막으로 사용자 단말기(400)는 방송서버(300)로부터 수신된 운동 경기 영상을 재생할 수 있는 단말기를 나타낸다. 즉, 사용자 단말기(400)는 방송서버(300)에서 제공되는 어플리케이션 다운로드하거나 웹페이지에 접속하여 제공받은 영상을 시청할 수 있는 것으로, 인터넷 접속이 가능한 스마트폰, PC, TV 등을 포함한다. 그리고, 사용자 단말기(400)는 착용 가능한 HMD(Head Mounted Display)을 더 포함한다.
이하에서는 도 2 를 통해 본 발명의 실시예에 따른 방송서버(300)에 포함된 비행 제어부(310)에 대해 더욱 구체적으로 설명한다.
도 2는 도 1에 도시된 방송서버에 포함된 비행 제어부를 도시한 구성도이다.
도 2에 도시된 바와 같이, 비행 제어부(310)은 영상수집모듈(311), 제어신호수집모듈(312), 학습모듈(313), 제어신호생성모듈(314), 가중치 제공모듈(315) 및 통신모듈(316)을 포함한다.
먼저, 영상수집모듈(311)은 VR 카메라를 통해 촬영된 운동 경기 영상을 수집한다.
그리고, 제어신호수집모듈(312)은 드론 컨트롤러(210)를 통해 출력된 제어신호를 수집한다. 부연하자면, 드론 조종사는 드론(200)을 운동 경기장의 상공에 비행시켜, 드론(200)에 탑재된 VR 카메라(100)로 하여금 운동 경기를 촬영하게 한다. 따라서, 제어신호수집모듈(312)은 운동 경기 영상을 촬영하는 시점에 대응하여 상기 컨트롤러(210)로부터 출력된 드론 제어신호를 수집한다. 그리고, 제어신호수집모듈(312)은 수집된 드론 제어신호를 학습모듈(313)에 전달한다.
그러면, 학습모듈(313)은 영상수집모듈(311)에 수집된 운동 경기 영상과 제어신호수집모듈(312)에 수집된 드론 제어신호를 기 구축된 신경망 모델에 입력하여 학습시킨다.
신경망 모델의 학습이 완료되면, 제어신호생성모듈(314)은 현재 시점에서 촬영된 운동 경기 영상을 신경망모델에 입력하여 선수들의 위치에 따라 자율적으로 비행할 수 있도록 드론 제어신호를 생성한다.
이때, 가중치 제공모듈(315)는 생성된 드론 제어신호에 가중치를 부여하여 보정된 드론 제어신호를 생성한다. 즉, 가중치 제공모듈(315)은 경기에 참여하고 있는 선수들의 수, 선수들의 움직임 벡터의 평균값 및 상기 선수들의 상대 위치 중에서 어느 하나의 요소를 이용하여 선수들의 이동방향을 예측한다. 그리고 가중치제공모듈(315)은 예측된 선수들의 이동방향을 기반으로 공의 움직임 또는 선수들의 움직임에 가중치를 부여한다. 그 다음, 가중치제공모듈(315)은 기 생성된 드론 제어신호에 가중치를 적용하여 드론 제어신호를 보정한다.
마지막으로, 통신모듈(316)은 생성된 제어신호를 드론(200)에 전송한다. 그러면, 드론(200)은 수신된 제어신호에 따라 운동 경기장의 상공을 자율적으로 비행하게 된다.
이하에서는 도 3 및 도 4를 이용하여 본 발명의 실시예에 따른 비행 제어부(310)를 통해 드론 제어신호를 생성하는 방법에 대해 상세하게 설명한다.
도3은 본 발명의 실시예에 따른 비행 제어부를 통해 드론을 제어하는 제어신호를 생성하는 방법을 도시한 순서도이고, 도 4는 도 3에 도시된 S320 단계를 설명하기 위한 예시도이다.
도 3에 도시된 바와 같이, 먼저 비행 제어부(310)는 VR 카메라(100)에서 촬영된 운동 경기 영상과 운동 경기 영상을 촬영하는 시점에 대응하여 드론(200)의 컨트롤러(210)로부터 발생된 드론 제어신호를 수신한다(S310).
VR 카메라(100)로부터 수신된 운동 경기 영상은 영상수집모듈(311)에 수집되고, 컨트롤로(210)로부터 수신된 드론 제어신호는 제어신호수집모듈(312)에 수집된다.
그리고, 학습모듈(313)은 수집된 운동 경기 영상과 드론 제어신호를 이용하여 기 구축된 신경망 모델을 학습시킨다(S320).
도 4에 도시된 바와 같이, 학습모듈(313)은 합성곱 신경망(CNN)과 순환 신경망(RNN)을 구축한다. 그 다음, 학습모듈(313)은 구축된 합성곱 신경망(CNN) 모델에 현재 촬영한 VR 영상과 이전에 촬영한 영상 n개를 연결한 데이터를 입력한다.
그리고, 학습모듈(313)은 합성곱 신경망(CNN) 모델로부터 출력된 데이터를 순환 신경망(RNN) 모델에 입력한다. 그러면 순환 신경망(RNN) 모델은 시간적 또는 순서적인 측면에 따른 드론 제어신호를 출력한다.
이를 다시 설명하면, 합성곱 신경망(CNN) 모델은 드론(200)을 수동으로 제어할 때, 수집된 운동 경기 영상 및 제어신호를 수신한다. 그리고, 합성곱 신경망(CNN) 모델은 수신된 운동 경기 영상을 이용하여 운동선수들의 분포를 특징적으로 나타내는 이미지 데이터를 출력한다. 그 다음, 순환 신경망(RNN) 모델은 합성곱 신경망(CNN) 모델에서 출력된 이미지 데이터를 입력받아 그에 대응되는 드론 제어신호를 출력한다.
S320단계가 완료되면, 제어신호생성모듈(314)은 학습이 완료된 신경망모델에 현재 시점에서 드론에 의해 촬영된 운동 경기 영상을 입력한다. 그러면, 신경망모델은 학습한 알고리즘에 따라 경기에 참여하고 있는 선수들의 위치를 기반으로 자율 비행이 가능한 드론 제어신호를 생성한다(S330).
즉, S330단계에서 생성된 드론 제어신호는 드론(200)을 자율 비행하도록 제어하되, 선수들의 위치를 기반으로 드론이 비행하도록 한다.
한편, VR 카메라(100)를 통해 촬영하고자 하는 운동 경기는 운동 경기장의 크기가 넓고, 선수들의 인원수가 많은 축구, 농구, 핸드볼, 럭비, 아이스하키, 하키 등을 포함한다. 즉, VR 카메라(100)를 탑재한 드론(200)은 넓은 범위에서 많은 선수들의 위치에 따라 비행하여야 한다. 그러나, S330단계에서 생성된 드론 제어신호는 실시간으로 변화하는 모든 운동 선수들의 움직임에 따라 대응하여 비행하기에는 정확도가 떨어질 우려가 있다.
따라서, 가중치 제공모듈(315)은 S330단계에서 생성된 드론 제어신호의 정확도를 높이기 위하여 운동 경기 종목에 따라 선수들의 움직임 또는 공의 움직임에 가중치를 적용하여 보정된 드론 제어신호를 생성한다(S340).
부연하자면, 축구, 농구, 럭비 등의 운동 경기에 사용되는 공의 크기는 아이스하키, 하키 등의 운동 경기에 사용되는 공의 크기보다 크다. 그러므로, 드론(200)에 탑재된 VR 카메라(100)는 아이스하키, 하키 등의 운동 경기에 사용된 공보다 축구, 농구, 럭비 등의 운동 경기에 사용된 공을 더 쉽게 구별할 수 있다.
따라서, 진행 중인 운동 경기가 축구, 농구, 럭비 중에서 하나인 경우에, 가중치 제공모듈(315)은 공의 움직임 벡터에 선수들의 움직임 벡터보다 더 높은 가중치를 부여한다. 그리고, 진행 중인 운동 경기가 아이스하키, 하키 중에서 하나인 경우에, 가중치 제공모듈(315)은 선수들의 움직임 벡터에 공의 움직임 벡터보다 더 높은 가중치를 부여한다.
한편, 가중치 제공모듈(315)은 경기에 참여하고 있는 선수들의 수, 선수들의 움직임 벡터의 평균값 및 상기 선수들의 상대 위치 중에서 어느 하나의 요소를 이용하여 선수들의 이동방향을 예측한다. 즉, 가중치 제공모듈(315)은 예측된 이동방향으로 드론(200)을 자율 비행하도록 S330단계에서 생성된 드론 제어신호에 가중치를 적용하여 보정된 드론 제어신호를 생성한다.
그 다음, 통신모듈(316)은 보정된 드론 제어신호를 드론(200)에 전송한다(S350). 그러면, 드론(200)은 전송받은 드론 제어신호에 따라 운동 경기장의 상공을 조종사 없이 자율비행하며, 드론(200)에 탑재된 VR 카메라(100)는 선수들 위주로 촬영하게 된다.
이하에서는 도 5 를 통해 본 발명의 실시예에 따른 방송서버(300)에 포함된 영상처리부(320)에 대해 더욱 구체적으로 설명한다.
도 5는 도 1에 도시된 방송서버에 포함된 영상처리부를 도시한 구성도이다.
도 5에 도시된 바와 같이, 영상처리부(320)는 영상수집모듈(321), 학습모듈(322), 영상추출모듈(323) 및 영상제공모듈(324)를 포함한다.
먼저, 영상수집모듈(321)은 VR 카메라(100)를 통해 현재 시점에서 촬영된 운동 경기 영상을 수집한다.
그 다음, 학습모듈(322)은 영상수집모듈(321)에 수집된 복수의 운동 경기 영상을 기 구축된 신경망 모델에 입력하여 특정한 영역에 대핸 줌인 또는 줌아웃된 영상을 출력하도록 학습시킨다.
그리고, 영상추출모듈(323)은 학습이 완료된 신경망 모델에 일정한 시간 동안 촬영된 운동 경기 영상을 입력하여 사용자 단말기(400)에 제공될 영상을 추출한다.
마지막으로 영상제공모듈(324)은 추출된 영상을 사용자 단말기(400)에 제공한다.
이하에서는 도 6 및 도 7을 이용하여 본 발명의 실시예에 따른 영상처리부(320)를 통해 영상을 제공하는 방법에 대해 상세하게 설명한다.
도 6은 본 발명의 실시예에 따른 영상처리부를 통해 영상을 제공하는 방법을 도시한 순서도이고, 도 7은 도 2에 도시된 S620 단계를 설명하기 위한 예시도이다.
먼저, 영상처리부(320)는 VR 카메라(100)로부터 촬영된 운동 경기 영상 중 사용자로부터 줌인/아웃된 영상을 수신한다(S610).
이때, 사용자로부터 줌인/아웃된 영상은 사용자가 바라보는 방향으로 촬영된 영상이며, 수신된 운동 경기 영상은 영상수집모듈(321)에 수집된다.
그 다음, 학습모듈(322)은 영상수집모듈(321)에 수집된 복수의 운동 경기 영상과 사용자로부터 줌인/아웃된 영상을 전달받고, 전달받은 운동 경기 영상을 기 구축된 신경망 모델에 입력하여 사용자로부터 줌인/아웃된 영상을 출력하도록 학습시킨다(S620).
부연하자면, 학습모듈(322)은 일정한 시간 동안 촬영하여 획득한 복수의 운동 경기 영상을 전달받는다. 그리고, 학습모듈(322)은 전달받은 운동 경기 영상 중에서 사용자가 줌인 또는 줌아웃 하였던 영상을 추출하고, 추출된 영상의 일부분을 관심영역으로 설정한다.
그 다음 도 7에 도시된 바와 같이, 학습모듈(322)은 관심영역을 포함하고 있는 영상을 합성곱 신경망(CNN)에 입력하고, 합성곱 신경망(CNN)의 출력 결과를 순환 신경망(RNN) 모델에 입력한다. 그러면, 합성곱 신경망(CNN)과 순환 신경망(RNN) 모델은 설정된 관심영역 부분만을 확대하여 출력한다.
S620 단계를 통해 신경망 모델의 학습을 완료한 상태에서, 영상추출모듈(323)은 현재 시점에서 VR 카메라(100)로부터 수신된 운동 경기 영상을 신경망 모델에 입력하여 사용자 단말기로 제공될 영상을 추출한다(S630).
이에 대해 더욱 상세하게 설명하면, 사용자는 사용자 단말기(400)를 통해 시청하고자 하는 모드를 선택한다. 여기서 모드는 매뉴얼 모드와 다이나믹 모드를 포함한다. 매뉴얼 모드는 사용자의 움직임 또는 시선 방향에 따라 운동 경기 영상을 제공하는 모드를 나타내고, 다이나믹 모드는 합성곱 신경망(CNN)과 순환 신경망(RNN) 모델을 기반으로 운동 경기 영상에 포함된 일부 영역을 자동으로 줌인 또는 줌아웃하여 상기 사용자 단말기로 제공하는 모드를 나타낸다.
따라서, 영상추출모듈(323)은 선택된 모드에 따라 제공된 운동 경기 영상을 추출한다. 즉 사용자에 의해 선택된 모드가 매뉴얼 모드일 경우, 영상추출모듈(323)은 VR 카메라(100)로부터 수신된 운동 경기 영상을 영상제공모듈(324)에 전달한다.
반면에, 사용자에 의해 선택된 모드가 다이나믹 모드일 경우, 영상추출모듈(323)은 VR 카메라(100)로부터 수신된 운동 경기 영상을 신경망 모델에 입력한다. 그 다음, 영상추출모듈(323)은 신경망 모델의 AI 알고리즘에 따라 출력된 줌인 또는 줌아웃된 운동 경기 영상을 추출하고, 추출된 운동 경기 영상을 영상제공모듈(324)에 전달한다.
그 다음, 영상제공모듈(324)은 전달받은 운동 경기 영상을 사용자 단말기(400)에 제공한다(S640).
부연하자면, 영상제공모듈(324)은 평시에는 사용자의 시선 방향에 따라 360˚로 회전 가능한 운동 경기 영상을 제공한다. 한편, 사용자 단말기(400)로부터 다이나믹 모드 신호를 수신받을 경우, 영상제공모듈(324)은 AI 알고리즘에 따라 추출된 운동 경기 영상 즉, 관심영역에 대한 부분을 사용자 단말기(400)에 제공한다. 그러면, 사용자는 머리를 움직이지 않아도 확대된 관심 영역을 착용중인 HMD(Head Mounted Display)의 정면을 통해 시청하게 된다.
이와 같이 본 발명의 실시예에 따른 운동 경기 영상을 제공하는 방송 시스템은 VR 카메라에 의해 촬영된 영상과 사용자가 드론을 조작하면서 발생된 드론 제어신호를 기반으로 드론의 자율 비행을 제어할 수 있으며, 합성곱 신경망(CNN)과 순환 신경망(RNN)을 이용하여 드론 제어신호를 도출하므로 드론 제어신호의 생성 과정을 줄일 수 있을 뿐만 아니라 정밀하고 정확하게 드론을 제어할 수 있는 드론 제어신호를 제공할 수 있다.
또한 본 발명의 실시예에 따른 운동 경기 영상을 제공하는 방송시스템은 사용자에게 몰입감을 극화하기 위해 순환 신경망 모델을 통해 VR 카메라의 워크 제어기술을 도출하여 사용자로 하여금 현장감 및 실제감을 높일 수 있는 효과를 지닌다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : VR 카메라
200 : 드론
300 : 방송서버
310 : 비행 제어부
311 : 영상수집모듈
312 : 제어신호수집모듈
313 : 학습모듈
314 : 제어신호생성모듈
315 : 가중치 제공모듈
316 : 통신모듈
320 : 영상 처리부
321 : 영상수집모듈
322 : 학습모듈
323 : 영상추출모듈
324 : 영상제공모듈
400 : 사용자 단말기

Claims (10)

  1. 드론에 부착된 VR 카메라를 이용하여 촬영한 운동 경기 영상을 제공하는 방송 시스템에 있어서,
    듀얼이미지 센서 기반으로 설계되어 영상 녹화 및 재생이 가능한 촬영용 VR 카메라,
    탑재된 상기 VR 카메라에 의해 촬영된 영상을 방송서버에 전송하고, 상기 방송 서버로부터 비행에 필요한 드론 제어신호를 수신받아 촬영하는 데 필요한 위치 및 각도에 대응하여 운동 경기장 상측을 비행하는 드론, 그리고
    수신된 상기 영상을 기 구축된 신경망 모델에 입력하여 학습시키고, 상기 학습된 신경망 모델을 통해 드론을 제어할 수 있는 드론 제어신호를 생성하며, 상기 전송받은 영상을 사용자 단말기에 전송하는 방송서버를 포함하며,
    상기 방송서버는,
    드론 조종사가 컨트롤러를 통해 출력한 드론 제어신호를 수신하여 학습하고, 상기 학습된 결과에 따라 드론을 자율 비행시키기 위한 드론 제어신호를 생성하는 비행 제어부, 그리고
    상기 VR 카메라에 의해 촬영된 운동 경기 영상을 다수의 사용자가 단말기를 통해 실시간으로 360˚ 영상을 수신할 수 있도록 스트리밍 방식으로 영상을 사용자 단말기로 제공하는 영상처리부를 포함하는 방송시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 비행 제어부는,
    상기 VR 카메라를 통해 현재 시점에서 촬영된 운동 경기 영상을 수집하는 영상수집모듈,
    상기 운동 경기 영상을 촬영하는 시점에 대응하여 상기 컨트롤러로부터 출력된 드론 제어신호를 수집하는 제어신호수집모듈,
    상기 수집된 영상 및 드론 제어신호를 기 구축된 신경망 모델에 입력하여 학습시키는 학습모듈,
    상기 신경망 모델의 학습이 완료된 다음, 상기 학습이 완료된 신경망 모델에 현재 시점에서 촬영된 운동 경기 영상을 입력하여 선수들의 위치에 따라 자율적으로 비행할 수 있도록 드론 제어신호를 생성하는 제어신호생성모듈,
    경기에 참여하고 있는 선수들의 움직임을 감지하고, 상기 선수들의 움직임 벡터에 따라 가중치를 부여하여 보정된 드론 제어신호를 생성하는 가중치 제공모듈, 그리고
    상기 생성된 제어신호를 드론에 전송하는 통신모듈을 포함하는 방송시스템.
  4. 제3항에 있어서,
    상기 학습모듈은,
    입력된 이미지를 복수의 이미지로 분할하여 처리하는 합성곱 신경망(CNN)을 구축하고, 상기 구축된 합성곱 신경망(CNN) 모델에 현재 촬영한 영상과 이전에 촬영한 영상 n개를 연결한 데이터를 입력하며,
    상기 합성곱 신경망(CNN)을 통해 출력된 출력값을 순환 신경망(RNN) 모델에 입력하여 시간적 또는 순서적인 측면에 따른 드론 제어신호를 출력하는 방송시스템.
  5. 제3항에 있어서,
    상기 운동 경기는
    축구, 농구, 핸드볼, 럭비, 아이스하키, 하키 중에서 적어도 하나를 포함하며,
    상기 가중치 제공모듈은,
    진행 중인 운동 경기가 축구, 농구, 럭비 중에서 하나인 경우에는 공의 움직임 벡터에 선수들의 움직임 벡터보다 더 높은 가중치를 부여하고,
    진행 중인 운동 경기가 아이스하키, 하키 중에서 하나인 경우에는 선수들의 움직임 벡터에 공의 움직임 벡터보다 더 높은 가중치를 부여하는 방송시스템.
  6. 제5항에 있어서,
    상기 가중치 제공모듈은,
    경기에 참여하고 있는 선수들의 수, 선수들의 움직임 벡터의 평균값 및 상기 선수들의 상대 위치 중에서 어느 하나의 요소를 이용하여 선수들의 이동방향을 예측하는 방송시스템.
  7. 제1항에 있어서,
    상기 영상처리부는,
    상기 VR 카메라를 통해 현재 시점에서 촬영된 운동 경기 영상을 수신하는 영상수집모듈,
    일정한 시간 동안 촬영된 운동 경기 영상에 대하여 사용자에 의해 관심영역이 설정되면, 상기 설정된 관심영역을 줌인, 줌아웃된 영상을 출력하도록 합성곱 신경망(CNN)과 순환 신경망(RNN) 모델을 학습시키는 학습모듈,
    상기 학습이 완료된 순환 신경망(RNN) 모델에 일정한 시간 동안 촬영된 운동 경기 영상을 입력하여 사용자 단말기로 제공할 영상을 추출하는 영상추출모듈, 그리고
    상기 추출된 영상을 사용자 단말기에 제공하는 영상제공모듈을 포함하는 방송시스템.
  8. 제7항에 있어서,
    상기 학습모듈은,
    일정한 시간만큼 360˚로 촬영된 운동 경기 영상 중에서 사용자가 단말기를 통해 줌인 또는 줌아웃한 부분을 관심영역으로 설정하여 입력하면, 상기 설정된 관심영역의 이미지만을 확대하여 출력하도록 기 구축된 합성곱 신경망(CNN)과 순환 신경망(RNN) 모델을 학습시키는 방송시스템.
  9. 제7항에 있어서,
    상기 영상추출모듈은,
    사용자가 단말기를 통해 선택한 매뉴얼 모드 또는 다이나믹 모드에 따라 운동 경기 영상을 제공하며,
    상기 매뉴얼 모드는,
    상기 사용자의 움직임 또는 시선 방향에 따라 운동 경기 영상을 제공하는 모드를 나타내고,
    상기 다이나믹 모드는,
    상기 합성곱 신경망(CNN)과 순환 신경망(RNN) 모델을 기반으로 운동 경기 영상에 포함된 일부 영역을 자동으로 줌인 또는 줌아웃하여 상기 사용자 단말기로 제공하는 모드를 나타내는 방송시스템.
  10. 제9항에 있어서,
    상기 영상제공모듈은,
    평시에는 사용자의 시선 방향에 따라 360˚로 회전 가능한 운동 경기 영상을 제공하고, 사용자의 단말기로부터 다이나믹 모드 신호를 수신받을 경우에는, AI 알고리즘에 따라 사용자가 착용한 HMD(Head Mounted Display)의 정면에 관심 영역에 대한 부분을 확대하여 제공하는 방송시스템.
KR1020190078060A 2019-06-28 2019-06-28 드론에 부착된 vr 카메라를 이용하여 촬영한 운동 경기 영상을 제공하는 방송 시스템 KR102239134B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190078060A KR102239134B1 (ko) 2019-06-28 2019-06-28 드론에 부착된 vr 카메라를 이용하여 촬영한 운동 경기 영상을 제공하는 방송 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190078060A KR102239134B1 (ko) 2019-06-28 2019-06-28 드론에 부착된 vr 카메라를 이용하여 촬영한 운동 경기 영상을 제공하는 방송 시스템

Publications (2)

Publication Number Publication Date
KR20210001659A KR20210001659A (ko) 2021-01-07
KR102239134B1 true KR102239134B1 (ko) 2021-04-12

Family

ID=74126736

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190078060A KR102239134B1 (ko) 2019-06-28 2019-06-28 드론에 부착된 vr 카메라를 이용하여 촬영한 운동 경기 영상을 제공하는 방송 시스템

Country Status (1)

Country Link
KR (1) KR102239134B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102378738B1 (ko) 2021-10-07 2022-03-28 주식회사 씨스토리 돔형 야구경기장의 스포테인먼트 야구리그 실시간 스트리밍 중계 시스템
KR102407516B1 (ko) 2021-10-07 2022-06-13 주식회사 씨스토리 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템
KR102419101B1 (ko) * 2022-01-05 2022-07-11 국방과학연구소 비행체의 자율 비행을 위한 학습 데이터 생성 방법 및 그 장치
KR102473998B1 (ko) 2022-03-23 2022-12-05 박소영 자세 교정 및 허리 견인 기능성 의자

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170161561A1 (en) * 2015-10-05 2017-06-08 Pillar Vision, Inc. Systems and methods for monitoring objects at sporting events
US20180352144A1 (en) * 2017-06-02 2018-12-06 SZ DJI Technology Co., Ltd. Systems and methods for multi-target tracking and autofocusing based on deep machine learning and laser radar

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190073970A (ko) * 2017-12-19 2019-06-27 주식회사 호그린에어 Sns에서 드론 촬영 영상의 생중계 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170161561A1 (en) * 2015-10-05 2017-06-08 Pillar Vision, Inc. Systems and methods for monitoring objects at sporting events
US20180352144A1 (en) * 2017-06-02 2018-12-06 SZ DJI Technology Co., Ltd. Systems and methods for multi-target tracking and autofocusing based on deep machine learning and laser radar

Also Published As

Publication number Publication date
KR20210001659A (ko) 2021-01-07

Similar Documents

Publication Publication Date Title
KR102239134B1 (ko) 드론에 부착된 vr 카메라를 이용하여 촬영한 운동 경기 영상을 제공하는 방송 시스템
JP6748773B2 (ja) 映像提示装置、映像提示方法、およびプログラム
JP7123523B2 (ja) 自動的にテレビ番組を制作する方法及びシステム
US10771760B2 (en) Information processing device, control method of information processing device, and storage medium
CA2921264C (en) A method and system for producing a video production
EP3713217B1 (en) System and camera device for capturing images
JP2017531979A (ja) スポーツ競技場における視覚的な選手追跡のためのシステムおよび方法
US10652449B2 (en) Information processing apparatus, information processing method, and program
WO2017141166A1 (en) Device for assessing and training the perceptual, cognitive, and motor performance, and method thereof
KR101291765B1 (ko) 실시간 중계방송을 위한 공 궤적 제공 시스템
JP2020086983A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2020235401A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
Wu et al. Enhancing fan engagement in a 5G stadium with AI-based technologies and live streaming
KR102378738B1 (ko) 돔형 야구경기장의 스포테인먼트 야구리그 실시간 스트리밍 중계 시스템
KR101864039B1 (ko) 증강현실을 이용한 격투기 스포츠의 공정심사 솔루션 제공용 빅데이터 분석처리 시스템 및 그 구동방법
KR20110130846A (ko) 경기 참여자 관점의 야구공 영상생성 장치, 시스템, 및 그 방법의 기록매체
US20210258496A1 (en) Image processing device, image processing server, image processing method, and storage medium
JP2009519539A (ja) イベントデータを作成し、これをサービス提供可能な状態にするための方法及びシステム
KR102407516B1 (ko) 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템
US11941841B2 (en) Determination of a locational position for a camera to capture a collision of two or more actors
WO2023127044A1 (ja) 画像処理装置、画像処理方法、及び非一時的なコンピュータ可読媒体
JP7403581B2 (ja) システム及びデバイス
JP7289630B2 (ja) 画像処理装置
WO2024023982A1 (ja) 映像処理装置、方法およびプログラム
WO2023140110A1 (ja) 端末装置、位置姿勢推定方法、およびプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant