KR102117238B1 - 인공지능과 증강현실을 활용한 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치 - Google Patents

인공지능과 증강현실을 활용한 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치 Download PDF

Info

Publication number
KR102117238B1
KR102117238B1 KR1020190006195A KR20190006195A KR102117238B1 KR 102117238 B1 KR102117238 B1 KR 102117238B1 KR 1020190006195 A KR1020190006195 A KR 1020190006195A KR 20190006195 A KR20190006195 A KR 20190006195A KR 102117238 B1 KR102117238 B1 KR 102117238B1
Authority
KR
South Korea
Prior art keywords
image
unit
motion
video
data
Prior art date
Application number
KR1020190006195A
Other languages
English (en)
Inventor
이희덕
Original Assignee
주식회사 비전소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비전소프트 filed Critical 주식회사 비전소프트
Priority to KR1020190006195A priority Critical patent/KR102117238B1/ko
Priority to PCT/KR2019/005435 priority patent/WO2020149462A1/ko
Application granted granted Critical
Publication of KR102117238B1 publication Critical patent/KR102117238B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

본 발명은 카메라에서 습득한 스포츠 중계방송, 예로서, 야구, 당구, 축구, 농구, 배구, 테니스, 배드민턴, 컬링, 펜싱, 태권도 등의 중계방송에서 영상처리 알고리즘 및 인공지능을 활용하여 정밀하고 정량화된 데이터를 검출 후, 실제 촬영영상 정보와 혼합하여 다양한 증강현실(AR/MR) 동영상 콘텐츠를 제공하는 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치에 관한 것이다. 본 발명에 따른 인공지능과 증강현실을 활용한 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치는 스포츠 중계를 촬영하는 적어도 하나 이상의 카메라에서 제공되는 실시간 영상을 수신하는 영상 수신부; 상기 영상 수신부에서 습득한 영상정보를 영상처리 및 인공지능으로 인식된 경기의 흐름을 기반으로 이미지 캡쳐 및 모션을 검출하여 정량화된 객체 데이터를 검출하는 객체 검출부; 상기 영상 수신부에서 수신되는 촬영 영상 및 상기 객체 검출부에서 검출된 객체 데이터를 저장하는 저장부; 및 상기 저장부에 저장된 촬영 영상 및 객체 데이터를 검출하여, 실제 촬영영상 정보와 객체 데이터를 혼합하여 증강현실 동영상 콘텐츠를 제공하는 혼합 영상 생성부를 포함할 수 있다.

Description

인공지능과 증강현실을 활용한 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치{Apparatus for Making Motion Picture Contents in Sporting Relay Broadcast using AI and AR}
본 발명은 카메라에서 습득한 스포츠 중계방송, 예로서, 야구, 당구, 축구, 농구, 배구, 테니스, 배드민턴, 컬링, 펜싱, 태권도 등의 중계방송에서 영상처리 알고리즘 및 인공지능을 활용하여 정밀하고 정량화된 데이터를 검출 후, 실제 촬영영상 정보와 혼합하여 다양한 증강현실(AR/MR) 동영상 콘텐츠를 제공하는 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치에 관한 것이다.
실시간 스포츠 중계방송 시스템의 발전에 따라 경기 상황에 대한 분석 결과를 그래픽으로 생성하여 제공하거나, 경기 분석을 위한 정보를 경기 화면에 오버랩하여 제공하는 등 시청자에게 보다 다양한 정보를 제공하고자 하는 노력이 지속되고 있다.
그러나 이러한 분석의 경우 전문가의 수작업을 통해서 경기 내용을 분석하거나, 자동적인 영상 분석 결과를 활용하여 그 결과를 정리한 후 이를 화면에 표출하는 방식을 이용하고 있다. 이에 따라, 이러한 분석 화면을 제공하기 위해 전문가의 참여가 필요하거나 고가의 영상 분석 시스템이 요구된다.
따라서, 실시간 경기 분석 정보를 제공하는 스포츠 경기 중계방송을 위해서는 많은 비용이 발생하기 때문에 이러한 고품질 분석 정보가 포함되는 스포츠 중계방송은 국가 대항 축구 경기, 월드컵, 올림픽 등과 같이 상품성이 높은 경우로 제한된다.
한편, 국내에서 누적 시청률이 가장 높고 널리 보편화되어 있는 스포츠 중계방송은 야구 중계방송이다. 야구 중계방송에서 시청자가 가장 확인하기 어려운 부분이자 가장 확인하고 싶어하는 부분은 투수의 투구 내용과 관련된 부분이다. 이에, 최근 야구 중계방송에서는 카메라로 촬영한 투구 영상을 천천히 재생하는 영상은 제공해 줌으로써, 순간적으로 이루어지는 투구 내용과 타자의 타격 내용을 시청자가 좀 더 명확하게 확인할 수 있도록 서비스하고 있다.
특히, 시청자는 투수의 투구 자세나 구질, 속도 등을 시각적으로 확인하고 싶은 욕구가 높다. 또한, 투구된 볼이 스트라이크인지 볼인지를 실시간으로 확인하고 싶은 욕구 또한 매우 높은 실정이다. 예를 들어, 야구에 열정적인 시청자들은 투구된 볼의 스트라이크 여부를 심판의 콜 전에 미리 알고 싶어한다. 또한, 심판의 스트라이크 판정에 따라 경기의 흐름 혹은 경기의 결과가 바뀌는 경우가 종종 발생되므로, 야구에 열정적인 시청자들은 심판의 콜이 맞았는지 매 투구마다 즉각적으로 확인하고 싶어하는 욕구가 매우 강하다.
때문에, 시청률이 중요한 현재의 방송 환경에서는 투구된 볼의 스트라이크 여부를 실시간으로 표출하여 시청자들의 욕구를 충족시킬 수 있는 시스템이 절실히 요구되고 있다.
그러나, 위에서 설명한 것과 같이, 이러한 분석 화면을 제공하기 위해 전문가의 참여가 필요하거나 고가의 영상 분석 시스템이 요구되고 있기 때문에 이러한 시청자들의 욕구를 충족시키는데 어려운 문제점이 있다.
이러한 문제점으로 인해, 최근 국내 50만 명이 넘어선 야구동호회, 유소년 리그 등 생활 야구인에게 전력 분석 및 최적화된 경기 영상을 제공하거나, 또는 전문방송사 및 하위리그, 사회인 야구단을 위하여 경기투구 및 타격영상을 정밀하게 제공하는데 어려운 문제점이 있다.
본 발명의 목적은 카메라에서 습득한 스포츠 중계방송, 예로서, 야구, 당구, 축구, 농구, 배구, 테니스, 배드민턴, 컬링, 펜싱, 태권도 등의 중계방송에서 영상처리 알고리즘 및 인공지능을 활용하여 정밀하고 정량화된 데이터를 검출 후, 실제 촬영영상 정보와 혼합하여 다양한 증강현실(AR/MR) 동영상 콘텐츠를 제공하는 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치를 제공하는 것이다.
또한, 본 발명의 목적은 경기투구 및 타격영상을 정밀하게 제공하는 고정밀 동영상 콘텐츠를 저가로 제공하여 다양한 야구 콘텐츠를 고객에 맞춰서 다양하게 서비스할 수 있는 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치를 제공하는 것이다.
또한, 본 발명의 목적은 투수가 투구 시 1초 이내에 빠르게 도달하는 공을 95% 이상 정확하고 정밀하게 인식하고 추적하는 기술로 인공지능을 탑재하여 보다 정확하게 인식하는 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치를 제공하는 것이다.
또한, 본 발명의 목적은 궤적이 큰 변화구, 타격상황 등을 360도 다양한 자유시점에서 인공지능을 통해 이를 인식하여 기존의 단순한 경기 화면에서 제공하지 못하는 입체적인 동영상을 자동으로 생성하여 제공하는 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치를 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명에 따른 인공지능과 증강현실을 활용한 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치는 스포츠 중계를 촬영하는 적어도 하나 이상의 카메라에서 제공되는 실시간 영상을 수신하는 영상 수신부; 상기 영상 수신부에서 습득한 영상정보를 영상처리 및 인공지능으로 인식된 경기의 흐름을 기반으로 이미지 캡쳐 및 모션을 검출하여 정량화된 객체 데이터를 검출하는 객체 검출부; 상기 영상 수신부에서 수신되는 촬영 영상 및 상기 객체 검출부에서 검출된 객체 데이터를 저장하는 저장부; 및 상기 저장부에 저장된 촬영 영상 및 객체 데이터를 검출하여, 실제 촬영영상 정보와 객체 데이터를 혼합하여 증강현실 동영상 콘텐츠를 제공하는 혼합 영상 생성부를 포함할 수 있다.
또한, 상기 객체 검출부는 복수의 카메라에 각각 대응되어, 각 카메라에서 촬영되는 영상에서 카메라 객체 추적기법을 이용하여 미리 설정된 프레임 단위로 객체 이미지를 인식하는 캡쳐부; 상기 캡쳐부에서 인식된 객체 이미지를 기반으로 모션캡쳐 기술을 이용하여 인식된 객체 이미지로 제공되는 움직임 데이터를 생성하는 모션부; 상기 캡쳐부에서 인식된 객체 이미지 및 상기 모션부에서 생성된 움직임 데이터를 병합 적용하여 객체별 모션 영상을 검출하는 검출부; 상기 카메라의 내부 보정 및 상기 검출부에서 검출된 객체별 모션 영상을 통해 실측된 외부 보정을 통해 보정오차를 보정하고, PET 기술을 적용하여 서브-픽셀 단위로 보정하는 위치 보정부; 및 상기 위치 보정부에서 보정된 객체별 모션 영상을 적용하여, 상기 검출부에서 검출된 객체별 모션 영상을 결합하여 스포츠 중계를 360도 복수개의 자유시점에서 인공지능을 통해 이를 인식하여 입체적인 동영상을 생성하는 AI 처리부를 포함할 수 있다.
또한, 상기 모션부는 최근 영상을 마지막 영상과 비교하여 움직임을 검출하기 위해 병렬처리 방식으로 움직임 데이터를 생성할 수 있다.
또한, 상기 검출부는 모션 데이터에서 목표물의 조건에 해당하는 오브젝트를 검색해서 목표물 후보 군을 검출하고 그 위치를 계산하는 것을 특징으로 할 수 있다.
또한, 상기 위치 보정부는 배경에 목표물보다 목표물 조건에 적합한 잡음이 있을 경우, 복수의 목표물이 검출되거나, 잡음이 목표물로 오인되는 경우, 가용 가능한 모든 정보를 수치화하여 뉴럴 네트워크를 구성하여 GPU 병렬처리 계산할 수 있다.
또한, 상기 위치 보정부는 측정장비를 이용하여 기준점(특정 객체 또는 목표물)에 목표물을 위치시킨 후, 목표물이 검출된 지점을 기준점으로 하여 나머지 객체들을 보정하는 것을 특징으로 할 수 있다.
또한, 상기 AI 처리부는 인공지능으로 기준점(특정 객체 또는 목표물)을 위치시킨 후 객체별 모션 영상을 결합하여 판정의 일치성을 유지하여 최적의 위치값을 판정하고 자동으로 하이라이트 영상을 제시할 수 있다.
또한, 상기 혼합 영상 생성부는 상기 저장부에 저장된 촬영 영상 및 객체 데이터를 검출하는 중계 데이터 검출부; 상기 중계 데이터 검출부에서 검출된 촬영 영상 및 객체 데이터를 기반으로 실시간 중계 영상에 모션 궤적과 객체 영상 등을 합성하여 AR 영상을 생성하는 AR 영상 구성부; 상기 AR 영상 구성부에서 생성된 AR 영상을 촬영 영상과 결합하여 실시간으로 출력하는 라이브 영상 출력부; 상기 촬영 영상에서 모션의 완료를 표시하는 경기 데이터가 도착하면, 하나의 모션을 완성하는 모든 경기 데이터를 분석하여, 모션에 관련된 모든 수치정보를 계산하고 기록한 후, 정량화된 값들을 검증하는 경기 자료 분석부; 상기 경기 자료 분석부에서 분석된 정량화된 모션의 수치를 근거로 카메라의 위치와 시간의 흐름을 설정하고, 상기 라이브 영상 출력부에서 출력되는 AR 영상을 360도 복수의 자유시점에서 인공지능을 통해 이를 인식하여 설정된 시퀀스에 대응하여 생성하는 AI 콘텐츠 생성부; 사전에 입력된 모델 데이터를 바탕으로 상기 AI 콘텐츠 생성부에서 설정된 시퀀스에 대응하여 생성된 AR 영상을 실시간 중계 영상에 결합하여 MR 영상을 구성하는 MR 영상 구성부; 및 상기 MR 영상 구성부에서 구성된 MR 영상을 이용하여 방송신호에 대응되도록 설정되는 모션의 설정범위, 오차 속도로 변환하여 실시간으로 자유시점으로 생성하는 리플레이 영상 출력부를 포함할 수 있다.
또한, 상기 AI 콘텐츠 생성부는 미리 설정된 시퀀스(sequence)에 따라 VR 영상이 생성되거나, AI가 상기 AR 영상 구성부에서 생성된 AR 영상을 기반으로 최적의 시퀀스를 선택하고, 이렇게 생성된 VR 영상을 이용하여 AI에 피드백을 주는 방식으로 AI를 학습시키는 것을 특징으로 할 수 있다.
또한, 상기 MR 영상 구성부는 실제 촬영영상 정보와 생성된 VR 영상이 선택되거나, AI가 생성한 카메라 및 시간 시퀀스에 따라 MR 영상을 구성할 수 있다.
본 발명에 따는 인공지능과 증강현실을 활용한 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치는 카메라에서 습득한 스포츠 중계방송에서 실제 촬영영상 정보와 혼합하여 다양한 증강현실(AR/MR) 동영상 콘텐츠를 제공함으로써, 스포츠, 특히 야구 경기에서 투구된 볼을 실시간으로 확인하거나, 심판의 콜이 맞는지 매 투구마다 즉각적으로 확인할 수 있어, 야구에 열정적인 시청자들의 욕구를 충족시킬 수 있다.
또한, 본 발명은 시청자들에게 스포츠 경기 시청의 편의성을 제공할 수 있고, 이를 통해 스포츠 경기 중계 방송의 시청률 상승을 기대할 수 있다.
또한, 본 발명은 고정밀 동영상 콘텐츠를 저가로 제공하여 다양한 동영상 콘텐츠를 고객에 맞춰서 다양하게 서비스할 수 있다.
또한, 본 발명은 현재 수입품에 의존하고 있는 프로야구 경기에 AR을 지원하는 솔루션을 개발하여, 세계적인 경쟁력을 확보함과 동시에 국산화 및 저가의 저변확대 솔루션 공급을 통해 동영상 콘텐츠 제작 발전에 공헌하는 기술을 개발할 수 있다.
상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 실시예에 따른 인공지능과 증강현실을 활용한 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치의 구성을 나타낸 블록도이다.
도 2는 도 1에서 객체 검출부의 구성을 상세히 나타낸 블록도이다.
도 3은 도 1에서 혼합 영상 생성부의 구성을 상세히 나타낸 블록도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
또한 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 상기 구성요소들은 서로 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 다른 구성요소가 "개재"되거나, 각 구성요소가 다른 구성요소를 통해 "연결", "결합" 또는 "접속"될 수도 있는 것으로 이해되어야 할 것이다.
이하에서는, 본 발명의 몇몇 실시예에 따른 인공지능과 증강현실을 활용한 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치를 설명하도록 한다.
도 1은 본 발명의 실시예에 따른 인공지능과 증강현실을 활용한 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치의 구성을 나타낸 블록도이다.
도 1에서 도시하고 있는 것과 같이, 본 발명의 동영상 콘텐츠 제작 장치는 영상 수신부(100), 객체 검출부(200), 저장부(300), 혼합 영상 생성부(400)를 포함한다.
상기 영상 수신부(100)는 스포츠 중계를 촬영하는 적어도 하나 이상의 카메라에서 제공되는 실시간 영상을 수신한다. 이때, 카메라는 예로서, 야구경기 중계방송을 위해 송출되는 가운데, 투수와 포수를 하나의 앵글로 영상을 촬영하고, 이때 촬영되는 영상에서 스트라이크 존(S)과 투수에 의해 투구된 볼의 좌표를 실시간으로 표출한다. 또한 카메라는 투수에 의해 투구된 볼이 홈 플레이트 상에 설정되는 스트라이크 존을 통과할 때, 투수에 의해 투구된 볼의 좌표 추출을 위한 영상을 촬영한다. 카메라에서 촬영되는 영상은 이에 한정되지 않으며 보다 다양한 각도에서 촬영된 영상을 포함할 수 있다.
상기 객체 검출부(200)는 영상 수신부(100)에서 습득한 영상정보를 영상처리 및 인공지능으로 인식된 경기의 흐름을 기반으로 이미지 캡쳐 및 모션을 검출하여 정량화된 객체 데이터를 검출한다. 이때, 객체 검출부(200)의 상세한 구성은 도 2를 참조하여 아래에서 상세히 설명하도록 한다.
한편, 상기 저장부(300)는 영상 수신부(100)에서 수신되는 촬영 영상 및 객체 검출부(200)에서 검출된 객체 데이터를 저장한다.
그리고 상기 혼합 영상 생성부(400)는 저장부(300)에 저장된 촬영 영상 및 객체 데이터를 검출하여, 실제 촬영영상 정보와 객체 데이터를 혼합하여 증강현실(AR/MR) 동영상 콘텐츠를 제공한다. 이때, 혼합 영상 생성부(400)의 상세한 구성은 도 3을 참조하여 아래에서 상세히 설명하도록 한다.
도 2는 도 1에서 객체 검출부의 구성을 상세히 나타낸 블록도이다.
도 2에서 도시하고 있는 것과 같이, 객체 검출부(200)는 복수개의 캡쳐부(210), 모션부(220), 검출부(230)와, 위치 보정부(240) 및 AI 처리부(250)를 포함한다.
상기 캡쳐부(210)는 복수의 카메라에 각각 대응되어, 각 카메라에서 촬영되는 영상에서 카메라 객체 추적기법을 이용하여 미리 설정된 프레임 단위로 객체 이미지를 인식한다.
상기 모션부(220)는 캡쳐부(210)에서 인식된 객체 이미지를 기반으로 모션캡쳐 기술을 이용하여 인식된 객체 이미지로 제공되는 움직임 데이터를 생성한다. 이때, 모션부(220)는 최근 영상을 마지막 영상과 비교하여 움직임을 검출하기 위해 병렬처리 방식으로 움직임 데이터를 생성한다. 예로서, 움직임 데이터는 투수의 피칭 시작과 종료 영상정보에서는 객체로서, 투수의 모션 영상, 투구한 공의 모션 영상, 포수의 모션 영상 및 심판의 콜 영상 등을 포함할 수 있다.
상기 검출부(230)는 캡쳐부(210)에서 인식된 객체 이미지 및 모션부(220)에서 생성된 움직임 데이터를 병합 적용하여 객체별 모션 영상을 검출한다. 이때, 검출부(230)는 모션 데이터에서 목표물의 조건에 해당하는 오브젝트를 검색해서 목표물 후보 군을 검출하고 그 위치를 계산하게 된다.
상기 위치 보정부(240)는 카메라의 내부 보정 및 검출부(230)에서 검출된 객체별 모션 영상을 통해 실측된 외부 보정을 통해 보정오차를 보정하고, PET 기술을 적용하여 서브-픽셀(영상 업스케일링) 단위로 보정한다. 이때, 위치 보정부(240)는 배경에 목표물보다 목표물 조건에 적합한 잡음이 있을 경우, 복수의 목표물이 검출되거나, 잡음이 목표물로 오인되는 경우, 가용 가능한 모든 정보를 수치화하여 뉴럴 네트워크를 구성하여 GPU 병렬처리 계산한다.
그리고 위치 보정부(240)는 측정장비를 이용하여 기준점(특정 객체 또는 목표물)에 목표물을 위치시킨 후, 목표물이 검출된 지점을 기준점으로 하여 나머지 객체들을 보정한다. 또한, 목표물을 기준점으로 일정거리로 이동한 후 검출된 값과 목표물의 위치 값의 차이를 오차 규격으로 설정한다. 위치 보정부(240)는 예로서 홈플레이트 주변에 독립적으로 목표물을 위치시키고(고정대 위에 야구공을 고정시킴) 상기 정확성 측정을 반복하여 그 오차 값의 표준편차를 초기 설정값과 비교하여 측정한다.
상기 AI 처리부(250)는 위치 보정부(240)에서 보정된 객체별 모션 영상을 적용하여, 검출부(230)에서 검출된 객체별 모션 영상을 결합하여 스포츠 중계를 360도 다양한 자유시점에서 인공지능을 통해 이를 인식하여 입체적인 동영상을 생성한다. 이때, AI 처리부(250)는 인공지능으로 기준점(특정 객체 또는 목표물)을 위치시킨 후 객체별 모션 영상을 결합하여 판정의 일치성을 유지할 수 있어, 최적의 위치값을 판정하고 자동으로 하이라이트 영상을 제시한다.
이때, 판정의 일치성은 다음과 같이 유지할 수 있다.
예로서, AI 처리부(250)는 검증하고자 하는 투구의 리플레이를 녹화한 후 분석하여 경기내용 저장파일과 비교한 리플레이 비디오 클립이 투구의 수치적 특성의 표현 정보를 수치화하여 이상적인 조합을 계산하고 실제 측정값이 조합과 얼마나 일치하는지 비교한다.
그리고 낙차(Y 변화율)가 큰 공은 홈플레이트 부근에서 카메라의 방향 벡터(v1)가 Y-Z 평면의 법선 벡터(vx)와 얼마나 일치하는지 두 벡터의 내적 값이 얼마나 1에 근접하고 vz 벡터와 표 벡터를 각각 v1과의 내적 값들의 비율을 구하여 표의 비중이 얼마나 50% 이상이 되는지 확인한다. 이때, 좌우(X 변화율)이 큰 공은 X-Z 평면을 이용하여 계산한다.
그리고 초속과 종속의 차이(시간에 따를 가속도의 변화율, 3차 미분 값)는 투구의 시작 부분과 종료 부분에서 프레임 진행속도(고정)당 투구의 시간 변화율을 증폭하는지 1/1000초 차이로 수치화하여 비교한다.
도 3은 도 1에서 혼합 영상 생성부의 구성을 상세히 나타낸 블록도이다.
도 3에서 도시하고 있는 것과 같이, 혼합 영상 생성부(400)는 중계 데이터 검출부(410), AR 영상 구성부(420), 라이브 영상 출력부(430), 경기 자료 분석부(440), AI 콘텐츠 생성부(450), MR 영상 구성부(460), 리플레이 영상 출력부(470)를 포함한다.
상기 중계 데이터 검출부(410)는 저장부(300)에 저장된 촬영 영상 및 객체 데이터를 검출한다.
상기 AR 영상 구성부(420)는 중계 데이터 검출부(410)에서 검출된 촬영 영상 및 객체 데이터를 기반으로 실시간 중계 영상에 모션 궤적과 객체 영상 등을 합성하여 AR 영상을 생성한다.
상기 라이브 영상 출력부(430)는 AR 영상 구성부(420)에서 생성된 AR 영상을 촬영 영상과 결합하여 실시간으로 출력한다.
상기 경기 자료 분석부(440)는 상기 촬영 영상에서 모션의 완료를 표시하는 경기 데이터가 도착하면, 하나의 모션을 완성하는 모든 경기 데이터를 분석하여, 모션에 관련된 모든 수치정보를 계산하고 기록한 후, 정량화된 값들을 검증한다. 이때, 경기 자료 분석부(440)는 오류가 발생되면 수정이 가능한 경우 수정하고, 그렇지 않은 경우 모션이 인식되지 않은 것으로 판정한다.
상기 AI 콘텐츠 생성부(450)는 경기 자료 분석부(440)에서 분석된 정량화된 모션의 수치를 근거로 카메라의 위치와 시간의 흐름을 설정하고, 라이브 영상 출력부(430)에서 출력되는 AR 영상을 360도 다양한 자유시점에서 인공지능을 통해 이를 인식하여 설정된 시퀀스에 대응하여 생성한다. 이때, AI 콘텐츠 생성부(450)는 미리 설정된 시퀀스(sequence)에 따라 VR 영상이 생성되거나, AI가 AR 영상 구성부(420)에서 생성된 AR 영상을 기반으로 최적의 시퀀스를 선택할 수도 있다. 이렇게 생성된 VR 영상을 이용하여 AI에 피드백을 주는 방식으로 AI를 학습시킬 수 있다.
상기 MR 영상 구성부(460)는 사전에 입력된 모델 데이터를 바탕으로 AI 콘텐츠 생성부(450)에서 설정된 시퀀스에 대응하여 생성된 AR 영상을 실시간 중계 영상에 결합하여 MR 영상을 구성한다. 이때, 실제 촬영영상 정보와 생성된 VR 영상이 선택되거나 AI가 생성한 카메라 및 시간 시퀀스에 따라 MR 영상을 구성한다.
상기 리플레이 영상 출력부(470)는 MR 영상 구성부(460)에서 구성된 MR 영상을 이용하여 방송신호에 적합하도록 설정되는 모션의 설정범위, 오차 속도로 변환하여 실시간으로 자유시점으로 생성하여 영상을 출력한다.
예로서, 리플레이 영상 출력부(470)는 투구의 궤적을 검출한 다음, 그 내용을 좌표로 변환하고, 영상 자동 자르기 설정값 및 오차 시간을 변환한다. 이때, 불필요한 영상을 제거하는 지표로 하이라이트 영상편집을 위하여 영상편집 소프트웨어에서 투수가 공을 던지기 전(1초 기준)과 공이 포수 미트로 가거나 타자가 타격한 이후(2차 기준) 최소 60초 이상을 사용자가 설정할 수 있는지를 확인한다. 또한 영상 자동 자르기가 오차 없이 작동되는지 판정하는 지표로 원본영상과 잘라낸 영상을 비교하여 오차시간이 1초 이내인지를 확인한다. 그리고 원하는 시점의 리플레이 영상을 실시간으로 자유시점으로 생성하여 영상을 출력한다.
이처럼, 본 발명은 분석된 정량화된 데이터를 바탕으로 AR을 적용하여 다양한 3D 애니메이션 효과를 부여하여 통상 투수가 포수에게 공이 가는 1초 이내의 짧은 시간 동안 보기 힘든 공의 구질, 각도 등을 느린 리플레이 영상으로 표출하여 야구를 즐기는 매니아를 위한 다양한 시각적 효과를 제공한다.
이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을 지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.
100: 영상 수신부 200: 객체 검출부
210: 캡쳐부 220: 모션부
230: 검출부 240: 위치 보정부
250: AI 처리부 300: 저장부
400: 혼합영상 생성부 410: 중계 데이터 검출부
420: AR 영상 구성부 430: 라이브 영상 출력부
440: 경기 자료 분석부 450: AI 콘텐츠 생성부
460: MR 영상 구성부 470: 리플레이 영상 출력부

Claims (10)

  1. 스포츠 중계를 촬영하는 적어도 하나 이상의 카메라에서 제공되는 실시간 영상을 수신하는 영상 수신부;
    상기 영상 수신부에서 습득한 영상정보를 영상처리 및 인공지능으로 인식된 경기의 흐름을 기반으로 이미지 캡쳐 및 모션을 검출하여 정량화된 객체 데이터를 검출하는 객체 검출부;
    상기 영상 수신부에서 수신되는 촬영 영상 및 상기 객체 검출부에서 검출된 객체 데이터를 저장하는 저장부; 및
    상기 저장부에 저장된 촬영 영상 및 객체 데이터를 검출하여, 실제 촬영영상 정보와 객체 데이터를 혼합하여 증강현실 동영상 콘텐츠를 제공하는 혼합 영상 생성부를 포함하고,
    상기 객체 검출부는
    복수의 카메라에 각각 대응되어, 각 카메라에서 촬영되는 영상에서 카메라 객체 추적기법을 이용하여 미리 설정된 프레임 단위로 객체 이미지를 인식하는 캡쳐부;
    상기 캡쳐부에서 인식된 객체 이미지를 기반으로 모션캡쳐 기술을 이용하여 인식된 객체 이미지로 제공되는 움직임 데이터를 생성하는 모션부;
    상기 캡쳐부에서 인식된 객체 이미지 및 상기 모션부에서 생성된 움직임 데이터를 병합 적용하여 객체별 모션 영상을 검출하는 검출부;
    상기 카메라의 내부 보정 및 상기 검출부에서 검출된 객체별 모션 영상을 통해 실측된 외부 보정을 통해 보정오차를 보정하고, PET 기술을 적용하여 서브-픽셀 단위로 보정하는 위치 보정부; 및
    상기 위치 보정부에서 보정된 객체별 모션 영상을 적용하여, 상기 검출부에서 검출된 객체별 모션 영상을 결합하여 스포츠 중계를 360도 복수개의 자유시점에서 인공지능을 통해 이를 인식하여 입체적인 동영상을 생성하는 AI 처리부를 포함하는 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치.
  2. 삭제
  3. 제1 항에 있어서,
    상기 모션부는 최근 영상을 마지막 영상과 비교하여 움직임을 검출하기 위해 병렬처리 방식으로 움직임 데이터를 생성하는 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치.
  4. 제1 항에 있어서,
    상기 검출부는 모션 데이터에서 목표물의 조건에 해당하는 오브젝트를 검색해서 목표물 후보 군을 검출하고 그 위치를 계산하는 것을 특징으로 하는 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치.
  5. 삭제
  6. 제1 항에 있어서,
    상기 위치 보정부는 측정장비를 이용하여 기준점(특정 객체 또는 목표물)에 목표물을 위치시킨 후, 목표물이 검출된 지점을 기준점으로 하여 나머지 객체들을 보정하는 것을 특징으로 하는 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치.
  7. 삭제
  8. 제1 항에 있어서,
    상기 혼합 영상 생성부는
    상기 저장부에 저장된 촬영 영상 및 객체 데이터를 검출하는 중계 데이터 검출부;
    상기 중계 데이터 검출부에서 검출된 촬영 영상 및 객체 데이터를 기반으로 실시간 중계 영상에 모션 궤적과 객체 영상 등을 합성하여 AR 영상을 생성하는 AR 영상 구성부;
    상기 AR 영상 구성부에서 생성된 AR 영상을 촬영 영상과 결합하여 실시간으로 출력하는 라이브 영상 출력부;
    상기 촬영 영상에서 모션의 완료를 표시하는 경기 데이터가 도착하면, 하나의 모션을 완성하는 모든 경기 데이터를 분석하여, 모션에 관련된 모든 수치정보를 계산하고 기록한 후, 정량화된 값들을 검증하는 경기 자료 분석부;
    상기 경기 자료 분석부에서 분석된 정량화된 모션의 수치를 근거로 카메라의 위치와 시간의 흐름을 설정하고, 상기 라이브 영상 출력부에서 출력되는 AR 영상을 360도 복수의 자유시점에서 인공지능을 통해 이를 인식하여 설정된 시퀀스에 대응하여 생성하는 AI 콘텐츠 생성부;
    사전에 입력된 모델 데이터를 바탕으로 상기 AI 콘텐츠 생성부에서 설정된 시퀀스에 대응하여 생성된 AR 영상을 실시간 중계 영상에 결합하여 MR 영상을 구성하는 MR 영상 구성부; 및
    상기 MR 영상 구성부에서 구성된 MR 영상을 이용하여 방송신호에 대응되도록 설정되는 모션의 설정범위, 오차 속도로 변환하여 실시간으로 자유시점으로 생성하는 리플레이 영상 출력부를 포함하는 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치.
  9. 삭제
  10. 제8 항에 있어서,
    상기 MR 영상 구성부는 실제 촬영영상 정보와 생성된 VR 영상이 선택되거나, AI가 생성한 카메라 및 시간 시퀀스에 따라 MR 영상을 구성하는 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치.
KR1020190006195A 2019-01-17 2019-01-17 인공지능과 증강현실을 활용한 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치 KR102117238B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190006195A KR102117238B1 (ko) 2019-01-17 2019-01-17 인공지능과 증강현실을 활용한 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치
PCT/KR2019/005435 WO2020149462A1 (ko) 2019-01-17 2019-05-07 정밀도가 향상된 동영상 검출 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190006195A KR102117238B1 (ko) 2019-01-17 2019-01-17 인공지능과 증강현실을 활용한 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치

Publications (1)

Publication Number Publication Date
KR102117238B1 true KR102117238B1 (ko) 2020-06-01

Family

ID=71083287

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190006195A KR102117238B1 (ko) 2019-01-17 2019-01-17 인공지능과 증강현실을 활용한 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치

Country Status (1)

Country Link
KR (1) KR102117238B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102299565B1 (ko) * 2021-04-27 2021-09-08 (주)비코 실시간 방송 영상에서 실시간으로 인물 객체를 인식하고 영상 처리하는 방법 및 이러한 방법을 수행하는 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016219968A (ja) * 2015-05-19 2016-12-22 日本放送協会 多視点映像表現装置及びそのプログラム
KR20180093582A (ko) * 2017-02-14 2018-08-22 한국전자통신연구원 엔드투엔드 학습에 기반한 영상 이벤트 구간 인덱싱 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016219968A (ja) * 2015-05-19 2016-12-22 日本放送協会 多視点映像表現装置及びそのプログラム
KR20180093582A (ko) * 2017-02-14 2018-08-22 한국전자통신연구원 엔드투엔드 학습에 기반한 영상 이벤트 구간 인덱싱 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102299565B1 (ko) * 2021-04-27 2021-09-08 (주)비코 실시간 방송 영상에서 실시간으로 인물 객체를 인식하고 영상 처리하는 방법 및 이러한 방법을 수행하는 장치

Similar Documents

Publication Publication Date Title
US11612801B2 (en) System and method for determining impact characteristics of sports ball striking element
JP2018503301A (ja) 放送において風の特性及び影響を表示するためのシステム及び方法
US20150332478A1 (en) Field goal indicator for video presentation
CN110603573B (zh) 虚拟现实提供系统、三维显示数据提供装置、虚拟空间提供系统和程序
CN113873174A (zh) 用于自动电视制作的方法和系统
WO1999035503A2 (en) System for determining the position of an object
CN111866575A (zh) 一种实时动作视频智能捕捉与反馈方法及系统
KR20230154420A (ko) 플레이어의 식별을 위한 시스템 및 방법
JPH06105231A (ja) 画像合成装置
CZ24742U1 (cs) Zarízení pro záznam a zobrazení dopadu mícku okolo cáry hracího pole za pouzití kamer
KR102117238B1 (ko) 인공지능과 증강현실을 활용한 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치
KR20140023136A (ko) 골프방송중 퍼팅정보 디스플레이시스템 및 그 방법
US10786742B1 (en) Broadcast synchronized interactive system
KR101164894B1 (ko) 경기 참여자 관점의 야구공 영상생성 장치, 시스템, 및 그 방법의 기록매체
KR101703317B1 (ko) 야구경기 중계방송에서의 실시간 표출시스템
WO2023049868A1 (en) Methods and systems to track a moving sports object trajectory in 3d using multiple cameras
EP3836012B1 (en) A device, computer program and method for determining handball performed by a player
WO2020149462A1 (ko) 정밀도가 향상된 동영상 검출 장치
JP2006238393A (ja) スポーツテレビ放送の送受信と表現出力する方法およびシステム、および、スポーツテレビ放送の受信表現出力方法および装置、および、スポーツテレビ放送の受信記録送信方法および装置、および、スポーツテレビ放送の受信記録再生方法および装置、および、スポーツのプレイの開始および終了の検出方法
KR101864039B1 (ko) 증강현실을 이용한 격투기 스포츠의 공정심사 솔루션 제공용 빅데이터 분석처리 시스템 및 그 구동방법
KR102149005B1 (ko) 객체 속도 계산 및 표시 방법 및 장치
JP2011205643A (ja) スポーツテレビ放送の送受信と表現出力する方法およびシステム、および、スポーツテレビ放送の受信表現出力方法および装置、および、スポーツテレビ放送の受信記録送信方法および装置、および、スポーツテレビ放送の受信記録再生方法および装置、および、スポーツのプレイの開始および終了の検出方法
US11615580B2 (en) Method, apparatus and computer program product for generating a path of an object through a virtual environment
EP4089636A1 (en) Apparatus, method and computer program product for generating location information of an object in a scene
WO2023127044A1 (ja) 画像処理装置、画像処理方法、及び非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant