KR101291765B1 - 실시간 중계방송을 위한 공 궤적 제공 시스템 - Google Patents

Abstract

정확한 공의 궤적이 확인될 수 있는 위치에서 높은 셔터 스피드로 획득한 영상으로부터 이전 프레임들에서 얻은 공의 궤적이 정확하게 표현된 슬로우모션 영상을 생성할 수 있도록 한 실시간 중계방송을 위한 공 궤적 제공 시스템에 관한 것으로, 촬영 영역에 비해 크기가 작은 공을 실물로 트래킹하여 해당 실물을 시청자가 그 궤적을 명확하게 확인할 수 있도록 진행 방향과 시간 순서를 고려하여 오버레이 순서를 가변하며, 궤적으로 표시되는 공의 크기나 표현 상태를 궤적 확인에 적합하게 변형하여 프레임마다 일정 수준의 궤적이 나타나도록 프레임을 재구성하며, 이러한 프레임들을 이용하여 슬로우모션 영상을 수초 이내에 생성하도록 함으로써 실시간 중계방송에서 공을 이용한 상황이 발생한 후 곧바로 해당 공의 궤적을 정확하게 확인할 수 있는 슬로우모션을 제공할 수 있어 중계방송의 품질을 크게 높일 수 있는 효과가 있다.

Description

실시간 중계방송을 위한 공 궤적 제공 시스템{Ball trace providing system for realtime broadcasting}

본 발명은 실시간 중계방송을 위한 공 궤적 제공 시스템에 관한 것으로, 특히 정확한 공의 궤적이 확인될 수 있는 위치에서 높은 셔터 스피드로 획득한 영상으로부터 이전 프레임들에서 얻은 공의 궤적이 정확하게 표현된 슬로우모션 영상을 생성할 수 있도록 한 실시간 중계방송을 위한 공 궤적 제공 시스템에 관한 것이다.

실시간 스포츠 중계방송 시스템의 발전에 따라 게임 상황에 대한 분석 결과를 그래픽으로 생성하여 제공하거나 경기 분석을 위한 정보를 경기 화면에 오버랩하여 제공하는 등 시청자에게 보다 다양한 정보를 제공하고자 하는 노력이 지속 되고 있다.

그러나, 이러한 분석의 경우 전문가의 수 작업을 통해서 경기 내용을 분석하거나 자동적인 영상 분석 결과를 활용하여 그 결과를 정리한 후 이를 화면에 표출하는 방식을 이용하고 있으므로 이러한 분석 화면을 제공하기 위해 전문가의 참여가 필요하거나 고가의 영상 분석 시스템이 요구된다.

따라서, 실시간 경기 분석 정보를 제공하는 스포츠 경기 중계방송을 위해서는 많은 비용이 발생하기 때문에 이러한 고품질 분석 정보가 포함되는 스포츠 중계 방송은 국가 대항 축구 경기, 월드컵, 올림픽 등과 같이 상품성이 높은 경우로 제한된다.

한편, 국내에서 가장 누적 시청율이 높고 널리 보편화 되어 있는 스포츠 중계 방송은 야구 중계방송이다. 야구 중계방송에서 시청자가 가장 확인하기 어려운 부분이 투수의 피칭 내용이므로 투수의 피칭 시 그 궤적이나 정확한 타자의 스윙을 확인하는데 도움이 될 수 있는 영상에 대한 요구가 높았으나 아직 이러한 요구를 만족시킬 정도의 영상을 제공하고 있지 못하다. 즉, 앞서 살펴본 이유로 인하여 일상적으로 실시되는 시즌 내 야구 중계방송에 고가의 분석 장비를 적용하거나 전문 분석가가 분석 결과를 제공하기 어려울 뿐만 아니라, 매회 수십 번의 투수 피칭에 대한 실시간 분석이 요구되므로 시청자가 만족할 만한 영상을 경제적으로 제공하기가 어려운 실정이다.

다만, 투수의 피칭 내용을 관심 있게 확인해야 할 필요가 있을 경우 중계방송용 카메라로 촬영한 피칭 영상을 천천히 재생하는 수준의 슬로우모션 영상을 제공해 줌으로써 순간적으로 이루어지는 피칭 내용과 타자의 스윙 내용을 관중이나 시청자가 좀 더 명확하게 파악할 수 있도록 하고 있고 있으나, 낮은 프레임 수에 의해 고속 이동하는 야구공을 확인하기도 어려울 뿐만 아니라 해당 중계방송용 카메라의 위치에 의해 시점이 왜곡되어 투구 궤적을 짐작하기도 어렵다.

도 1은 전형적인 야구 경기장(1)에서 투수의 피칭을 확인할 수 있는 방송 카메라 위치를 보인 것으로, 도시한 바와 같이 경기장(1)에서 마운드와 홈플레이트를 잇는 중심선에서 벗어난 위치에 방송 카메라(5)가 위치하게 되는데, 알려져 있는 바와 같이 방송 카메라(5)의 경우 상당한 크기를 가지며 촬영기사가 이를 직접 제어하는 방식으로 구성되고, 해당 방송 카메라(5)는 투수의 투구뿐만 아니라 경지 진행에 따라 여러 방향으로 움직이면서 촬영을 실시하므로 이를 상기 중심선 위치로 옮기게 되면 카메라의 움직임이 타자의 집중력을 낮추게 되어 도시된 위치와 같이 중심선에서 벗어난 곳에 배치될 수밖에 없다.

도 2은 도 1의 구성과 같이 배치된 현재의 방송 카메라를 통해 촬영된 경기 장면으로, 도시한 바와 같이 투수의 마운드 중심과 홈플레이트 중심 사이가 상당한 거리(D1)로 벌어져 시야가 왜곡되기 때문에 실제 투구 궤적을 확인하기 어려움을 알 수 있다.

한편, 투구 속도는 선수와 구종에 따라 다르지만 대부분 80~160km/h의 고속이고 전체 영상의 범위에 대비하여 공의 크기가 작아 현재 HD 방송용 방송 카메라가 제공하는 30프레임, 1/60s 셔터 스피드의 영상으로는 명확한 투구 궤적을 확인하기 어렵다.

따라서, 중요한 피칭의 경우 이를 슬로우모션으로 처리하여 다시 한번 제공하는 것으로 투구와 타자의 스윙 내용을 좀더 명확하게 확인할 수 있도록 하고 있으나 초당 30프레임, 1/60s 셔터 스피드 수준으로 촬영한 영상을 천천히 재생하는 정도로는 작고 흐릿한 공을 통해 투구 궤적을 확인하기 어렵다. 즉, 현재 제공되는 슬로우모션은 투수의 투구 궤적을 확인하기 위한 용도라기보다는 단순히 타자의 스윙 타이밍 정도와 타격 내용을 어렴풋이 확인할 수 있는 정도에 불과했다.

다른 방식으로, 정확한 슬로우모션 영상을 통한 투구 궤적 확인을 위해서 초고속 카메라를 통해서 투구 내용을 많은 양의 프레임을 이용한 슬로우모션으로 제공하는 방식이 적용되기도 한다. 하지만, 이러한 초고속 카메라의 경우 그 크기가 크기 때문에 역시 경기장의 좌우측 부분에 설치되어 왜곡이 발생되고 가격이 고가이기 때문에 시스템 구축 비용이 높고, 명확한 투구 궤적 확인을 위해서 촬영 후 추가적인 영상 분석이나 수동적인 궤적 표시를 해 주어야 하므로 최근의 HD급 영상을 후 처리하기 위해 고가의 장비와 상당한 시간이 필요하여 일반적인 야구 중계에 적용하기 어렵고 실시간 중계방송 중 짧은 투구 시간 간격 사이에 모든 작업을 완료하여 경기 사이 시간에 궤적 정보를 제공해야 하는 시간 제한에 대응하기 어렵다.

결국, 가급적 낮은 비용으로 보다 명확한 투구 궤적을 실시간 처리를 통해 시청자에게 명확히 확인할 수 있도록 하는 실시간 중계방송을 위한 공 궤적 제공 시스템이 요구되고 있으며, 축구나 배구, 골프 등과 같이 공을 이용하는 다양한 종류의 경기에 대한 공의 궤적 분석도 점차 요구되고 있는 실정이다.

한국 등록특허 제10-0974638호 한국 공개특허 제10-2005-0079275호

전술한 문제점을 개선하기 위한 본 발명 실시예들의 목적은 특정 영역을 높은 셔터 스피드와 프레임으로 촬영하는 전용 촬영 수단을 적용하면서 해당 촬영 영상 내에서 추적 영역과 대상을 한정하여 공에 대한 트래킹 부하와 처리 시간을 줄이며, 트래킹을 통해 얻은 궤적 정보를 효과적으로 프레임에 반영한 슬로우모션 출력을 제공함으로써 처리시간을 크게 줄인 실시간 중계방송을 위한 공 궤적 제공 시스템을 제공하는 것이다.

본 발명의 다른 목적은 촬영 영역에 비해 크기가 작은 공을 트래킹하여 해당 공의 이미지를 시청자가 그 궤적을 명확하게 확인할 수 있도록 진행 방향과 시간 순서를 고려하여 순서를 가변하면서 오버레이하고, 궤적으로 표시되는 공의 크기나 표시 상태를 궤적 확인에 적합하게 변형하여 프레임마다 일정 수준의 궤적이 나타나도록 프레임을 재구성하며, 이러한 프레임들을 이용하여 슬로우모션 영상을 생성하도록 한 실시간 중계방송을 위한 공 궤적 제공 시스템을 제공하는 것이다.

본 발명의 다른 목적은 경기에 따라 공이 이동하는 궤적을 플레이어가 확인하기 어려운 크기나 위치에서 고품질 촬영이 가능한 전용 촬영 수단을 적용하여 공의 궤적을 가급적 왜곡 없이 확인할 수 있도록 하는 것은 물론이고 이를 통해서 플레이어의 경기 분석까지도 가능할 정도의 안정적 궤적 확인이 가능한 실시간 중계방송을 위한 공 궤적 제공 시스템을 제공하는 것이다.

본 발명의 또 다른 목적은 경기가 이루어지는 방향 전면에 설치되는 카메라뿐만 아니라 경기가 이루어지는 방향의 후면에 위치하여 이동 및 앵글 변화가 가능하도록 구성된 카메라를 더 적용하여 동일한 방식으로 궤적 확인을 위한 슬로우모션 영상을 출력하도록 함으로써 동일 플레이어, 동일 궤적, 동일 경기 중 적어도 하나에 대한 복합적 궤적 확인이 가능하도록 한 실시간 중계방송을 위한 공 궤적 제공 시스템을 제공하는 것이다.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 실시간 중계방송을 위한 공 궤적 제공 시스템은 중계방송 규격에 따른 영상 프레임 수 및 셔터 스피드보다 더 많은 프레임 수와 더 빠른 셔터 스피드로 기 설정된 경기 영역에 대한 영상 촬영을 실시하는 관찰 카메라와; 상기 관찰 카메라의 촬영 영역 중 공을 트래킹할 영역을 설정하여 해당 영역에 대해서 기 설정된 공의 크기와 형상에 대응되는 공을 트래킹하여 프레임 별로 공의 위치와 이미지를 추출하며, 현재 프레임 이전에 추출된 프레임별 공의 위치와 이미지를 이용하여 기 설정된 수의 공 궤적이 나타나도록 현재 프레임을 재구성한 후 해당 재구성된 프레임을 포함하는 슬로우모션 영상을 생성하여 출력하는 영상 서버를 포함한다.

상기 영상 서버는 공의 이동 방향과 관찰 방향을 고려하여 설정한 순서에 따라 이전 프레임에서 추출된 공의 위치와 이미지를 순서대로 오버레이한 공 궤적을 표현한다.

상기 영상 서버는 추출된 공의 이미지를 기 설정된 크기와 표현 상태로 오버레이하여 재구성된 프레임을 생성한다. 여기서 상기 크기와 표현 상태는 공의 이동 방향과 관찰 방향을 고려하여 기 설정된 순서에 따라 점진적으로 가변될 수 있다.

상기 관찰 카메라의 셔터 스피드는 1/600s 이하이고 프레임 수는 60fps 이상인 것을 특징으로 한다.

상기 관찰 카메라는 야구 경기의 투수 피칭을 관찰하기 위한 것으로, 홈플레이트와 마운드를 연장한 연장선을 기준으로 15도 이내 범위인 외야측에 마운드 기준 7~14m 높이로 고정 설치될 수 있다. 여기서, 상기 관찰 카메라는 타자 위치에서 설치 위치까지의 거리를 기준으로 타자의 시야를 방해하지 않는 것으로 기 합의된 크기 이하를 가지는 것이 바람직하다.

한편, 상기 관찰 카메라는 투수와 포수 및 타자가 확인되는 화면 구성을 위한 광학 줌을 포함하며, 적어도 경기 중에는 해당 상태가 고정되는 것이 바람직하다.

상기 영상 서버는 공의 궤적을 트래킹할 시작 시점과 종료 시점에 대한 정보를 수신하여 해당 기간 동안 상기 관찰 카메라로부터 획득한 영상에 대한 트래킹 및 트래킹된 이전 프레임의 공의 위치 및 이미지를 통한 현재 프레임의 궤적 표현 재구성을 수행한다. 한편, 상기 영상 서버는 중계방송을 위한 방송 편집부로부터 상기 트래킹 시작과 종료 시점에 대한 정보를 수신하며, 상기 방송 편집부의 일부 구성으로 통합 구성될 수도 있다.

상기 관찰 카메라는 위치 이동과 PTZ(팬, 틸트, 줌) 기능 중 적어도 하나의 구동 기능을 더 포함하되, 트래킹 중에는 촬영 영역이 고정되는 것이 바람직하다. 여기서, 상기 관찰 카메라의 구동 기능은 상기 영상 서버나 상기 영상 서버가 제공하는 출력 영상을 수신하는 외부 방송 편집부에 의해 제어될 수 있다.

상기 영상 서버는 상기 트래킹 중 트래킹에 실패한 프레임의 경우 해당 실패 프레임 이전과 이후 프레임의 트래킹 정보를 이용하여 해당 실패 프레임의 공 위치와 이미지를 생성할 수 있다.

상기 영상 서버는 트래킹 영역과 대상, 시작과 종료 시점, 궤적을 구성할 공의 빈도와 수 및 방향, 궤적 구성 공 이미지의 표현 방식 중 적어도 하나를 포함하는 트래킹 파라미터를 수신 및 관리하며, 프레임별 공의 위치와 이미지에 대한 궤적 정보를 이용하여 궤적이 표현된 프레임들을 생성하고, 상기 궤적이 표현된 프레임을 이용하여 슬로우모션을 생성하여 출력하는 송출 영상 생성부를 포함할 수 있다.

한편, 상기 영상 서버는 상기 송출 영상 생성부로부터 수신된 트래킹 파라미터에 따라 상기 관찰 카메라의 영상에서 기 설정된 공을 트래킹하여 트래킹된 프레임에서 공의 위치와 이미지를 추출한 후 궤적 정보로 관리하며, 상기 궤적 정보를 상기 송출 영상 생성부에 전달하는 영상 트레킹부를 포함할 수 있다.

상기 영상 서버는 기 설정된 트래킹 영역 내 픽셀들을 슬라이딩 방식으로 탐색하여 기 설정된 공 이미지와 기 설정된 비율 이상으로 일치하는 영역에 대한 위치 정보를 프레임 순서대로 기 설정된 수만큼 저장하고, 해당 일치 영역의 좌표 변화를 기준으로 공의 위치를 파악한 후 파악된 공의 위치를 기준으로 상기 공 이미지 일치 영역이 탐색된 프레임에 후속되는 프레임의 트래킹 영역을 줄여 탐색 정확도를 높이고 시간을 줄일 수 있다.

다른 방식으로, 상기 영상 서버는 기 설정된 트래킹 영역에 대한 이전 프레임과 현재 프레임 간 차이를 구하여 움직임 발생 영역을 추출하고, 해당 추출 영역과 기 설정된 공의 크기, 색상을 기준으로 노이즈를 제거하고 검출한 영역의 위치를 프레임 순서로 기 설정된 수만큼 저장한 후 해당 일치 영역의 좌표 변화를 기준으로 공의 위치를 파악한 후 이후 해당 좌표의 변화를 기준으로 탐색 영역을 줄여 탐색 정확도를 높이고 시간을 줄일 수 있다.

본 발명의 다른 실시예에 따른 실시간 중계방송을 위한 공 궤적 제공 시스템은 경기를 관찰할 수 있는 제 1위치에 배치되어 중계방송 규격에 따른 영상 프레임 수 및 셔터 스피드보다 더 많은 프레임 수와 더 빠른 셔터 스피드로 영상 촬영을 실시하는 제 1관찰 카메라와; 경기를 관찰할 수 있는 제 2위치에 배치되어 중계방송 규격에 따른 영상 프레임 수 및 셔터 스피드보다 더 많은 프레임 수와 더 빠른 셔터 스피드로 영상 촬영을 실시하는 제 2관찰 카메라와; 상기 관찰 카메라들 각각의 촬영 영역 중 공을 트래킹할 영역을 설정하여 해당 영역에 대해서 기 설정된 공의 크기와 형상에 대응되는 공을 트래킹하여 프레임 별로 공의 위치와 이미지를 추출하며, 현재 프레임 이전에 추출된 프레임별 공의 위치와 이미지를 이용하여 기 설정된 수의 공 궤적이 나타나도록 현재 프레임을 재구성한 후 해당 재구성된 프레임을 포함하는 슬로우모션 영상을 생성하여 출력하는 영상 서버를 포함한다.

상기 제 1관찰 카메라는 야구 경기의 투수 피칭을 관찰하기 위해 외야에 고정 배치되고, 상기 제 2관찰 카메라는 포수 후면에서 투수 피칭을 관찰하기 위해 배치될 수 있다.

상기 영상 서버는 상기 제 1관찰 카메라와 제 2관찰 카메라 중 하나에 선택적으로 연결될 수 있다.

상기 제 1관찰 카메라나 제 2 관찰 카메라 중 적어도 하나의 관찰 카메라는 위치 이동과 PTZ(팬, 틸트, 줌) 기능 중 적어도 하나의 구동 기능을 더 포함하되, 트래킹 중에는 촬영 상태가 고정되는 것이 바람직하다.

본 발명 실시예에 따른 실시간 중계방송을 위한 공 궤적 제공 시스템은 특정 영역을 높은 셔터 스피드와 프레임으로 촬영하는 전용 촬영 수단을 적용하면서 해당 촬영 영상 내에서 추적 영역과 대상을 한정하여 공에 대한 트래킹 부하와 처리 시간을 줄이며, 트래킹을 통해 얻은 궤적 정보를 효과적으로 프레임에 반영한 슬로우모션 출력을 제공함으로써 처리시간을 크게 줄일 수 있어 실시간 중계방송에서도 정확한 공의 궤적을 경제적으로 제공하는 서비스가 가능한 효과가 있다.

본 발명 실시예에 따른 실시간 중계방송을 위한 공 궤적 제공 시스템은 촬영 영역에 비해 크기가 작은 공을 트래킹하여 해당 공의 이미지를 시청자가 그 궤적을 명확하게 확인할 수 있도록 진행 방향과 시간 순서를 고려하여 순서를 가변하면서 오버레이하고, 궤적으로 표시되는 공의 크기나 표시 상태를 궤적 확인에 적합하게 변형하여 프레임마다 일정 수준의 궤적이 나타나도록 프레임을 재구성하며, 이러한 프레임들을 이용하여 슬로우모션 영상을 수초 이내에 생성하도록 함으로써 실시간 중계방송에서 공을 이용한 상황이 발생한 후 곧바로 해당 공의 궤적을 정확하게 확인할 수 있는 슬로우모션을 제공할 수 있어 중계방송의 품질을 크게 높일 수 있는 효과가 있다.

본 발명 실시예에 따른 실시간 중계방송을 위한 공 궤적 제공 시스템은 경기에 따라 공이 이동하는 궤적을 플레이어가 확인하기 어려운 크기나 위치에서 고품질 촬영이 가능한 전용 촬영 수단을 적용하여 공의 궤적을 가급적 왜곡 없이 확인할 수 있도록 하는 것은 물론이고 이를 통해서 플레이어의 경기 분석까지도 가능할 정도의 고품질 분석 영상을 경제적이면서도 신속하게 제공할 수 있는 효과가 있다.

본 발명 실시예에 따른 실시간 중계방송을 위한 공 궤적 제공 시스템은 경기가 이루어지는 방향 전면에 설치되는 카메라뿐만 아니라 경기가 이루어지는 방향의 후면에 위치하여 이동 및 앵글 변화가 가능하도록 구성된 카메라를 더 적용하여 동일한 방식으로 궤적 확인을 위한 슬로우 모션 영상을 출력하도록 함으로써 동일 플레이어, 동일 궤적, 동일 경기 중 적어도 하나에 대한 복합적 궤적 확인이 가능하도록 함으로써 고속으로 움직이는 공을 이용한 경기를 시청자가 명확하게 인지하도록 하여 중계방송에 대한 몰입도를 크게 높일 수 있는 효과가 있다.

도 1은 종래 투구 상황을 촬영하는 방송 카메라의 위치를 설명하기 위한 개념도.
도 2는 종래 투구 시점의 촬영 화면 예.
도 3은 본 발명의 실시예에 따른 관찰 카메라의 위치를 설명하기 위한 개념도.
도 4는 본 발명의 실시예에 따른 관찰 카메라의 촬영 화면 예.
도 5은 본 발명의 실시예에 따른 실시간 중계방송을 위한 공 궤적 제공 시스템이 적용된 방송 시스템의 구성예.
도 6은 본 발명의 실시예에 따른 영상 서버의 일부 구성을 상세 설명하기 위한 구성도.
도 7은 본 발명의 실시예에 따른 공의 트래킹 및 궤적 정보 관리를 설명하기 위한 개념도.
도 8은 본 발명의 실시예에 따른 궤적 정보가 표현된 재구성 프레임의 예.
도 9는 본 발명의 실시예에 따른 영상 서버 파라미터 설정 화면의 예.
도 10은 본 발명의 다른 실시예에 따른 제 2관찰 카메라의 위치를 설명하기 위한 개념도.
도 11은 본 발명의 다른 실시예에 따른 실시간 중계방송을 위한 공 궤적 제공 시스템이 적용된 방송 시스템의 구성예.
도 12는 본 발명의 다른 실시예에 따른 제 2관찰 카메라의 영상을 통해 궤적 정보를 표현한 재구성 프레임의 예.

상기한 바와 같은 본 발명을 첨부된 도면들과 실시예들을 통해 상세히 설명하도록 한다. 본 발명의 실시예에서는 실시간 중계방송 중 가장 보편화된 야구 중계방송을 대상으로 설명하며, 트래킹되는 공을 야구공으로 설명한다. 그러나, 본 발명의 구성 및 동작 원리에 따르면 본 발명의 적용 대상은 야구 경기로 한정되지 않으며 공을 이용하는 대부분의 스포츠 경기에 적용 가능하다는 것에 유의한다.

도 3은 본 발명의 실시예에 적용되는 관찰 카메라의 위치를 설명하기 위한 개념도이며, 도 4는 도 3의 위치에 설치된 관찰 카메라에서 촬영한 영상의 예를 보인 것이다. 도시되는 실시예는 실시간 중계방송으로 야구 중계방송을 예로 든 경우이다.

도시한 바와 같이 본 발명의 실시예에 따른 관찰 카메라의 일종인 피칭 카메라(10)는 경기장(1)의 홈플레이트와 마운드를 연장한 연장선을 기준으로 외야측에 설치된다. 이를 통해서 투수와 포수가 거의 직선으로 배치되어 투수의 투구 궤적을 왜곡 없이 파악할 수 있게 된다. 이러한 투구 궤적의 명확한 판단을 위해서, 상기 피칭 카메라(10)는 홈플레이트와 마운드를 잇는 직선상에 위치하는 것이 바람직하지만, 현실적으로 약 ±15도(바람직하게는 ±4도) 도 이내의 범위로 배치되면 투구 궤적 확인이 용이하게 된다. 예를 들어 도시한 도 5와 같이 투수와 포수가 거의 일직선으로 배치되어 있으므로 투수가 포수측으로 투구하는 공의 궤적을 규칙(스트라이크 존 통과)에 대비시켜 거의 정확하게 파악할 수 있다.

한편, 투수와 포수가 겹치지 않도록 앵글을 유지하는 것이 바람직하므로, 2루수나 외야수를 배제하고 투수와 포수 및 타자를 화면 내에 위치시킬 수 있도록 상기 피칭 카메라(10)는 마운드 기준 7~14m 높이로 외야에 고정 설치될 수 있고, 줌이 가능한 광학계를 적용하여 적어도 경기 중에는 해당 상태가 고정되도록 하여 별도의 수동 조작 없이 항상 피칭에 특화된 영상을 얻을 수 있도록 하는 것이 좋다.

상기 피칭 카메라(10)는 소형 DSLR(digital single-lens reflex camera) 카메라일 수 있으며, 타자 위치에서 설치 위치까지의 거리를 기준으로 타자의 시야를 방해하지 않는 것으로 기 합의된 크기 이하를 가지게 된다. 최근 DSLR 카메라의 성능 대비 크기가 상당히 줄어든 상황이므로 HD 해상도로 고정할 경우 상당한 고속이면서 화질이 좋은 영상을 얻을 수 있게 된다. 본 발명에서 상기 피칭 관찰 카메라(10)는 중계 방송을 위한 방송 카메라의 프레임 속도인 30fps, 셔터 스피드인 1/60s보다 빠른 것을 이용하며, 본 실시예에서는 60fps 프레임 속도와 1/800s 셔터스피드를 이용하여 애초에 고품질 영상을 확보하도록 함으로써 단순 방송 카메라로 촬영한 영상을 저속으로 재생하는 경우에 비해 월등한 슬로우모션 영상 품질을 제공하도록 한다. 실제 프레임 속도는 30fps로도 가능은 하지만 그보다 프레임 수가 많은 것이 바람직하며, 셔터 스피드는 적어도 1/600s 보다 고속인 것이 바람직하다.

특히, 홈플레이트에서 정면 팬스까지의 거리가 100m 이상이므로 일반 휴대용 카메라 크기의 상기 피칭 카메라(10)는 타자에게 잘 보이지 않을 정도가 되어 이로 인한 타자의 시야 방해는 거의 없고, 고정 설치된 후 경기 중에는 수동 조작이 필요하지 않아 타자의 시야를 방해하거나 집중도를 저하시킬 여지가 거의 없어 현실적 적용이 가능하게 된다.

한편, 이렇게 관찰 카메라는 그 크기가 소형이면서도 중계방송의 규격인 프레임 수 및 셔터 스피드보다 월등한 프레임 수와 고속 셔터 스피드를 제공할 뿐만 아니라 촬영 영역을 고정할 수 있는 경우 광학 줌을 이용할 수 있어 야구뿐만 아니라 골프의 각 홀컵 부근에서의 공 궤적, 각 홀의 시작 위치에서의 공 궤적 등을 플레이어의 플레이에 지장을 주지 않으면서 정확하게 확인할 수 있고, 배구, 축구나 농구 등과 같은 경우에도 중요한 트래킹 위치를 지정하여 용이한 적용이 가능하다.

도 5는 본 발명의 실시예에 따른 실시간 중계방송을 위한 공 궤적 제공 시스템이 적용된 방송 시스템의 구성예를 보인 것이다. 도시한 바와 같이 피칭 카메라(10)가 제공하는 1/800s 셔터 스피드, 60fps 영상을 수신하는 영상 서버(20)는 상기 피칭 카메라(10)의 촬영 영역 중 공을 트래킹할 영역을 설정하여 해당 영역에 대해서 기 설정된 공의 크기, 색상 및 형상에 대응되는 공을 트래킹하여 프레임 별로 공의 위치와 이미지를 추출하며, 현재 프레임 이전에 추출된 프레임별 공의 위치와 이미지(혹은 다른 종류의 이미지)를 이용하여 기 설정된 수의 공 궤적이 나타나도록 현재 프레임을 재구성한 후 해당 재구성된 프레임을 포함하는 슬로우모션 영상을 생성하여 방송 편집부(30)에 출력한다.

상기 영상 서버(20)는 실제 중계방송 영상을 편집하는 방송 편집부(30)로부터 슬로우모션 영상을 요청하는 신호를 수신하여 그 결과로 공에 대한 트래킹과 궤적 표현 프레임의 재구성 및 슬로우모션 영상을 제공하는 방식으로 동작할 수 있는데, 이를 위해서 트래킹을 실시할 영역, 트레킹 대상 공의 영상, 트래킹 시작 및 종료(피칭 시작 및 종료) 시점, 트래킹 방식, 궤적 정보 표현 방식 등 트래킹에 관한 각종 파라미터에 대한 설정 정보를 상기 방송 편집부(30)(혹은 영상 서버 관리자)로부터 수신할 수 있다. 도시된 경우 상기 영상 서버(20)라는 별도의 서버 구성을 이용하였으나 이는 실질적으로 영상 처리부일 수 있고 이는 상기 방송 편집부(30)의 일부로 결합되거나 상기 피칭 카메라(10)와 통합 구성될 수도 있다는 것에 주의한다.

상기 영상 서버(20)는 상기 피칭 카메라(10)가 제공하는 방송 프레임 보다 더 많은 프레임을 가진 실시간 영상을 영상 수신부(21)를 통해 수신하여 메모리부(22)에 저장하는데 이를 그대로, 혹은 프레임 수를 줄여서(30fps) 출력할 수도 있다. 하지만 본 실시예에서는 외부로부터 제공되는 피칭 시작과 종료 정보 및 피칭 슬로우모션 영상 요청 정보를 수신하여 그에 따라 피칭 슬로우모션 영상 정보를 제공하는 송출 영상 생성부(24)의 관리에 따라 피칭 동안의 영상만 슬로우모션 영상으로 제공하는 것을 기본으로 한다.

도시된 영상 트래킹부(23)는 상기 송출 영상 생성부(24)의 요청에 따라 피칭 동안의 상기 피칭 카메라(10) 출력 영상에서 기 설정된 트래킹 영역에 대한 공을 트래킹하며, 트래킹된 공의 궤적 정보를 적어도 프레임 내 공의 좌표 정보로 제공한다. 바람직하게는 공의 좌표와 해당 공의 이미지를 추출하여 이를 프레임별 궤적 정보로 산출하여 상기 송출 영상 생성부(24)에 제공한다.

상기 송출 영상 생성부(24)는 상기 영상 트래킹부(23)에서 제공하는 프레임별 궤적 정보를 이용하여 현재 프레임 이전의 궤적 정보를 이용하여 현재 프레임에 공의 궤적 정보를 오버레이 등의 방식으로 중첩 표시하여 공의 궤적이 표현된 새로운 프레임으로 현재 프레임을 재구성한다. 이렇게 재구성된 프레임들을 이용하여 슬로우모션 동영상으로 생성한 후 이를 방송 편집부(30)에 제공한다. 한편, 경우에 따라서는 실제 추출한 공의 이미지가 아닌 다른 종류의 이미지를 이용할 수 있으나 실제 공의 이미지를 이용하는 것이 현실감을 극대화할 수 있다.

여기서, 상기 피칭 카메라(10)의 출력 영상은 프로그래시브 영상이며 이후 트래킹부(23)나 송출 영상 생성부(24)에서도 모두 프로그래시브 영상을 기준으로 작업이 이루어진다. 이후 방송 편집부(30)에서 최종 영상을 방송 송출을 위해 인터레이스 방식으로 변환하는 것이 바람직한데, 프로그래시브 영상을 이용할 경우 궤적 이미지를 더 선명하게 표현할 수 있다.

이러한 과정을 도 6의 영상 트래킹부(23) 및 송출 영상 생성부(24)의 구성을 참조하여 좀 더 상세히 설명한다.

상기 송출 영상 생성부(24)는 트래킹 영역과 대상, 궤적을 구성할 공의 빈도와 수 및 방향, 궤적을 구성할 공 이미지의 표현 방식 등의 트래킹 파라미터를 상기 방송 편집부(30) 혹은 영상 서버(20)를 관리하는 관리자로부터 수신하고, 매 트래킹을 위한 시작과 종료 시점에 관한 정보를 트래킹을 위한 가변 파라미터로 수신하는 운영자 인터페이스(243)와, 상기 운영자 인터페이스(243)를 통해 수신한 정보에 기반한 트래킹 및 슬로우모션 영상을 생성하기 위해 파라미터와 제어 정보를 생성하여 상기 영상 트래킹부(23)에 제공하여 트래킹 및 궤적 정보를 요청하는 송출 영상 관리부(241)와, 상기 영상 트래킹부(23)가 제공하는 프레임별 공의 위치와 이미지에 대한 궤적 정보를 수신하여 상기 송출 영상 관리부(241)의 파라미터에 맞추어 궤적이 표현된 프레임들을 생성하는 궤적 적용 영상 생성부(242) 및 상기 궤적 적용 영상 생성부(242)가 제공하는 궤적이 표현된 재구성 프레임을 이용하여 슬로우모션 영상을 생성하여 출력하는 슬로우모션 영상 생성부(244)를 포함한다.

상기 영상 트래킹부(23)는 상기 송출 영상 생성부(24)로부터 수신된 트래킹 파라미터(트래킹 시작 및 종료 시점에 대한 정보 포함)를 수신하여 트래킹 방식을 결정하여 트래킹을 요청하는 트래킹 설정부(233)와, 상기 트래킹 설정부(233)의 트래킹 파라미터에 맞추어 상기 관찰 카메라의 영상(메모리부(22)에 저장된 버퍼 영상)에서 실제 트래킹을 실시할 영역을 추출하는 영역 추출부(231)와, 상기 추출된 영역에 대해서 기 설정된 공을 트래킹하여 트래킹된 프레임에서 공의 위치와 이미지를 추출한 후 궤적 정보로 출력하는 대상 추적부(232)와, 상기 대상 추적부(232)가 제공하는 궤적 정보를 누적 관리하며 상기 궤적 정보를 상기 송출 영상 생성부(24)에 전달하는 궤적 정보 관리부(234)를 포함한다.

물론, 상기 도시된 영상 트래킹부(23)의 구성과 송출 영상 생성부(24)의 구체적인 구성은 다양하게 변경 가능하며, 도시된 블록 구성은 설명의 편의를 위해서 기능에 따라 구분한 것임에 주의한다. 즉, 상기 영상 트래킹부(23)와 송출 영상 생성부(24)는 통합 구성되거나 더욱 세분화될 수 있으며, 각 구성들 역시 다양하게 조합되거나 세분화될 수 있다.

종래의 기술을 통해서 공을 트래킹하고, 이를 통해서 공의 궤적이 오버레이 방식으로 누적 표현된 재구성 프레임을 제공하는 방식의 경우 현재 중계방송에 사용되는 HD급 영상에 대해서 실시할 경우 상당한 시간이 필요하며 고가의 영상 분석 장비가 필요하게 되는데, 본 발명의 실시예에서는 그 프레임 수가 중계방송을 위한 30fps의 두배 이상이어서 HD급 영상을 초당 60장 이상 분석하여 잘 보이지 않는 크기의 공을 추출한 후 이를 누적 표시하고자 할 경우 대단히 고가의 장비와 연산량이 충분한 고품질 분석 장비가 요구된다.

그러나 본 발명의 실시예에서는 '공'을 트래킹하는 것이라는 점(실물 공 이미지나 이를 흑백전환, 색상 반전 등 처리한 것, 혹은 그에 대응되는 제한된 검출 정보 이용)과 경기 중 트래킹 영역이 고정된다는 점(트래킹 영역 설정) 및 '공'의 특성상 트래킹 시작 시점과 종료 시점까지 '공'이 방향성을 가지고 지속적으로 이동한다는 점을 활용함으로써 이러한 공의 트래킹 부하를 크게 줄여 실질적으로 실시간 중계방송에 적용하기 위한 수초의 처리 제한 시간 내에 궤적이 표현된 재구성 프레임으로 이루어진 슬로우모션 영상을 제공할 수 있도록 한다.

특히, 다양한 컬러와 다양한 움직임이 존재하는 경기에서 시청자가 명확하게 '공'을 식별할 수 있도록 궤적에 적용되는 공은 가시성이 높아지도록 추출 이미지를 그대로 사용하지 않고 표현을 달리하며, 공의 진행 방향과 관찰 카메라의 관찰 위치를 감안하여 공의 궤적을 구성하는 각 이미지의 배치 순서를 설정함으로써 시청자가 이질감을 느끼지 않으면서도 명확하게 왜곡 없는 공의 궤적을 확인할 수 있도록 함으로써 실시간 중계방송에 최적화된 공의 트래킹 영상을 제공할 수 있게 된다.

도 7은 본 발명의 실시예에 따른 트래킹 방식을 설명하기 위한 예로서, 도시한 바와 같이 피칭 카메라가 촬영하는 영상(40) 중에서 실제 공의 궤적 확인이 필요한 트래킹 영역(41)을 파라미터로 미리 설정하여 기본적으로 트래킹 부하를 줄이며, 그 트래킹 대상 역시 실제 해당 카메라 앵글에서 촬영한 실제 공의 이미지를 이용하도록 하여 트래킹 속도와 품질을 높이도록 한다.

도시된 트래킹 영역(41)의 공(42)은 빠른 셔터 스피드(1/800s)에 의해 정지 영상으로 얻어지므로 공(42)의 형상을 구분하기가 용이하며, 이렇게 해당 트래킹 영역(41)에서 트래킹되는 공(42)의 경우 궤적 정보(46)로서 그 위치(예를 들어, 해당 검출된 공의 좌측 상단 위치) 정보와 해당 공의 이미지가 궤적 정보 리스트(45)로 얻어질 수 있다.

물론, 이러한 트래킹은 고속 트래킹을 우선으로 하기 때문에 일부 프레임에서 공의 궤적을 검출하지 못하는 경우도 있을 수 있다. 그러나 '공'의 움직임이라는 측면에서 해당 공이 갑자기 다른 위치에 나타나거나 급격한 속도 변화가 순간적으로 발생할 수는 없으므로 이전과 이후 프레임에서의 궤적 정보를 이용하여 검출에 실패한 프레임의 궤적 정보를 보간 방식으로 생성할 수도 있으며, 위치만 보간하고 이미지는 이전 궤적의 이미지를 활용할 수도 있다.

해당 궤적 정보는 복수의 궤적이 오버레이 방식으로 특정 프레임에 중복 표시되는 것이므로 비록 일부 궤적이 보간된다 하더라도 그 비율을 제한할 경우 실제 궤적에 거의 일치하게 된다.

한편, 이렇게 얻어지는 공의 궤적 정보는 현재 프레임의 이전 궤적 정보 중 근접한 일정 숫자의 궤적 정보가 오버레이되는 것인데, 그 궤적의 순서대로 오버레이 할 경우 공의 진행 방향과 관찰 방향에 따라서는 어색한 결과가 얻어질 수 있다. 따라서, 관찰지점에서 공이 멀어지는 방향으로 진행하는 경우 가장 최근의 프레임에서 얻어진 궤적 정보부터 순차적으로 오버레이하여 가장 오래된 궤적 정보의 공 이미지가 완전하게 표시되도록 해야 한다. 물론, 관찰지점으로 공이 근접하는 경우에는 표시할 가장 오래된 궤적 정보부터 순차적으로 오버레이하여 표시해야 한다.

도 8은 관찰지점에서 공이 멀어지는 방향으로 진행하는 경우 궤적 정보를 누적 표시하여 재구성한 프레임의 예를 보인 것이다. 즉, 시간적으로 공이 진행된 것이나 이를 한번에 나타낼 경우 관찰 시점에 가장 근접(가장 오래된)한 공을 가장 나중에 오버레이하여 해당 공의 이미지가 완전히 표시되도록 해야 이질감이 없게 된다.

한편, 도 8을 통해서 확인할 수 있겠지만 현재 프레임의 공(진행 방향의 마지막 공)에 비해서 궤적을 구성하는 공의 크기가 다소 작은 것을 알 수 있다. 즉, 복수의 공으로 궤적을 구성할 경우 궤적을 명시적으로 나타내기 위해서는 현재 프레임의 공 이미지가 두드러져야 하며 궤적을 구성하는 공은 실제 이미지를 채용하지만 궤적의 자취를 나타내는 것에 의미가 있으므로 궤적 정보의 공 이미지 크기를 줄이는 것이 바람직하다. 특히, 공이 진행되는 거리가 있으므로 투수에 근접한 공의 크기가 더 크게 나타날 수밖에 없어 이러한 크기 조절이 필요하게 된다.

더불어, 배경보다는 공의 확인이 목적이므로 재구성된 프레임에 나타나는 모든 공을 실제 공의 이미지보다 더 밝게 처리하거나 대비를 높여 처리함으로써 궤적에 대한 가시성을 높일 수 있다.

또한, 방향성을 더욱 명시적으로 하기 위해서 공의 투명도를 조절할 수도 있는데, 이러한 이미지의 크기나 표현 방식의 변화는 누적 순서에 따라 순차적으로 가변할 수도 있다.

도 9는 상기 영상 서버(20)의 운영자 인터페이스 혹은 해당 인터페이스에 파라미터 설정을 제공하기 위한 방송 편집부의 인터페이스 화면 예이다.

도시된 바와 같이 궤적이 표현된 프레임 재구성 방식을 설정하는 인터페이스와 그에 따라 얻어진 재구성된 프레임의 예가 나타나있다.

해당 인터페이스(25)를 통해서 트래킹 방식, 트래킹 종류, 한 프레임에 나타낼 공의 수, 공의 밝기, 생성할 프레임의 간격, 공의 크기나 밝기 등을 설정하는 설정부(26)의 조작으로 트래킹 파라미터를 조절할 수 있다. 물론, 그 외에 생성 영상과 원본 영상을 저장 및 관리하거나 트래킹 결과를 확인하는 등의 다양한 구성을 포함할 수 있다.

한편, 이렇게 트래킹 영역이 설정되고 트래킹할 대상 공의 이미지가 설정되는 등 기본적인 트래킹 파라미터가 설정되는 경우 고속 트래킹(실질적으로 프레임 레이트와 유사한 속도가 요구됨)을 위한 트래킹 방식은 다음과 같은 방식들이 적용될 수 있다.

예를 들어, 상기 영상 서버(20)의 대상 추적부는 트래킹할 시작 시점과 종료 시점에 대한 정보를 수신하여 해당 기간에 대한 트래킹을 지정된 영역에서 실시하게 되는데, 기 설정된 트래킹 영역 내 픽셀들을 슬라이딩 방식으로 탐색하여 기 설정된 공 이미지와 기 설정된 비율 이상으로 일치하는 영역에 대한 위치 정보를 프레임 순서대로 기 설정된 수만큼 저장(예를 들어 5개)하고, 해당 일치 영역의 좌표 변화를 기준으로 공의 위치를 파악하는데, 공의 특성상 일정한 방향성을 가지면서 지속적으로 이동해야 하므로 이러한 특성을 가지는 영역의 변화를 확인하여 정상적으로 공을 검출했음을 알 수 있거나 복수의 영역이 검출되는 경우 공을 선택할 수 있다. 물론, 변화가 없거나 공의 움직임과 다른 경우 필터링할 수 있다. 이후 해당 좌표의 변화를 기준으로 이후 프레임의 탐색 영역을 줄여 탐색 정확도를 높이고 시간을 줄일 수 있다.

다른 방식으로, 기 설정된 트래킹 영역에 대한 이전 프레임과 현재 프레임 간 차이를 구하여 움직임 발생 영역을 추출하고, 해당 추출 영역과 기 설정된 공의 크기, 색상을 기준으로 노이즈를 제거하고 검출한 영역의 위치를 프레임 순서로 기 설정된 수(예를 들어 5개)만큼 저장한 후 해당 일치 영역의 좌표 변화를 기준으로 공의 위치를 파악한 후 이후 해당 좌표의 변화를 기준으로 탐색 영역을 줄여 탐색 정확도를 높이고 시간을 줄일 수도 있다.

이러한 방식들은 모두 '공'이라는 특징과 '소정 속도를 가진 움직임'이라는 특징을 활용하여 일정 수준의 테스트를 통해 공을 선별하고 이후 검색 영역을 획기적으로 줄이는 방식으로, 이러한 방식을 통해서 트래킹 부하를 줄임으로써, 투구의 경우 1초 내외의 투구 시간에 대한 트래킹을 역시 1초 내외에 완료할 수 있게 된다.

따라서, 본 발명의 실시예는 가장 경제적으로 경기의 특성과 시청자의 요구를 반영한 구성이라 할 수 있다.

전술한 본 발명의 실시예에서 상기 피칭 카메라(10)는 외야에 배치하는 구성이었으나, 본 발명의 영상 서버(20) 구성은 포수 후면에서 포수와 타자 및 투수를 촬영하는 영상에 대해서도 효과적인 슬로우모션 영상을 제공해 줄 수 있어 포수측 피칭 관찰 카메라 구성도 가능할 수 있다.

도 10은 포수측에 구성되는 관찰 카메라, 즉 포수측 카메라(50)의 구성을 설명하기 위한 개념도로서, 도시한 바와 같이 좌우타자에 대응하면서 효과적인 촬영 앵글을 제공하기 위하여 상기 포수측 카메라(50)는 이동체와 PTZ(팬, 틸트, 줌) 기능을 가지는 카메라로 구성될 수 있다. 물론 이동체 없이 포수측 후방에 고정 설치될 수도 있다.

상기 포수측 카메라(50)는 기본적으로 앞서 설명했던 피칭 카메라(10)와 동일한 성능과 구성을 가질 수 있으며, 해당 카메라의 앵글 설정을 위한 이동 구동부나 팬/틸트 구동부를 더 포함할 수 있고 필요한 경우 줌 기능도 원격 제어 가능하도록 더 구성할 수 있다.

한편, 상기 포수측 카메라(50)의 출력 영상은 기존 영상 서버(20)에 의해 동일한 방식으로 처리되어 피칭 동안의 슬로우모션(혹은 동일한 개념인 스윙 동안의 슬로우모션) 영상으로 출력될 수 있다.

상기 포수측 카메라의 구동부 제어는 영상 서버의 추가 구성을 통해 이루어질 수 있으나 바람직하게는 방송 편집부(30)가 제공하는 제어 신호에 의해 이루어질 수 있다.

결국, 관찰 카메라는 외야에 구성되거나 포수 뒤에 구성되어 타자를 방해하지 않으면서 효과적인 슬로우모션 영상을 제공할 수 있다.

상기 포수측 카메라(50)의 경우 단독으로도 구성될 수 있으나, 투구 궤적 확인을 위해서 외야에 구성하는 피칭 카메라(10) 구성을 기본으로 하면서 상기 포수측 카메라(50)를 선택적으로 더 구성하는 것이 바람직하다.

도 11은 앞서 도 5를 통해 설명한 시스템 구성에 포수측 카메라(50) 구성을 더 추가한 경우이다. 도시된 바와 같이 기존의 구성(10, 20, 30)에 포수측 카메라(50)와 해당 포수측 카메라(50)의 출력 영상에서 궤적을 추출하여 궤적이 표현된 재구성 프레임으로 이루어진 슬로우모션 영상을 출력하는 추가적인 영상 서버(20')를 더 부가한 시스템이 제시된다. 여기서, 상기 포수측 카메라(50)의 구동부(51)는 방송 편집부(30)를 통해 제어하는 것으로 되어 있으나, 이는 별도의 구동부 제어 구성(예를 들어, 조이스틱이나 마우스 제어 등의 개별 제어 구성부)으로 대체되거나 별도의 구성이 방송 편집부(30)에 추가되어 구성될 수도 있음에 주의한다.

여기서, 상기 영상 서버(20, 20')는 각각 독립적 동작을 위해 외야에 설치되는 피칭 카메라(10)용과 포수측 카메라(50)용으로 개별 구성될 수 있으나, 하나의 영상 서버로 통합 구성될 수도 있다.

예를 들어, 기존과 같은 하나의 영상 서버(20)가 복수의 입력(피칭 카메라(10), 포수측 카메라(50))을 선택적으로 수신하여 필요한 영상에 대한 슬로우모션 영상을 생성하여 제공(방송 편집부(30)의 제어)할 수 있고, 내부 버퍼를 이용하여 투구 시점에 대해서 각각의 영상들을 일측은 실시간 슬로우모션으로 변환하고 타측은 버퍼링 한 후 일측 슬로우모션 영상 출력 후 슬로우모션 영상을 생성하여 출력하는 것으로 예를 들어 실시간 투구 영상, 외야 시점에서의 슬로우모션 영상, 포수 후면 시점에서의 슬로우모션 영상이 중계상황에 맞추어 순차적으로 제공되도록 할 수도 있다. 이러한 경우 최소한의 경제적 구성으로 다양한 앵글의 고품질 슬로우모션 영상을 제공하여 시청자의 만족도를 높일 수 있게 된다.

도 12는 이렇게 포수측 카메라(50)를 통해 트래킹을 실시하여 재구성한 프레임 영상을 보인 것이다. 비록 공의 궤적은 왜곡될 수 있으나, 피칭 카메라(10)를 통한 슬로우모션을 보충하는 방식으로 적용되거나, 투구 궤적이 아닌 타자의 스윙과의 차이를 확인하기 위한 용도로 활용될 수 있다.

결국, 관찰 카메라를 복수로 구성하여 다양한 관점에서 공의 궤적을 확인할 수 있으며, 이러한 경우에 있어서도 실시간 중계방송 제공이라는 특성에 의해서 일측 관찰 카메라에 대한 궤적 표현 슬로우모션 영상을 제공하고 해당 영상의 송출 과정에서 다른 관찰 카메라에 대한 궤적 표현 슬로우모션 영상을 생성하여 제공할 수 있어 단일 영상 서버를 이용하더라도 고품질 궤적 확인 영상이 제공될 수 있으며, 이를 위한 비용이 낮아 일상적인 중계방송에도 부담 없이 적용할 수 있다.

이상에서는 본 발명에 따른 바람직한 실시예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.

10: 피칭 카메라 20: 영상 서버
21: 영상 수신부 22: 메모리부
23: 영상 트래킹부 24: 송출 영상 생성부
30: 방송 편집부 50: 포수측 카메라
231: 영역 추출부 232: 대상 추적부
233: 트래킹 설정부 234: 궤적 정보 관리부
241: 송출 영상 관리부 242: 궤적 적용 영상 생성부
243: 운영자 인터페이스 244: 슬로우모션 영상 생성부

Claims (22)

1. 중계방송 규격에 따른 영상 프레임 수 및 셔터 스피드보다 더 많은 프레임 수와 더 빠른 셔터 스피드로 기 설정된 경기 영역에 대한 영상 촬영을 실시하는 관찰 카메라와;
   상기 관찰 카메라의 촬영 영역 중 공을 트래킹할 영역을 설정하여 해당 영역에 대해서 기 설정된 공의 크기와 형상에 대응되는 공을 트래킹하여 프레임 별로 공의 위치와 이미지를 추출하며, 현재 프레임 이전에 추출된 프레임별 공의 위치와 이미지를 이용하여 기 설정된 수의 공 궤적이 나타나도록 현재 프레임을 재구성한 후 해당 재구성된 프레임을 포함하는 슬로우모션 영상을 생성하여 출력하는 영상 서버를 포함하는 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
   
2. 청구항 1에 있어서, 상기 영상 서버는 공의 이동 방향과 관찰 방향을 고려하여 설정한 순서에 따라 이전 프레임에서 추출된 공의 위치와 이미지를 순서대로 오버레이한 공 궤적을 표현하는 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
   
3. 청구항 1에 있어서, 상기 영상 서버는 추출된 공의 이미지를 기 설정된 크기와 표현 상태로 오버레이하여 재구성된 프레임을 생성하는 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
   
4. 청구항 3에 있어서, 상기 크기와 표현 상태는 공의 이동 방향과 관찰 방향을 고려하여 기 설정된 순서에 따라 점진적으로 가변되는 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
   
5. 청구항 1에 있어서, 상기 관찰 카메라의 셔터 스피드는 1/600s 이하인 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
   
6. 청구항 1에 있어서, 상기 관찰 카메라의 프레임 수는 60fps 이상인 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
   
7. 청구항 1에 있어서, 상기 관찰 카메라는 야구 경기의 투수 피칭을 관찰하기 위한 것으로, 홈플레이트와 마운드를 연장한 연장선을 기준으로 15도 이내 범위인 외야측에 마운드 기준 7~14m 높이로 고정 설치되는 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
   
8. 청구항 7에 있어서, 상기 관찰 카메라는 타자 위치에서 설치 위치까지의 거리를 기준으로 타자의 시야를 방해하지 않는 것으로 기 합의된 크기 이하를 가지는 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
   
9. 청구항 7에 있어서, 상기 관찰 카메라는 투수와 포수 및 타자가 확인되는 화면 구성을 위한 광학 줌을 포함하며, 적어도 경기 중에는 해당 상태가 고정되는 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
   
10. 청구항 1에 있어서, 상기 영상 서버는 공의 궤적을 트래킹할 시작 시점과 종료 시점에 대한 정보를 수신하여 해당 기간 동안 상기 관찰 카메라로부터 획득한 영상에 대한 트래킹 및 트래킹된 이전 프레임의 공의 위치 및 이미지를 통한 현재 프레임의 궤적 표현 재구성을 수행하는 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
    
11. 청구항 10에 있어서, 상기 영상 서버는 중계방송을 위한 방송 편집부로부터 상기 트래킹 시작과 종료 시점에 대한 정보를 수신하며, 상기 방송 편집부의 일부 구성으로 통합 구성되는 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
    
12. 청구항 1에 있어서, 상기 관찰 카메라는 위치 이동과 PTZ(팬, 틸트, 줌) 기능 중 적어도 하나의 구동 기능을 더 포함하되, 트래킹 중에는 촬영 영역이 고정되는 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
    
13. 청구항 12에 있어서, 상기 관찰 카메라의 구동 기능은 상기 영상 서버나 상기 영상 서버가 제공하는 출력 영상을 수신하는 외부 방송 편집부에 의해 제어되는 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
    
14. 청구항 1에 있어서, 상기 영상 서버는 상기 트래킹 중 트래킹에 실패한 프레임의 경우 해당 실패 프레임 이전과 이후 프레임의 트래킹 정보를 이용하여 해당 실패 프레임의 공 위치와 이미지를 생성하는 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
    
15. 청구항 1에 있어서, 상기 영상 서버는 트래킹 영역과 대상, 시작과 종료 시점, 궤적을 구성할 공의 빈도와 수 및 방향, 궤적 구성 공 이미지의 표현 방식 중 적어도 하나를 포함하는 트래킹 파라미터를 수신 및 관리하며, 프레임별 공의 위치와 이미지에 대한 궤적 정보를 이용하여 궤적이 표현된 프레임들을 생성하고, 상기 궤적이 표현된 프레임을 이용하여 슬로우모션을 생성하여 출력하는 송출 영상 생성부를 포함하는 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
    
16. 청구항 15에 있어서, 상기 영상 서버는 상기 송출 영상 생성부로부터 수신된 트래킹 파라미터에 따라 상기 관찰 카메라의 영상에서 기 설정된 공을 트래킹하여 트래킹된 프레임에서 공의 위치와 이미지를 추출한 후 궤적 정보로 관리하며, 상기 궤적 정보를 상기 송출 영상 생성부에 전달하는 영상 트레킹부를 포함하는 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
    
17. 청구항 1에 있어서, 상기 영상 서버는 기 설정된 트래킹 영역 내 픽셀들을 슬라이딩 방식으로 탐색하여 기 설정된 공 이미지와 기 설정된 비율 이상으로 일치하는 영역에 대한 위치 정보를 프레임 순서대로 기 설정된 수만큼 저장하고, 해당 일치 영역의 좌표 변화를 기준으로 공의 위치를 파악한 후 파악된 공의 위치를 기준으로 상기 공 이미지 일치 영역이 탐색된 프레임에 후속되는 프레임의 트래킹 영역을 줄여 탐색 정확도를 높이고 시간을 줄이는 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
    
18. 청구항 1에 있어서, 상기 영상 서버는 기 설정된 트래킹 영역에 대한 이전 프레임과 현재 프레임 간 차이를 구하여 움직임 발생 영역을 추출하고, 해당 추출 영역과 기 설정된 공의 크기, 색상을 기준으로 노이즈를 제거하고 검출한 영역의 위치를 프레임 순서로 기 설정된 수만큼 저장한 후 해당 일치 영역의 좌표 변화를 기준으로 공의 위치를 파악한 후 이후 해당 좌표의 변화를 기준으로 탐색 영역을 줄여 탐색 정확도를 높이고 시간을 줄이는 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
    
19. 경기를 관찰할 수 있는 제 1위치에 배치되어 중계방송 규격에 따른 영상 프레임 수 및 셔터 스피드보다 더 많은 프레임 수와 더 빠른 셔터 스피드로 영상 촬영을 실시하는 제 1관찰 카메라와;
    경기를 관찰할 수 있는 제 2위치에 배치되어 중계방송 규격에 따른 영상 프레임 수 및 셔터 스피드보다 더 많은 프레임 수와 더 빠른 셔터 스피드로 영상 촬영을 실시하는 제 2관찰 카메라와;
    상기 관찰 카메라들 각각의 촬영 영역 중 공을 트래킹할 영역을 설정하여 해당 영역에 대해서 기 설정된 공의 크기와 형상에 대응되는 공을 트래킹하여 프레임 별로 공의 위치와 이미지를 추출하며, 현재 프레임 이전에 추출된 프레임별 공의 위치와 이미지를 이용하여 기 설정된 수의 공 궤적이 나타나도록 현재 프레임을 재구성한 후 해당 재구성된 프레임을 포함하는 슬로우모션 영상을 생성하여 출력하는 영상 서버를 포함하는 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
    
20. 청구항 19에 있어서, 상기 제 1관찰 카메라는 야구 경기의 투수 피칭을 관찰하기 위해 외야에 고정 배치되고, 상기 제 2관찰 카메라는 포수 후면에서 투수 피칭을 관찰하기 위해 배치되는 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
    
21. 청구항 19에 있어서, 상기 영상 서버는 상기 제 1관찰 카메라와 제 2관찰 카메라 중 하나에 선택적으로 연결되는 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
    
22. 청구항 19에 있어서, 상기 제 1관찰 카메라나 제 2 관찰 카메라 중 적어도 하나의 관찰 카메라는 위치 이동과 PTZ(팬, 틸트, 줌) 기능 중 적어도 하나의 구동 기능을 더 포함하되, 트래킹 중에는 촬영 상태가 고정되는 것을 특징으로 하는 실시간 중계방송을 위한 공 궤적 제공 시스템.
    

Images