KR102149005B1 - 객체 속도 계산 및 표시 방법 및 장치 - Google Patents

객체 속도 계산 및 표시 방법 및 장치 Download PDF

Info

Publication number
KR102149005B1
KR102149005B1 KR1020180141964A KR20180141964A KR102149005B1 KR 102149005 B1 KR102149005 B1 KR 102149005B1 KR 1020180141964 A KR1020180141964 A KR 1020180141964A KR 20180141964 A KR20180141964 A KR 20180141964A KR 102149005 B1 KR102149005 B1 KR 102149005B1
Authority
KR
South Korea
Prior art keywords
speed
distance
moving
moving distance
input frames
Prior art date
Application number
KR1020180141964A
Other languages
English (en)
Other versions
KR20200057485A (ko
Inventor
이상윤
김준호
김웅기
Original Assignee
포디리플레이코리아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포디리플레이코리아 주식회사 filed Critical 포디리플레이코리아 주식회사
Priority to KR1020180141964A priority Critical patent/KR102149005B1/ko
Priority to PCT/KR2019/015666 priority patent/WO2020101433A1/ko
Publication of KR20200057485A publication Critical patent/KR20200057485A/ko
Application granted granted Critical
Publication of KR102149005B1 publication Critical patent/KR102149005B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Image Analysis (AREA)

Abstract

일 실시 예에 따른 객체 속도 계산 및 표시 방법은 별도의 속도 측정 장비 없이도 촬영된 영상만으로 객체의 속도를 측정할 수 있다.

Description

객체 속도 계산 및 표시 방법 및 장치{Method and apparatus for calculating and displaying a velocity of an object}
실시 예들은 객체 속도 계산 및 표시 방법 및 장치에 관한 것이다.
최근 대중들은 모바일을 이용한 동영상 재생을 선호한다. 이러한 선호에 발맞춰 기업들은 방송 플랫폼, 예를 들면 V-app, AfreecaTV, Youtube Live를 서비스하고 있다. 이러한 플랫폼을 시청하는 대중들은 하나의 시점, 즉 하나의 카메라에서 촬영한 영상을 시청하고 있다. 그러나 최근 시청자들은 원하는 공간에서 촬영된 영상을 시청하길 원한다.
현재, 복수의 카메라로 하나의 피사체를 다양한 채널에서 촬영하여 획득한 복수의 영상을 기하학적으로 교정, 합성하여 다채널의 영상을 사용자에게 제공하는 영상 서비스가 공개되어 있다. 이러한 다채널 영상은 고화질의 개념을 뛰어넘는 사실감 넘치는 영상을 제공하며, 이를 통해 사용자들은 미디어에 몰입감을 더욱 느끼게 되고 광고, 교육, 의료, 국방, 오락 등의 분야에서 영상 정보 전달 효과를 크게 높일 수 있다.
종래의 다채널 영상에서는 채널/시간 스위칭이 다채널 영상 제작시에 미리 정해진 병합 방식으로 단순히 재생되는 차원이다. 즉, 종래에는 복수 개의 카메라에서 복수 개의 프레임을 획득하고, 획득한 프레임들 중 일부를 선별한 후 이들 프레임을 병합하여 하나의 채널 스위칭 영상을 제작하였다. 이러한 채널 스위칭 영상은 영상 제작 시에 제작자가 미리 결정한 채널의 프레임을 단순 병합한 것이므로, 해당 영상 파일을 재생하면 병합된 프레임들이 단일의 채널 이동 효과를 나타내는 채널 스위칭 효과를 내는 것이었다. 이와 같은 종래기술의 다채널 영상에 따르면 사용자는 미리 제작된 채널 스위칭 효과를 단순 시청하는 것에 불과하였고, 시청자가 시각 스위칭 또는 채널 스위칭을 수동으로 조작하여 재생을 원하는 시점으로 채널을 돌려가면서 영상을 시청하는 것은 불가능하였다.
한편, 야구 중계 시에, 투수가 던진 볼의 속도, 예를 들면 150km/h, 또는 100mph를 표시하는 것이 일반적이다. 이를 위해, 소위 스피드 건(speed gun)이라고 하는 별도의 장비를 통해 관중석 또는 홈 플레이트 근처에서 투수가 던지는 볼을 조준하여 측정하는 방식이다. 투수가 던지는 볼의 속도를 측정하는 것을 예로 설명하면, 스피드건으로 전파를 쏘아 야구공을 맞추면 전파가 야구공에 맞고 반사된다. 이 반사된 전파가 야구공에서 나오는 전파와 같은 역할을 하게 되고, 스피드건은 반사되어 돌아온 전파를 받아, 파동의 변화 정도를 분석하여, 날아오는 공의 속도를 계산한다. 반사된 전파의 파장이 짧아질수록 공의 속도는 더 빠르다.
다른 방식으로는, 투구 정보 데이터를 수집하기 위해, 야구장 주위에 별도의 레이더 기반 데이터 수집 장치를 설치하여 투구 속도 등을 분석하였다.
하지만, 전술한 방법들에서는, 투수가 던지는 볼의 속도 또는 타자가 배팅한 타구의 속도를 측정하기 위해서 별도의 장비, 예를 들면 스피드건 또는 레이더 센서가 필요하였다.
[선행문헌번호]
선행문헌 1: KR 10-2018-0093841호(2018.08.22. 공개)
선행문헌 2: KR 10-1837541호(2018.03.06 등록)
실시 예들은 객체 속도 계산 및 표시 방법 및 장치를 제공함으로써, 별도의 속도 측정 장비 없이도 영상만으로 객체의 속도를 측정할 수 있도록 하는 것을 목적으로 한다.
일 실시 예에 따른 객체 속도 계산 및 표시 방법은 기준 거리를 포함한 제1 영역과 이동하는 객체를 포함한 제2 영역을 포함하는 촬영 영역이 소정 촬영 속도로 촬영된 복수의 입력 프레임을 획득하는 단계; 상기 복수의 입력 프레임 중 제1 및 제2 입력 프레임에 존재하는 상기 이동하는 객체의 프레임상의 제1 이동 거리를 계산하는 단계; 상기 기준 거리 및 상기 제1 이동 거리를 기초로 상기 객체의 실제 이동한 거리인 제2 이동 거리를 계산하는 단계; 및 상기 촬영 속도 및 상기 제2 이동 거리를 기초로 상기 객체의 속도를 계산하는 단계를 포함한다.
상기 방법은 상기 계산된 객체의 속도를 상기 촬영 영역에 표시하는 단계를 더 포함하는 것을 특징으로 한다.
상기 제1 이동 거리는, 상기 복수의 입력 프레임에 존재하는 상기 이동하는 객체의 이동거리를 평균한 값인 것을 특징으로 한다.
상기 제1 및 제2 입력 프레임은, 서로 인접한 프레임들인 것을 특징으로 한다.
상기 이동하는 객체는, 투수가 던진 볼 또는 타자가 타격한 볼인 것을 특징으로 한다.
상기 기준 거리는, 상기 타자가 위치한 배터 박스의 길이인 것을 특징으로 한다.
다른 실시 예에 따른 객체 속도 계산 및 표시 방법은 이동하는 객체를 포함한 촬영 영역이 소정 촬영 속도로 촬영된 복수의 입력 프레임을 획득하는 단계; 상기 복수의 입력 프레임 중 적어도 2개의 입력 프레임에 존재하는 상기 이동하는 객체의 프레임 상의 제1 이동 거리를 계산하는 단계; 미리 저장된 기준 거리 및 상기 제1 이동 거리를 기초로 상기 객체의 실제 이동한 거리인 제2 이동 거리를 계산하는 단계; 및 상기 촬영 속도 및 상기 제2 이동 거리를 기초로 상기 객체의 속도를 계산하는 단계를 포함한다.
상기 방법은 상기 계산된 객체의 속도를 상기 촬영 영역에 표시하는 단계를 더 포함하는 것을 특징으로 한다.
또 다른 실시 예에 따른 기준 거리를 포함한 제1 영역과 이동하는 객체를 포함한 제2 영역을 포함하는 촬영 영역이 소정 촬영 속도로 촬영된 복수의 입력 프레임을 획득하는 프레임 획득부; 및 상기 복수의 입력 프레임 중 제1 및 제2 입력 프레임에 존재하는 상기 이동하는 객체의 프레임 상의 제1 이동 거리를 계산하고, 상기 기준 거리 및 상기 제1 이동 거리를 기초로 상기 객체의 실제 이동한 거리인 제2 이동 거리를 계산하고, 상기 촬영 속도 및 상기 제2 이동 거리를 기초로 상기 객체의 속도를 계산하는 객체 속도 계산부를 포함한다.
상기 장치는 상기 계산된 객체의 속도를 상기 촬영 영역에 표시하도록 제어하는 영상 처리부를 더 포함하는 것을 특징으로 한다.
상기 제1 이동 거리는, 상기 복수의 입력 프레임에 존재하는 상기 이동하는 객체의 이동거리를 평균한 값인 것을 특징으로 한다.
상기 제1 및 제2 입력 프레임은, 서로 인접한 프레임들인 것을 특징으로 한다.
상기 이동하는 객체는, 투수가 던진 볼 또는 타자가 타격한 볼인 것을 특징으로 한다.
상기 기준 거리는, 상기 타자가 위치한 배터 박스의 길이인 것을 특징으로 한다.
또 다른 실시 예에 따른 상기 방법을 컴퓨터에서 실행시키기 위한 방법을 기록한 기록매체를 포함한다.
실시 예에 따른 객체 속도 계산 및 표시 방법 및 장치는 별도의 속도 측정 장비 없이도 영상만으로 객체의 속도를 측정하여 표시할 수 있다.
또한, 다채널 영상을 통한 스포츠 중계 또는 분석 서비스를 제공하는 데 있어서, 다채널 영상 제작을 위해 설치된 다양한 각도에 설치된 동영상 촬영 카메라로부터 획득한 영상의 분석만으로도, 투수가 던지는 공의 속도, 또는 타자가 타격한 공의 속도 등을 다양한 각도에서 정확하게 측정할 수 있다.
도 1은 일 실시 예에 따른 다채널 영상을 위한 전송 시스템(100)의 개략도이다.
도 2는 다채널 영상을 생성하는 예시 도이다.
도 3은 일 실시 예에 따른 객체 속도 계산하는 것을 설명하기 위한 개략 도이다.
도 4는 도 1에 도시된 영상 처리 장치(130)의 개략 도이다.
도 5 내지 9는 다른 실시 예에 따른 객체 속도 계산 및 표시하는 것을 설명하기 위한 예시 도들이다.
도 10은 또 다른 실시 예에 따른 객체 속도 계산 및 표시 방법을 설명하기 위한 흐름 도이다.
도 11은 또 다른 실시 예에 따른 객체 속도 계산 및 표시 방법을 설명하기 위한 흐름 도이다.
본 실시 예들에서 사용되는 용어는 본 실시 예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 기술분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 임의로 선정된 용어도 있으며, 이 경우 해당 실시 예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시 예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시 예들의 전반에 걸친 내용을 토대로 정의되어야 한다.
실시 예들에 대한 설명에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 구성요소를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 실시 예들에 기재된 “...부”의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 실시 예들에서 사용되는 “구성된다”또는“포함한다”등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
하기 실시 예들에 대한 설명은 권리범위를 제한하는 것으로 해석되지 말아야 하며, 해당 기술분야의 당업자가 용이하게 유추할 수 있는 것은 실시 예들의 권리범위에 속하는 것으로 해석되어야 할 것이다. 이하 첨부된 도면들을 참조하면서 오로지 예시를 위한 실시 예들을 상세히 설명하기로 한다.
도 1은 일 실시 예에 따른 다채널 영상을 위한 전송 시스템(100)의 개략 도이다.
도 1을 참조하면, 전송 시스템(100)은 복수의 카메라(111 내지 113), 복수의 카메라(111 내지 113)를 제어하고, 복수의 카메라(111 내지 113)로부터 촬영된 다채널 영상들을 처리 및 전송하는 카메라 제어부(110), 카메라 제어부(110)로부터 전송된 다채널 영상들을 처리 및 저장하는 영상 서버(200)를 포함한다. 영상 서버(200)는 사용자 단말(150)로부터 다채널 영상에 대한 요청, 스위칭 영상에 대한 요청, 특정 이벤트에 대한 요청을 수신하고, 저장된 다채널 영상을 사용자 단말(150)에 전송한다. 영상 서버(200)는 영상 처리 장치(130) 및 영상 저장부(140)를 포함할 수 있다.
도 2에 도시된 것처럼, 특정 피사체를 촬영하기 위해 복수의 카메라(1 내지 N)가 배치될 수 있다. 피사체의 주위에 어레이로 배열된 복수의 카메라에서 피사체를 다각도에서 촬영한 복수의 영상을 수신한다. 복수의 카메라 배열 방법은, 예컨대 임의의 카메라를 기준으로 N 개의 카메라들을 실질적으로 동일한 평면상에 일렬로 배치하는 것일 수 있다. 이 경우, 피사체를 기준으로 일정 거리 이격된 원주 상에 N 개의 카메라들을 순차적으로 배치할 수도 있고, 중앙에 배치된 카메라를 기준으로 양측에 배치된 두 개의 카메라와 피사체 간의 거리를 일치시키고 나머지 카메라는 피사체와의 거리를 상이하게 할 수도 있다. 또한, 피사체는 고정된 피사체일 수도 있고, 움직이는 피사체일 수도 있다.
복수의 카메라(1 내지 N)와 카메라 제어부(110)는 유선 또는 무선으로 통신 가능할 수 있으며, 복수의 카메라(1 내지 N)를 제어하기 위한 복수의 카메라 제어부를 구비할 수도 있다.
카메라 제어부(110)는 복수의 카메라(1 내지 N)를 동기화하는 동기화 신호를 통해 복수의 카메라(1 내지 N)를 제어할 수 있다. 카메라 제어부(110)는 복수의 카메라(1 내지 N)로부터 촬영된 영상들을 임시 저장하고, 코덱 변경을 통해 촬영된 영상의 크기를 줄이고 빠른 전송이 가능하게 한다. 실시 예에 따른 카메라 제어부(110)는 객체 속도 계산을 위해 촬영 영역을 소정의 촬영속도, 예를 들면 30 fps(Frame per Second), 60 fps 등으로 촬영하도록 제어할 수 있다. 여기서, 객체 속도 계산을 위해, 도 2에 도시된 제1 내지 N 카메라 중 복수의 카메라 또는 특정 카메라, 예를 들면 투수의 던지는 야구공이 보다 정확하게 촬영할 수 있는 위치의 카메라를 사용할 수도 있다.
영상 서버(200)는 카메라 제어부(110)로부터 전송된 다채널 영상들 중 적어도 하나의 영상에 대해 객체 속도 계산 및 표시 처리를 할 수 있다.
영상 서버(200)는 다채널 영상들을 사용자 단말의 요청에 따라 통신망을 통해 전송한다. 또한, 영상 서버(200)는 입체 스트라이크 존을 포함한 다채널 영상들을 시간별, 채널별, 시간 및 채널을 혼합한 적어도 하나의 기준으로 그룹핑 하여 저장하고, 사용자 단말의 요청에 따라 그룹핑된 영상을 통신망을 통해 사용자 단말(150)에 전송한다.
도 3은 일 실시 예에 따른 객체 속도 계산하는 것을 설명하기 위한 개략 도이다.
도 3을 참조하면, 도 2에 도시된 카메라들 중 특정 카메라를 이용하여 야구 경기 장면, 특히 타자가 투수가 던진 공을 타격하는 장면을 30 fps의 속도로 촬영하여 획득한 30개 프레임이 도시되어 있다. 도시된 것처럼, 투수가 던진 공은 매 프레임에서 조금씩 타자 쪽으로 이동하고 있음은 알 수 있다. 실시 예에 따른 객체 속도 계산은 영상을 촬영하는 촬영속도(fps)와, 적어도 2개 프레임에서의 표시된 객체 사이의 거리를 이용하여 객체의 실제 속도를 계산한다. 여기서, 프레임 상에 나타난 거리는 실제 거리로 환산할 필요가 있으며, 영상 속에 표시된 기준 거리를 기초로 프레임 상에 표시된 객체 사이의 거리를 실제 거리로 환산한다. 예를 들면, 타자의 배터 박스가 영상에 표시된 경우, 배터 박스의 실제 거리는 규격으로 정해져 있고, 프레임 속에 표시된 배터 박스의 거리를 기초로 객체 사이의 거리를 실제 거리로 환산한다. 따라서, 프레임 간의 속도 차이로부터 시간을 알 수 있고, 객체 사이의 거리를 안다면, 객체의 실제 속도를 계산할 수 있다.
도 4는 도 1에 도시된 영상 처리 장치(130)의 개략 도이다.
도 4를 참조하면, 영상 처리 장치(130)는 객체 속도 계산부(131), 영상 처리부(132), 영상 변환부(133) 및 전송부(134)를 포함한다. 실시 예에 따른 객체 속도 계산 및 표시 장치는 영상 처리 장치(130)이거나 또는 객체 속도 계산부(131)를 포함하는 장치일 수 있다. 여기서, 객체 속도 계산부(131)와 관련된 기능을 상세히 설명한다.
실시 예에 따라, 도 1에 도시된 카메라 제어부(110)에서, 기준 거리를 포함한 제1 영역과 이동하는 객체를 포함한 제2 영역을 포함하는 촬영 영역이 소정 촬영 속도로 촬영하도록 제어한다. 그리고 촬영된 복수의 입력 프레임을 획득하여 객체 속도 계산부(131)에 전달한다. 또한, 선택적으로, 영상 처리 장치(130)의 전처리 단계에서, 촬영된 복수의 입력 프레임을 처리하여 객체 속도 계산부(131)에 제공할 수도 있다.
실시 예에 따른 객체 속도 계산부(131)는 복수의 입력 프레임 중 제1 및 제2 입력 프레임에 존재하는 이동하는 객체의 프레임 상의 제1 이동 거리를 계산한다. 그리고 기준 거리 및 제1 이동 거리를 기초로 객체의 실제 이동한 거리인 제2 이동 거리를 계산한다. 그리고 촬영 속도 및 제2 이동 거리를 기초로 객체의 속도를 계산한다. 본 실시 예에서는, 입력 프레임 상에 기준 거리를 확인할 수 있는 대상과 객체가 함께 존재하는 경우에, 기준 거리와 객체가 프레임들 간의 이동 거리인 제1 이동 거리를 계산한다. 예를 들면 타자의 배터 박스 근처에서 근접하는 야구공을 촬영한 경우이다.
영상 처리부(132)는 객체 속도 계산부(131)에서 계산된 객체의 속도를 표시하고자 하는 화면에 표시하도록 제어할 수 있다.
도 5 내지 7을 참조하여 배터 박스에 근접하는 야구공의 속도를 계산하는 것을 상세히 설명한다.
도 5를 참조하면, 타자의 배터 박스의 어느 한 변의 실제 길이는 1.8288 미터(m) 이다. 이러한 길이는 정해진 규격으로서, 촬영된 입력 프레임에 나타난 길이는 다를지라도 실제 길이는 일정하다. 이 경우, 촬영된 입력 프레임에 나타낸 배터 박스의 프레임 상의 길이는 수 센치미터(cm) 또는 몇 픽셀 수로 나타낼 수 있다.
도 6을 참조하면, 타자의 배터 박스를 향하여 투수가 투구한 공이 근접하고 있다. 여기서, 특정 영역(600) 내에서 이동하는 공의 궤적(610 내지 640)이 도시되어 있으며, 이는 복수의 입력 프레임에서 촬영된 공의 위치를 합성한 결과일 수 있다. 또한, 선택적으로 전체 영역을 촬영하는 것보다 특정 영역(600)만을 촬영함으로써 영상 처리 및 계산 속도를 향상시킬 수 있다.
특정 영역(600)에 투수가 투구한 공의 궤적(610 내지 640)이 도시되어 있으며, 첫번째 공(610)이 제1프레임, 두 번째 공(620)이 제2 프레임, 세 번째 공(630)이 제3 프레임, 네 번째 공(640)이 제4 프레임에서 촬영된 것일 수 있다. 여기서, 제1 프레임에 촬영된 공(610)과 제2 프레임에서 촬영된 공(620) 사이의 프레임 상의 거리, 예를 들면 픽셀 수를 계산한다.
도 5 내지 7을 참조하면, 배터 박스의 프레임 상의 거리와, 제1 프레임의 첫번째 공(610)과 제2 프레임의 두 번째 공(620) 사이의 프레임 상의 거리로부터 이동하는 공의 실제 이동 거리를 계산한다. 그리고 촬영속도, 예를 들면 30 fps 인 경우, 제1 프레임과 제2 프레임 사이의 시간은 0.033초이다. 이러한 결과들로부터, 이동하는 객체, 즉 투수가 투구한 공의 속도가 도 7에 도시된 것처럼, 135km/h로 계산할 수 있다. 또한, 제1 및 제2 프레임상의 공 사이의 거리뿐만 아니라, 보다 정확도를 높이기 위해, 각각의 프레임들, 예를 들면 제1 및 제2 프레임의 공들(610 및 620), 제2 및 제3 프레임의 공들(620 및 630), 제3 및 제4 프레임의 공들(630 및 640) 사이의 거리에 따른 속도의 평균값으로 평균속도를 계산할 수도 있다. 또한, 특정 위치는 투수 마운드 쪽으로 하여 촬영 및 계산하여 이동하는 객체의 초기 속도를 계산하거나, 타자 배터 박스 쪽으로 하여 촬영 및 계산하여 이동하는 개체의 종속을 계산할 수도 있다. 또한, 각각의 속도를 계산하여 평균 속도를 계산할 수도 있음은 물론이다. 여기서, 투수의 투구 속도를 계산하는 것만을 설명하였지만, 이에 한정되지 않고, 타자가 타격한 공의 속도를 계산하는 것도 동일하게 적용 가능하다.
실시 예에서는, 특정 영역에서 이동하는 객체의 속도를 계산하는 것으로 설명하였지만, 이에 한정되지 않는다.
다른 실시 예에 따른 객체 속도 계산부(131)는 복수의 입력 프레임 중 적어도 2개의 입력 프레임에 존재하는 이동하는 객체의 프레임 상의 제1 이동 거리를 계산하고, 미리 저장된 기준 거리 및 제1 이동 거리를 기초로 객체의 실제 이동한 거리인 제2 이동 거리를 계산하고, 촬영 속도 및 제2 이동 거리를 기초로 객체의 속도를 계산한다. 본 실시 예에서는, 기준 거리를 확인할 수 있는 대상으로부터 영상에서의 픽셀 간의 거리가 실제 거리로 환산될 수 있는 경우이다. 예를 들면 입력 프레임에 객체만이 존재하더라도, 프레임 간의 객체 사이의 거리가, 예를 들면 1000 픽셀인 경우에, 각 픽셀 간의 실제 거리가 전술한 기준 거리에 따라 실제 거리 단위로 환산되어 있는 경우이다.
도 8 및 9는 야구공이 아닌 골프공의 속도를 계산하고 표시하는 것을 설명하는 예시 도들이다.
도 8 및 9에 도시된 것처럼, 골퍼가 어드레스 자세를 취한 상태에서, 스윙하여 골프공이 비행하는 경우, 비행하는 골프공의 속도를 계산하여 표시할 수 있다. 이 경우, 속도 및 출발각도 함께 표시할 수 있으며, 촬영속도와 인접한 프레임에서의 골프공 간의 프레임상의 거리를 가지고 골프공의 이동속도를 계산할 수 있다. 여기서, 기준 거리는 티박스, 골프클럽, 또는 다른 여러 가지를 이용할 수 있다.
또한, 야구, 골프뿐만 아니라, 다른 스포츠 중계 등에서 이동하는 객체의 속도를 계산 및 표시하는 응용들에도 동일하게 적용할 수 있다.
영상 처리부(132)는 전송된 다채널 영상들, 즉 복수의 카메라에서 촬영된 영상에 대해 영상 보정을 수행한다. 예를 들면 복수의 카메라에서 촬영된 영상들이 초점이 맞지 않을 수 있으므로, 카메라 간 초점이 동일하도록 영상 처리를 수행한다. 영상 처리부(132)는 전송된 다채널 영상들을 보정한다. N개의 카메라 배열의 기하학적 오차는 다채널 영상을 재생하는 과정에서 시각적인 흔들림으로 나타나므로, 이를 제거하기 위하여 각 영상의 크기 또는 사이즈, 기울기 또는 중심 위치 중 적어도 하나를 보정할 수 있다.
영상 변환부(133)는 다채널 영상들을 시간별, 채널별, 시간 및 채널을 혼합한 적어도 하나의 기준으로 그룹핑한다. 영상 변환부(133)는 여러 공간을 하나로 묶어 그룹핑한다. 그룹핑하는 방법을 다양한 기준에 따라 수행될 수 있다. 실시 예에 따른 전송 시스템은 사용자 단말(150)에 효과적인 다채널 영상 내지 스위칭 영상을 전송하기 위해, 모든 영상 데이터를 전송하여 데이터 낭비를 주지 않고, 그룹핑된 영상들을 전송함으로써 사용자에게 필요한 데이터만을 전송할 수 있게 한다. 영상 변환부(133)는 t 시간의 이벤트를 중심으로 ±y(y는 자연수임) 시간별 채널 영상을 묶어 그룹핑할 수도 있다. 예를 들면 채널 1에서, t3에서 이벤트가 발생한 경우일 수 있다. 여기서 이벤트는 미리 정해진 경우, 예를 들면 야구 경기에서 홈런 장면, 또는 아웃 장면이거나, 사용자의 요청에 의한 이벤트, 사용자가 원하는 경우일 수 있다.
영상 변환부(133)는 다채널 영상들을 시간별, 채널별 또는 시간 및 채널을 혼합한 기준으로 그룹핑하여 영상 저장부(140)에 저장한다. 사용자 단말(150)의 요청이 있는 경우, 영상 처리 장치(130)가 영상 저장부(140)에 저장된 영상들을 추출하여, 전송부(134)를 통해 사용자 단말(150)에 전송한다. 여기서, 전송부(134)는 스트리밍 장치일 수 있으며, 영상서버(130) 내에 포함되어 있는 것으로 설명하지만, 영상서버(130)와 분리되어 별도의 장치로 구현할 수 있음은 물론이다.
전송부(133)는 처리된 영상 또는 저장된 영상을 실시간 전송한다. 예를 들면 실시간 스트리밍을 위한 장치일 수 있다. 전송부(133)는 사용자 단말과 세션 관리, 프로토콜 관리를 수행하는 메시지 핸들러, 영상을 사용자 단말로 전송하며, 사용자 단말로 전송할 영상들의 집합인 스트리머, 사용자 단말의 신호를 받아 영상을 GOP단위로 스케쥴링한 후 스트리머에 전달하는 채널 매니저를 포함할 수 있다.
도 10은 또 다른 실시 예에 따른 객체 속도 계산 및 표시 방법을 설명하기 위한 흐름 도이다.
단계 1000에서, 기준 거리를 포함한 제1 영역과 이동하는 객체를 포함한 제2 영역을 포함하는 촬영 영역이 소정 촬영 속도로 촬영된 복수의 입력 프레임을 획득한다.
단계 1002에서, 복수의 입력 프레임 중 제1 및 제2 입력 프레임에 존재하는 이동하는 객체의 프레임 상의 제1 이동 거리를 계산한다.
단계 1004에서, 기준 거리 및 제1 이동 거리를 기초로 객체의 실제 이동한 거리인 제2 이동 거리를 계산한다.
단계 1006에서, 촬영 속도 및 제2 이동 거리를 기초로 객체의 속도를 계산한다. 그리고 계산한 객체의 속도를 촬영 영상의 특정 위치에 객체 이동 영상과 함께 표시할 수 있다.
도 11은 또 다른 실시 예에 따른 객체 속도 계산 및 표시 방법을 설명하기 위한 흐름 도이다.
도 11을 참조하면, 단계 1100에서, 이동하는 객체를 포함한 촬영 영역이 소정 촬영 속도로 촬영된 복수의 입력 프레임을 획득한다.
단계 1102에서, 복수의 입력 프레임 중 적어도 2개의 입력 프레임에 존재하는 이동하는 객체의 프레임 상의 제1 이동 거리를 계산한다.
단계 1104에서, 미리 저장된 기준 거리 및 제1 이동 거리를 기초로 객체의 실제 이동한 거리인 제2 이동 거리를 계산한다. 여기서, 미리 저장된 기준 거리는, 프레임상의 픽셀 간의 거리를 실제 거리로 환산하여 저장된 값일 수 있다.
단계 1106에서, 촬영 속도 및 제2 이동 거리를 기초로 객체의 속도를 계산한다. 그리고 계산한 객체의 속도를 촬영 영상의 특정 위치에 객체 이동 영상과 함께 표시할 수 있다.
일 실시 예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 프레임획득부에서, 기준 거리를 포함한 제1 영역과 이동하는 객체를 포함한 제2 영역을 포함하는 촬영 영역이 소정 촬영 속도로 촬영된 복수의 입력 프레임을 획득하는 단계;
    객체속도계산부에서, 상기 복수의 입력 프레임 중 제1 및 제2 입력 프레임에 존재하는 상기 이동하는 객체의 프레임상의 제1 이동 거리를 계산하는 단계;
    상기 객체속도계산부에서, 상기 기준 거리 및 상기 제1 이동 거리를 기초로 상기 객체의 실제 이동한 거리인 제2 이동 거리를 계산하는 단계; 및
    상기 객체속도계산부에서, 상기 촬영 속도 및 상기 제2 이동 거리를 기초로 상기 객체의 속도를 계산하는 단계를 포함하고,
    상기 이동하는 객체는,
    투수가 던진 볼 또는 타자가 타격한 볼이고,
    상기 기준 거리는,
    상기 타자가 위치한 배터 박스의 길이인 것을 특징으로 하는 객체 속도 계산 및 표시 방법.
  2. 제 1 항에 있어서,
    영상처리부에서, 상기 계산된 객체의 속도를 상기 촬영 영역에 표시하는 단계를 더 포함하는 것을 특징으로 하는 객체 속도 계산 및 표시 방법.
  3. 제 2 항에 있어서,
    상기 제1 이동 거리는,
    상기 복수의 입력 프레임에 존재하는 상기 이동하는 객체의 이동거리를 평균한 값인 것을 특징으로 하는 객체 속도 계산 및 표시 방법.
  4. 제 2 항에 있어서,
    상기 제1 및 제2 입력 프레임은,
    서로 인접한 프레임들인 것을 특징으로 하는 객체 속도 계산 및 표시 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제 1 항 내지 제 4 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시기 위한 프로그램을 기록한 기록매체.
  10. 기준 거리를 포함한 제1 영역과 이동하는 객체를 포함한 제2 영역을 포함하는 촬영 영역이 소정 촬영 속도로 촬영된 복수의 입력 프레임을 획득하는 프레임 획득부; 및
    상기 복수의 입력 프레임 중 제1 및 제2 입력 프레임에 존재하는 상기 이동하는 객체의 프레임 상의 제1 이동 거리를 계산하고, 상기 기준 거리 및 상기 제1 이동 거리를 기초로 상기 객체의 실제 이동한 거리인 제2 이동 거리를 계산하고, 상기 촬영 속도 및 상기 제2 이동 거리를 기초로 상기 객체의 속도를 계산하는 객체 속도 계산부를 포함하고,
    상기 이동하는 객체는,
    투수가 던진 볼 또는 타자가 타격한 볼이고,
    상기 기준 거리는,
    상기 타자가 위치한 배터 박스의 길이인 것을 특징으로 하는 객체 속도 계산 및 표시 장치.
  11. 제 10 항에 있어서,
    상기 계산된 객체의 속도를 상기 촬영 영역에 표시하도록 제어하는 영상 처리부를 더 포함하는 것을 특징으로 하는 객체 속도 계산 및 표시 장치.
  12. 제 10 항에 있어서,
    상기 제1 이동 거리는,
    상기 복수의 입력 프레임에 존재하는 상기 이동하는 객체의 이동거리를 평균한 값인 것을 특징으로 하는 객체 속도 계산 및 표시 장치.
  13. 제 10 항에 있어서,
    상기 제1 및 제2 입력 프레임은,
    서로 인접한 프레임들인 것을 특징으로 하는 객체 속도 계산 및 표시 장치.
  14. 삭제
  15. 삭제
KR1020180141964A 2018-11-16 2018-11-16 객체 속도 계산 및 표시 방법 및 장치 KR102149005B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180141964A KR102149005B1 (ko) 2018-11-16 2018-11-16 객체 속도 계산 및 표시 방법 및 장치
PCT/KR2019/015666 WO2020101433A1 (ko) 2018-11-16 2019-11-15 객체 속도 계산 및 표시 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180141964A KR102149005B1 (ko) 2018-11-16 2018-11-16 객체 속도 계산 및 표시 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200057485A KR20200057485A (ko) 2020-05-26
KR102149005B1 true KR102149005B1 (ko) 2020-08-28

Family

ID=70731233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180141964A KR102149005B1 (ko) 2018-11-16 2018-11-16 객체 속도 계산 및 표시 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102149005B1 (ko)
WO (1) WO2020101433A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102432939B1 (ko) * 2020-09-15 2022-08-19 한국생산기술연구원 수중 운동체의 비 접촉식 속도 측정 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5683851B2 (ja) * 2009-08-20 2015-03-11 株式会社ザクティ 撮像装置及び画像処理装置
KR101164894B1 (ko) * 2010-05-28 2012-07-12 송지을 경기 참여자 관점의 야구공 영상생성 장치, 시스템, 및 그 방법의 기록매체
US9007463B2 (en) * 2010-12-22 2015-04-14 Sportsvision, Inc. Video tracking of baseball players which identifies merged participants based on participant roles
KR102232517B1 (ko) * 2014-09-15 2021-03-26 삼성전자주식회사 이미지 촬영 방법 및 이미지 촬영 장치
KR101813243B1 (ko) * 2016-05-24 2017-12-29 주식회사 골프존유통 골프필드에서 거리 추천 방법 및 장치

Also Published As

Publication number Publication date
WO2020101433A1 (ko) 2020-05-22
KR20200057485A (ko) 2020-05-26

Similar Documents

Publication Publication Date Title
JP7123523B2 (ja) 自動的にテレビ番組を制作する方法及びシステム
US11283983B2 (en) System and method for providing virtual pan-tilt-zoom, PTZ, video functionality to a plurality of users over a data network
CN105245977B (zh) 一种多组摄像头同步直播的方法
JP6580045B2 (ja) 映像制作物を作るための方法及びシステム
KR101291765B1 (ko) 실시간 중계방송을 위한 공 궤적 제공 시스템
KR102149003B1 (ko) 입체 스트라이크 존 표시 방법 및 장치
JP2007189357A (ja) 自由視点映像配信装置及び自由視点映像配信方法
US10694245B2 (en) Device, system, and method for game enhancement using cross-augmentation
KR102149005B1 (ko) 객체 속도 계산 및 표시 방법 및 장치
KR20140023136A (ko) 골프방송중 퍼팅정보 디스플레이시스템 및 그 방법
KR101215058B1 (ko) 중계방송을 위한 야구 피칭 영상 제공 시스템
US20240104793A1 (en) Adding augmented reality to a sub-view of a high resolution central video feed
US20210125349A1 (en) Systems and methods for visualizing ball trajectory in real-time
US20230100572A1 (en) Methods and systems to track a moving sports object trajectory in 3d using multiple cameras
KR102184379B1 (ko) 머신러닝 기술을 이용한 스포츠 중계 스트리밍 시스템 및 이를 이용한 스포츠 중계 스트리밍 자동 제작 방법
KR20150006624A (ko) 양방향 스포츠 경기 정보 제공 시스템
JP4658391B2 (ja) 映像補助効果生成装置および映像送信装置ならびに映像受信装置
KR102124194B1 (ko) 영상분석을 위한 다채널 영상 전송 시스템 및 이의 제어 방법
KR102055777B1 (ko) 다채널 영상을 위한 전송 시스템 및 이의 제어 방법, 다채널 영상 처리 방법
KR20190107501A (ko) 멀티미디어 콘텐츠 처리를 위한 장치 및 제어방법
EP3443737B1 (en) System and method for providing virtual pan-tilt-zoom, ptz, video functionality to a plurality of users over a data network
KR20140023137A (ko) 골프방송중 온그린정보 디스플레이시스템 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right