KR20180123302A

KR20180123302A - 볼의 궤적을 시각화하는 방법 및 장치

Info

Publication number: KR20180123302A
Application number: KR1020170057329A
Authority: KR
Inventors: 송지을
Original assignee: 송지을
Priority date: 2017-05-08
Filing date: 2017-05-08
Publication date: 2018-11-16
Also published as: US20180322671A1

Abstract

볼의 궤적을 시각화하기 위한 장치가 제공된다. 본 장치는, 복수의 카메라를 통하여 획득된, 비행하는 볼의 영상들을 분석하여 상기 비행하는 볼의 궤적을 결정하도록 구성된 궤적 결정부 - 상기 비행하는 볼의 궤적은 3차원 좌표들에 의해 정의됨 -, 및 상기 3차원 좌표들을 기초로 상기 볼의 영상을 타자의 시점으로 렌더링하도록 구성된 영상 렌더링부를 포함한다. 상기 영상 렌더링부는 상기 볼의 영상에서 상기 볼이 상기 타자를 향해 접근함에 따라 서로 다른 배경들이 표시되게 제어하도록 구성된다.

Description

볼의 궤적을 시각화하는 방법 및 장치{Method and Apparatus for Visualizing a Ball Trajectory}

본 발명은 볼의 궤적을 시각화하는 기술에 관한 것으로, 더 구체적으로는 볼의 궤적을 배경 영상과 함께 시각화하는 기술에 관한 것이다.

스포츠 중계방송 시스템의 발전에 따라 프로야구 경기의 진행 상황을 시청자들에게 다각적으로 보여주기 위한 다양한 기술이 개발되고 있다. 이 중에서도 투수가 던진 볼의 궤적을 추적하여 시각화하는 기술이 알려져 있는데 이러한 기술은 방송 중계의 목적으로 활용될 수 있을 뿐만 아니라 프로 구단이나 아마추어 구단에서 자 팀 및 타 팀 투수의 구속, 구질 및 구종을 분석하는데 유용하게 활용될 수 있다.

최근에는 투수가 던진 볼의 궤적을 포수나 투수의 시점에서가 아니라 타자의 시점에서 본 영상으로 시각화하고자 하는 연구가 활발히 진행되고 있다. 야구 중계방송에 있어서 투수가 던진 볼의 구질과 구속을 타자의 시각에서 시각화하여 보여줄 수 있다면 시청자들에게 더욱 생생한 현장감을 전달해 줄 수 있기 때문에 이에 대한 연구의 필요성은 날로 높아질 수 밖에 없다. 그러나 현재의 기술 수준은 투수가 던진 볼의 구질과 구속을 타자의 시각에서 생생하게 보여줄 수 있을 정도에 미치지 못하는 실정이다.

공개특허　제10-2012-0064561호 (2012년 06월 19일 공개)

본 발명의 과제는 투수가 던진 볼의 궤적을 타자의 시점에서 배경 영상과 함께 시각화하여 표시하는 방법 및 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

일 측면에서, 볼의 궤적을 시각화하기 위한 장치가 제공된다. 본 장치는, 복수의 카메라를 통하여 획득된, 비행하는 볼의 영상들을 분석하여 상기 비행하는 볼의 궤적을 결정하도록 구성된 궤적 결정부 - 상기 비행하는 볼의 궤적은 3차원 좌표들에 의해 정의됨 -, 및 상기 3차원 좌표들을 기초로 상기 볼의 영상을 타자의 시점으로 렌더링하도록 구성된 영상 렌더링부를 포함할 수 있다. 상기 영상 렌더링부는 상기 볼의 영상에서 상기 볼이 상기 타자를 향해 접근함에 따라 서로 다른 배경들이 표시되게 제어하도록 더 구성될 수 있다.

일 실시예에서, 상기 영상 렌더링부는 상기 볼의 영상에서 상기 서로 다른 배경들 위에 상기 볼이 오버레이되어 표시되게 제어하도록 더 구성될 수 있다.

일 실시예에서, 상기 궤적 결정부는, 상기 볼의 비행 시작점과 상기 볼의 비행 종료점을 잇는 가상선의 양 측에 위치하는 카메라들과 상기 가상선으로부터 선정된 높이에 위치하는 카메라로부터 획득된, 상기 비행하는 볼의 영상들을 분석하여 상기 비행하는 볼의 궤적을 결정하도록 더 구성될 수 있다.

일 실시예에서, 상기 영상 렌더링부는, 상기 타자의 시야각에 해당되는, 미리 저장된 가상 경기장의 모델링 데이터를 이용하여 상기 볼의 영상에서 상기 서로 다른 배경들이 표시되게 제어하도록 더 구성될 수 있다.

일 실시예에서, 상기 영상 렌더링부는, 상기 복수의 카메라 중 어느 하나 또는 별도의 카메라로부터 획득한, 상기 타자의 영상을 분석하여 상기 타자의 키 및 상기 타자의 타석에서의 위치 중 적어도 하나에 관한 정보를 얻고, 상기 정보에 기초하여 상기 볼의 영상에서 상기 서로 다른 배경들이 표시되게 제어하도록 더 구성될 수 있다.

일 실시예에서, 상기 영상 렌더링부는, 상기 볼의 영상에서 상기 서로 다른 배경들이 블러링되도록 상기 모델링 데이터를 처리하도록 더 구성될 수 있다.

일 실시예에서, 상기 영상 렌더링부는, 상기 볼의 영상에서 상기 블러링된 서로 다른 배경들의 중앙에 상기 볼이 오버레이되어 표시되게 제어하도록 더 구성될 수 있다.

일 실시예에서, 상기 타자의 시점은 상기 타자의 눈의 시점일 수 있다.

일 실시예에서, 상기 영상 렌더링부는, 상기 볼의 영상에서 상기 볼에 초점이 맞춰지도록 상기 볼의 영상을 처리하도록 더 구성될 수 있다.

다른 측면에서, 볼의 궤적을 시각화하는 방법이 제공된다. 본 방법은 복수의 카메라를 통하여 획득된, 비행하는 볼의 영상들을 분석하여 상기 비행하는 볼의 궤적을 결정하는 단계 - 상기 비행하는 볼의 궤적은 3차원 좌표들에 의해 정의됨 -, 및 상기 3차원 좌표들을 기초로 상기 볼의 영상을 타자의 시점으로 렌더링하는 단계를 포함할 수 있다. 상기 렌더링하는 단계는, 상기 볼의 영상에서 상기 볼이 상기 타자를 향해 접근함에 따라 서로 다른 배경들이 표시되도록 하는 단계를 포함할 수 있다.

일 실시예에서, 상기 렌더링하는 단계는, 상기 볼의 영상에서 상기 서로 다른 배경들 위에 상기 볼이 오버레이되어 표시되도록 하는 단계를 포함할 수 있다.

일 실시예에서, 상기 비행하는 볼의 궤적을 결정하는 단계는, 상기 볼의 비행 시작점과 상기 볼의 비행 종료점을 잇는 가상선의 양 측에 위치하는 카메라들과 상기 가상선으로부터 선정된 높이에 위치하는 카메라로부터 획득된, 상기 비행하는 볼의 영상들을 분석하여 상기 비행하는 볼의 궤적을 결정하는 단계를 포함할 수 있다.

일 실시예에서, 상기 렌더링하는 단계는, 상기 타자의 시야각에 해당되는, 미리 저장된 가상 경기장의 모델링 데이터를 이용하여 상기 볼의 영상에서 상기 서로 다른 배경들이 표시되게 제어하는 단계를 포함할 수 있다.

일 실시예에서, 상기 렌더링하는 단계는, 상기 복수의 카메라 중 어느 하나 또는 별도의 카메라로부터 획득한, 상기 타자의 영상을 분석하여 상기 타자의 키 및 상기 타자의 타석에서의 위치 중 적어도 하나에 관한 정보를 얻고, 상기 정보에 기초하여 상기 볼의 영상에서 상기 서로 다른 배경들이 표시되게 제어하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 렌더링하는 단계는, 상기 볼의 영상에서 상기 서로 다른 배경들이 블러링되도록 상기 모델링 데이터를 처리하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 렌더링하는 단계는, 상기 볼의 영상에서 상기 블러링된 서로 다른 배경들의 중앙에 상기 볼이 오버레이되어 표시되게 제어하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 렌더링하는 단계는, 상기 볼의 영상에서 상기 볼에 초점이 맞춰지도록 상기 볼의 영상을 처리하는 단계를 더 포함할 수 있다.

본 발명의 실시예들에 따르면, 투수가 던진 볼의 궤적을 타자의 시점에서 배경 영상과 함께 시각화하여 표시해 줌으로써 시청자들에게 야구 경기의 내용을 한층 생동감 있게 전달해 줄 수 있다는 기술적 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 볼 궤적 시각화 장치의 블록도를 도시한 도면이다.
도 2 내지 도 4는 타자에 의한 볼 추적 과정을 예시하기 위한 도면이다.
도 5는 에피폴라 기하 구조의 일 예를 나타낸 도면이다.
도 6은 영상 기하학의 좌표계들을 나타낸 도면이다.
도 7은 F를 구하는 과정에서 입력되는 8개의 매칭 이미지 좌표 쌍을 찾는 방법을 설명하기 위한 도면이다.
도 8은 투수가 던진 피칭 볼을 확대한 영상을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 볼 궤적 시각화 방법을 예시하기 위한 흐름도를 도시한 도면이다.

본 발명의 이점들과 특징들 그리고 이들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해 질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 본 실시예들은 단지 본 발명의 개시가 완전하도록 하며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려 주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로 본 발명을 한정하려는 의도에서 사용된 것이 아니다. 예를 들어, 단수로 표현된 구성 요소는 문맥상 명백하게 단수만을 의미하지 않는다면 복수의 구성 요소를 포함하는 개념으로 이해되어야 한다. 또한, 본 발명의 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐이고, 이러한 용어의 사용에 의해 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성이 배제되는 것은 아니다. 또한, 본 명세서에 기재된 실시예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하는 기능적 부분을 의미할 수 있다.

덧붙여, 다르게 정의되지 않는 한 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 발명의 명세서에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세히 설명한다. 다만, 이하의 설명에서는 본 발명의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시예에 따른 볼 궤적 시각화 장치의 블록도를 도시한 도면이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 볼 궤적 시각화 장치(100)는 제어부(150), 저장부(160) 및 디스플레이부(170)를 포함할 수 있다. 제어부(150)는 궤적(20)을 따라 이동하는 볼(10)을 타자의 시점에서 본 영상으로 시각화하는 처리를 수행하도록 구성될 수 있다. 제어부(150)는 궤적 결정부(110)를 포함할 수 있다. 궤적 결정부(110)는 복수의 카메라를 통하여 획득된, 비행하는 볼(10)의 영상들을 분석하여 볼(10)의 궤적(20)을 결정하도록 구성될 수 있다. 여기서, 비행하는 볼(10)의 궤적(20)은 3차원 좌표들에 의해 정의될 수 있다. 또한 복수의 카메라(140)의 각각은 촬상 소자를 포함하여 빛을 영상 신호로 변환하는 기능을 수행하며, 예컨대 야구장의 임의의 위치에 설치되어 비행하는 볼(10)의 영상 데이터를 제공하도록 구성될 수 있다.

도 2 내지 도 4에 도시된 바와 같이, 투수가 포수를 향하여 볼(10)을 던질 때 타자는 날아오는 볼(10)을 추적하며, 타자는 볼(10)을 볼뿐만 아니라 배경 역시 볼 수 있다. 이 때 타자의 시선이 볼(10)의 궤적(20)을 따라 이동함에 따라 타자가 보는 배경1, 배경 2 및 배경 3으로 변할 수 있다. 궤적 결정부(110)는 볼(10)의 궤적(20)을 정의하는 3차원 좌표들을 결정하도록 구성될 수 있다. 3차원 좌표들의 각각은 영상을 구성하는 영상 프레임 또는 영상 필드의 각각에 대응할 수 있다. 궤적 결정부(110)는 에피폴라 기하학(epipolar geometry), 기초행렬(fundamental matrix) 및 영상 기하학(Imaging geometry)에 기반하여 볼(10)의 궤적(20)을 도출하도록 구성될 수 있다.

먼저 도면들을 참조하여 에피폴라 기하학에 대해 설명한다.

복수의 카메라(140)를 통하여 스테레오 영상 시스템을 구성할 때, 내부 파라미터(intrinsic parameter)와 외부 파라미터 (extrinsic parameter)가 정해지면 스테레오 영상에 투영된 3차원 공간 좌표가 각 스테레오 영상의 어느 위치로 투영되었는지를 기하학적으로 예측하는 것이 가능하다. 이 때 내부 파라미터는 복수의 카메라(140)의 각각의 초점거리, 픽셀 규격 등을 포함하고, 외부 파라미터는 복수의 카메라(140)의 각각의 회전 및 이동과 같이 복수의 카메라(140) 간의 공간적인 변환 상태를 정의해 주는 것이다. 이러한 스테레오 영상 간의 기하학적인 대응 관계를 에피폴라 구조라고 한다. 도 5는 두 대의 카메라(140)로 이루어진 스테레오 영상 간에 형성되는 에피폴라 기하 구조의 일 예를 나타낸 도면이다. 에피폴라 기하 구조는 하나의 3차원 공간 좌표가 좌우 스테레오 영상의 어디에 각각 투영되는가를 기하학적으로 정의한다. 도 5를 참조하면서 이를 좀 더 구체적으로 설명해 보면 다음과 같다.

3차원 공간에 한 점(P)이 제1 영상의 한 점(p1)에 투영된다고 하자. 그런데, 제1 영상의 입장에서는 제1 카메라(140)의 중심과 이 3차원 공간의 한 점(P)을 제1 직선(L1)으로 연결하는 모든 공간상의 점들이 동일한 하나의 점 p1에 투영될 수 있다. 반면에 3차원 공간의 한 점(P)과 제1 직선(L1) 상의 점들은 제2 영상에 대해서는 각각 다른 위치로 투영된다. 즉, 제1 영상에 한 점(p1)으로 투영된 3차원 공간의 점들은 제2 영상에서는 일정한 직선 상에 투영되는 것이다. 이 때 카메라(140)의 렌즈가 비선형 왜곡을 지닐 경우 투영된 3차원 공간의 점들은 제2 영상에서는 곡선 상에 투영된다. 이와 같이 제1 영상에 투영된 한 점(p1)에 대하여 제2 영상에서는 정확히 어느 한 점(p2)을 지정할 수 없으며, 카메라(140)와 실제 투영된 3차원 점(p1) 사이의 거리에 따라서 제1 영상에서는 3차원 점(p1)의 위치가 달라진다. 제1 영상에 투영된 점들은 일정한 기하학적 직선(L1)을 형성한다. 마찬가지로 제2 영상에 투영된 점들 역시 일정한 기하학적 직선(L2)를 형성한다. 이러한 직선 구조를 에피폴라 직선이라고 한다. 에피폴라 직선 및 기하구조는 제1 영상과 제2 영상을 포함하는 스테레오 영상 간의 대응 관계를 추정하려고 할 때, 제1 영상 또는 제2 영상에서의 점에 대응하는 대응점의 위치가 반대편 영상에서 기하학적으로 정의하는 것이다. 즉 에피폴라 기하구조는 동일한 사물 또는 장면에 대한 영상을 서로 다른 두 지점에서 획득했을 때, 제1 영상과 제2 영상 사이의 매칭쌍들 사이의 기하학적 관계를 다루는 것이다.

이러한 에피폴라 기하구조는 기초 행렬(fundamental matrix)에 의하여 표현될 수 있다. 기초 행렬은 카메라(140)의 파라미터까지 포함한 제1 영상과 제2 영상의 픽셀(pixel) 좌표 사이의 기하학적 관계를 표현하는 행렬이다. 제1 영상 및 제2 영상에 대하여 매칭되는 픽셀 좌표 pimg(=p1), pimg'(=p2) 사이에는 항상 아래의 수학식 1 및 수학식 2를 만족하는 행렬 F가 존재하고 이러한 행렬 F를 기초 행렬이라 한다.

이때, 제1 영상에 대한 제1 카메라(140)의 내부 파리미터 행렬을 K, 제2 영상에 대한 제2 카메라의 내부 파라미터 행렬을 K', 제1 영상 및 제2 영상 사이의 기본 행렬(essential matrix)을 E라 하면 기초 행렬 F는 아래의 수학식 3 및 수학식 4와 같이 표현된다.

기초 행렬을 위하여 8쌍 이상의 매칭 이미지 좌표쌍을 입력될 수 있는데, 도 5의 p1의 좌표 및 p2의 좌표로 이루어진 좌표쌍이 매칭 이미지 좌표쌍일 수 있다.

도 6은 영상 기하학(Imaging geometry)의 좌표계들을 나타낸 도면이다. 영상 기하학은 복수의 이미지 형성부 각각의 시야각, 초점거리 및 이미지 형성부의 틀어진 정도 등을 반영하기 위한 것이다. 월드 좌표계 상의 한 점(X, Y, Z)을 픽셀 좌표계에서의 이미지 평면(617) 상의 점(x, y)으로 변환시키는 행렬을 T라 하면, 그 관계식은 아래의 수학식 5와 같으며 동차 좌표(homogeneous)를 사용한다.

이 때, T는 4 x 3 행렬로서 아래의 수학식 6 및 수학식 7과 같이 분해하여 표현 가능하다.

[R|t]는 월드 좌표계를 복수의 카메라(140)의 좌표계로 바꾸는 리지드(rigid) 변환 행렬인 카메라(140)의 외부 파리미터, Tpers(1)은 카메라(140)의 좌표계 상의 3D 좌표를 정규 이미지 평면(normalized image plane)에 투영시키는 프로젝션(projection) 행렬, K는 카메라(140)의 내부 파라미터 행렬로 정규 이미지 좌표를 픽셀 좌표로 변환해 주는 행렬이다. Tpers(1)은 d=1 즉, Zc=1인 평면으로의 투영 변환이다. 따라서, 월드 좌표계 상의 한 점(X, Y, Z)을 이미지 평면(픽셀 좌표계) 상의 점(x, y)으로 변환시키는 행렬 T는 아래와 같이 간단한 식으로 표현된다.

앞서 설명된 영상 기하학을 통해 월드좌표계(X, Y, Z)와 복수의 카메라(140)의 각각의 픽셀 좌표계(x, y)의 상관 관계가 도출되며, 기초행렬(F)을 통해 복수의 카메라(140) 간의 상관 관계가 파악될 수 있다. 이와 같은 기초 행렬(F) 및 영상 기하학을 통하여 볼(10)의 궤적(20)이 도출될 수 있다. 즉, 복수의 카메라(140)가 1 초당 50 프레임의 이미지를 생성한다면, 50 프레임 각각마다 기초 행렬(F) 및 앞서 설명된 행렬 T의 관계식을 통하여 각 프레임에서의 볼(10)의 위치가 설정될 수 있다. 50 개의 프레임의 볼(10)의 위치를 연결하면 볼(10)의 궤적(20)이 도출될 수 있다. 본 발명의 일 실시예에서 월드 좌표계의 원점은 복수의 카메라(140)가 설치된 야구장의 홈베이스에 해당될 수 있다.

도 7은 F를 구하는 과정에서 입력되는 8개의 매칭 이미지 좌표 쌍을 찾는 방법을 설명하기 위한 도면이다. 검은 색의 사각형 틀(50)을 설치하고 사각형 틀(50)의 각 꼭지점은 빨간색의 LED(R), 파란색의 LED(B), 녹색의 LED(G), 노란색의 LED(Y)를 장착한다. 이 때의 각 점들은 월드 좌표계 상에서 실제 좌표 값들을 알고 있다. 이를 바탕으로 하여 기초 행렬 F를 구하면 복수의 카메라(140)의 각각의 방향과 이동을 구할 수 있다. 그 후 복수의 카메라(140)의 각각의 영상에 잡히는 피칭 볼(10)의 좌표들(x,y)을 월드 좌표계들(X, Y, Z)로 표현할 수 있다.

도 7에 도시된 바와 같이, 궤적 결정부(110)는, 3 대의 카메라(140)를 통하여 볼(10)의 궤적(20)을 도출할 수 있다. 2대의 카메라(140)는 볼(10)의 비행 시작점과 볼(10)의 비행 종료점을 잇는 가상선의 양측에 위치할 수 있다. 볼(10)의 비행 시작점은 투수(710)의 위치에 있을 수 있고, 볼(10)의 비행 종료점은 포수(720)의 위치에 있을 수 있다. 또한 나머지 한 대의 카메라(140)는 상기 가상선으로부터 기 설정된 높이에 위치할 수 있다. 투수(710)가 던진 볼(10)의 궤적(20)은 구질이나 구종에 따라 상하좌우로 변화할 수 있다. 따라서 가상선의 좌우측에 위치하는 카메라들(140)은 상하로 변화하는 볼(10)의 궤적(20)을 이미지화하기에 적합하고, 가상선의 상측에 위치하는 카메라(140)는 좌우로 변환하는 볼(10)의 궤적(20)을 이미지화하기에 적합하다. 복수의 카메라(140)의 각각은 8 개의 LED에 대한 영상을 촬영하고 월드 좌표계에서의 8 개의 LED는 위치가 미리 설정되어 있으므로 좌측의 카메라(140)와 상측 카메라(140) 사이에 기초 행렬 F가 도출될 수 있고, 우측의 카메라(140)와 상측 카메라(140) 사이에도 기초 행렬 F가 도출될 수 있다. 궤적 결정부(110)는, 복수의 카메라(140) 중 2 개의 카메라(140)가 생성한 이미지 상의 볼(10)의 위치를 통하여 2 개의 카메라(140) 사이의 기초 행렬에 따라 상기 볼(10)의 궤적(20)을 도출할 수 있다. 두 개의 기초 행렬 F 중 하나가 볼(10)의 궤적(20) 도출에 이용되거나, 두 개의 기초 행렬 F의 평균이 볼(10)의 궤적(20) 도출에 이용될 수 있다. 두 개의 기초 행렬 F의 평균이 볼(10)의 궤적(20) 도출에 이용될 경우 볼(10) 궤적(20)이 보다 정확하게 도출될 수 있다

이상과 같이, 가상선의 좌우측에 위치하는 카메라(140)는 상하로 변화하는 볼(10)의 궤적(20)을 이미지화하기에 적합하고, 가상선의 상측에 위치하는 카메라(140)는 좌우로 변환하는 볼(10)의 궤적(20)을 이미지화하기에 적합하다. 따라서 궤적 결정부(110)는, 가상선의 양측 중 일측에 위치하는 카메라(140)와 기 설정된 높이에 위치하는 카메라(140) 사이의 기초 행렬과 가상선의 양측 중 타측에 위치하는 카메라(140)와 기 설정된 높이에 위치하는 카메라(140) 사이의 기초 행렬을 통하여 볼의 궤적을 도출할 수 있다. 이상으로 궤적 결정부(110)가 비행하는 볼(10)의 궤적(20)을 결정하는 일 실시예를 설명하였으나 볼(10)의 궤적(20)을 결정하는 방식이 이에 한정되는 것이 아님을 이해하여야 한다.

도 8은 투수가 던진 피칭 볼을 확대한 영상을 나타낸 도면이다. 볼(10) 주변의 배경과 볼(10)의 계조값의 차이를 이용하여 볼(10) 영역에 대한 검출이 이루어질 수 있다. 볼(10) 영역에 대한 검출 후 서브 픽셀 보간법에 의하여 피칭볼(10)의 중심점 좌표(x, y)(이미지 좌표계)가 수정될 수 있다. 이와 같은 중심점 좌표(x, y)는 도 5의 점 p1 또는 점 p2의 좌표에 해당될 수 있다. 앞서 언급한 바와 같이, 카메라(140)는 1 초에 수십 프레임을 생성하므로 프레임과 프레임 사이의 볼(10) 궤적(20)은 칼만 필터를 통하여 도출될 수 있다. 칼만 필터(Kalman filter)는 물체의 측정값에 확률적인 오차가 포함되고, 또한 물체의 특정 시점에서의 상태는 이전 시점의 상태와 선형적인 관계를 가지고 있는 경우 적용이 가능하다. 피칭 볼 궤적(20) 추적의 경우 피칭볼(10)의 위치, 구간별 속도와 가속도를 측정할 수 있지만 이 측정값에 오차가 포함되어 있을 수 있다. 이 경우, 연속적으로 측정하는 값들을 칼만 필터를 이용해서 피칭 볼(10)의 위치를 추정할 수 있다. 이를 이용하여 보간법(interpolation)을 적용하면 피칭 볼(10)의 궤적(20)을 얻을 수 있다.

다시 도 1을 참조하면 제어부(150)는 영상 렌더링부(120)를 더 포함할 수 있다. 영상 렌더링부(120)는 궤적 결정부(110)에서 결정한 비행하는 볼(10)의 궤적(20)을 정의하는 3차원 좌표들을 기초로 볼(10)의 영상을 타자의 시점으로 렌더링하여 디스플레이부(170)에 표시하도록 구성될 수 있다. 일 실시예에서 타자의 시점은 타자의 눈의 시점일 수 있다. 앞서 도 2 내지 도 4를 통하여 설명된 바와 같이, 타자가 볼(10)의 궤적(20)을 추적할 때 타자는 볼을 뿐만 아니라 배경 역시 볼 수 있다. 따라서 영상 렌더링부(120)는 볼(10)의 영상에서 볼(10)이 타자를 향해 접근함에 따라 서로 다른 배경들이 표시되게 제어하도록 구성될 수 있다. 일 실시예에서 영상 렌더링부(120)는 볼(10)의 영상에서 서로 다른 배경 위에 볼(10)이 오버레이되어 표시되게 제어하도록 더 구성될 수 있다. 이 경우 볼(10)의 서로 다른 배경들은 타자의 시야각에 따라 다를 수 있으므로, 영상 렌더링부(120)는 타자의 시야각에 해당되는, 저장부(160)에 미리 저장된 가상 경기장의 모델링 데이터를 이용하여 볼(10)의 영상에서 서로 다른 배경이 표시되게 제어하도록 더 구성될 수 있다.

실제 타자가 실제 볼(10)의 이동을 추적할 때 타자의 눈은 이동하는 볼(10)에 초점을 맞추므로 볼(10)의 배경은 타자에게 흐릿하게 보일 수 있다. 이와 같은 효과를 표현하기 위하여 일 실시예에서 영상 렌더링부(120)는 볼(10)의 영상에서 서로 다른 배경들이 블러링되도록 모델링 데이터를 처리하도록 더 구성될 수 있다. 또한 실제 타자가 실제 볼(10)의 이동을 추적할 때 타자의 눈은 이동하는 볼(10)에 초점을 맞추므로 볼(10)은 배경의 중앙에 위치할 수 있다. 이와 같은 효과를 표현하기 위하여 영상 렌더링부(120)는, 볼(10)의 영상에서 블러링된 서로 다른 배경들의 중앙에 볼(10)이 오버레이되어 표시되고 볼(10)에 초점이 맞춰지도록 볼(10)의 영상을 처리하도록 더 구성될 수 있다. 이에 따라 블러링된 서로 다른 배경들에 비하여 볼(10)이 보다 뚜렷하게 디스플레이부(170)를 통하여 표시될 수 있다.

일 실시예에서, 영상 렌더링부(120)는, 복수의 카메라(140) 중 어느 하나 또는 별도의 카메라로부터 획득한, 타자의 영상을 분석하여 타자의 키 및 타자의 타석에서의 위치 중 적어도 하나에 관한 정보를 얻고, 이러한 정보에 기초하여 볼(10)의 영상에서 서로 다른 배경이 표시되게 제어하도록 더 구성될 수 있다. 이 경우, 영상 렌더링부(120)는 타자의 영상에서 타자를 나타내는 영역을, 예컨대 클러스터링, 윤곽선 검출 등의 기법을 이용하여 검출하고 해당 영역의 수직 방향의 길이를 검출하여 검출된 길이에 의해 타자의 키를 추정하도록 구성될 수 있다. 영상 렌더링부(120)는 추정된 타자의 키에 따라 조정된 시점에서 볼(10)의 영상을 렌더링할 수 있다. 또한 영상 렌더링부(120)는 타자의 영상에서 타석을 나타내는 영역과 타자를 나타내는 영역을 검출하고 두 영역 간의 위치적 관계에 따라 조정된 시점에서 볼(10)의 영상을 렌더링할 수 있다.

일 실시예에서, 영상 렌더링부(120)는 볼(10)의 영상에서 볼(10)의 궤적(20)이 시작되는 위치에 가상 투수를 표시하도록 구성될 수 있다. 가상 투수의 구현은, 실제 포수 뒤에 설치되어 실제 투수를 촬영하는 복수의 카메라(140)로부터 획득된 실제 투수의 영상으로부터 실제 투수의 외형을 추출함으로써 이루어질 수 있다.

도 2 내지 도 4에 도시된 바와 같이, 타자가 볼(10)을 추적할 때 볼(10)이 타자에 접근함에 따라 타자의 시선이 볼(10)을 쫓아가는 속도가 증가한다. 즉, 투수가 볼(10)을 던지면 볼(10)이 타자에게 가까워짐에 따라 타자는 볼(10)의 속도가 점점 증가한다고 시각적으로 느낄 수 있다. 즉, 볼(10)이 접근함에 따라 타자의 시선이 빨리 변하므로 타자는 볼(10)의 이동이 시작되는 도 2의 배경 1에 비하여 볼(10)이 타자에 근접한 도 4의 배경 3을 보다 흐릿하게 볼 것이고, 흐릿한 영역 역시 배경 1에 비하여 배경 3이 넓을 것이다. 이와 같은 효과를 구현하기 위하여 영상 렌더링부(120)는 배경 1에 해당되는 모델링 데이터의 블러링 처리를 위한 n1

m1 마스크를 사용한 후 배경 3에 해당되는 모델링 데이터의 블러링 처리를 위한 n2

m2 마스크를 사용할 수 있으며, 배경 3의 흐릿한 영역이 배경 1의 흐릇한 영역보다 넓으므로 m1과 m2가 같을 경우 n2는 n1보다 클 수 있다. 이 때 마스크는 배경에 해당되는 모델링 데이터와의 컨벌루션(convolution) 연산을 위한 것이다. 블러링 처리에서 마스크를 통한 컨벌루션(convolution) 연산은 통상의 기술자에게 일반적인 내용이므로 이에 대한 상세한 설명은 생략된다.

이상으로 설명한 제어부(150)는, 하드웨어적 측면에서 응용 주문형 집적 회로(Application Specific Integrated Circuits: ASICs), 디지털 신호 처리기(Digital Signal Processors: DSPs), 디지털 신호 처리 소자(Digital Signal Processing Devices: DSPDs), 프로그램 가능 논리 소자(Programmable Logic Devices: PLDs), 현장 프로그램 가능 게이트 어레이(Field-Programmable Gate Arrays: FPGAs), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers) 및 마이크로 프로세서(microprocessors) 중 적어도 하나를 이용하여 구현될 수 있다. 영상 처리 및 제어부(120)는 또한 전술한 하드웨어 플랫폼(platform) 상에서 실행 가능한 펌웨어(firmware)/소프트웨어 모듈로 구현될 수 있다. 이 경우, 펌웨어/소프트웨어 모듈은 적절한 프로그램(program) 언어로 쓰여진 하나 또는 그 이상의 소프트웨어 애플리케이션(software applications)에 의해 구현될 수 있다. 일 실시예에서, 영상 렌더링부(120)는 OpenGL(Open　Graphics　Library) 프로그램을 이용하여 구현하는 것이 가능하다.

저장부(160)는 영상 렌더링부(120)에 의해 수행되는 다양한 영상 처리의 결과로 제공되는 영상 데이터와 제어부(150)의 동작을 제어하기 위한 소프트웨어 및/또는 펌웨어를 저장하기 위해 사용된다. 저장부(160)는 플래시 메모리 타입(flash memory type), 하드 디스크 타입(hard disk type), 멀티미디어 카드(MultiMedia Card: MMC), 카드 타입의 메모리(예를 들어, SD(Secure Digital) 카드 또는 XD(eXtream Digital) 카드 등), RAM(Random Access Memory), SRAM(Static Random Access Memory), ROM(Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크 및 광 디스크 중 어느 하나의 저장 매체로 구현될 수 있으나, 당업자라면 저장부(160)의 구현 형태가 이에 한정되는 것이 아님을 알 수 있을 것이다.

디스플레이부(170)는 본 발명의 다양한 실시예에 따라 제공된 볼(10)의 영상들을 디스플레이하기 위한 것으로, LCD 디스플레이, LED 디스플레이, AMOLED 디스플레이, CRT 디스플레이 등의 다양한 디스플레이 장치를 포함할 수 있다.

도 9는 본 발명의 일 실시예에 따른 볼 궤적 시각화 방법을 예시하기 위한 흐름도를 도시한 도면이다.

도시된 바와 같이, 본 발명의 일 실시예에 따른 볼 궤적 시각화 방법은, 복수의 카메라(140)를 통하여 획득된, 비행하는 볼(10)의 영상들을 분석하여 비행하는 볼(10)의 궤적(20)을 결정하는 단계(S910)로부터 시작된다. 비행하는 볼(10)의 궤적은 3차원 좌표들에 의해 정의될 수 있다. 일 실시예에서, 볼(10)의 비행 시작점과 볼(10)의 비행 종료점을 잇는 가상선의 양 측에 위치하는 카메라들(140)과 이 가상선으로부터 선정된 높이에 위치하는 카메라(140)로부터 획득된, 비행하는 볼(10)의 영상들을 분석하여 비행하는 볼(10)의 궤적(20)을 결정하는 것이 가능하다.

단계(S920)에서는 볼(10)의 궤적(20)의 3차원 좌표들을 기초로 볼(10)의 영상을 타자의 시점으로 렌더링한다. 일 실시예에서 타자의 시점은 타자의 눈의 시점일 수 있다. 일 실시예에서, 볼(10)이 타자를 향해 접근함에 따라 서로 다른 배경들이 표시되도록 볼(10)의 영상을 렌더링할 수 있다. 일 실시예에서, 배경 위에 볼(10)을 오버레이함으로써 볼(10)의 영상에 배경을 표시하는 것이 가능하다. 일 실시예에서, 타자의 시야각에 해당되는, 미리 저장된 가상 경기장의 모델링 데이터를 이용하여 볼(10)의 영상에서 서로 다른 배경들이 표시되도록 할 수 있다. 일 실시예에서, 복수의 카메라(140) 중 어느 하나 또는 별도의 카메라로부터 획득한, 타자의 영상을 분석하여 타자의 키 및 타자의 타석에서의 위치 중 적어도 하나에 관한 정보를 얻고, 이러한 정보에 기초하여 볼(10)의 영상에서 서로 다른 배경들이 표시되게 제어하는 것이 가능하다. 일 실시예에서, 볼(10)의 영상에서 서로 다른 배경들이 블러링되도록 모델링 데이터를 처리하는 것이 가능하다. 일 실시예에서, 볼(10)의 영상에서 블러링된 서로 다른 배경들의 중앙에 볼(10)이 오버레이되어 표시되도록 하는 것이 가능하다. 일 실시예에서, 볼(10)의 영상에서 볼(10)에 초점이 맞춰지도록 볼(10)의 영상을 처리하는 것이 가능하다.

이상의 설명에서는 볼(10)의 영상을 타자의 시점에서 렌더링하는 실시예에 관해 설명하였지만 볼(10)의 영상을 포수의 시점에서 렌더링하는 실시예도 가능함을 이해하여야 한다. 이 경우 포수의 시야각에 해당되는, 미리 저장된 가상 경기장의 모델링 데이터를 이용하여 볼(10)의 영상이 표시되도록 할 수 있다.

본원에 개시된 실시예들에 있어서, 도시된 구성 요소들의 배치 또는 단계들의 순서는 발명이 구현되는 환경 또는 요구 사항에 따라 달라질 수 있다. 예컨대, 일부 구성 요소 또는 일부 단계가 생략되거나 몇몇 구성 요소 또는 몇몇 단계가 통합되어 하나로 실시될 수 있다. 또한 일부 구성 요소들의 배치 순서 및 연결이 변경될 수 있다.

이상에서는 본 발명의 다양한 실시예들에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예들에 한정되지 아니하며, 상술한 실시예들은 첨부하는 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양하게 변형 실시될 수 있음은 물론이고, 이러한 변형 실시예들이 본 발명의 기술적 사상이나 범위와 별개로 이해되어져서는 아니 될 것이다. 따라서, 본 발명의 기술적 범위는 오직 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

10: 볼
20: 궤적
100: 볼 궤적 시각화 장치
110: 궤적 결정부
120: 영상 렌더링부
140: 카메라
150: 제어부
160: 저장부
170: 디스플레이부
710: 투수
720: 포수

Claims

볼의 궤적을 시각화하기 위한 장치로서,
복수의 카메라를 통하여 획득된, 비행하는 볼의 영상들을 분석하여 상기 비행하는 볼의 궤적을 결정하도록 구성된 궤적 결정부 - 상기 비행하는 볼의 궤적은 3차원 좌표들에 의해 정의됨 -, 및
상기 3차원 좌표들을 기초로 상기 볼의 영상을 타자의 시점으로 렌더링하도록 구성된 영상 렌더링부를 포함하고,
상기 영상 렌더링부는 상기 볼의 영상에서 상기 볼이 상기 타자를 향해 접근함에 따라 서로 다른 배경들이 표시되게 제어하도록 더 구성되는, 볼 궤적 시각화 장치.
제1항에 있어서,
상기 영상 렌더링부는 상기 볼의 영상에서 상기 서로 다른 배경들 위에 상기 볼이 오버레이되어 표시되게 제어하도록 더 구성되는, 볼 궤적 시각화 장치.
제1항에 있어서,
상기 궤적 결정부는, 상기 볼의 비행 시작점과 상기 볼의 비행 종료점을 잇는 가상선의 양 측에 위치하는 카메라들과 상기 가상선으로부터 선정된 높이에 위치하는 카메라로부터 획득된, 상기 비행하는 볼의 영상들을 분석하여 상기 비행하는 볼의 궤적을 결정하도록 더 구성되는, 볼 궤적 시각화 장치.
제1항에 있어서,
상기 영상 렌더링부는, 상기 타자의 시야각에 해당되는, 미리 저장된 가상 경기장의 모델링 데이터를 이용하여 상기 볼의 영상에서 상기 서로 다른 배경들이 표시되게 제어하도록 더 구성되는, 볼 궤적 시각화 장치.
제4항에 있어서,
상기 영상 렌더링부는, 상기 복수의 카메라 중 어느 하나 또는 별도의 카메라로부터 획득한, 상기 타자의 영상을 분석하여 상기 타자의 키 및 상기 타자의 타석에서의 위치 중 적어도 하나에 관한 정보를 얻고, 상기 정보에 기초하여 상기 볼의 영상에서 상기 서로 다른 배경들이 표시되게 제어하도록 더 구성되는, 볼 궤적 시각화 장치.
제4항에 있어서,
상기 영상 렌더링부는, 상기 볼의 영상에서 상기 서로 다른 배경들이 블러링되도록 상기 모델링 데이터를 처리하도록 더 구성되는, 볼 궤적 시각화 장치.
제6항에 있어서,
상기 영상 렌더링부는, 상기 볼의 영상에서 상기 블러링된 서로 다른 배경들의 중앙에 상기 볼이 오버레이되어 표시되게 제어하도록 더 구성되는, 볼 궤적 시각화 장치.
제1항에 있어서,
상기 타자의 시점은 상기 타자의 눈의 시점인, 볼 궤적 시각화 장치.
제7항에 있어서,
상기 영상 렌더링부는, 상기 볼의 영상에서 상기 볼에 초점이 맞춰지도록 상기 볼의 영상을 처리하도록 더 구성되는, 볼 궤적 시각화 장치.
볼의 궤적을 시각화하는 방법으로서,
복수의 카메라를 통하여 획득된, 비행하는 볼의 영상들을 분석하여 상기 비행하는 볼의 궤적을 결정하는 단계 - 상기 비행하는 볼의 궤적은 3차원 좌표들에 의해 정의됨 -, 및
상기 3차원 좌표들을 기초로 상기 볼의 영상을 타자의 시점으로 렌더링하는 단계를 포함하고,
상기 렌더링하는 단계는, 상기 볼의 영상에서 상기 볼이 상기 타자를 향해 접근함에 따라 서로 다른 배경들이 표시되도록 하는 단계를 포함하는, 볼 궤적 시각화 방법.
제10항에 있어서,
상기 렌더링하는 단계는, 상기 볼의 영상에서 상기 서로 다른 배경들 위에 상기 볼이 오버레이되어 표시되도록 하는 단계를 포함하는, 볼 궤적 시각화 방법.
제10항에 있어서,
상기 비행하는 볼의 궤적을 결정하는 단계는, 상기 볼의 비행 시작점과 상기 볼의 비행 종료점을 잇는 가상선의 양 측에 위치하는 카메라들과 상기 가상선으로부터 선정된 높이에 위치하는 카메라로부터 획득된, 상기 비행하는 볼의 영상들을 분석하여 상기 비행하는 볼의 궤적을 결정하는 단계를 포함하는, 볼 궤적 시각화 방법.
제10항에 있어서,
상기 렌더링하는 단계는, 상기 타자의 시야각에 해당되는, 미리 저장된 가상 경기장의 모델링 데이터를 이용하여 상기 볼의 영상에서 상기 서로 다른 배경들이 표시되게 제어하는 단계를 포함하는, 볼 궤적 시각화 방법.
제13항에 있어서,
상기 렌더링하는 단계는, 상기 복수의 카메라 중 어느 하나 또는 별도의 카메라로부터 획득한, 상기 타자의 영상을 분석하여 상기 타자의 키 및 상기 타자의 타석에서의 위치 중 적어도 하나에 관한 정보를 얻고, 상기 정보에 기초하여 상기 볼의 영상에서 상기 서로 다른 배경들이 표시되게 제어하는 단계를 더 포함하는, 볼 궤적 시각화 방법.
제13항에 있어서,
상기 렌더링하는 단계는, 상기 볼의 영상에서 상기 서로 다른 배경들이 블러링되도록 상기 모델링 데이터를 처리하는 단계를 더 포함하는, 볼 궤적 시각화 방법.
제15항에 있어서,
상기 렌더링하는 단계는, 상기 볼의 영상에서 상기 블러링된 서로 다른 배경들의 중앙에 상기 볼이 오버레이되어 표시되게 제어하는 단계를 더 포함하는, 볼 궤적 시각화 방법.
제10항에 있어서,
상기 타자의 시점은 상기 타자의 눈의 시점인, 볼 궤적 시각화 방법.
제16항에 있어서,
상기 렌더링하는 단계는, 상기 볼의 영상에서 상기 볼에 초점이 맞춰지도록 상기 볼의 영상을 처리하는 단계를 더 포함하는, 볼 궤적 시각화 방법.