KR102149003B1 - 입체 스트라이크 존 표시 방법 및 장치 - Google Patents

입체 스트라이크 존 표시 방법 및 장치 Download PDF

Info

Publication number
KR102149003B1
KR102149003B1 KR1020180141963A KR20180141963A KR102149003B1 KR 102149003 B1 KR102149003 B1 KR 102149003B1 KR 1020180141963 A KR1020180141963 A KR 1020180141963A KR 20180141963 A KR20180141963 A KR 20180141963A KR 102149003 B1 KR102149003 B1 KR 102149003B1
Authority
KR
South Korea
Prior art keywords
strike zone
dimensional
coordinate
batter
image
Prior art date
Application number
KR1020180141963A
Other languages
English (en)
Other versions
KR20200057484A (ko
Inventor
이상윤
조형준
김웅기
Original Assignee
포디리플레이코리아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포디리플레이코리아 주식회사 filed Critical 포디리플레이코리아 주식회사
Priority to KR1020180141963A priority Critical patent/KR102149003B1/ko
Priority to US17/292,367 priority patent/US20210319618A1/en
Priority to PCT/KR2018/014434 priority patent/WO2020101094A1/ko
Priority to JP2021526630A priority patent/JP2022501748A/ja
Publication of KR20200057484A publication Critical patent/KR20200057484A/ko
Application granted granted Critical
Publication of KR102149003B1 publication Critical patent/KR102149003B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

일 실시 예에 따른 입체 스트라이크 존 표시 방법은 다채널 영상에서의 스트라이크 존을 표시하거나 스트라이크 존을 입체적으로 표현함으로써 투수가 던진 공이 다양한 각도에서의 스트라이크 존을 통과하는지를 판단할 수 있다.

Description

입체 스트라이크 존 표시 방법 및 장치{Method and apparatus for displaying a strike zone}
실시 예들은 입체 스트라이크 존 표시 방법 및 장치에 관한 것이다.
최근 대중들은 모바일을 이용한 동영상 재생을 선호한다. 이러한 선호에 발맞춰 기업들은 방송 플랫폼, 예를 들면 V-app, AfreecaTV, Youtube Live를 서비스하고 있다. 이러한 플랫폼을 시청하는 대중들은 하나의 시점, 즉 하나의 카메라에서 촬영한 영상을 시청하고 있다. 그러나 최근 시청자들은 원하는 공간에서 촬영된 영상을 시청하길 원한다.
현재, 복수의 카메라로 하나의 피사체를 다양한 채널에서 촬영하여 획득한 복수의 영상을 기하학적으로 교정, 합성하여 다채널의 영상을 사용자에게 제공하는 영상 서비스가 공개되어 있다. 이러한 다채널 영상은 고화질의 개념을 뛰어넘는 사실감 넘치는 영상을 제공하며, 이를 통해 사용자들은 미디어에 몰입감을 더욱 느끼게 되고 광고, 교육, 의료, 국방, 오락 등의 분야에서 영상 정보 전달 효과를 크게 높일 수 있다.
종래의 다채널 영상에서는 채널/시간 스위칭이 다채널 영상 제작시에 미리 정해진 병합 방식으로 단순히 재생되는 차원이다. 즉, 종래에는 복수 개의 카메라에서 복수 개의 프레임을 획득하고, 획득한 프레임들 중 일부를 선별한 후 이들 프레임을 병합하여 하나의 채널 스위칭 영상을 제작하였다. 이러한 채널 스위칭 영상은 영상 제작 시에 제작자가 미리 결정한 채널의 프레임을 단순 병합한 것이므로, 해당 영상 파일을 재생하면 병합된 프레임들이 단일의 채널 이동 효과를 나타내는 채널 스위칭 효과를 내는 것이었다. 이와 같은 종래기술의 다채널 영상에 따르면 사용자는 미리 제작된 채널 스위칭 효과를 단순 시청하는 것에 불과하였고, 시청자가 시각 스위칭 또는 채널 스위칭을 수동으로 조작하여 재생을 원하는 시점으로 채널을 돌려가면서 영상을 시청하는 것은 불가능하였다.
한편, 야구 중계 시에, 투수가 던진 볼이 스트라이크인지 또는 볼인지를 야구 중계 화면의 2차원 평면상에서 표시하거나, 볼이 스트라이크 존을 통과하는지를 표시하는 기술이 일반화되었다. 하지만, 전술한 다채널 영상에서의 스트라이크 존을 표시하거나 스트라이크 존을 입체적으로 표현하는 데는 많은 기술적 어려움이 존재하였다.
[선행문헌번호]
선행문헌 1: US 2017-0100658호(2017.04.13 공개)
선행문헌 2: US 8,591,356호(2013.11.26 등록)
선행문헌 3: KR 2010-0035755호(2010.04.07 공개)
실시 예들은 입체 스트라이크 존 표시 방법 및 장치를 제공하는 것을 목적으로 한다.
일 실시 예에 따른 입체 스트라이크 존 표시 방법은 홈 플레이트를 포함한 배터 박스의 적어도 4개의 기준점 좌표를 기초로 3차원 좌표계를 설정하는 단계; 상기 설정된 3차원 좌표계에 상응하도록 상기 입체 스트라이크 존의 좌표값들을 설정하는 단계; 다채널 영상을 생성하기 위한 복수의 카메라들 각각에 투영된 2차원 영상 평면에서의 상기 배터 박스의 2차원 좌표값들을 획득하는 단계; 상기 3차원 좌표계와 상기 2차원 좌표값 간의 대응되는 좌표값을 기초로 회전(rotation) 정보 및 이동(translation) 정보를 추정하는 단계; 및 상기 회전 정보 및 이동 정보를 기초로 상기 복수의 카메라들 각각에 투영된 2차원 영상 평면에 상기 입체 스트라이크 존을 표시하는 단계를 포함한다.
상기 회전 정보 및 이동 정보는, 상기 3차원 좌표계와 상기 2차원 좌표 간의 대응되는 좌표값을 기초로 Levenberg-Marquardt optimization, Perspective-Three-Point, 또는 최소자승법을 통해 추정되는 것을 특징으로 한다.
상기 방법은 상기 입체 스트라이크 존의 좌표값들은 10개이고, 상기 10개 중 2개의 값(h1 및 h2)은 현재 타석에 등장하는 배터(batter)의 신장에 따라 가변하는 좌표값인 것을 특징으로 한다.
상기 배터의 신장은, 임의의 데이터베이스로부터 추출하거나, 상기 배터의 영상 검출을 통해 추출하는 것을 특징으로 한다.
상기 방법은 투수가 던진 공의 궤적을 검출 및 추적하는 단계를 더 포함하고, 상기 표시된 입체 스트라이크 존을 상기 공이 지나가는지를 검출함으로써 스트라이크인지 여부를 판단하는 것을 특징으로 한다.
다른 실시 예에 따른 입체 스트라이크 존 표시 장치는 홈 플레이트를 포함한 배터 박스의 적어도 4개의 기준점 좌표를 기초로 3차원 좌표계를 설정하고, 상기 설정된 3차원 좌표계에 상응하도록 상기 입체 스트라이크 존의 좌표값들을 설정하는 3차원 좌표 설정부; 및 다채널 영상을 생성하기 위한 복수의 카메라들 각각에 투영된 2차원 영상 평면에서의 상기 배터 박스의 2차원 좌표값들을 획득하고, 상기 3차원 좌표계와 상기 2차원 좌표값 간의 대응되는 좌표값을 기초로 회전(rotation) 정보 및 이동(translation) 정보를 추정하는 입체 스트라이크 존 생성부; 및 상기 회전 정보 및 이동 정보를 기초로 상기 복수의 카메라들 각각에 투영된 2차원 영상 평면에 상기 입체 스트라이크 존을 표시하는 영상 처리부를 포함한다.
상기 회전 정보 및 이동 정보는, 상기 3차원 좌표계와 상기 2차원 좌표 간의 대응되는 좌표값을 기초로 Levenberg-Marquardt optimization, Perspective-Three-Point, 또는 최소자승법을 통해 추정되는 것을 특징으로 한다.
상기 장치는 상기 입체 스트라이크 존의 좌표값들은 10개이고, 상기 10개 중 2개의 값(h1 및 h2)은 현재 타석에 등장하는 배터(batter)의 신장에 따라 가변하는 좌표값인 것을 특징으로 한다.
상기 배터의 신장은, 임의의 데이터베이스로부터 추출하거나, 상기 배터의 영상 검출을 통해 추출하는 것을 특징으로 한다.
상기 장치는 투수가 던진 공의 궤적을 검출 및 추적하는 궤적 추적부를 더 포함하고, 상기 표시된 입체 스트라이크 존을 상기 공이 지나가는지를 검출함으로써 스트라이크인지 여부를 판단하는 것을 특징으로 한다.
또 다른 실시 예에 따른 상기 방법을 컴퓨터에서 실행시키기 위한 방법을 기록한 기록매체를 포함한다.
실시 예에 따른 입체 스트라이크 존 표시 방법 및 장치를 통해 다채널 영상에서의 스트라이크 존을 표시하거나 스트라이크 존을 입체적으로 표현함으로써 투수가 던진 공이 다양한 각도에서의 스트라이크 존을 통과하는지를 판단할 수 있다.
도 1은 일 실시 예에 따른 다채널 영상을 위한 전송 시스템(100)의 개략 도이다.
도 2는 다채널 영상을 생성하는 예시 도이다.
도 3은 일 실시 예에 따른 입체 스트라이크 존(300)을 표시하는 개략 도이다.
도 4는 도 1에 도시된 영상 처리 장치(130)의 개략 도이다.
도 5 내지 9는 다른 실시 예에 따른 입체 스트라이크 존을 생성 및 표시하는 것을 설명하기 위한 예시 도들이다.
본 실시 예들에서 사용되는 용어는 본 실시 예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 기술분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 임의로 선정된 용어도 있으며, 이 경우 해당 실시 예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시 예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시 예들의 전반에 걸친 내용을 토대로 정의되어야 한다.
실시 예들에 대한 설명에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 구성요소를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 실시 예들에 기재된 “...부”의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 실시 예들에서 사용되는 “구성된다” 또는 “포함한다” 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
하기 실시 예들에 대한 설명은 권리범위를 제한하는 것으로 해석되지 말아야 하며, 해당 기술분야의 당업자가 용이하게 유추할 수 있는 것은 실시 예들의 권리범위에 속하는 것으로 해석되어야 할 것이다. 이하 첨부된 도면들을 참조하면서 오로지 예시를 위한 실시 예들을 상세히 설명하기로 한다.
도 1은 일 실시 예에 따른 다채널 영상을 위한 전송 시스템(100)의 개략 도이다.
도 1을 참조하면, 전송 시스템(100)은 복수의 카메라(111 내지 113), 복수의 카메라(111 내지 113)를 제어하고, 복수의 카메라(111 내지 113)로부터 촬영된 다채널 영상들을 처리 및 전송하는 카메라 제어부(110), 카메라 제어부(110)로부터 전송된 다채널 영상들을 처리 및 저장하는 영상 서버(200)를 포함한다. 영상 서버(200)는 사용자 단말(150)로부터 다채널 영상에 대한 요청, 스위칭 영상에 대한 요청, 특정 이벤트에 대한 요청을 수신하고, 저장된 다채널 영상을 사용자 단말(150)에 전송한다. 영상 서버(200)는 영상 처리 장치(130) 및 영상 저장부(140)를 포함할 수 있다.
도 2에 도시된 것처럼, 특정 피사체를 촬영하기 위해 복수의 카메라(1 내지 N)가 배치될 수 있다. 피사체의 주위에 어레이로 배열된 복수의 카메라에서 피사체를 다각도에서 촬영한 복수의 영상을 수신한다. 복수의 카메라 배열 방법은, 예컨대 임의의 카메라를 기준으로 N 개의 카메라들을 실질적으로 동일한 평면상에 일렬로 배치하는 것일 수 있다. 이 경우, 피사체를 기준으로 일정 거리 이격된 원주상에 N 개의 카메라들을 순차적으로 배치할 수도 있고, 중앙에 배치된 카메라를 기준으로 양측에 배치된 두 개의 카메라와 피사체 간의 거리를 일치시키고 나머지 카메라는 피사체와의 거리를 상이하게 할 수도 있다. 또한, 피사체는 고정된 피사체일 수도 있고, 움직이는 피사체일 수도 있다.
복수의 카메라(1 내지 N)와 카메라 제어부(110)는 유선 또는 무선으로 통신 가능할 수 있으며, 복수의 카메라(1 내지 N)를 제어하기 위한 복수의 카메라 제어부를 구비할 수도 있다.
카메라 제어부(110)는 복수의 카메라(1 내지 N)를 동기화하는 동기화 신호를 통해 복수의 카메라(1 내지 N)를 제어할 수 있다. 카메라 제어부(110)는 복수의 카메라(1 내지 N)로부터 촬영된 영상들을 임시 저장하고, 코덱 변경을 통해 촬영된 영상의 크기를 줄이고 빠른 전송이 가능하게 한다.
영상 서버(200)는 카메라 제어부(110)로부터 전송된 다채널 영상들 중 적어도 하나의 영상에 대한 입체 스트라이크 존을 생성하여 표시한다.
영상 서버(200)는 다채널 영상들을 사용자 단말의 요청에 따라 통신망을 통해 전송한다. 또한, 영상 서버(200)는 입체 스트라이크 존을 포함한 다채널 영상들을 시간별, 채널별, 시간 및 채널을 혼합한 적어도 하나의 기준으로 그룹핑 하여 저장하고, 사용자 단말의 요청에 따라 그룹핑된 영상을 통신망을 통해 사용자 단말(150)에 전송한다.
도 3은 일 실시 예에 따른 입체 스트라이크 존(300)을 표시하는 개략 도이다.
도 3을 참조하면, 실시 예에 따른 다채널 영상 전송 시스템을 통해 특정 카메라, 예를 들면 도 2에 도시된 카메라 1에서 촬영된 야구 중계 화면상에 입체 스트라이크 존(300)에 함께 표시되어 있다. 여기서, 모든 카메라 2 내지 N에서 촬영된 야구 중계 화면상에도 동일한 입체 스트라이크 존이 함께 표시될 수 있다. 여기서, 투수가 던진 공이 입체 스트라이크 존(300)을 통과하는지에 따라 볼 또는 스트라이크의 판정이 가능하며, 투수가 던진 공의 궤적을 검출 및 추적하면서, 입체 스트라이크 존(300)을 통과하는지를 표시할 수도 있다. 따라서, 사용자가 원하는 각도(또는 카메라)에서 촬영된 화면을 스위칭해가면서 야구 중계화면을 볼 때, 가상의 입체 스트라이크 존(300)을 생성하여 화면에 같이 표시해 줄 수 있다.
다채널 영상 전송 시스템은 각 카메라들의 영상들로부터 스트라이크 존의 좌표 정보들을 추정하고, 실제 배터 박스의 규격과 영상 내에서의 배터 박스의 좌표정보를 이용하여 각각의 카메라에서 촬영된 영상 평면에서의 회전 정보 및 이동 정보를 획득하고, 이를 이용하여 스트라이크 존을 구성하는 10개의 좌표를 추정하여, 각각의 영상에 투영시킨다. 여기서, 5각형의 스트라이크 존의 형상에 따라 10개의 좌표를 추정하지만, 그 수에 한정되는 것은 아니다. 자세한 입체 스트라이크 존을 생성 및 표시 방법은 도 5 내지 9를 참조하여 설명한다.
도 4는 도 1에 도시된 영상 처리 장치(130)의 개략 도이다.
도 4를 참조하면, 영상 처리 장치(130)는 입체 스트라이크 존 생성부(131), 영상 처리부(132), 영상 변환부(133) 및 전송부(134)를 포함한다. 실시 예에 따른 영상 처리 장치(130)는 야구 중계 스트리밍 서비스를 위한 영상 처리를 위한 것으로, 입체 스트라이크 존을 생성 및 표시하는 처리를 수행한다.
입체 스트라이크 존 생성부(131)는 홈 플레이트를 포함한 배터 박스의 적어도 4개의 기준점 좌표를 기초로 3차원 좌표계를 설정하고, 설정된 3차원 좌표계에 상응하도록 입체 스트라이크 존의 좌표값들을 설정한다. 또한, 다채널 영상을 생성하기 위한 복수의 카메라들 각각에 투영된 2차원 영상 평면에서의 배터 박스의 2차원 좌표값들을 획득하고, 3차원 좌표계와 2차원 좌표값 간의 대응되는 좌표값을 기초로 회전(rotation) 정보와 이동(translation) 정보를 추정한다.
도 5 내지 9는 다른 실시 예에 따른 입체 스트라이크 존을 생성 및 표시하는 것을 설명하기 위한 예시 도들이다.
도 5를 참조하면, 실제 야구장에 설치된 배터 박스의 규격이 도시되어 있다. 배터박스 중 홈 플레이트는 오각형 모양이고, 가로 및 세로의 길이가 43.18cm이고, 오각형 꼭짓점을 형성하기 위해 21.59cm를 기준으로 나누어진다. 좌우타석에 타자가 위치한 타석의 가로는 317.5cm이고, 세로는 182.88cm이다.
도 6을 참조하면, 도 5에 도시된 배터 박스의 실제 규격을 참조하여 네 모서리의 좌표를 3차원 좌표계로 설정할 수 있다. 도시된 것처럼, P1(0,0,0), P2(317.5,0,0), P3(0,182.88, 0) 및 P4(317.5, 182.88, 0)로 설정한다. 여기서, 4개 좌표(P1 내지 P4), 또는 배터 박스의 네 모서리를 기준으로 하였지만, 이에 한정되지 않고, 다양한 기준 좌표들을 설정할 수 있음은 물론이다.
도 7을 참조하면, 도 6에 도시된 3차원 좌표에 상응하도록 홈 플레이트의 크기를 기초로 입체 스트라이크 존의 좌표(K1 내지 K10)를 설정한다. 여기서, h1 및 h2는 타자의 체형 또는 신장에 따라 높낮이가 변하는 스트라이크 존의 특성에 따라 가변적으로 적용할 수 있는 매개변수이다. 예를 들면 타자의 신장이 큰 경우에는 h1 및 h2의 값이 크지만, 타자의 신장이 낮은 경우에는 h1 및 h2의 값이 작을 수 있다. 이러한 타자의 신장은 별도의 데이터베이스, 예를 들면 야구 선수의 상세 정보를 기록한 데이터베이스로부터 정보를 불러올 수 있거나, 또는 야구 중계 영상 속에서 타자 영상을 검출하여 신장을 측정한 후, 이러한 측정 결과를 반영하여 h1 및 h2를 결정할 수도 있다.
도 7에 도시된 것처럼, 바닥의 홈 플레이트를 기준으로 입체 스트라이크 존의 아랫면의 5개의 좌표들(K1 내지 K5)과 윗면의 5개의 좌표들(K6 내지 K10)은 다음과 같다.
입체 스트라이크 존을 구성하는 10개의 좌표는 K1(137.16, 69.81, h1), K2(180.34, 69.81, h1), K3(180.34, 91.44, h1), K4(158.75, 113.03. h1), K5(137.34, 91.44, h1), K6(137.16, 69.81, h2), K7(180.34, 69.81, h2), K8(180.34, 91.44, h2), K9(158.75, 113.03, h2), K10(137.34, 91.44, h2)을 포함한다. 실시 예에서 기재된 배터 박스 또는 입체 스트라이크 존의 좌표값은 예시적인 것으로 정확히 수치가 일치할 필요는 없으며, 비율 정도만 대응되어도 구현할 수 있음은 물론이다. 여기서, h1 및 h2는 전술한 것처럼, 타자의 신장에 따라 가변 가능한 수치일 수 있다.
도 8을 참조하면, 특정 카메라, 예를 들면 도 2에 도시된 복수의 카메라들 중 어느 하나의 카메라에서 촬영된 영상 평면에 맺힌 2차원 좌표와 대응되는 배터 박스 및 홈플레이트의 3차원 좌표들을 이용한다. 여기서, 대응되는 점들로 Levenberg-Marquardt optimization, Perspective-Three-Point, 최소자승법 등을 이용할 수 있다. 이러한 방법을 통해 특정 카메라에서 촬영된 영상에 입체 스트라이크 존을 합성하기 위한, 회전 정보 및 이동 정보를 추정한다. 즉, 3차원 좌표계와 투영된 각각의 2차원 좌표계 간의 대응되는 3개 이상의 좌표를 알 수 있다면, 각각의 2차원 좌표계에 투영된 회전 및 이동 정보의 추정이 가능하다. 여기서, Levenberg-Marquardt optimization, Perspective-Three-Point, 최소자승법 등을 이용하는 것으로 설명하였지만, 이에 한정되지 않고 다른 방법을 사용할 수 있음은 물론이다.
Perspective-n-Point을 참조하여 회전 및 이동 정보를 이용한 3D-2D 이미지 투영에 대해 상세히 설명한다. 특정 3D 공간의 좌표와 특정 이미지 평면 간의 각각 대응되는 4개 이상의 점을 알면 해당 공간들 간의 회전 및 이동 정보를 획득할 수 있다. 물론 사용하는 알고리즘에 따라 3개의 점으로도 포즈 추정이 가능할 수도 있다. 즉, Perspective-n-Point를 이용하여 획득한 회전 및 이동 정보가 있으면 3D 공간의 특정 좌표를 이미지 평면에 대응시킬 수 있다.
회전 정보(R)와 이동 정보(T)를 다음 수학식 1 및 2와 같이 정의할 수 있다.
Figure 112018114437441-pat00001
Figure 112018114437441-pat00002
그리고 3D 좌표를 Pw=(Xw, Yw, Zw) 투영될 2D 좌표를 Pc(Xc, Yc, Zc)라 가정하면, 다음 수학식 3과 같이 정의할 수 있다.
Figure 112018114437441-pat00003
여기서, 이미지 평면 사이즈에 맞도록 투영하기 위해, Pc에 내부 카메라모델 정보 M을 곱하면 다음 수학식 4와 같다.
Figure 112018114437441-pat00004
이때, x,y가 실제 이미지 평면의 x,y이며, 식을 정리하면 다음 수학식 5와 같다.
Figure 112018114437441-pat00005
상기 수학식 1 내지 5를 참조하여, 3D 좌표계의 Pw1, Pw2, Pw3, Pw4를 다음과 같이 설정한다. Pw1=(0, 20.183, 0), Pw2=(100,20.183,0), Pw3=(100,79.816,0), Pw4=(0,79.815,0)이고, 회전 정보 및 이동 정보는 다음과 같다.
Figure 112018114437441-pat00006
여기서, 이미지 평면의 사이즈는 (3840, 2160)이고, 이에 따라 카메라 정보 M은 다음과 같이 설정한다.
Figure 112018114437441-pat00007
이어, 입체 스트라이크 존의 좌표값들(k1 내지 k10)은 다음과 같다.
k1=(44,43,-12), k2=(56,43,-12), k3=(56,50,-12), k4=(50,57,-12), k5=(44,50,-12), k6=(44,43,-30), k7=(56,50,-30), k8=(56,50,-30), k9=(50,57,-30), k10=(44,50,-30)인 경우, 이미지 평면에서의 k1 내지 k10의 x,y값들은 다음과 수학식 6 내지 15와 같다.
Figure 112018114437441-pat00008
Figure 112018114437441-pat00009
Figure 112018114437441-pat00010
Figure 112018114437441-pat00011
Figure 112018114437441-pat00012
Figure 112018114437441-pat00013
Figure 112018114437441-pat00014
Figure 112018114437441-pat00015
Figure 112018114437441-pat00016
Figure 112018114437441-pat00017
전술한 방법을 통해, 각 카메라에서의 이미지 평면에서의 입체 스트라이크 존의 좌표값들을 계산할 수 있다.
실시 예에서, 3D 공간의 좌표들과 매칭되는 이미지 평면의 좌표들을 이용해서, 회전 정보(R) 및 이동 정보(T)를 추정한다. 이어, Levenberg-Marquardt optimization 등의 방법을 통해, R, T의 값을 대입시켜 계산하고, 실제 결과값과 계산된 결과값 간의 오차가 임계치보다 작아질 때까지 개선된 R 및 T의 값을 수정하여 다시 계산할 수 있다. 이러한 과정을 반복하게 되면, 실제 값에 근접하게 되며, 가장 근접한 R 및 T를 선택할 수 있다. 여기서, R, T, M을 다음과 같이 정의한다.
Figure 112018114437441-pat00018
여기서, R 및 T를 계산하고 평가하기 위한 평가함수를 F라고 하면 F는 다음 수학식 16과 같이 정의할 수 있다.
Figure 112018114437441-pat00019
평가함수의 목표 값은 F(s)이고, 이는 실제 이미지 평면의 좌표값에 해당한다. 다음으로, 입력벡터 C(k=0)를 초기화한다. 여기서, C는 입력벡터 R 및 T를 의미한다.
입력벡터에 대해 상기 수학식 16을 이용하여 함수 F(C)를 계산한다.
오차함수 F(k)=F(s)-F(C)를 계산한다. 여기서, 오차함수는 실제 이미지 평면의 값과 입력벡터 R 및 T를 대입하여 나온 비교 값을 의미한다.
또한, 입력벡터 개선을 위해 다음 수학식 17을 이용한다.
Figure 112018114437441-pat00020
여기서, J(k)는 C(k)에 대한 F(k)의 미분이고, 입력벡터를 수렴하는 방향으로 개선하기 위한 함수이다. 여기서, k는 반복횟수이고, C는 입력벡터 R, T이다.
또한, 다음 수학식 18을 만족하면 종료하고, 아니면 입력벡터에 대한 함수 F(C)를 다시 계산하여 반복한다.
Figure 112018114437441-pat00021
여기서, δ는 수렴이 되었는지를 평가하기 위한 임계값이다.
도 9a에 도시된 것처럼, 홈 플레이트를 포함한 배터 박스의 적어도 4개의 기준점 좌표를 기초로 3차원 좌표계를 설정한다. 또한, 3차원 좌표계에 상응하도록 입체 스트라이크 존의 좌표값들을 설정한다.
도 9b에 도시된 것처럼, 다채널 영상을 생성하기 위한 복수의 카메라들 각각에 투영된 2차원 영상 평면에서의 배터 박스의 2차원 좌표값들을 획득한다. 여기서, 상기 수학식 1 내지 18을 참조하여 설명한 것처럼, 3차원 좌표계와 2차원 좌표값 간의 대응되는 좌표값을 기초로 회전(rotation) 정보 및 이동(translation) 정보를 추정한다. 각각의 카메라(도 2에 도시된 카메라 1 내지 N)에서의 이미지 평면에서의 좌표값들을 기초로 회전 정보 및 이동 정보를 추정한다.
도 9c에 도시된 것처럼, 회전 정보 및 이동 정보를 기초로 복수의 카메라들 각각에 투영된 2차원 영상 평면에 입체 스트라이크 존을 표시한다.
실시 예에서, 영상 처리부(132)는 입체 스트라이크 존 생성부(131)에서 추정된 회전 정보 및 이동 정보를 기초로 복수의 카메라들(도 2에 도시된 카메라 1 내지 N) 각각에 투영된 2차원 영상 평면에 입체 스트라이크 존을 표시한다.
영상 처리부(132)는 전송된 다채널 영상들, 즉 복수의 카메라에서 촬영된 영상에 대해 영상 보정을 수행한다. 예를 들면 복수의 카메라에서 촬영된 영상들이 초점이 맞지 않을 수 있으므로, 카메라 간 초점이 동일하도록 영상 처리를 수행한다. 영상 처리부(132)는 전송된 다채널 영상들을 보정한다. N개의 카메라 배열의 기하학적 오차는 다채널 영상을 재생하는 과정에서 시각적인 흔들림으로 나타나므로, 이를 제거하기 위하여 각 영상의 크기 또는 사이즈, 기울기 또는 중심 위치 중 적어도 하나를 보정할 수 있다.
영상 변환부(133)는 다채널 영상들을 시간별, 채널별, 시간 및 채널을 혼합한 적어도 하나의 기준으로 그룹핑한다. 영상 변환부(133)는 여러 공간을 하나로 묶어 그룹핑한다. 그룹핑하는 방법을 다양한 기준에 따라 수행될 수 있다. 실시 예에 따른 전송 시스템은 사용자 단말(150)에 효과적인 다채널 영상 내지 스위칭 영상을 전송하기 위해, 모든 영상 데이터를 전송하여 데이터 낭비를 주지 않고, 그룹핑된 영상들을 전송함으로써 사용자에게 필요한 데이터만을 전송할 수 있게 한다. 영상 변환부(133)는 t 시간의 이벤트를 중심으로 ±y(y는 자연수임) 시간별 채널 영상을 묶어 그룹핑할 수도 있다. 예를 들면 채널 1에서, t3에서 이벤트가 발생한 경우일 수 있다. 여기서 이벤트는 미리 정해진 경우, 예를 들면 야구 경기에서 홈런 장면, 또는 아웃 장면이거나, 사용자의 요청에 의한 이벤트, 사용자가 원하는 경우일 수 있다.
영상 변환부(133)는 다채널 영상들을 시간별, 채널별 또는 시간 및 채널을 혼합한 기준으로 그룹핑하여 영상 저장부(140)에 저장한다. 사용자 단말(150)의 요청이 있는 경우, 영상 처리 장치(130)가 영상 저장부(140)에 저장된 영상들을 추출하여, 전송부(134)를 통해 사용자 단말(150)에 전송한다. 여기서, 전송부(134)는 스트리밍 장치일 수 있으며, 영상서버(130) 내에 포함되어 있는 것으로 설명하지만, 영상서버(130)와 분리되어 별도의 장치로 구현할 수 있음은 물론이다.
전송부(133)는 처리된 영상 또는 저장된 영상을 실시간 전송한다. 예를 들면 실시간 스트리밍을 위한 장치일 수 있다. 전송부(133)는 사용자 단말과 세션 관리, 프로토콜 관리를 수행하는 메시지 핸들러, 영상을 사용자 단말로 전송하며, 사용자 단말로 전송할 영상들의 집합인 스트리머, 사용자 단말의 신호를 받아 영상을 GOP단위로 스케쥴링한 후 스트리머에 전달하는 채널 매니저를 포함할 수 있다.
일 실시 예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (11)

  1. 입체 스트라이크 존 표시 방법으로서,
    홈 플레이트를 포함한 배터 박스의 적어도 4개의 기준점 좌표를 기초로 3차원 좌표계를 설정하는 단계;
    상기 설정된 3차원 좌표계에 상응하도록 상기 입체 스트라이크 존의 좌표값들을 설정하는 단계;
    다채널 영상을 생성하기 위한 복수의 카메라들 각각에 투영된 2차원 영상 평면에서의 상기 배터 박스의 2차원 좌표값들을 획득하는 단계;
    상기 3차원 좌표계와 상기 2차원 좌표값 간의 대응되는 좌표값을 기초로 회전(rotation) 정보 및 이동(translation) 정보를 추정하는 단계; 및
    상기 회전 정보 및 이동 정보를 기초로 상기 복수의 카메라들 각각에 투영된 2차원 영상 평면에 상기 입체 스트라이크 존을 표시하는 단계를 포함하고,
    상기 입체 스트라이크 존의 좌표값들은 10개(K1 내지 K10)이고, 상기 각각의 좌표값들은 2개의 파라미터값(h1 및 h2) - 상기 2개의 파라미터값은 현재 타석에 등장하는 배터(batter)의 신장에 따라 가변하는 값 - 중 어느 하나를 포함하는 것을 특징으로 하는 입체 스트라이크 존 표시 방법.
  2. 제 1 항에 있어서,
    상기 회전 정보 및 이동 정보는,
    상기 3차원 좌표계와 상기 2차원 좌표 간의 대응되는 좌표값을 기초로 Levenberg-Marquardt optimization, Perspective-Three-Point, 또는 최소자승법을 통해 추정되는 것을 특징으로 하는 입체 스트라이크 존 표시 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 배터의 신장은,
    임의의 데이터베이스로부터 추출하거나, 상기 배터의 영상 검출을 통해 추출하는 것을 특징으로 하는 입체 스트라이크 존 표시 방법.
  5. 제 1 항에 있어서,
    투수가 던진 공의 궤적을 검출 및 추적하는 단계를 더 포함하고,
    상기 표시된 입체 스트라이크 존을 상기 공이 지나가는지를 검출함으로써 스트라이크인지 여부를 판단하는 것을 특징으로 하는 입체 스트라이크 존 표시 방법.
  6. 입체 스트라이크 존 표시 장치로서,
    홈 플레이트를 포함한 배터 박스의 적어도 4개의 기준점 좌표를 기초로 3차원 좌표계를 설정하고, 상기 설정된 3차원 좌표계에 상응하도록 상기 입체 스트라이크 존의 좌표값들을 설정하는 3차원 좌표 설정부; 및
    다채널 영상을 생성하기 위한 복수의 카메라들 각각에 투영된 2차원 영상 평면에서의 상기 배터 박스의 2차원 좌표값들을 획득하고, 상기 3차원 좌표계와 상기 2차원 좌표값 간의 대응되는 좌표값을 기초로 회전(rotation) 정보 및 이동(translation) 정보를 추정하는 입체 스트라이크 존 생성부; 및
    상기 회전 정보 및 이동 정보를 기초로 상기 복수의 카메라들 각각에 투영된 2차원 영상 평면에 상기 입체 스트라이크 존을 표시하는 영상 처리부를 포함하고,
    상기 입체 스트라이크 존의 좌표값들은 10개(K1 내지 K10)이고, 상기 각각의 좌표값들은 2개의 파라미터값(h1 및 h2) - 상기 2개의 파라미터값은 현재 타석에 등장하는 배터(batter)의 신장에 따라 가변하는 값 - 중 어느 하나를 포함하는 것을 특징으로 하는 입체 스트라이크 존 표시 장치.
  7. 제 6 항에 있어서,
    상기 회전 정보 및 이동 정보는,
    상기 3차원 좌표계와 상기 2차원 좌표 간의 대응되는 좌표값을 기초로 Levenberg-Marquardt optimization, Perspective-Three-Point, 또는 최소자승법을 통해 추정되는 것을 특징으로 하는 입체 스트라이크 존 표시 장치.
  8. 삭제
  9. 제 6 항에 있어서,
    상기 배터의 신장은,
    임의의 데이터베이스로부터 추출하거나, 상기 배터의 영상 검출을 통해 추출하는 것을 특징으로 하는 입체 스트라이크 존 표시 장치.
  10. 제 6 항에 있어서,
    투수가 던진 공의 궤적을 검출 및 추적하는 궤적 추적부를 더 포함하고,
    상기 표시된 입체 스트라이크 존을 상기 공이 지나가는지를 검출함으로써 스트라이크인지 여부를 판단하는 것을 특징으로 하는 입체 스트라이크 존 표시 장치.
  11. 제 1 항, 제 2 항, 제 4 항 및 제 5 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.
KR1020180141963A 2018-11-16 2018-11-16 입체 스트라이크 존 표시 방법 및 장치 KR102149003B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180141963A KR102149003B1 (ko) 2018-11-16 2018-11-16 입체 스트라이크 존 표시 방법 및 장치
US17/292,367 US20210319618A1 (en) 2018-11-16 2018-11-22 Method and apparatus for displaying stereoscopic strike zone
PCT/KR2018/014434 WO2020101094A1 (ko) 2018-11-16 2018-11-22 입체 스트라이크 존 표시 방법 및 장치
JP2021526630A JP2022501748A (ja) 2018-11-16 2018-11-22 立体ストライクゾーンの表示方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180141963A KR102149003B1 (ko) 2018-11-16 2018-11-16 입체 스트라이크 존 표시 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200057484A KR20200057484A (ko) 2020-05-26
KR102149003B1 true KR102149003B1 (ko) 2020-08-28

Family

ID=70731459

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180141963A KR102149003B1 (ko) 2018-11-16 2018-11-16 입체 스트라이크 존 표시 방법 및 장치

Country Status (4)

Country Link
US (1) US20210319618A1 (ko)
JP (1) JP2022501748A (ko)
KR (1) KR102149003B1 (ko)
WO (1) WO2020101094A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11707663B1 (en) * 2021-06-08 2023-07-25 Matthew Hall System for tracking, locating and predicting the position of a ball in a game of baseball or similar
US11900678B2 (en) * 2021-06-08 2024-02-13 Patricia Hall System for tracking, locating and calculating the position of an object in a game involving moving objects
KR20240046425A (ko) * 2021-08-04 2024-04-09 트랙맨 에이/에스 스포츠 볼 데이터를 평가하기 위한 시스템 및 방법
TWI822380B (zh) * 2022-10-06 2023-11-11 財團法人資訊工業策進會 球體追蹤系統及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013092407A (ja) * 2011-10-25 2013-05-16 Kddi Corp ３次元座標取得装置、カメラ姿勢推定装置、プログラム
KR101703317B1 (ko) * 2016-08-05 2017-02-06 주식회사 엠비씨플러스 야구경기 중계방송에서의 실시간 표출시스템

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7341530B2 (en) * 2002-01-09 2008-03-11 Sportvision, Inc. Virtual strike zone
NO327279B1 (no) * 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
KR101835818B1 (ko) * 2011-12-19 2018-03-07 주식회사 엔씨소프트 방송 객체의 ３ｄ 모델링 데이터를 이용한 방송 시청 시점 다각화 시스템 및 그 방법
KR20140118062A (ko) * 2013-03-28 2014-10-08 인텔렉추얼디스커버리 주식회사 다시점 영상의 무기준점 편위수정 방법
WO2014167387A1 (en) * 2013-04-12 2014-10-16 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi A system and method for optimizing fiducial marker and camera positions/orientations
KR101845612B1 (ko) * 2016-07-27 2018-04-06 한양대학교 산학협력단 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
US10911694B2 (en) * 2017-03-15 2021-02-02 Gvbb Holdings S.A.R.L. System and method for creating metadata model to improve multi-camera production
WO2019083068A1 (ko) * 2017-10-27 2019-05-02 한양대학교 산학협력단 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
US10645364B2 (en) * 2017-11-14 2020-05-05 Intel Corporation Dynamic calibration of multi-camera systems using multiple multi-view image frames

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013092407A (ja) * 2011-10-25 2013-05-16 Kddi Corp ３次元座標取得装置、カメラ姿勢推定装置、プログラム
KR101703317B1 (ko) * 2016-08-05 2017-02-06 주식회사 엠비씨플러스 야구경기 중계방송에서의 실시간 표출시스템

Also Published As

Publication number Publication date
KR20200057484A (ko) 2020-05-26
US20210319618A1 (en) 2021-10-14
JP2022501748A (ja) 2022-01-06
WO2020101094A1 (ko) 2020-05-22

Similar Documents

Publication Publication Date Title
KR102149003B1 (ko) 입체 스트라이크 존 표시 방법 및 장치
JP7472362B2 (ja) 受信方法、端末及びプログラム
US10827167B2 (en) Systems and methods for dynamically adjusting a synthetic view of a scene for showing the scene from a virtual camera perspective
US10121284B2 (en) Virtual camera control using motion control systems for augmented three dimensional reality
US10755471B2 (en) Generation apparatus, system and method for generating virtual viewpoint image
JP5801812B2 (ja) ３ｄビデオへの仮想インサート
US20120314077A1 (en) Network synchronized camera settings
CN106605407A (zh) 用于捕获、流传输和/或回放内容的方法和装置
KR102161734B1 (ko) 계층화된 증강 엔터테인먼트 경험
JP2004221700A (ja) 立体画像処理方法および装置
US8885022B2 (en) Virtual camera control using motion control systems for augmented reality
US9736462B2 (en) Three-dimensional video production system
TW201619913A (zh) 模擬立體圖像顯示方法及顯示設備
CN103051830A (zh) 一种对所拍目标多角度实时转播的系统和方法
JP2004007395A (ja) 立体画像処理方法および装置
JP2022522504A (ja) 画像の奥行きマップの処理
KR102105510B1 (ko) 타임 슬라이스 영상을 제공하는 서버, 방법 및 사용자 단말
WO2018173207A1 (ja) 情報処理装置
US20210125349A1 (en) Systems and methods for visualizing ball trajectory in real-time
JP2004220127A (ja) 立体画像処理方法および装置
CN113542721B (zh) 深度图处理方法、视频重建方法及相关装置
CN113485547A (zh) 一种应用于全息沙盘的交互方法及装置
KR20120062477A (ko) 다시점 깊이 영상 생성 방법 및 장치
WO2018173206A1 (ja) 情報処理装置
CN111405262A (zh) 一种视点信息生成方法、装置、系统、设备和介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right