KR20180012889A - 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법 - Google Patents

투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법 Download PDF

Info

Publication number
KR20180012889A
KR20180012889A KR1020160095235A KR20160095235A KR20180012889A KR 20180012889 A KR20180012889 A KR 20180012889A KR 1020160095235 A KR1020160095235 A KR 1020160095235A KR 20160095235 A KR20160095235 A KR 20160095235A KR 20180012889 A KR20180012889 A KR 20180012889A
Authority
KR
South Korea
Prior art keywords
camera
information
dimensional
dynamic object
image
Prior art date
Application number
KR1020160095235A
Other languages
English (en)
Other versions
KR101845612B1 (ko
Inventor
김회율
김중식
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020160095235A priority Critical patent/KR101845612B1/ko
Publication of KR20180012889A publication Critical patent/KR20180012889A/ko
Application granted granted Critical
Publication of KR101845612B1 publication Critical patent/KR101845612B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/0002—Training appliances or apparatus for special sports for baseball
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/0002—Training appliances or apparatus for special sports for baseball
    • A63B2069/0004—Training appliances or apparatus for special sports for baseball specially adapted for particular training aspects
    • A63B2069/0006—Training appliances or apparatus for special sports for baseball specially adapted for particular training aspects for pitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법이 개시된다. 본 발명의 다양한 실시예에 따른 방법은 서버에서 3차원 정보 획득을 위해 카메라 파라미터를 산출하는 방법으로서, 적어도 2개 이상의 카메라 장치로부터 소정 속도로 이동하는 동적 오브젝트를 촬영한 영상 정보를 수신하는 단계; 각 카메라 장치로부터 수신된 각 영상 정보에서 동일 시점을 기준으로 영상 정보에 포함된 각 동적 오브젝트의 위치 정보를 확인하는 단계; 및 상기 확인된 각각의 위치 정보의 적어도 일부를 대응점으로 이용하여 카메라 장치들간의 관계를 나타내는 카메라 파라미터를 산출하는 단계를 포함할 수 있다.

Description

투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법{3D INFORMATION ACQUISITION SYSTEM USING PRACTICE OF PITCHING AND METHOD FOR CALCULATION OF CAMERA PARAMETER}
본 발명의 다양한 실시예들은 복수의 카메라 장치들을 이용하여 3차원 정보를 획득하는 방법에 관한 것으로, 보다 구체적으로 3차원 정보를 획득하기 위해 카메라 장치 간 카메라 파라미터를 산출, 설정 또는 보정하는 방법에 관한 것이다.
일반적으로, 영상 또는 이미지에서 3차원 정보를 획득하기 위해 2대 이상의 카메라를 사용하고 있다. 이 과정에서, 3차원 정보를 획득하기 위해서는 카메라 사이의 위치 정보 즉, 카메라의 기하학적인 정보가 필요하다.
3차원 정보 획득을 위한 카메라 시스템에서는 외부 파라미터(예: 카메라 사이의 위치 정보)를 획득하기 위해 복수의 카메라를 이용하여 스테레오 보정(Streo Calibration) 또는 스테레오 조정(Streo Rectification) 과정을 수행하고 있다. 이러한 스테레오 보정/조정 과정은 도 1과 같이 각 카메라 장치에서 기준 패턴을 촬영하고, 촬영된 영상을 분석하여 카메라 장치간 위치정보 즉, 카메라 파라미터를 획득한다.
도 1을 보다 구체적으로 살펴보면, 2대의 카메라 장치가 좌/우에서 각각 고정된 패턴의 이미지를 촬영하여 상기 고정된 패턴을 2차원의 좌표로 투영할 수 있다. 이에 의해, 촬영된 각각의 2차원 이미지, 월드 좌표계(World coordinate system) 및 카메라 파라미터(예: 카메라 장치간의 거리)를 이용하여 고정된 패턴의 3차원 정보를 획득할 수 있다. 그리고, 이러한 시스템 상에서 이루어지는 스테레오 보정 작업을 통해 카메라 파라미터를 획득할 수 있다.
한국 등록특허공보 제10-0969576호(2010.07.12)
도 1과 같은 3차원 정보 획득 시스템에서는 고정된 패턴을 복수의 카메라 장치 또는 하나의 카메라 장치를 이용하여 사용자가 직접 고정된 패턴을 촬영하는 과정이 필요하다.
그러나, 이러한 고정 패턴을 이용한 스테레오 보정은 움직이는 오브젝트가 있는 현장(예: 투구 연습 등의 현장)에서는 구비되기가 어려울 수 있으며, 장소적 또는 공간적인 제약 하에서 효율적으로 스테레오 보정을 하기가 어렵다는 한계가 있다. 특히, 카메라 장치 간의 거리가 먼 경우에는 고정 패턴을 촬영할 때 각 카메라 장치에서 해당 고정 패턴을 동시에 위치하도록 촬영하는 것이 어려우며, 패턴이 영상 전체에서 노출되도록 촬영하기에 어렵다는 한계점이 있다.
또한, 종래 카메라 시스템에서 초기 설치된 카메라 시스템의 노후화 또는 시스템 환경에 따라 카메라 파라미터가 보정되어야 하는 경우, 패턴 또는 오브젝트를 이용하여 다시 캘리브레이션을 수행해야 한다는 문제점이 있다.
본 발명의 다양한 실시예는 전술한 문제점을 해결하기 위하여 안출된 것으로서, 스테레오 보정시 기존 고정 패턴이나 고정된 오브젝트 대신 투구 연습 시 사용되는 공의 움직임 등과 같은 동적 오브젝트를 이용하여 카메라 파라미터를 산출하는 방법을 제공함에 그 목적이 있다.
또한, 본 발명의 다양한 실시예는 경기 중 투구 영상을 통해 지속적인 카메라 파라미터의 보정을 수행함으로써 오랜 기간 정확성 보장이 가능하도록 하는 3차원 정보 획득 시스템을 제공하는데 그 목적이 있다.
본 발명의 다양한 실시예에 따른 방법은 서버에서 3차원 정보 획득을 위해 카메라 파라미터를 산출하는 방법으로서, 적어도 2개 이상의 카메라 장치로부터 소정 속도로 이동하는 동적 오브젝트를 촬영한 영상 정보를 수신하는 단계; 각 카메라 장치로부터 수신된 각 영상 정보에서 동일 시점을 기준으로 영상 정보에 포함된 각 동적 오브젝트의 위치 정보를 확인하는 단계; 및 상기 확인된 각각의 위치 정보의 적어도 일부를 대응점으로 이용하여 카메라 장치들간의 관계를 나타내는 카메라 파라미터를 산출하는 단계를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 카메라 파라미터 산출 방법에서 상기 동적 오브젝트의 위치 정보를 확인하는 단계는, 상기 각 영상 정보에서 동일 시점에 해당하는 이미지를 각각 추출하는 단계; 및 상기 추출된 이미지 상에서 상기 동적 오브젝트가 속한 영역의 평면좌표 정보를 각각 확인하는 단계를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 카메라 파라미터 산출 방법에서 상기 영상 정보는, 투구 연습 공간에서 이동되는 공(ball)을 상기 동적 오브젝트로서 포함할 수 있다.
본 발명의 다양한 실시예에 따른 카메라 파라미터 산출 방법에서 상기 카메라 파라미터를 산출하는 단계는, 제1 투구 연습에서 이동되는 상기 동적 오브젝트를 기반으로 제1 카메라 파라미터를 결정하는 단계; 상기 제1 투구 연습 이후 제2 투구 연습에서 이동되는 상기 동적 오브젝트를 기반으로 제2 카메라 파라미터를 결정하는 단계; 및 상기 제2 카메라 파라미터를 기반으로 상기 제1 카메라 파라미터를 보정하는 단계를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 카메라 파라미터 산출 방법에서 상기 카메라 파라미터는 상기 카메라 장치들간의 거리 정보를 나타낼 수 있다.
본 발명의 다양한 실시예에 따른 카메라 파라미터 산출 방법은 상기 영상정보에서 상기 동적 오브젝트의 이동에 따른 연속적인 2차원 위치 정보를 검출하는 단계; 상기 2차원 위치 정보를 기반으로 상기 동적 오브젝트의 이동 궤적을 2차원 곡선으로 모델링하는 단계; 상기 2차원 곡선 상에서 소정 거리 이상 벗어난 동적 오브젝트의 2차원 위치 정보가 상기 2차원 곡선의 적어도 일부 지점에 위치하도록 상기 2차원 위치 정보를 보정하는 단계; 및 상기 보정된 2차원 위치 정보를 기반으로 상기 카메라 파라미터를 보정하는 단계를 더 포함할 수 있다. 이 경우, 카메라 파라미터 산출 방법은 상기 보정된 카메라 파라미터를 기반으로 상기 동적 오브젝트의 이동 궤적을 나타내는 3차원 정보를 랜더링하는 단계로서, 상기 랜더링된 3차원 정보는 상기 동적 오브젝트의 연속적인 3차원 위치 정보를 포함하는, 3차원 정보를 랜더링하는 단계; 랜더링된 3차원 정보를 기반으로 상기 동적 오브젝트의 이동 궤적을 3차원 평면으로 모델링하는 단계; 상기 3차원 평면상에서 소정 거리 이상 벗어난 동적 오브젝트의 3차원 위치 정보가 상기 3차원 평면상에 적어도 일부 지점에 위치하도록 상기 3차원 위치 정보를 보정하는 단계; 및 상기 보정된 3차원 위치 정보를 기반으로 상기 카메라 파라미터를 보정하는 단계를 더 포함할 수 있다. 이어서, 카메라 파라미터 산출 방법은 상기 보정된 3차원 위치 정보를 기반으로 새로운 2차원 위치 정보를 검출하고, 새로운 2차원 곡선 모델링을 기반으로 상기 새로운 2차원 위치 정보를 보정함으로써 상기 카메라 파라미터를 보정하는 단계를 더 포함할 수 있다.
본 발명의 다양한 실시예에 따른 서버는 3차원 정보 획득을 위해 카메라 파라미터를 산출하는 서버로서, 통신부; 적어도 2개 이상의 카메라 장치로부터 소정 속도로 이동하는 동적 오브젝트를 촬영한 영상 정보를 상기 통신부를 통해 수신하는 영상 정보 수신부; 각 카메라 장치로부터 수신된 각 영상 정보에서 동일 시점을 기준으로 영상 정보에 포함된 각 동적 오브젝트의 위치 정보를 확인하는 영상 분석부; 및 상기 확인된 각각의 위치 정보의 적어도 일부를 대응점으로 이용하여 카메라 장치들간의 관계를 나타내는 카메라 파라미터를 산출하는 파라미터 산출부를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 서버에서 상기 영상 분석부는, 상기 각 영상 정보에서 동일 시점에 해당하는 이미지를 각각 추출하고, 상기 추출된 이미지 상에서 상기 동적 오브젝트가 속한 영역의 평면좌표 정보를 각각 확인할 수 있다.
본 발명의 다양한 실시예에 따른 서버에서 상기 파라미터 산출부는, 제1 투구 연습에서 이동되는 상기 동적 오브젝트를 기반으로 제1 카메라 파라미터를 결정하고, 상기 제1 투구 연습 이후 제2 투구 연습에서 이동되는 상기 동적 오브젝트를 기반으로 제2 카메라 파라미터를 결정하며, 상기 제2 카메라 파라미터를 기반으로 상기 제1 카메라 파라미터를 보정할 수 있다.
본 발명의 다양한 실시예에 따른 서버에서 상기 카메라 파라미터는 상기 카메라 장치들간의 거리 정보를 나타낼 수 있다.
본 발명의 다양한 실시예에 따른 저장 매체는 서버에서 3차원 정보 획득을 위해 카메라 파라미터를 산출하도록 설정된 프로그램을 저장하는 저장 매체에 있어서, 상기 프로그램은, 적어도 2개 이상의 카메라 장치로부터 소정 속도로 이동하는 동적 오브젝트를 촬영한 영상 정보를 수신하는 단계; 각 카메라 장치로부터 수신된 각 영상 정보에서 동일 시점을 기준으로 영상 정보에 포함된 각 동적 오브젝트의 위치 정보를 확인하는 단계; 및 상기 확인된 각각의 위치 정보의 적어도 일부를 대응점으로 이용하여 카메라 장치들간의 관계를 나타내는 카메라 파라미터를 산출하는 단계를 포함할 수 있다.
투구 훈련 등이 수행되는 장소에서 별도의 고정 오브젝트를 이용하는 대신 상기 투구 훈련 과정에서 촬영될 수 있는 동적 오브젝트(예: 공)를 기반으로 카메라 파라미터를 산출함으로써, 별도의 인위적인 준비 과정 내지 불필요한 준비 과정 없이도 간편하게 카메라 파라미터를 산출하거나 3차원 정보를 획득할 수 있다는 효과가 있다.
또한, 반복적으로 수행되는 투구 훈련 과정을 촬영하고, 이에 따라 누적되는 영상 정보를 분석함으로써 보다 정확하고 편리하게 카메라 파라미터 또는 3차원 정보를 획득하거나 보정할 수 있다는 효과가 있다.
도 1은 종래 3차원 정보 획득을 위한 카메라 시스템의 예시도이다.
도 2는 본 발명의 다양한 실시예에 따른 3차원 정보 획득 시스템의 예시도이다.
도 3은 본 발명의 다양한 실시예에 따른 3차원 정보 획득 시스템의 구성도이다.
도 4는 본 발명의 다양한 실시예에 따른 서버의 구성도이다.
도 5는 본 발명의 다양한 실시예에 따른 서버에서 3차원 정보 획득을 위한 파라미터 산출 방법을 나타내는 순서도이다.
도 6은 본 발명의 다양한 실시예에 따른 서버에서 2차원 곡선 모델링을 통한 카메라 파라미터의 보정 방법을 나타내는 순서도이다.
도 7은 곡선 모델링을 통한 카메라 파라미터의 보정 방법을 나타내는 예시도이다.
도 8은 본 발명의 다양한 실시예에 따른 서버에서 3차원 평면 모델링을 통한 카메라 파라미터의 보정 방법을 나타내는 순서도이다.
도 9 내지 도 10은 평면 모델링을 통한 카메라 파라미터의 보정 방법을 나타내는 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 문서에서 언급되는 “카메라 파라미터”는 복수의 카메라 장치를 이용하여 3차원 정보를 획득하고, 스테레오 보정을 수행하는 과정에서 카메라 장치간의 관계를 나타내는 파라미터일 수 있다. 한정되지 않는 예로서, 카메라 파라미터는 카메라 장치 간 위치 정보 또는 카메라 장치 간 거리 정보를 포함할 수 있다.
또한, 본 문서에서 언급되는 “동적 오브젝트”는 소정 시간 동안 이동하는 객체를 의미할 수 있다. 이러한 동적 오브젝트는 객체 그 자체 또는 촬영된 영상에 포함된 객체의 이미지를 지칭할 수 있다. 예를 들어, 동적 오브젝트는 투구 현장에서 사용되는 야구 공 또는 야구 공의 이미지일 수 있다.
또한, 본 문서에서 언급되는 “3차원 정보”는 동적 오브젝트의 움직임을 나타내는 3차원 영상을 포함할 수 있다.
이하, 첨부 도면을 참조하여 3차원 정보 획득 시스템(10)에 대해 설명하도록 한다.
도 2는 본 발명의 다양한 실시예에 따른 3차원 정보 획득 시스템(10)의 예시도이고, 도 3은 상기 3차원 정보 획득 시스템(10)의 구성도이다.
도 2를 참조하면, 3차원 정보 획득 시스템(10)에서 복수의 카메라 장치들은 특정 영역(예: 투구 영역)에서 움직이는 동적 오브젝트(예: 투수에 의해 던져진 공)를 촬영할 수 있다. 도 2에 도시되어 있지 않으나, 3차원 정보 획득 시스템(10)은 서버를 포함할 수 있다. 이러한 서버는 복수의 카메라 장치들로부터 촬영된 영상 정보를 수신하고, 상기 영상 정보에 포함된 동적 오브젝트(예: 공)를 이용하여 카메라 파라미터를 산출, 설정 또는 보정할 수 있는 기능을 수행할 수 있다. 도 2와 같은 환경을 통해, 종래와 다르게 움직이는 오브젝트를 이용하여 카메라 파라미터를 산출하는 기능이 수행될 수 있다.
도 3을 통해 구체적으로 살펴보면, 3차원 정보 획득 시스템(10)은 적어도 하나의 카메라 장치(100_1 내지 100_N) 및 서버(200)를 포함할 수 있다. 도 3에서는 카메라 장치(100)와 서버(200)가 독립적 구성으로 도시되어 있으나 이에 한정하는 것은 아니다. 한정되지 않는 예로서, 3차원 정보 획득 시스템(10)은 카메라 장치(100)와 서버(200)가 하나의 모듈 또는 시스템으로서 구성될 수 있다. 이 경우, 카메라 장치(100)와 서버(200)는 전기적으로 구성되는 내부적인 신호 전달 체계에 의해서 상호간 데이터를 송/수신할 수 있다.
카메라 장치(100)는 3차원 공간의 오브젝트를 촬영 또는 촬상하여 2차원 평면에 투영(projection)하는 기능을 수행할 수 있다. 다양한 실시예에 따르면, 카메라 장치(100)는 광학부, 이미지 센서 및 신호처리부를 포함할 수 있으나 이에 한정하는 것은 아니다. 이러한 카메라 장치(100)는 예컨대, 초고속 카메라 장치일 수 있다.
광학부는 mecha-shutter, 모터 및 액츄에이터에 의해 구동될 수 있으며, 상기 액츄에이터에 의해 주밍(zooming) 및 포커싱(focusing) 등의 동작을 수행할 수 있다. 이러한 광학부는 주변의 이미지를 촬상 또는 촬영할 수 있다.
이미지 센서는 광학부에 의해 촬상 또는 촬영되는 이미지를 감지하여 전기적인 신호로 변환할 수 있다. 이러한 이미지 센서는 CMOS 또는 CCD 센서를 포함할 수 있다.
이미지 처리부는 카메라 장치에서 출력되는 프레임 이미지들을 버퍼링하며, 프리뷰 모드시에는 카메라 장치에서 출력되는 프레임 이미지를 표시이미지 크기로 스케일링처리할 수 있다.
또한, 카메라 장치(100)는 수집된 영상 또는 이미지를 서버(200)로 전송할 수 있는 통신 모듈을 포함할 수 있다. 통신 모듈은 유선 통신(예: 단자 또는 커텍터 등) 또는 무선 통식(예: 블루투스, WIFI 등) 방식으로 구현될 수 있다. 뿐만 아니라, 카메라 장치(100)는 네트워크를 이용하여 서버(200)와 데이터 송수신할 수도 있다.
또한, 본 발명의 다양한 실시예에 따라 3차원 정보 획득을 위한 카메라 파라미터를 설정 또는 산출하기 위해서, 복수의 카메라 장치(100)들은 동일한 종류 및 스펙의 하드웨어/소프트웨어가 사용될 수 있으나 이에 한정하는 것은 아니다.
서버(200)는 적어도 하나의 카메라 장치(100)와 전기적으로 연결되거나 통신 연결되어 상기 카메라 장치(100)로부터 영상 또는 이미지를 수신하고, 수신된 정보를 기반으로 카메라 파라미터 설정, 산출 또는 보정과 관련된 집약적인 기능을 수행하고 처리하는 전자 장치 또는 프로그램이다. 이러한 서버(200)의 구체적인 구성은 이어지는 도 4를 통해 구체적으로 설명하도록 한다.
도 4는 본 발명의 다양한 실시예에 따른 서버(200)의 구성도이다.
다양한 실시예에 따르면, 서버(200)는 통신부(210), 제어부(220), 영상 정보 수신부(221), 동기화부(223), 영상 분석부(225), 파라미터 산출부(227) 및 저장부(230)를 포함할 수 있다. 한정되지 않는 실시예로서, 서버(200)는 도 4의 구성요소들 중 적어도 일부를 생략하거나 추가적인 구성요소를 더 구비할 수 있다.
통신부(210)는 카메라 장치(100)와 서버(200)간의 통신을 연결할 수 있다. 예를 들면, 상기 통신부(210)는 무선 통신 또는 유선 통신을 통해서 네트워크(300)에 연결되어 카메라 장치(100)로부터 동적 오브젝트(예: 투구 연습에서 사용되는 공 등)가 포함된 영상 정보를 수신할 수 있다. 한정되지 않는 예로서, 서버(200)와 카메라 장치(100)가 하나의 모듈로 구성되는 경우, 통신부(210)는 구성요소들 간의 통신을 전달하는 회로(예: 버스)로 구현될 수 있다.
제어부(220)는 서버(200)의 전원공급 제어 등과 같은 전반적인 동작 및 서버(200)의 내부 구성 간의 신호 흐름을 제어하고 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 제어부(220)는 적어도 하나의 프로세서를 포함할 수 있고, 이러한 프로세서는 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다.
본 발명의 실시예에서, 제어부(220)는 파라미터 산출부(227) 또는 파라미터 보정부(229)에서 산출되거나 보정된 카메라 파라미터를 기반으로 동적 오브젝트의 3차원 정보를 생성(예: 랜더링)할 수 있다.
영상 정보 수신부(221)는 적어도 하나의 카메라 장치(100)로부터 영상 정보를 각각 수신할 수 있다. 예를 들어, 영상 정보 수신부(221)는 통신부(210)를 통해 영상 정보를 수신할 수 있다.
영상 정보는 카메라 장치(100)에서 촬상 또는 촬영된 정지 영상(예: 이미지) 또는 동영상일 수 있고, 이러한 영상 정보는 투구 연습과 같은 현장에서 투수에 의해 던져진 공의 움직임을 포함할 수 있다. 여기서, 투수에 의해 던져진 공은 동적 오브젝트로서 후술할 카메라 파라미터 설정 시 이용될 수 있다.
한편, 영상 정보 수신부(221)는 수신된 각 영상 정보를 제어부(220), 동기화부(223), 영상 분석부(225) 또는 저장부(230)로 전달할 수 있다. 한정되지 않는 예로서, 영상 정보 수신부(221)는 영상 정보를 전달하기 전에 상기 각 영상 정보를 식별하기 위한 식별자를 각각의 영상 정보마다 부여하거나 영상을 전처리할 수 있다.
동기화부(223)는 영상 정보 수신부(221) 또는 제어부(220)로부터 수신된 각 영상 정보를 동기화하거나, 촬영될 영상 정보들이 동기화되도록 복수의 카메라 장치(100)로 동기화 신호(예: 트리거 신호)를 전송할 수 있다.
구체적으로, 다수의 카메라 장치(100)에서 동일한 시점에 영상 정보가 촬영되도록, 동기화부(223)는 카메라 장치(100)의 촬영 시점을 제어하는 제어 신호를 통신부(210)를 통해 각 카메라 장치(100)로 전송할 수 있다.
또한, 다수의 카메라 장치(100)에서 이미 촬영된 후 전송된 영상 정보들을 동기화하기 위해, 동기화부(223)는 각 카메라 장치(100)로부터 수신된 각각의 영상 정보를 가공 또는 분류할 수 있다.
예를 들어, 동기화부(223)는 각 영상 정보에 포함된 메타 데이터를 확인할 수 있다. 이러한 메타 데이터는 예컨대, 영상 정보를 구성하는 복수의 프레임마다 기록된 시각 정보를 포함할 수 있다. 동기화부(223)는 이러한 시각 정보를 확인하여 동일 시점을 기준으로 각 영상 정보의 프레임들을 그룹화하거나 분류할 수 있다. 이 경우, 각 프레임은 적어도 일부 영역에 동적 오브젝트의 이미지를 포함할 수 있다.
다만, 본 발명의 다양한 실시예가 이미 동기화가 된 상태를 전제하는 경우에는 동기화부(223)는 비활성화되거나 도 4에서 생략될 수도 있다.
영상 분석부(225)는 영상 정보 수신부(221) 또는 동기화부(223)로부터 수신된 영상 정보에서 동적 오브제트의 위치 정보를 확인할 수 있다. 예를 들어, 영상 분석부(225)는 특정 영역(예: 투구 연습 영역)에서 촬영된 영상 정보(예: 동영상)에서 동일 시점을 기준으로 영상 정보에 포함된 각 동적 오브젝트(예: 공)의 위치 정보를 확인할 수 있다.
다양한 실시예에 따르면, 영상 분석부(225)는 복수의 카메라 장치(100)로부터 수신된 각 영상 정보에서 동일 시점에 해당하는 이미지를 각각 추출하거나 분류할 수 있고, 추출 또는 분류된 이미지(예: 프레임) 상에서 동적 오브젝트가 속한 영역의 좌표 정보를 각각 확인할 수 있다.
또한, 영상 분석부(225)는 확인된 좌표 정보를 제어부(220), 파라미터 산출부(227) 또는 저장부(230)로 전달할 수 있다.
파라미터 산출부(227)는 제어부(220), 영상 분석부(225) 또는 저장부(230)로부터 동적 오브젝트의 좌표 정보를 수신할 수 있다. 그리고, 파라미터 산출부(227)는 평면상에서 동적 오브젝트의 좌표 정보, 3차원 월드 좌표 계(예: world coordinate system) 및 미리 정해진 변환 알고리즘(예: 변환 행렬 또는 변환 식)을 기반으로 동적 오브젝트의 3차원 정보(예: 3차원 좌표) 및 카메라 파라미터를 산출할 수 있다. 이 경우, 동적 오브젝트의 좌표 정보는 예컨대, 동적 오브젝트의 위치 정보 중 특정 지점에 해당하는 대응점의 좌표 정보일 수 있다. 이러한 동적 오브젝트의 3차원 정보 또는 카메라 파라미터를 구하는 알고리즘은 전술한 공지의 다양한 방법을 통하여 이루어질 수 있으며, 특정 방식으로 한정하는 것은 아니다.
다양한 실시예에 따르면, 파라미터 산출부(227)는 누적되는 영상 정보를 기반으로 카메라 파라미터를 변경하거나 업데이트할 수 있다. 예를 들어, 복수의 카메라 장치(100)는 복수의 투구 연습을 통해 반복되는 공의 움직임을 촬영하여 누적하여 영상 정보를 생성할 수 있고, 생성된 영상 정보를 서버(200)로 전송할 수 있다.
그러면, 파라미터 산출부(227)는 산출 또는 설정된 카메라 파라미터를 새로 수신된 영상 정보에 기초하여 변경할 수 있다. 또한, 파라미터 산출부(227)는 변경되거나 업데이트된 카메라 파라미터를 저장부(230)에 저장할 수 있다.
다음으로, 파라미터 보정부(229)는 카메라 파라미터를 보정하는 기능을 수행할 수 있다. 이러한 파라미터 보정부(229)는 2차원 곡선 모델링을 이용한 보정 알고리즘과 3차원 평면 모델링을 이용한 보정 알고리즘을 통해 카메라 파라미터를 보정할 수 있다.
파라미터 보정부(229)는 2차원 곡선 모델링과 3차원 평면 모델링을 병합하여 수행(예: 2차원 곡선 모델링 후 3차원 평면 모델링 수행)할 수 있으나 이에 한정하는 것은 아니며, 2차원 곡선 모델링과 3차원 평면 모델링을 독립적으로 수행할 수 있다. 또한, 파라미터 보정부(299)는 카메라 파라미터를 보정하는 과정에서 동적 오브젝트의 이동 궤적에 대한 3차원 정보를 생성할 수도 있다.
다양한 실시예에 따르면, 파라미터 보정부(229)는 영상 정보에서 동적 오브젝트의 이동에 따른 연속적인 2차원 위치 정보를 검출할 수 있고, 검출된 2차원 위치 정보를 기반으로 동적 오브젝트의 이동 궤적을 2차원 곡선으로 모델링할 수 있다. 그리고, 파라미터 보정부(229)는 2차원 곡선 상에서 소정 거리 이상 벗어난 동적 오브젝트의 2차원 위치 정보가 2차원 곡선의 적어도 일부 지점에 위치하도록 2차원 위치 정보를 보정할 수 있다. 또한, 파라미터 보정부(229)는 보정된 2차원 위치 정보를 기반으로 카메라 파라미터를 보정할 수 있다.
또다른 실시예에 따르면, 파라미터 보정부(229)는 보정된 카메라 파라미터를 기반으로 동적 오브젝트의 이동 궤적을 나타내는 3차원 정보를 랜더링할 수 있다. 이 경우, 랜더링된 3차원 정보는 상기 동적 오브젝트의 연속적인 3차원 위치 정보를 포함할 수 있다. 그리고, 파라미터 보정부(229)는 랜더링된 3차원 정보를 기반으로 상기 동적 오브젝트의 이동 궤적을 3차원 평면으로 모델링할 수 있다. 이어서, 파라미터 보정부(229)는 상기 3차원 평면상에서 소정 거리 이상 벗어난 동적 오브젝트의 3차원 위치 정보가 상기 3차원 평면상에 적어도 일부 지점에 위치하도록 상기 3차원 위치 정보를 보정할 수 있고, 보정된 3차원 위치 정보를 기반으로 상기 카메라 파라미터를 보정할 수 있다.
몇몇 실시예에 따르면, 파라미터 보정부(229)는 보정된 3차원 위치 정보를 기반으로 새로운 2차원 위치 정보를 검출할 수 있고, 새로운 2차원 곡선 모델링을 기반으로 상기 새로운 2차원 위치 정보를 보정함으로써 카메라 파라미터를 보정할 수 있다.
저장부(230)는 제어부(220), 서버(200) 또는 3차원 정보 획득 시스템(10)의 다른 구성요소들로부터 수신되거나 생성된 데이터를 저장할 수 있다. 저장부(230)는 예를 들어, 메모리(memory), 캐시(cash), 버퍼(buffer) 등을 포함할 수 있으며, 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
다양한 실시예에 따르면, 저장부(230)는 카메라 장치 DB(231), 영상 DB(233) 및 파라미터 DB(235)를 포함할 수 있다. 이러한 카메라 장치 DB(231), 영상 DB(233) 및 파라미터 DB(235)는 저장부(230)상에서 구분되는 것으로 도시되어 있으나, 이에 한정하지 않으며, 하나의 모듈로서 구성될 수도 있다.
카메라 장치 DB(231)는 카메라 장치(100)와 관련된 하드웨어 정보, 소프트웨어 정보 및 각 카메라 장치(100)의 식별 정보를 포함할 수 있다. 이러한 하드웨어 정보, 소프트웨어 정보 및 식별 정보는 3차원 정보 획득 시스템(10)의 구현 시 저장되거나 임의의 시점에서 카메라 장치(100)의 변경 또는 추가에 의해 업데이트될 수 있다.
영상 DB(233)는 카메라 장치(100)로부터 수신된 영상 정보를 포함할 수 있다. 예를 들어, 영상 DB(233)에는 각 카메라 장치(100)로부터 수신된 영상 정보가 특정 시점 또는 투구 동작 별로 분류되거나 매핑되어 저장될 수 있으나 이에 한정하는 것은 아니다.
파라미터 DB(235)는 파라미터 산출부(227), 파라미터 보정부(229) 또는 제어부(220)에서 산출된 카메라 파라미터가 저장될 수 있다. 또한, 파라미터 DB(235)는 복수의 투구 연습 별로 산정되어 기록된 카메라 파라미터가 구별되어 저장될 수 있고, 파라미터 산출부(227)의 요청에 응답하여 상기 구별되어 저장된 카메라 파라미터들을 파라미터 산출부(227)에 제공할 수 있다. 제공된 카메라 파라미터들은 파라미터 산출부(227) 또는 파라미터 보정부(229)에서 카메라 파라미터를 보정하는 동작에 사용될 수 있다.
전술한 영상 정보 수신부(221), 동기화부(223), 영상 분석부(225), 파라미터 산출부(227) 및 파라미터 보정부(229)는 서버(200)의 제어부(220)의 각 기능을 논리적으로 구성한 형태일 수 있다. 따라서, 영상 정보 수신부(221), 동기화부(223), 영상 분석부(225), 파라미터 산출부(227) 및 파라미터 보정부(229)와 제어부(220)는 하나의 모듈로서 구성될 수도 있다.
또한, 영상 정보 수신부(221), 동기화부(223), 영상 분석부(225), 파라미터 산출부(227), 파라미터 보정부(229) 및 제어부(220)의 기능은 저장부(230, 예: 메모리)에 저장된 루틴, 명령어(instruction) 또는 프로그램의 형태로 구현될 수 있다.
또한, 상기 영상 정보 수신부(221), 동기화부(223), 영상 분석부(225), 파라미터 산출부(227), 파라미터 보정부(229) 및 제어부(220)의 각 구성들의 동작들을 수행하도록 형성된 루틴, 명령어 또는 프로그램은 컴퓨터로 읽을 수 있는 저장매체에도 저장될 수 있다. 이러한 저장매체는 컴퓨터 시스템에 의하여 읽혀질 수 있도록 프로그램 및 데이터가 저장되는 모든 종류의 저장매체를 포함한다. 그 예로는, 롬(Read Only Memory), 램(Random Access Memory), CD(Compact Disk), DVD(Digital Video Disk)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치, 플래쉬 메모리 장치 등이 포함될 수 있다. 또한, 이러한 저장매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
도 5는 본 발명의 다양한 실시예에 따른 서버(200)에서 3차원 정보 획득을 위한 파라미터 산출 방법을 나타내는 순서도이다.
먼저, S510 단계에서 서버(200)는 동적 오브젝트를 촬영한 복수의 영상정보를 수신할 수 있다. 구체적으로, 적어도 2개 이상의 카메라 장치(100)는 특정 공간에서 소정의 속도로 이동하는 동적 오브젝트를 실시간으로, 주기적으로 또는 미리 설정된 시간 동안 촬영할 수 있고, 촬영에 의해 생성된 영상 정보를 서버(200)로 전송할 수 있다.
예를 들어, 복수의 카메라 장치(100)는 야구 경기장 또는 야구 연습장 등과 같은 공간상에서 소정 간격으로 이격되어 배치될 수 있고, 특정 각도, 특정 화질 및 특성 해상도로 투수에 의해 던져진 공을 촬영할 수 있다. 이에 의해, 카메라 장치(100)에서는 공의 궤적이 포함된 영상 정보를 생성할 수 있고, 생성된 영상 정보를 서버(200)로 전송할 수 있다.
다음으로, S530 단계에서, 서버(200)는 각 영상 정보들의 동기화 작업을 수행할 수 있다. 다만, 전술한 바와 같이 각 영상 정보들의 동기화 작업이 불필요하거나 이미 수행되었음을 전제하는 경우 본 단계는 생략될 수 있다.
다음으로, S550 단계에서, 서버(200)는 영상 정보에 포함된 동적 오브젝트의 위치를 검출할 수 있다. 구체적으로, 서버(200)는 동일 시점을 기준으로 각 영상 정보에 포함된 각 동적 오브젝트의 위치 정보를 영상 정보의 이미지(예: 프레임) 화면 상에서 확인할 수 있다. 예를 들어, 서버(200)는 영상 정보에서 동일 시점에 해당하는 이미지(예: 공이 포함된 이미지)를 각각 추출할 수 있고, 추출된 이미지 상에서 동적 오브젝트(예: 공)가 속한 영역의 평면좌표 정보를 각각 확인할 수 있다.
다음으로, S570 단계에서, 서버(200)는 확인된 동적 오브젝트의 위치를 대응점으로 이용하여 카메라 파라미터를 설정 또는 산출할 수 있다.
다양한 실시예에 따르면, 대응점은 카메라 장치(100)에서 촬영된 동적 오브젝트의 영역 중 카메라 파라미터 산정 또는 3차원 정보를 획득하기 위해 임의적으로 설정되는 특정 지점(point)일 수 있다. 종래의 고정된 오브젝트에서는 주로 코너점을 대응점으로 검출하여 이용하였으나, 본 발명의 다양한 실시예에서는 동적 오브젝트에 해당하는 영역 중 적어도 일부 영역 내지 특정 지점으로 설정될 수 있다.
예를 들어, 대응점은 동적 오브젝트(예: 공)의 위치 정보 중 특정 지점(예: 공의 일부 포인트) 또는 일부 영역(예: 공의 일부 영역)으로 설정될 수 있으며, 이러한 대응점 설정은 3차원 정보 획득 시스템(10)에서 미리 정해진 정책 또는 임의의 시점에서 서버(200)의 관리자에 의해 설정될 수 있다.
그리고, 서버(200)는 대응점의 평면좌표 정보, 3차원 월드 좌표계 및 미리 정해진 변환 알고리즘을 기반으로 동적 오브젝트의 3차원 정보 및 카메라 파라미터를 산출할 수 있다.
다음으로, S590 단계에서, 서버(200)는 산출된 카메라 파라미터를 보정할 수 있다.
각 카메라 장치(100)에서 촬영된 공의 궤적은 곡선 위에 존재하게 되는데, 서버(200)에서 공의 위치를 검출하는 과정에서 부정확한 위치가 검출될 가능성이 있다.
예를 들어, 영상의 픽셀 단위의 공 위치 검출 결과로 인해 정확한 위치 검출이 불가능할 수 있으며, 영상에서 노출되는 공은 원형이 아닌 타원형에 가깝게 촬영되거나 영상 환경에 의해 정확한 공의 중심위치 검출이 어려울 수 있다. 따라서, 검출된 공의 위치를 보정함으로써 카메라 파라미터를 보정할 수 있는 방법이 필요하다.
본 발명의 다양한 실시예에서는 도 6 내지 도 7을 통한 제1 보정 알고리즘 및 도 8 내지 도 10을 통한 제2 보정 알고리즘을 통해 카메라 파라미터의 보정 방법을 개시한다.
도 6은 본 발명의 다양한 실시예에 따른 서버(200)에서 2차원 곡선 모델링을 통한 카메라 파라미터의 보정 방법을 나타내는 순서도이다. 이러한 도 6의 내용은 도 5의 S590 동작의 하나의 예시일 수 있다. 설명의 편의를 위해 도 7을 참조하여 설명하도록 한다. 도 7은 곡선 모델링을 통한 카메라 파라미터의 보정 방법을 나타내는 예시도이다.
다양한 실시예에 따르면, S610 단계에서, 서버(200)는 동적 오브젝트의 2차원 위치 정보를 검출할 수 있다. 예를 들어, 서버(200)는 도 5의 S550 동작에서 검출된 동적 오브젝트의 위치 정보를 기반으로 상기 동적 오브젝트의 이동에 따라 촬영된 연속적인 2차원 위치 정보를 추가적으로 검출할 수 있다.
다음으로, S630 단계에서 서버(200)는 검출된 2차원 위치 정보를 기반으로 도 7에서 도시되는 것과 같은 2차원 곡선을 모델링할 수 있다. 서버(200)는 다양한 알고리즘 또는 프로그램을 이용하여 연속적인 시점에서 촬영된 동적 오브젝트의 위치점이 특정 곡선상에서 최대한 근접하여 위치될 수 있도록 하는 2차원 곡선을 모델링할 수 있다.
다음으로, S650 단계에서 서버(200)는 모델링된 2차원 곡선을 기반으로 동적 오브젝트의 2차원 위치 정보를 보정할 수 있다. 예를 들어, 서버(200)는 도 7의 보정 전 화면(701)에 포함된 제2 오브젝트(OB_2)의 위치를 보정 후 화면(703)에서와 같이 2차원 곡선의 적어도 일부 지점에 위치하도록 보정할 수 있다(OB_2’). 이 경우, 서버(200는 제2 오브젝트(OB_2)의 중심점이 2차원 곡선에 위치하도록 2차원 위치 정보를 보정할 수 있다.
다음으로, S670 단계에서 서버(200)는 보정된 동적 오브젝트의 2차원 위치 정보를 기반으로 카메라 파라미터를 보정할 수 있다.
도 8은 본 발명의 다양한 실시예에 따른 서버(200)에서 3차원 평면 모델링을 통한 카메라 파라미터의 보정 방법을 나타내는 순서도이다. 이러한 도 8의 내용은 도 5의 S590 동작의 하나의 예시일 수 있다. 설명의 편의를 위해 도 9 내지 도 10을 참조하여 설명하도록 한다. 도 9 내지 도 10은 평면 모델링을 통한 카메라 파라미터의 보정 방법을 나타내는 예시도이다.
다양한 실시예에 따르면, S810 단계에서, 서버(200)는 동적 오브젝트의 3차원 정보를 랜더링할 수 있다. 예를 들어, 서버(200)는 도 5의 S570 단계에서 산출된 카메라 파라미터 또는 S590 단계에서 보정된 카메라 파라미터를 기반으로 동적 오브젝트의 3차원 정보를 랜더링할 수 있다. 이 경우, 랜더링된 3차원 정보에는 동적 오브젝트의 연속적인 3차원 위치 정보가 포함될 수 있다. 도 9를 참조하면, 동적 오브젝트의 3차원 정보가 복원된 상태가 도시된다(1).
다음으로, S820 단계에서, 서버(200)는 동적 오브젝트의 3차원 위치 정보를 검출할 수 있다. 이러한 동적 오브젝트의 3차원 위치 정보는 3차원 정보의 랜더링 과정 또는 랜더링 과정의 이전/이후에서 추출될 수 있으나 이에 한정하는 것은 아니다.
다음으로, S830 단계에서, 서버(200)는 3차원 평면을 모델링할 수 있다. 도 9를 참조하면, 랜더링된 3차원 정보의 평면 모델링 동작이 도시된다(2). 3차원 평면은 예컨대, 투구 현장에서 던져진 공의 연속적인 이동 궤적을 포함하도록 형성된 3차원상의 평면일 수 있다. 2차원의 곡선 모델링과 마찬가지로, 서버(200)는 다양한 알고리즘 또는 프로그램을 이용하여 동적 오브젝트의 이동 궤적을 3차원 평면으로 모델링할 수 있다.
다음으로, S840 단계에서, 서버(200)는 모델링된 3차원 평면을 기반으로 3차원 위치 정보를 보정할 수 있다. 도 9를 참조하면, 3차원 위치 정보를 보정하는 동작이 도시된다(3). 구체적으로, 서버(200)는 도 10과 같이 3차원 평면(1003)을 모델링하는 경우, 특정 시점에서 촬영된 동적 오브젝트의 위치(OB_3)가 3차원 평면상에서 소정 거리 이상 벗어나 있음을 확인할 수 있다.
이를 보정하기 위해, 서버(200)는 기존 동적 오브젝트의 위치(OB_3)를 3차원 평면상의 적어도 일부 지점에 위치하도록 보정함으로써 동적 오브젝트를 새로운 위치(OB_3)로 조정할 수 있다. 예를 들어, 서버(200)는 동적 오브젝트의 중심점이 3차원 평면상에 위치하도록 3차원 위치 정보를 보정할 수 있다.
다음으로, S850 단계에서, 서버(200)는 보정된 3차원 위치 정보를 기반으로 카메라 파라미터를 보정할 수 있다. 도 9를 참조하면 카메라 파라미터의 보정 동작이 도시된다(4).
다음으로, S860 단계에서, 서버(200)는 2차원 위치 정보의 보정을 수행할지 여부를 판단할 수있다. 이러한 판단 동작은 서버(200)의 관리자 또는 미리 정의된 서버 정책 등에 따라 다양하게 결정될 수 있다.
2차원 위치 정보 보정을 수행하는 이유는 3차원 위치 정보 보정에 따라 2차원 위치 정보가 달라질 수 있기 때문이다. 본 발명의 실시예에서, 2차원 위치 정보 보정이 수행된 후 3차원 위치 정보 보정이 수행될 수 있는데, 3차원 위치 정보 보정에 따라 기존 보정된 2차원 위치 정보가 달라질 수 있다. 다만, 달라진 2차원 위치 정보의 오차는 2차원 위치 정보의 보정이 수행되기 전의 기존 값보다는 적어지므로, 2가지 보정 알고리즘을 반복함에 따라 최소한의 오차값을 얻을 수 있다. 이러한 반복 알고리즘의 예가 도 10에서 도시된다.
2차원 위치 정보 보정의 수행이 필요하다면, 서버(200)는 도 6의 2차원 위치 정보 보정 동작을 수행(또는 재수행)할 수 있다. 이 경우, 서버(200)는 보정된 3차원 위치 정보를 도 6의 610 단계의 입력값으로 인가할 수 있다. 즉, 서버(200)는 보정된 3차원 위치 정보에서 2차원 위치 정보를 검출할 수 있다.
상기와 같은 실시예들에 의해, 투구 훈련 등이 수행되는 장소에서 별도의 고정 오브젝트를 이용하는 대신 상기 투구 훈련 과정에서 촬영될 수 있는 동적 오브젝트(예: 공)를 기반으로 카메라 파라미터를 산출함으로써, 별도의 인위적인 준비 과정 내지 불필요한 준비 과정 없이도 간편하게 카메라 파라미터를 산출하거나 3차원 정보를 획득할 수 있다는 효과가 있다.
본 발명의 다양한 실시예에 사용된 용어 “모듈”또는 “~부”는, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. “모듈” 또는 “~부”는 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. “모듈” 또는“~부”는 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있고, 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. “모듈” 또는“~부”는 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 발명의 다양한 실시예에 따른 “모듈” 또는“~부”는, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명의 다양한 실시예에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
10: 3차원 정보 획득 시스템 100: 카메라 장치
200: 서버

Claims (13)

  1. 서버에서 3차원 정보 획득을 위해 카메라 파라미터를 산출하는 방법으로서,
    적어도 2개 이상의 카메라 장치로부터 소정 속도로 이동하는 동적 오브젝트를 촬영한 영상 정보를 수신하는 단계;
    각 카메라 장치로부터 수신된 각 영상 정보에서 동일 시점을 기준으로 영상 정보에 포함된 각 동적 오브젝트의 위치 정보를 확인하는 단계; 및
    상기 확인된 각각의 위치 정보의 적어도 일부를 대응점으로 이용하여 카메라 장치들간의 관계를 나타내는 카메라 파라미터를 산출하는 단계;
    를 포함하는, 카메라 파라미터 산출 방법.
  2. 제 1항에 있어서,
    상기 동적 오브젝트의 위치 정보를 확인하는 단계는,
    상기 각 영상 정보에서 동일 시점에 해당하는 이미지를 각각 추출하는 단계; 및
    상기 추출된 이미지 상에서 상기 동적 오브젝트가 속한 영역의 평면좌표 정보를 각각 확인하는 단계를 포함하는, 카메라 파라미터 산출 방법.
  3. 제 1항에 있어서,
    상기 영상 정보는, 투구 연습 공간에서 이동되는 공(ball)을 상기 동적 오브젝트로서 포함하는, 카메라 파라미터 산출 방법.
  4. 제 1항에 있어서,
    상기 카메라 파라미터를 산출하는 단계는,
    제1 투구 연습에서 이동되는 상기 동적 오브젝트를 기반으로 제1 카메라 파라미터를 결정하는 단계;
    상기 제1 투구 연습 이후 제2 투구 연습에서 이동되는 상기 동적 오브젝트를 기반으로 제2 카메라 파라미터를 결정하는 단계; 및
    상기 제2 카메라 파라미터를 기반으로 상기 제1 카메라 파라미터를 보정하는 단계를 포함하는, 카메라 파라미터 산출 방법.
  5. 제 1항에 있어서,
    상기 카메라 파라미터는 상기 카메라 장치들간의 거리 정보를 나타내는 것을 특징으로 하는, 카메라 파라미터 산출 방법.
  6. 제 1항에 있어서,
    상기 영상정보에서 상기 동적 오브젝트의 이동에 따른 연속적인 2차원 위치 정보를 검출하는 단계;
    상기 2차원 위치 정보를 기반으로 상기 동적 오브젝트의 이동 궤적을 2차원 곡선으로 모델링하는 단계;
    상기 2차원 곡선 상에서 소정 거리 이상 벗어난 동적 오브젝트의 2차원 위치 정보가 상기 2차원 곡선의 적어도 일부 지점에 위치하도록 상기 2차원 위치 정보를 보정하는 단계; 및
    상기 보정된 2차원 위치 정보를 기반으로 상기 카메라 파라미터를 보정하는 단계를 더 포함하는, 카메라 파라미터 산출 방법.
  7. 제 6항에 있어서,
    상기 보정된 카메라 파라미터를 기반으로 상기 동적 오브젝트의 이동 궤적을 나타내는 3차원 정보를 랜더링하는 단계로서, 상기 랜더링된 3차원 정보는 상기 동적 오브젝트의 연속적인 3차원 위치 정보를 포함하는, 3차원 정보를 랜더링하는 단계;
    랜더링된 3차원 정보를 기반으로 상기 동적 오브젝트의 이동 궤적을 3차원 평면으로 모델링하는 단계;
    상기 3차원 평면상에서 소정 거리 이상 벗어난 동적 오브젝트의 3차원 위치 정보가 상기 3차원 평면상에 적어도 일부 지점에 위치하도록 상기 3차원 위치 정보를 보정하는 단계; 및
    상기 보정된 3차원 위치 정보를 기반으로 상기 카메라 파라미터를 보정하는 단계를 더 포함하는, 카메라 파라미터 산출 방법.
  8. 제 7항에 있어서,
    상기 보정된 3차원 위치 정보를 기반으로 새로운 2차원 위치 정보를 검출하고, 새로운 2차원 곡선 모델링을 기반으로 상기 새로운 2차원 위치 정보를 보정함으로써 상기 카메라 파라미터를 보정하는 단계를 더 포함하는, 카메라 파라미터 산출 방법.
  9. 3차원 정보 획득을 위해 카메라 파라미터를 산출하는 서버로서,
    통신부;
    적어도 2개 이상의 카메라 장치로부터 소정 속도로 이동하는 동적 오브젝트를 촬영한 영상 정보를 상기 통신부를 통해 수신하는 영상 정보 수신부;
    각 카메라 장치로부터 수신된 각 영상 정보에서 동일 시점을 기준으로 영상 정보에 포함된 각 동적 오브젝트의 위치 정보를 확인하는 영상 분석부; 및
    상기 확인된 각각의 위치 정보의 적어도 일부를 대응점으로 이용하여 카메라 장치들간의 관계를 나타내는 카메라 파라미터를 산출하는 파라미터 산출부;
    를 포함하는 서버.
  10. 제 9항에 있어서,
    상기 영상 분석부는,
    상기 각 영상 정보에서 동일 시점에 해당하는 이미지를 각각 추출하고, 상기 추출된 이미지 상에서 상기 동적 오브젝트가 속한 영역의 평면좌표 정보를 각각 확인하는 것을 특징으로 하는 서버.
  11. 제 9항에 있어서,
    상기 파라미터 산출부는,
    제1 투구 연습에서 이동되는 상기 동적 오브젝트를 기반으로 제1 카메라 파라미터를 결정하고, 상기 제1 투구 연습 이후 제2 투구 연습에서 이동되는 상기 동적 오브젝트를 기반으로 제2 카메라 파라미터를 결정하며, 상기 제2 카메라 파라미터를 기반으로 상기 제1 카메라 파라미터를 보정하는 것을 특징으로 하는 서버.
  12. 제 9항에 있어서,
    상기 카메라 파라미터는 상기 카메라 장치들간의 거리 정보를 나타내는 것을 특징으로 하는 서버.
  13. 서버에서 3차원 정보 획득을 위해 카메라 파라미터를 산출하도록 설정된 프로그램을 저장하는 저장 매체에 있어서, 상기 프로그램은,
    적어도 2개 이상의 카메라 장치로부터 소정 속도로 이동하는 동적 오브젝트를 촬영한 영상 정보를 수신하는 단계;
    각 카메라 장치로부터 수신된 각 영상 정보에서 동일 시점을 기준으로 영상 정보에 포함된 각 동적 오브젝트의 위치 정보를 확인하는 단계; 및
    상기 확인된 각각의 위치 정보의 적어도 일부를 대응점으로 이용하여 카메라 장치들간의 관계를 나타내는 카메라 파라미터를 산출하는 단계;
    를 포함하는 저장 매체.
KR1020160095235A 2016-07-27 2016-07-27 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법 KR101845612B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160095235A KR101845612B1 (ko) 2016-07-27 2016-07-27 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160095235A KR101845612B1 (ko) 2016-07-27 2016-07-27 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법

Publications (2)

Publication Number Publication Date
KR20180012889A true KR20180012889A (ko) 2018-02-07
KR101845612B1 KR101845612B1 (ko) 2018-04-06

Family

ID=61203821

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160095235A KR101845612B1 (ko) 2016-07-27 2016-07-27 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법

Country Status (1)

Country Link
KR (1) KR101845612B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190139522A (ko) * 2018-06-08 2019-12-18 포항공과대학교 산학협력단 초음파 영상데이터를 이용하여 수중 오브젝트의 3차원 형상을 구현하는 방법 및 수중로봇
WO2020101094A1 (ko) * 2018-11-16 2020-05-22 포디리플레이코리아 주식회사 입체 스트라이크 존 표시 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190139522A (ko) * 2018-06-08 2019-12-18 포항공과대학교 산학협력단 초음파 영상데이터를 이용하여 수중 오브젝트의 3차원 형상을 구현하는 방법 및 수중로봇
WO2020101094A1 (ko) * 2018-11-16 2020-05-22 포디리플레이코리아 주식회사 입체 스트라이크 존 표시 방법 및 장치
KR20200057484A (ko) * 2018-11-16 2020-05-26 포디리플레이코리아 주식회사 입체 스트라이크 존 표시 방법 및 장치

Also Published As

Publication number Publication date
KR101845612B1 (ko) 2018-04-06

Similar Documents

Publication Publication Date Title
CN106780601B (zh) 一种空间位置追踪方法、装置及智能设备
US11232593B2 (en) Calibration apparatus, calibration system, and calibration method
JP6735592B2 (ja) 画像処理装置及びその制御方法、画像処理システム
US7554575B2 (en) Fast imaging system calibration
US9774837B2 (en) System for performing distortion correction and calibration using pattern projection, and method using the same
EP3373236A1 (en) Image processing system, image generation apparatus, and image generation method
US11514606B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US20200177866A1 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
KR20150050172A (ko) 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
CN112150528A (zh) 一种深度图像获取方法及终端、计算机可读存储介质
WO2021129305A1 (zh) 光学动捕系统中标定杆检测方法、装置、设备和存储介质
CN109247068A (zh) 用于滚动快门补偿的方法和设备
JP6953188B2 (ja) 画像処理システム、画像処理システムの制御方法、及び、プログラム
WO2018216341A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2017017689A (ja) 全天球動画の撮影システム、及びプログラム
KR101845612B1 (ko) 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
CN110544278A (zh) 刚体运动捕捉方法及装置、agv位姿捕捉系统
CN111279352B (zh) 通过投球练习的三维信息获取系统及摄像头参数算出方法
US20230306636A1 (en) Object three-dimensional localizations in images or videos
WO2018189880A1 (ja) 情報処理装置、情報処理システム、および画像処理方法
US20190364233A1 (en) Systems and methods for rolling shutter compensation using iterative process
JPH09145368A (ja) ステレオ画像による物体の移動追跡方法
KR102298047B1 (ko) 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치
WO2021056552A1 (zh) 视频的处理方法和装置
KR20190031858A (ko) 동적 오브젝트에 대한 3차원 정보 디스플레이 시스템

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right