KR102084252B1

KR102084252B1 - 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템 및 그 방법

Info

Publication number: KR102084252B1
Application number: KR1020170162028A
Authority: KR
Inventors: 김종성; 김명규; 김우석; 백성민; 서상우; 홍성진
Original assignee: 한국전자통신연구원
Priority date: 2017-11-29
Filing date: 2017-11-29
Publication date: 2020-03-03
Also published as: KR20190063153A; US10796437B2; US20190164295A1

Abstract

본 발명은 단일 카메라 기반 초기 3차원 객체 궤적 및 속도 동시 복원 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템은 객체의 출발점에 대한 3차원 공간 좌표 정보 및 단일 카메라의 객체 촬영 영상 정보를 수신하는 수신부; 객체 촬영 영상 정보에서 객체의 2차원 영상 좌표를 획득하는 2차원 좌표 획득부; 및 2차원 영상 좌표와 단일 카메라로부터 객체까지의 깊이 정보에 대해3차원 운동 방정식을 적용하여, 객체의 초기 3차원 속도 및 궤적을 동시에 복원하는 복원부를 포함하는 것을 특징으로 한다.

Description

단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템 및 그 방법{SYSTEM AND METHOD FOR SIMULTANEOUS RECONSTTUCTION OF INITIAL 3D TRAJECTORY AND VELOCITY USING SINGLE CAMERA IMAGES}

본 발명은 단일 카메라 기반 초기 3차원 객체 궤적 및 속도 동시 복원 시스템 및 그 방법에 관한 것이다.

초기 3차원 볼(ball) 궤적 및 속도 복원을 위한 종래 기술은 다중 카메라 방식이 사용되고 있는데, 이러한 다중 카메라 방식은 사전에 정밀하게 상호 동기(Mutual Synchronization) 및 상호 보정(Mutual Calibration)이 이루어진 다중 카메라를 반드시 사용해야 하며, 다중 카메라에서 획득되는 다중 카메라 영상에서 2차원 볼 위치를 동시에 추적해야 하고, 다중 카메라 영상에서 추적된 2차원 볼 위치에 해당하는 3차원 볼 위치를 복잡한 3차원 삼각 측량을 통해 복원해야 하는 제약이 존재하는 문제점이 있다.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 복잡한 상호 동기, 상호 보정 및 삼각 측량의 과정 없이, 단일 카메라로 촬영된 단일 카메라 영상에서 추적되는 2차원 객체 위치에 3차원 운동 방정식을 적용하여, 초기 3차원 궤적 및 속도를 동시에 복원하는 것이 가능한 시스템 및 그 방법을 제공하는 데 그 목적이 있다.

본 발명에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템은 객체의 출발점에 대한 3차원 공간 좌표 정보 및 단일 카메라의 객체 촬영 영상 정보를 수신하는 수신부; 객체 촬영 영상 정보에서 객체의 2차원 영상 좌표를 획득하는 2차원 좌표 획득부; 및 2차원 영상 좌표와 단일 카메라로부터 객체까지의 깊이 정보에 대해3차원 운동 방정식을 적용하여, 객체의 초기 3차원 속도 및 궤적을 동시에 복원하는 복원부를 포함하는 것을 특징으로 한다.

본 발명에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 방법은 객체의 초기 3차원 속도의 크기값 및 객체의 3차원 공간 좌표의 깊이값을 변수로 하는 3차원 운동 방정식을 수립하는 단계와, 단일 카메라의 촬영 정보를 이용하여 객체 통과점의 2차원 영상 좌표를 계산하고, 객체의 3차원 방향 벡터를 계산하는 단계 및 2차원 영상 좌표 및 객체의 3차원 방향 벡터를 이용하여 3차원 운동 방정식의 해를 구하고, 객체의 초기 3차원 속도 및 궤적을 복원하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 실시예에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템 및 그 방법은 축구 킥, 골프 샷과 같은 구기 스포츠 기술을 가상으로 체험 및 훈련할 수 있도록 하는 가상 구기 스포츠 시스템에서 3차원 볼 궤적 시뮬레이션에 필요한 초기 3차원 볼 궤적 및 속도를 단일 카메라에서 촬영되는 단일 카메라 영상을 이용하여 동시에 복원하는 것이 가능한 효과가 있다.

본 발명에 따르면, 상호 동기 및 상호 보정된 다중 카메라를 사용하여 촬영된 다중 카메라 영상에서 2차원 볼 위치를 추적한 후 삼각 측량을 적용하여 초기 3차원 볼 궤적 및 속도를 각각 복원하는 종래의 다중 카메라 방식과는 다르게, 단일 카메라만을 사용하여 복잡한 상호 동기, 상호 보정 및 삼각 측량 과정 없이 단일 카메라 영상에서 추적되는 2차원 볼 위치에 직접 3차원 운동 방정식을 적용하여 초기 볼 궤적 및 속도를 동시 복원하는 효과가 있다.

본 발명에 따르면 운동학적 원리를 이용하여 운동 방정식을 직접 적용하여 객체(볼)의 초기 3차원 궤적 및 속도를 동시 복원하는 것이 가능하여, 객체(볼)의 3차원 궤적 및 속도의 정확도를 동시에 효과적으로 향상시킬 수 있다.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 단일 카메라 영상 기반 초기 3차원 궤적 및 속도 동시 복원을 위한 정보 획득 상황을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 실제 축구 킥을 촬영한 단일 카메라 영상을 도시한다.
도 4는 도 3에 도시한 단일 카메라 영상에서 실제 볼의 3차원 궤적과 속도를 복원한 결과를 나타내는 도면이다.
도 5는 본 발명의 실사예에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템이 적용된 실제의 가상 축구 킥 및 골프 샷 훈련 시스템을 도시한다.
도 6은 도 5에 도시한 가상 축구 킥 및 골프 샷 훈련 시스템에 사용된 실제 단일 카메라를 도시한다.
도 7은 본 발명의 다른 실시예에 따른 단일 카메라의 이동 및 회전 시의 객체의 3차원 궤적 및 속도 복원을 위한 정보 획득 상황을 나타내는 도면이다.
도 8은 본 발명의 실사예에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 방법을 나타내는 순서도이다.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.

이하에서는, 당업자의 이해를 돕기 위하여 본 발명이 제안된 배경에 대하여 먼저 서술하고, 본 발명의 실시예에 대하여 서술하기로 한다.

가상 구기 스포츠 시스템(Virtual Ball Sports System)에서는 선수가 차거나 친 볼의 3차원 궤적을 시뮬레이션함으로써 축구 킥(Soccer Kick), 골프 샷(Golf Shot)과 같은 구기 스포츠 기술을 가상으로 체험 및 훈련 할 수 있도록 한다.

이와 같이 볼의 3차원 궤적을 시뮬레이션하기 위해서는 초기 3차원 볼 속도가 필요한데, 초기 3차원 볼 속도는 초기 3차원 볼 궤적을 복원함으로써 계산될 수 있다.

통상적으로 초기 3차원 볼 궤적 및 속도의 복원을 위해서는 볼이 통과하는 지점에 사전에 정밀하게 상호 동기 및 상호 보정이 이루어진 스테레오 카메라(Stereo Camera) 등과 같은 두 대 이상의 카메라, 즉 다중 카메라를 설치하여 다중 카메라 영상(Multiple Camera Images)을 촬영하고, 촬영된 다중 카메라 영상에서 2차원 볼 위치를 동시에 추적한 다음, 삼각 측량을 통해 다중 카메라 영상에서 추적된 2차원 볼 위치에 해당하는 3차원 볼 위치를 복원하고, 복원된 3차원 볼 위치를 연결하는 초기 3차원 볼 궤적으로부터 초기 3차원 볼 속도를 계산하는 다중 카메라 방식이 사용된다.

그러나 이러한 다중 카메라 방식은 상호 동기 및 상호 보정된 다중 카메라를 이용하여 획득한 영상에서 2차원 볼 위치를 추적한 후, 삼각 측량을 적용하여 초기 3차원 볼 궤적 및 속도를 각각 복원하여야 하는 바, 그 과정이 복잡한 문제점이 있다.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 축구 킥, 골프 샷과 같은 구기 스포츠 기술을 가상으로 체험 및 훈련할 수 있도록 하는 가상 구기 스포츠 시스템에 적용되어, 3차원 볼 궤적 시뮬레이션(3D Ball Trajectory Simulation)에 필요한 초기 3차원 볼 속도 및 궤적(Initial 3D Ball Velocity and Trajectory)를 한 대의 단일 카메라(Single Camera)에서 획득되는 단일 카메라 영상(Single Camera Images)을 기반으로 동시 복원(Simultaneous Reconstruction)하는 시스템 및 그 방법에 관한 것이다.

도 1은 본 발명의 실시예에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템을 나타내는 블록도이다.

본 발명에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템은 객체의 출발점에 대한 3차원 공간 좌표 정보 및 단일 카메라의 객체 촬영 영상 정보를 수신하는 수신부(100); 객체 촬영 영상 정보에서 객체의 2차원 영상 좌표를 획득하는 2차원 좌표 획득부(200); 및 2차원 영상 좌표와 단일 카메라로부터 객체까지의 깊이 정보에 대해3차원 운동 방정식을 적용하여, 객체의 초기 3차원 속도 및 궤적을 동시에 복원하는 복원부(300)를 포함한다.

도 1에는 수신부(100)가 객체 출발점의 3차원 공간 좌표 정보, 3차원 운동 방정식 정보, 단일 카메라 초점 길이 및 광중심 정보, 단일 카메라에서 촬영된 영상 정보를 수신하는 것으로 도시하였으나, 이는 본 발명의 실시예를 설명하기 위한 도시 사항으로서, 이러한 수신 정보들은 수신부를 통해 2차원 좌표 획득부 및 복원부로 전달되는 것에 국한되지 않는다.

예컨대, 3차원 운동 방정식 정보는 복원부(300)에 저장되어 초기 3차원 볼 궤적 및 속도 복원이 필요할 시에 호출되는 것 역시 가능하다.

본 발명의 실시예에 따른 수신부(100)는 단일 카메라의 초점 길이, 객체의 실제 직경 및 단일 카메라의 촬영 영상에서 관찰되는 상기 객체의 직경에 대한 정보를 포함하는 객체 촬영 영상 정보를 수신한다.

즉, 서술하는 객체 촬영 영상 정보는 단일 카메라가 획득한 이미지 그 자체뿐 아니라, 객체의 초기 3차원 볼 궤적 및 속도 동시 복원을 위해 필요한 데이터들을 포함하는 개념이다. 객체 촬영 영상 정보를 이용한 초기 3차원 볼 궤적 및 속도 동시 복원의 자세한 실시예는 후술한다.

본 발명의 실시예에 따른 2차원 좌표 획득부(200)는 객체가 단일 카메라의 촬영 범위를 통과할 때 검출되는 객체 통과점(도 2의 W ₁ , W ₂ , W ₃ 3차원 공간 좌표에 해당하는 지점)의 2차원 픽셀 좌표와 단일 카메라의 광중심 정보를 이용하여 객체의 2차원 영상 좌표(이하 c)를 획득한다.

본 발명의 실시예에 따른 복원부(300)는 2차원 영상 좌표와 전술한 객체 촬영 영상 정보를 이용하여 객체 통과점의 3차원 공간 좌표를 복원한다.

본 발명의 실시예에 따른 3차원 운동 방정식은 객체의 출발점에 대한 대한 3차원 공간 좌표 정보(도 2의 W ₀ )와 객체 통과점(단일 카메라를 통해 촬영된 객체의 첫번째 통과점)의 3차원 공간 좌표(도 2의 W ₁ )를 이용하여 계산된 객체 속도의 방향 벡터를 포함하고, 3차원 공간 좌표의 깊이값 및 상기 객체의 초기 3차원 속도의 크기값을 변수로 포함한다.

본 발명의 실시예에 따른 복원부(300)는 연속된 객체 통과점에 대한 3차원 운동 방정식이 누적된 선형 시스템을 이용하여, 객체 통과점의 3차원 공간 좌표의 깊이값 및 객체의 초기 3차원 속도의 크기값의 해를 동시에 계산하여, 객체의 초기 3차원 궤적 및 속도를 복원한다.

이하, 도 2를 참조하여 단일 카메라 기반 초기 3차원 궤적 및 속도 동시 복원에 대해 상세히 설명한다.

1. 단일 카메라로부터 볼까지의 깊이(depth)

도 2는 본 발명의 실시예에 따른 단일 카메라 영상 기반 초기 3차원 궤적 및 속도 동시 복원을 위한 정보 획득 상황을 나타내는 도면이다.

전술한 바와 같이, 본 발명의 실시예에 따르면 단일 카메라(10)를 사용하므로, 종래 기술과 같이 다중 카메라를 사용함에 따른 복잡한 상호 동기, 상호 보정 및 삼각 측정 과정이 필요없다.

도 2에서 설명되는 모든 3차원 공간 좌표(3D World Coordinate)는 도 2의 우측 하단에 나타난 것과 같은 카메라 중심의 3차원 공간 좌표계(Camera-centered 3D World Coordinate System, 1) 상에서 정의된다.

초점 길이(Focal Length)가 f인 단일 카메라(10)에서 실제 직경(Diameter)이 D[mm]인 볼의 직경이 단일 카메라 영상(20)에서 d[pixel]로 관찰된다면 단일 카메라(110)에서 볼까지의 깊이 Z[mm]는 다음 [수학식 1]과 같은 비례관계에 있다.

초점 길이 f는 단일 카메라의 내부 파라미터(Internal Parameter)로써 카메라 내부 보정(Camera Internal Calibration)을 통해서 사전에 미리 계산된다.

카메라 내부 보정은 관련 분야에서 다양한 방법들이 제안되어 있으며, 그 중 한 방법이 적용된다.

이때, 볼의 직경 d는 단일 카메라 영상(20)에서 볼 검출 과정을 통해서 최초에 한 번만 계산하면 되는 값이다.

본 발명에 따르면, 출발점 및 첫번째 통과점에 대한 3차원 공간 좌표를 이용하여, 그 후 연속하는 통과점에 대한 3차원 공간 좌표를 획득하고 궤적을 복원하게 되는 바, 볼의 직경은 c₁(21)에 대해 최초 한번만 계산하면 된다.

볼의 중심점과 직경을 포함하여 볼 검출 기술은 관련 분야에서 다양한 방법들이 제안되어 있으며, 그 중 한 방법이 적용된다.

그러나 볼의 중심점과 직경을 포함한 볼 검출에는 많은 시간이 소요되므로 본 발명에서는 도 2의 단일 카메라 영상(20)과 같이, 첫번째 볼 검출에만 적용하고 이후에는 많은 시간이 소요되지 않는 볼 추적 기술을 적용한다(볼 추적 기술도 관련 분야에서 많은 방법이 제안되어 있으므로 그 중의 한 방법을 이용한다).

단, 볼 추적 기술로는 추적된 볼의 중심점만 계산되며 볼의 직경은 계산되지 않으며, 이는 전술한 바와 같이 첫번째 통과점 이후의 통과점에 대한 볼의 직경은 계산할 필요가 없기 때문이다.

단일 카메라(10)의 초점 길이 f와 볼의 실제 직경 D, 그리고 단일 카메라 영상(20)에서 관찰되는 볼의 직경 d가 획득되면, 단일 카메라(10)로부터 볼까지의 깊이(Depth) Z는 다음 [수학식 2]와 같이 계산된다.

2. 볼 출발점(Starting Point) 및 볼 통과점의 3차원 공간 좌표

볼이 출발하기 전 타석에 놓여 있는 때 볼 출발점(Starting Point)(140)의 3차원 공간 좌표(3D World Coordinate) 다음 [수학식 3]과 같은 3×1 벡터

로 정의될 수 있다.

축구 킥, 골프 샷과 같이 가상 구기 스포츠 훈련을 통하여 킥, 샷 등을 반복 연습할 때에는 볼 출발점(140)이 정해져 있기 때문에 볼 출발점(140)의 3차원 공간 좌표

는 사전에 간단히 측정할 수 있다.

다음, 볼이 출발한 이후에 카메라의 촬영 범위를 통과할 때 첫번째로 검출되는 볼 통과점(Passing Point)(150)의 3차원 공간 좌표는 다음 수학식과 같이 3×1 벡터

로 정의될 수 있다.

여기에서

는 단일 카메라에서 볼까지의 깊이 값이며,

는 3×1 벡터로써 볼 중심점(160)의 2차원 영상 좌표(2D Image Coordinate)이다. [수학식 3]에서 실제 직경이

인 볼이 영상에서 직경

라면 초점 길이가

인 단일 카메라에서 볼까지의 깊이

는 [수학식 2]를 기반으로 다음 [수학식 5]와 같이 계산될 수 있다.

또한, [수학식 3]에서 볼 중심점(160)의 2차원 영상 좌표

는 카메라의 내부 구조로부터 다음 [수학식 6]과 같이 계산될 수 있다.

여기에서,

는 볼 중심점(P1)의 2차원 픽셀 좌표(2D Pixel Coordinate)이며,

는 카메라의 광중심(Optical Center)으로 카메라 내부 파라미터로서 초점 길이

와 같이 카메라 내부 보정을 통해 사전에 계산되는 값이다.

단일 카메라(10)의 촬영 범위를 통과할 때 두번째로 추적되는 볼 통과점의 3차원 공간 좌표는 동일하게 다음 [수학식 7]과 같이 3×1 벡터

로 정의될 수 있다.

여기서 두번째 통과점을 지나는 볼 중심점의 2차원 영상 좌표

는 다음 [수학식 8]과 같이 계산될 수 있다.

또한, 단일 카메라 촬영 범위를 통과할 때 관찰되는 n번째 볼 통과점의 3차원 공간 좌표는 동일하게 다음 [수학식 9]와 같이 3×1 벡터

로 정의될 수 있다.

여기서 n번째 통과점을 지나는 볼 중심점의 2차원 영상 좌표

는 다음 [수학식 10]과 같이 계산될 수 있다.

3. 3차원 운동 방정식 및 초기 3차원 궤적 및 속도 동시 복원

볼의 초기 3차원 궤적(

)은 볼의 초기 출발점(P0)

과 초기 통과점들

,

,...,

을 연결하는 궤적으로 다음 [수학식 11]과 같이 정의된다.

그런데 볼은 초기에는 동일한 선속도(Linear Velocity) v를 가지는 직선 운동을 하기 때문에 볼의 초기 3차원 궤적

은 3차원 곡선이 아닌 3차원 선이라고 할 수 있다.

또한, 볼의 초기 통과점들

,

,...,

은 카메라에 의해 동일한 시간 간격 t으로 관찰되기 때문에 볼의 초기 통과점들

,

,...,

의 관계는 다음 [수학식 12]와 같은 3차원 운동 방정식을 적용할 수 있다.

여기에서 m은 도 2에 도시한 바와 같이, 통과점들 간에 볼이 이동한 거리로써 다음 [수학식 13]과 같이 3×1 벡터로 정의될 수 있다.

또한 볼의 거리 m은 볼의 초기 3차원 속도(180) v와 다음 [수학식 14]와 같은 관계가 있다.

여기서 t는 통과점들 간의 시간 차이로 카메라의 촬영 속도에 의해 결정된다. 볼의 초기 3차원 속도 v는 다음 [수학식 15]와 같이 3×1 벡터로 정의될 수 있다.

볼의 초기 3차원 속도 v는 볼의 초기 속력 S와 볼의 초기 3차원 방향 u과의 관계가 다음 [수학식 16]과 같이 정의된다.

여기서 볼의 초기 3차원 방향 u는 다음 [수학식 17]과 같이 3×1 벡터로 정의될 수 있다.

여기에서, 볼의 초기 출발점(P0)

와 첫번째 통과점(P1)

로부터 볼의 초기 3차원 방향 u는 다음 [수학식 18]과 같이 계산할 수 있다.

상기 수학식들을 통해 3차원 운동 방정식은 다음 [수학식 19]와 같이 다시 정의될 수 있다.

여기에서 첫번째 볼의 깊이

는 [수학식 5]와 같이 계산될 수 있으며, 볼 중심점들의 2차원 영상 좌표

,

, ...,

는 각각 [수학식 6], [수학식 8], [수학식 10] 과 계산될 수 있고, 볼의 초기 방향 u은 [수학식16]과 같이 계산될 수 있다. 그러므로 [수학식 17]로부터 볼의 깊이

,...,

, 그리고 볼의 초기 속력 S 를 계산하기 위한 3n×n 선형 시스템(Linear System)을 다음과 같이 정의할 수 있다.

A는 3n×n 행렬로써 다음 [수학식 21]과 같이 정의된다.

b는 3n ×1 벡터로써 다음 [수학식 22]와 같이 정의된다.

X는 n×1 벡터로써 다음 [수학식 23]과 같이 정의된다.

정의된 3n×n 선형 시스템의 해(Solution) X는 다음 [수학식 24]와 같이 계산된다.

여기에서 A ⁺는 3n×n 선형 시스템 A의 의사역행렬(Pseudoinverse Matrix)로서 다음 [수학식 25]와 같이 n×n 행렬로 계산된다.

그러므로, 본 발명의 실시예에 따르면, 내부 보정을 통해서 단일 카메라의 초점 길이

와 광중심

을 계산하고, 볼의 초기 출발점(140)

과 첫번째 통과점

, 그리고 볼 중심점들의 2차원 영상 좌표

,

,...,

만을 측정하면, 이로부터 볼의 초기 3차원 궤적

과 볼의 초기 3차원 속도 v를 단일 카메라(10)에서 획득되는 단일 카메라 영상(20)에서 카메라 중심의 3차원 공간 좌표계(1) 상에서 모두 효과적으로 동시에 복원할 수 있다.

도 3은 본 발명의 실시예에 따른 실제 축구 킥을 촬영한 단일 카메라 영상을 도시한다.

도 3에서 보여지는 것처럼 단일 카메라를 통해 볼의 첫번째, 두번째 및 세번째 통과점이 촬영되었다. 이때, 통과점들 간의 시간 차이 t는 6.24ms이며, 이 값은 카메라의 촬영 속도에 의해 결정된다.

도 4는 도 3에 도시한 단일 카메라 영상에서 실제 볼의 3차원 궤적과 속도를 복원한 결과를 나타내는 도면이다.

상단 시점(Top View)와 측면 시점(Side View)의 두 그래프에서 적색 원으로 볼의 출발점과 통과점들의 3차원 공간 좌표를 표시해 주고 있고, 녹색 선으로 복원된 볼의 초기 3차원 궤적을 표시해 주고 있다. 이때, 통과점들 간 볼이 이동한 거리

은 78.1mm이며, 볼의 초기 속력 S 는 45.038km/h로 복원되었고, 복원된 볼의 초기 3차원 방향 u로부터 계산된 탄도각(Elevation Angle)은 16.778 deg, 좌우각(Azimuth Angle)은 5.334deg로 계산되었음을 보여주고 있다.

도 5는 본 발명의 실사예에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템이 적용된 실제의 가상 축구 킥 및 골프 샷 훈련 시스템을 도시한다.

단일 카메라를 통해 축구 킥 및 골프 샷에 대한 초기 3차원 볼 궤적 및 속도를 복원하여 3차원 볼 궤적 시뮬레이션을 가능하게 한다.

도 6은 도 5에 도시한 가상 축구 킥 및 골프 샷 훈련 시스템에 사용된 실제 단일 카메라를 도시한다.

도 6에서 보여주는 것과 제안된 방법은 다중 카메라를 사용하지 않고 단일 카메라를 사용하여 3차원 볼 궤적 시뮬레이션에 필요한 초기 3차원 볼 궤적 및 속도를 복원할 수 있다.

도 7은 본 발명의 다른 실시예에 따른 단일 카메라의 이동 및 회전 시의 객체의 3차원 궤적 및 속도 복원을 위한 정보 획득 상황을 나타내는 도면이다.

단일 카메라(10')가 3차원 공간 상에서 회전 및 이동을 하였다면, 비카메라 중심 3차원 공간 좌표계(Noncamera-centered 3D World Coordinate System)(2) 상에서 다음과 같이 볼의 초기 3차원 궤적 및 속도를 복원할 수 있다.

이 때, 비카메라 중심 3차원 공간 좌표계(2) 상에서 단일 카메라(10')의 회전 및 이동은 카메라 외부 파라미터(External Parameters)로써 카메라 외부 보정(Camera External Calibration)을 통해서 사전에 미리 계산할 수 있다.

카메라 외부 보정은 관련 분야에서 기제안된 다양한 방법 중 어느 한 방법이 적용되는 것으로, 본 발명의 실시예에서는 상세한 설명을 생략한다.

비카메라 중심 3차원 공간 좌표계(2) 상에서 단일 카메라(10')의 회전은 다음 [수학식 26]과 같이 3×3 행렬 R로 정의될 수 있다.

또한, 비카메라 중심 3차원 공간 좌표계(2) 상에서 단일 카메라(10')의 이동은 다음 [수학식 27]과 같이 3×1 백터 t로 정의될 수 있다.

단일 카메라(10')가 비카메라 중심 3차원 공간 좌표계(2) 상에서 3×3 행렬 R만큼 회전을 하고 3×1 백터 t만큼 이동을 하였다면, 회전 및 이동에 의해 볼의 초기 3차원 궤적

은 카메라 중심 3차원 공간 좌표계(1) 상에서 복원된 볼의 초기 3차원 궤적

을 다음 [수학식 28]과 같이 변환하여 획득된다.

여기서

는 비카메라 중심 3차원 공간 좌표계(2) 상 볼의 초기 출발점(P0')의 3차원 공간 좌표로서, 카메라 중심 3차원 공간 좌표계(1) 상 초기 출발점(P0)

과 다음 [수학식 29]와 같은 관계로부터 변환되어 획득된다.

또한,

는 비카메라 중심 3차원 공간 좌표계(2)상 볼의 첫번째 통과점(P1')으로 카메라 중심 3차원 공간 좌표계(1) 상 첫번째 통과점(P1)

과 다음 [수학식 30]과 같은 관계로부터 변환될 수 있다.

그리고 회전에 의해 볼의 초기 3차원 속도

는 카메라 중심 3차원 공간 좌표계(1) 상 초기 3차원 속도 v와 다음 [수학식 31]과 같이 관계로부터 변환될 수 있다.

위와 같이 단일 카메라(10')가 비카메라 중심 3차원 공간 좌표계(2) 상에서 3×3 행렬 R만큼 회전을 하고 3×1 백터 t만큼 이동을 하여도, 단일 카메라(10')의 내부 보정을 통해서 단일 카메라의 초점 길이 f와 광중심 (p ₀ , q ₀ )을 계산하고, 카메라 중심 3차원 공간 좌표계(1) 상에서 볼의 초기 출발점(P0) W ₀ 과 첫번째 통과점(P1) W ₁ , 그리고 볼 중심점의 2차원 영상 좌표 c ₁ , c ₂ , ..., c _n 만을 측정하면, 이로부터 비카메라 중심 3차원 공간 좌표계(2) 상에서 볼의 초기 3차원 궤적

과 볼의 초기 차원 속도 v ^R을 단일 카메라(10')에서 획득되는 단일 카메라 영상(20')에서 3차원적으로 모두 효과적으로 동시에 복원할 수 있다.

도 8은 본 발명의 실사예에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 방법을 나타내는 순서도이다.

도 8에 따르면, 객체의 초기 3차원 속도의 크기값 및 객체의 3차원 공간 좌표의 깊이값을 변수로 하는 3차원 운동 방정식을 수립하는 단계(S100), 단일 카메라의 촬영 정보를 이용하여 객체 통과점의 2차원 영상 좌표를 계산하고, 객체의 3차원 방향 벡터를 계산하는 단계(S200) 및 2차원 영상 좌표 및 객체의 3차원 방향 벡터를 이용하여 3차원 운동 방정식의 해를 구하고, 객체의 초기 3차원 속도 및 궤적을 복원하는 단계(S300)가 포함된다.

S100 단계는 단일 카메라의 촬영 범위 내 객체 통과점의 3차원 공간 좌표 및 객체 통과점들 간의 거리에 대하여 3차원 운동 방정식을 수립하되, 객체의 출발점의 3차원 공간 좌표와 최초의 객체 통과점의 3차원 공간 좌표로부터 계산된 객체의 3차원 방향 벡터 및 2차원 영상 좌표를 이용하여 3차원 운동 방정식이 누적된 선형 시스템을 수립한다.

S200 단계는 상기 객체가 상기 단일 카메라의 촬영 범위를 통과할 때 검출되는 객체 통과점의 2차원 픽셀 좌표와 상기 단일 카메라의 광중심 정보를 이용하여 상기 객체의 2차원 영상 좌표를 획득한다.

S200 단계는 상기 단일 카메라의 초점 길이, 상기 객체의 실제 직경, 상기 단일 카메라의 촬영 영상에서 관찰되는 상기 객체의 직경에 대한 정보 및 상기 2차원 영상 좌표를 이용하여 상기 객체 통과점의 3차원 공간 좌표를 복원하고, 상기 객체의 3차원 방향 벡터를 계산한다.

S300 단계는 상기 객체 통과점의 3차원 공간 좌표의 깊이값 및 상기 객체의 초기 3차원 속도의 크기값의 해를 동시에 계산하여, 상기 객체의 초기 3차원 궤적 및 속도를 복원한다.

S300 단계는 상기 단일 카메라가 이동 및 회전된 경우, 이동 및 회전 정보를 이용하여 상기 복원된 객체의 3차원 속도 및 궤적을 변환하여, 비카메라 중심 3차원 공간 좌표계 상에서의 초기 3차원 궤적 및 속도를 복원한다.

이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100: 수신부 200: 2차원 좌표 획득부
300: 초기 3차원 속도 및 궤적 복원부

Claims

객체의 출발점에 대한 3차원 공간 좌표 정보 및 단일 카메라의 객체 촬영 영상 정보를 수신하는 수신부;
상기 객체 촬영 영상 정보에서 상기 객체의 2차원 영상 좌표를 획득하는 2차원 좌표 획득부; 및
상기 2차원 영상 좌표 및 상기 단일 카메라로부터 객체까지의 깊이 정보에 대해 3차원 운동 방정식을 적용하여, 상기 객체의 초기 3차원 속도 및 궤적을 동시에 복원하는 복원부를 포함하되,
상기 3차원 운동 방정식은 상기 객체가 상기 단일 카메라의 촬영 범위를 통과할 때 검출되는 객체 통과점의 3차원 공간 좌표 및 상기 객체 통과점들 간의 거리에 대한 운동 방정식인 것
을 특징으로 하는 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템.
제1항에 있어서,
상기 수신부는 상기 단일 카메라의 초점 길이, 상기 객체의 실제 직경 및 상기 단일 카메라의 촬영 영상에서 관찰되는 상기 객체의 직경에 대한 정보를 포함하는 상기 객체 촬영 영상 정보를 수신하는 것
인 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템.
제1항에 있어서,
상기 2차원 좌표 획득부는, 상기 객체 통과점의 2차원 픽셀 좌표와 상기 단일 카메라의 광중심 정보를 이용하여 상기 객체의 2차원 영상 좌표를 획득하는 것
인 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템.
제3항에 있어서,
상기 객체 통과점은 상기 객체의 출발 후 상기 단일 카메라의 촬영 범위를 통과할 때 최초로 검출되는 통과점이고, 상기 깊이 정보는 상기 최초로 검출되는 객체 통과점과 상기 단일 카메라 간의 거리인 것
을 특징으로 하는 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템.
제3항에 있어서,
상기 복원부는 상기 2차원 영상 좌표와 상기 객체 촬영 영상 정보를 이용하여 상기 객체 통과점의 3차원 공간 좌표를 복원하는 것
인 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템.
제5항에 있어서,
상기 3차원 운동 방정식은 상기 객체의 출발점에 대한 3차원 공간 좌표 정보와 상기 객체 통과점의 3차원 공간 좌표를 이용하여 계산된 객체 속도의 방향 벡터를 포함하고, 상기 3차원 공간 좌표의 깊이값 및 상기 객체의 초기 3차원 속도의 크기값을 변수로 포함하며,
상기 복원부는 연속된 상기 객체 통과점에 대한 상기 3차원 운동 방정식이 누적된 선형 시스템을 이용하여, 상기 객체 통과점의 3차원 공간 좌표의 깊이값 및 상기 객체의 초기 3차원 속도의 크기값의 해를 동시에 계산하여, 상기 객체의 초기 3차원 궤적 및 속도를 복원하는 것
인 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템.
제5항에 있어서,
상기 복원부는 상기 단일 카메라의 이동 및 회전 정보를 이용하여 상기 복원된 객체의 초기 3차원 궤적 및 상기 복원된 객체의 3차원 속도를 변환하여, 비카메라 중심 3차원 공간 좌표계 상에서의 상기 객체의 초기 3차원 궤적 및 속도를 동시에 복원하는 것
인 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템.
(a) 객체의 초기 3차원 속도의 크기값 및 상기 객체의 3차원 공간 좌표의 깊이값을 변수로 하는 3차원 운동 방정식을 수립하되, 단일 카메라의 촬영 범위 내 객체 통과점의 3차원 공간 좌표 및 상기 객체 통과점들 간의 거리에 대하여 상기 3차원 운동 방정식을 수립하는 단계;
(b) 상기 단일 카메라의 촬영 정보를 이용하여 객체 통과점의 2차원 영상 좌표를 계산하고, 상기 객체의 3차원 방향 벡터를 계산하는 단계; 및
(c) 상기 2차원 영상 좌표 및 객체의 3차원 방향 벡터를 이용하여 상기 3차원 운동 방정식의 해를 구하고, 상기 객체의 초기 3차원 속도 및 궤적을 복원하는 단계
를 포함하는 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 방법.
제8항에 있어서,
상기 (a) 단계는 상기 객체의 출발점의 3차원 공간 좌표와 최초의 상기 객체 통과점의 3차원 공간 좌표로부터 계산된 상기 객체의 3차원 방향 벡터 및 상기 2차원 영상 좌표를 이용하여 상기 3차원 운동 방정식이 누적된 선형 시스템을 수립하는 것
인 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 방법.
제8항에 있어서,
상기 (b) 단계는 상기 객체가 상기 단일 카메라의 촬영 범위를 통과할 때 검출되는 객체 통과점의 2차원 픽셀 좌표와 상기 단일 카메라의 광중심 정보를 이용하여 상기 객체의 2차원 영상 좌표를 획득하는 것
인 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 방법.
제10항에 있어서,
상기 (b) 단계는 상기 단일 카메라의 초점 길이, 상기 객체의 실제 직경, 상기 단일 카메라의 촬영 영상에서 관찰되는 상기 객체의 직경에 대한 정보 및 상기 2차원 영상 좌표를 이용하여 상기 객체 통과점의 3차원 공간 좌표를 복원하고, 상기 객체의 3차원 방향 벡터를 계산하는 것
인 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 방법.
제8항에 있어서,
상기 (c) 단계는 상기 객체 통과점의 3차원 공간 좌표의 깊이값 및 상기 객체의 초기 3차원 속도의 크기값의 해를 동시에 계산하여, 상기 객체의 초기 3차원 궤적 및 속도를 복원하는 것
인 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 방법.
제8항에 있어서,
상기 (c) 단계는 상기 단일 카메라가 이동 및 회전된 경우, 이동 및 회전 정보를 이용하여 상기 복원된 객체의 3차원 속도 및 궤적을 변환하여, 비카메라 중심 3차원 공간 좌표계 상에서의 초기 3차원 궤적 및 속도를 복원하는 것
인 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 방법.