KR20190033415A - 두 대의 카메라를 사용한 복수의 컬링 스톤 추적 장치 및 방법 - Google Patents

두 대의 카메라를 사용한 복수의 컬링 스톤 추적 장치 및 방법 Download PDF

Info

Publication number
KR20190033415A
KR20190033415A KR1020180036150A KR20180036150A KR20190033415A KR 20190033415 A KR20190033415 A KR 20190033415A KR 1020180036150 A KR1020180036150 A KR 1020180036150A KR 20180036150 A KR20180036150 A KR 20180036150A KR 20190033415 A KR20190033415 A KR 20190033415A
Authority
KR
South Korea
Prior art keywords
stone
stones
coordinates
camera
image
Prior art date
Application number
KR1020180036150A
Other languages
English (en)
Other versions
KR102050898B1 (ko
Inventor
설상훈
김가영
윤성욱
홍명표
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of KR20190033415A publication Critical patent/KR20190033415A/ko
Application granted granted Critical
Publication of KR102050898B1 publication Critical patent/KR102050898B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0028—Tracking the path of an object, e.g. a ball inside a soccer pitch

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 두 대의 카메라를 사용한 복수의 컬링 스톤 추적 장치 및 방법에 관한 것으로, 복수의 컬링 스톤 추적 장치는 컬링시트의 두 개의 사이드라인, 제1 백라인, 제1 호그라인으로 둘러싸인 영역을 촬영한 영상인 제1 영상을 획득하는 제1 카메라, 상기 두 개의 사이드라인, 상기 제1 호그라인, 제2 호그라인으로 둘러싸인 영역을 촬영한 영상인 제2 영상을 획득하는 제2 카메라, 상기 제1 영상과 상기 제2 영상을 이용하여 움직이는 스톤들의 집합인 추적 스톤 집합에 포함된 스톤들의 좌표를 계산하는 좌표 계산부, 투구 스톤의 좌표에 따라 상기 제1 카메라와 상기 제2 카메라 중 하나의 카메라를 활성화시키는 동작 제어부, 및 상기 추적 스톤 집합에 포함된 스톤들의 좌표와 상기 추적 스톤 집합에 포함되지 않은 스톤들의 초기 좌표를 이용하여 스톤들 간의 충돌을 감지하는 충돌 감지부를 포함한다. 본 발명에 의하면, 근거리용 촬영 영상과 원거리용 촬영 영상을 선택적으로 사용하여 컬링 스톤을 추적함으로써 컬링 스톤 좌표 검출의 정확도를 높일 수 있고, 충돌한 컬링 스톤의 좌표만 추적함으로써 연산량을 줄일 수 있는 효과가 있다.

Description

두 대의 카메라를 사용한 복수의 컬링 스톤 추적 장치 및 방법{METHOD AND APPARATUS FOR TRACKING MULTIPLE CURLING STONES USING TWO CAMERAS}
본 발명은 카메라를 사용하여 컬링 스톤의 위치를 추적하는 복수의 컬링 스톤 추적 장치 및 방법에 관한 것이다.
컬링 경기를 수행하고 분석하는 다양한 장치 및 로봇이 발명되면서, 컬링 경기의 수행 및 분석을 위해 컬링 스톤의 정확한 위치를 구하는 다양한 방법이 적용되고 있다.
그러나, 이는 컬링 경기장이나 컬링 스톤에 추가적인 장치를 부착하는 형태로 구현되어 있으며, 실제 경기 상황 및 시설에 적용하기 힘들다는 문제가 있다. 실제 컬링 경기장에 주로 사용되는 천장에 카메라를 설치하는 탑뷰(top-view) 형식의 카메라는 관측영역이 협소하여 단일 컬링 시트 전체를 관측하기에 적합하지 않다.
또한, 단일 물체를 추적하는 방법 및 장치는 다수의 컬링 스톤을 검출해야 하는 실제 경기 상황에 적합하지 않으며 두 대 이상의 물체가 충돌할 경우 충돌한 물체들의 위치 및 충돌 여부를 구하는 것이 불가능한 문제가 있다.
미국특허출원 US97023248 (2017년 7월 11일 등록), 발명의 명칭: Curling detection device, image forming apparatus, curling detection method, recording medium storing a curing detection program, and recording medium storing an image adjustment program
본 발명은 근거리 촬영용 카메라와 원거리 촬영용 카메라의 상태를 선택적으로 제어하고, 활성화 상태인 카메라로부터 촬영된 영상에서 충돌에 의해 움직이는 컬링 스톤을 감지함으로써 복수의 컬링 스톤을 추적하는 두 대의 카메라를 이용한 복수의 컬링 스톤 추적 장치 및 방법을 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위해 본 발명의 일 실시예에 따른 복수의 컬링 스톤 추적 장치는 컬링시트의 두 개의 사이드라인, 제1 백라인, 제1 호그라인으로 둘러싸인 영역을 촬영한 영상인 제1 영상을 획득하는 제1 카메라, 상기 두 개의 사이드라인, 상기 제1 호그라인, 제2 호그라인으로 둘러싸인 영역을 촬영한 영상인 제2 영상을 획득하는 제2 카메라, 상기 제1 영상과 상기 제2 영상을 이용하여 움직이는 스톤들의 집합인 추적 스톤 집합에 포함된 스톤들의 좌표를 계산하는 좌표 계산부, 투구 스톤의 좌표에 따라 상기 제1 카메라와 상기 제2 카메라 중 하나의 카메라를 활성화시키는 동작 제어부, 및 상기 추적 스톤 집합에 포함된 스톤들의 좌표와 상기 추적 스톤 집합에 포함되지 않은 스톤들의 초기 좌표를 이용하여 스톤들 간의 충돌을 감지하는 충돌 감지부를 포함한다.
좌표 계산부는, 상기 추적 스톤 집합에 포함되는 모든 스톤들에 대하여, 상기 제1 카메라 또는 상기 제2 카메라에서 촬영한 각 스톤 이미지의 중심을 인식하여 상기 각 스톤의 좌표를 계산할 수 있다.
동작 제어부는, 상기 제1 카메라를 대기 상태로 유지하고, 상기 제2 카메라만 활성화 상태로 유지하고, 상기 투구 스톤이 상기 제1 호그라인을 지나는 경우, 상기 제1 카메라를 대기 상태에서 활성화 상태로 전환하고, 상기 제2 카메라를 활성화 상태에서 대기 상태로 전환할 수 있다.
충돌 감지부는, 상기 추적 스톤 집합에 포함되지 않는 스톤들 중 특정 스톤과 상기 추적 스톤 집합에 포함된 스톤 사이의 거리가 스톤의 직경 미만인 경우, 충돌을 감지하여 상기 특정 스톤을 상기 추적 스톤 집합에 추가할 수 있다.
충돌 감지부는, 상기 추적 스톤 집합에 포함되는 스톤들의 좌표와 상기 추적 스톤 집합에 포함되지 않는 스톤들의 초기 좌표를 이용하여, 아래 수학식에 의해 충돌을 감지하여 상기 추적 스톤 집합을 갱신할 수 있다.
Figure pat00001
(여기서, s(t)는 추적 스톤 집합, s(t+1)은 갱신된 추적 스톤 집합, x는 추적 스톤 집합에 포함되지 않는 스톤, s는 추적 스톤 집합에 포함되는 스톤, px는 스톤 x의 좌표, ps는 스톤 s의 좌표, d는 스톤의 직경을 나타냄)
본 발명의 다른 실시예에 따른 복수의 스톤 추적 방법은 투구 스톤의 좌표가 상기 제1 호그라인을 경과했는지 판단하는 단계, 상기 투구 스톤의 좌표가 상기 제1 호그라인을 경과한 경우, 상기 제1 카메라를 활성화 상태로 전환하는 단계, 움직이는 스톤들의 집합인 추적 스톤 집합에 포함된 스톤들의 좌표와 상기 추적 스톤 집합에 포함되지 않은 스톤들의 초기 좌표를 이용하여 스톤들 간의 충돌을 감지하는 단계, 상기 충돌 감지에 따라, 상기 추적 스톤 집합을 갱신하는 단계, 및 상기 추적 스톤 집합에 포함되는 스톤들의 좌표를 계산하는 단계를 포함한다.
상기 스톤들 간의 충돌을 감지하는 단계는, 상기 다른 스톤들 중 특정 스톤과 상기 투구 스톤 사이의 거리가 스톤의 직경 미만인 경우, 충돌로 결정할 수 있다.
상기 추적 스톤 집합을 갱신하는 단계는, 상기 특정 스톤을 상기 추적 스톤 집합에 추가할 수 있다.
상기 추적 스톤 집합을 갱신하는 단계는, 아래 수학식에 의해 결정될 수 있다.
Figure pat00002
(여기서, s(t)는 추적 스톤 집합, s(t+1)은 갱신된 추적 스톤 집합, x는 추적 스톤 집합에 포함되지 않는 스톤, s는 추적 스톤 집합에 포함되는 스톤, px는 스톤 x의 좌표, ps는 스톤 s의 좌표, d는 스톤의 직경을 나타냄)
본 발명에 의하면, 근거리용 촬영 영상과 원거리용 촬영 영상을 선택적으로 사용하여 컬링 스톤을 추적함으로써 컬링 스톤 좌표 검출의 정확도를 높일 수 있고, 충돌한 컬링 스톤의 좌표만 추적함으로써 연산량을 줄일 수 있는 효과가 있다.
또한, 컬링 시트를 촬영할 수 있는 두 대의 카메라를 컬링 시트 외부에 설치하고, 카메라 이외의 다른 장치를 설치하지 않은 상태에서 컬링 스톤의 좌표 추적이 가능하므로 경기의 안정성을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 복수의 컬링 스톤 추적 장치의 개략적인 구성도이다.
도 2는 본 발명의 일 실시예에 따른 복수의 컬링 스톤 추적 장치의 외형도이다.
도 3은 본 발명의 일 실시예에 따른 복수의 컬링 스톤 추적 장치의 설치 위치와 두 대의 카메라로 촬영되는 영상의 영역을 구분한 도면이다.
도 4는 본 발명의 일 실시예에 따른 복수의 컬링 스톤 추적 장치의 원거리 영상 및 근거리 영상으로부터 스톤의 좌표를 추적하는 방법을 설명하기 위한 도면이다.
도 5 내지 도 6은 본 발명의 일 실시예에 따른 복수의 컬링 스톤 추적 장치의 근거리 영상으로부터 복수의 컬링 스톤의 좌표를 추적하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 복수의 컬링 스톤 추적 방법의 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 복수의 컬링 스톤 추적 장치의 개략적인 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 복수의 컬링 스톤 추적 장치(100)는 제1 카메라(110), 제2 카메라(120), 동작 제어부(130), 좌표 계산부(140), 및 충돌 감지부(150)를 포함하여 구성된다.
제1 카메라(110)는 컬링시트의 두 개의 사이드라인, 제1 백라인, 제1 호그라인으로 둘러싸인 영역을 촬영한 영상인 제1 영상을 획득할 수 있다. 이 영역을 근거리 영역으로 정의할 수 있다. 제1 카메라(110)는 특정 제어신호를 수신하기 전까지 대기 상태로 유지되고, 특정 제어신호를 수신하면 동작 모드를 대기 상태에서 활성화 상태로 전환할 수 있다. 여기서, 대기 상태는 저전원으로 구동되는 상태로 영상을 촬영하지는 않지만 특정 제어신호 수신 시 즉각적으로 영상을 촬영할 수 있는 상태를 의미하고, 활성화 상태는 영상을 촬영하는 상태를 의미한다.
제2 카메라(120)는 컬링시트의 두 개의 사이드라인, 제1 호그라인, 제2 호그라인으로 둘러싸인 영역을 촬영한 영상인 제2 영상을 획득할 수 있다. 이 영역을 원거리 영역으로 정의할 수 있다. 또한, 제2 카메라(120)는 특정 제어신호를 수신하기 전까지 영상을 촬영하는 활성화 상태로 초기화되고, 특정 제어신호가 수신되면 동작 모드를 활성화 상태에서 대기 상태로 전환될 수 있다.
상기의 제1 카메라(110)는 광각 렌즈로 제작될 수 있고, 제2 카메라(120)는 망원 렌즈로 제작될 수 있다. 또한, 두 카메라는 컬링시트의 가로방향의 경계라인이 모두 촬영될 수 있는 범위 내의 거리에 배치될 수 있다.
도 2는 본 발명의 일 실시예에 따른 복수의 컬링 스톤 추적 장치의 외형도이고, 도 3은 본 발명의 일 실시예에 따른 복수의 컬링 스톤 추적 장치의 설치 위치와 두 대의 카메라로 촬영되는 영상의 영역을 구분한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 복수의 컬링 스톤 추적 장치(100)는 동일한 폭의 컬링 시트를 촬영할 수 있도록 두 대의 카메라(110, 120)를 하나의 장치에 인접하게 형성할 수 있다.
즉, 컬링 시트의 가로방향의 경계 라인을 포함하고, 컬링 시트의 근거리 영역을 촬영하는 제1 카메라(110)와 컬링 시트의 가로방향의 경계 라인을 포함하고, 컬링 시트의 원거리 영역을 촬영하는 제2 카메라(120)가 인접하여 형성될 수 있다. 이때, 제1 카메라(110)와 제2 카메라(120)를 상하 방향으로 회전시켜 촬영 영역을 조절할 수 있다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 복수의 컬링 스톤 추적 장치(100)는 제1 백라인 뒤 쪽에 설치되고, 복수의 컬링 스톤 추정 장치(100)의 제1 카메라는 근거리용 카메라 관측 영역을 촬영하고, 제2 카메라는 원거리용 카메라 관측 영역을 촬영할 수 있다. 두 대의 카메라는 복수의 컬링 스톤 추적 장치가 설치된 측에 가까운 제1 호그라인을 모두 포함하도록 촬영 영역을 조절할 수 있다.
이때, 컬링 시트의 제1 백라인, 제1 호그라인, 제2 호그라인, 제2 백라인은 컬링 시트의 라인의 명칭으로, 복수의 컬링 스톤 추적 장치의 설치 위치에 따라 결정될 수 있다.
복수의 컬링 스톤 추적 장치(100)는 삼각대와 같은 도구를 활용하여 컬링 시트 전체를 관측하기에 충분한 약 2m 높이의 위치에 설치될 수 있다. 도면에서 두 대의 카메라의 렌즈 부분만 물리적으로 분리된 것처럼 도시되어 있으나, 렌즈를 상하 또는 좌우 방향으로 이동할 수 있는 몸체부도 각각 분리되어 형성될 수 있다.
동작 제어부(130)는 투구 스톤의 좌표가 제1 호그라인을 지나는 경우, 제1 카메라(110)를 대기 상태에서 활성화 상태로 전환하고, 제2 카메라(120)를 활성화 상태에서 대기 상태로 전환할 수 있다. 동작 제어부(130)는 제1 카메라(110)와 제2 카메라(120)가 선택적으로 활성화되도록 제어할 수 있다.
좌표 계산부(140)는 모든 스톤들의 초기 좌표를 계산하고, 제1 영상(근거리 영상)과 제2 영상(원거리 영상)을 이용하여 움직이는 스톤들의 집합인 추적 스톤 집합에 포함된 스톤들의 좌표를 계산할 수 있다. 좌표 계산부(140)는 추적 스톤 집합에 포함되는 모든 스톤들에 대하여, 제1 카메라(110) 또는 제2 카메라(120)에서 촬영한 각 스톤 이미지의 중심을 인식하여 각 스톤의 좌표를 계산할 수 있다. 좌표 계산부(140)는 추적 스톤 집합이 갱신되면 추적 스톤 집합에 포함되는 스톤들의 좌표를 계산할 수 있다.
충돌 감지부(150)는 추적 스톤 집합에 포함된 스톤들의 좌표와 추적 스톤 집합에 포함되지 않은 스톤들의 초기 좌표를 이용하여 스톤들 간의 충돌을 감지할 수 있다. 충돌 감지부(150)는 충돌 감지에 따라 움직이는 스톤들의 집합인 추적 스톤 집합을 갱신할 수 있다. 충돌 감지부(150)는 추적 스톤 집합에 포함되지 않은 스톤들 중 특정 스톤과 추적 스톤 집합에 포함된 스톤 사이의 거리가 스톤의 직경 미만인 경우, 충돌을 감지하여 특정 스톤을 추적 스톤 집합에 추가할 수 있다.
도 4는 본 발명의 일 실시예에 따른 복수의 컬링 스톤 추적 장치의 원거리 영상 및 근거리 영상으로부터 스톤의 좌표를 추적하는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 복수의 컬링 스톤 추적 장치의 원거리 영상 및 근거리 영상을 분석하여 스톤의 좌표를 추적할 수 있다. 스톤의 좌표는 영상으로부터 스톤의 형상을 추출하고, 스톤의 중심점(C)을 좌표로 결정할 수 있다.
먼저, 좌표 계산부(140)는 컬링 스톤의 색을 이용하여 컬링 스톤에 해당하는 영역을 검출 할 수 있도록 이진(binary)영상을 만든다. 획득된 이진영상에서, 세계 좌표를 구하는 과정에서 획득된 영상 좌표와 세계 좌표의 관계식을 이용해 실제 컬링 스톤의 크기에 해당하는 영역이 영상에서 어떤 크기로 나타나는지 예측하여 컬링 스톤을 검출한다. 컬링 스톤의 좌표는 세계 좌표를 기준으로 컬링 스톤을 위에서 바라보았을 때의 스톤의 중심을 사용한다. 컬링 스톤의 좌표를 계산하는 과정은 매 프레임 마다 진행된다.
좌표 계산부(140)는 투구 스톤의 좌표가 제1 호그라인을 지나는 경우, 제1 카메라(110)를 통해 획득된 근거리의 제1 영상으로부터 정지된 복수의 컬링 스톤의 좌표를 추출할 수 있다. 좌표 계산부(140)는 투구 스톤의 좌표가 제1 호그라인을 지나는 경우, 제2 영상 분석을 종료하고 제1 영상을 분석하여 움직이는 투구 스톤의 좌표를 추적할 수 있다. 구체적으로, 충돌 감지부(150)는 추적된 투구 스톤의 좌표와 정지된 복수의 컬링 스톤의 초기 좌표 사이의 거리를 이용하여 충돌을 결정할 수 있다. 즉, 충돌 감지부(150)는 움직이는 특정 스톤의 좌표와 정지된 스톤의 초기 좌표의 거리가 스톤의 직경 미만인 경우, 충돌이 발생한 것으로 감지할 수 있다. 충돌 감지부(150)는 충돌이 감지되면 제1 영상으로부터 투구 스톤과 충돌된 제1 컬링 스톤의 좌표를 추적할 수 있다. 이러한 방법으로, 연속으로 충돌하는 컬링 스톤들의 그룹만 이동 좌표를 추적할 수 있다.
또한, 충돌 감지부(150)는 움직이는 컬링 스톤(예를 들어, 투구 스톤)과 충돌한 컬링 스톤(상기의 제1 컬링 스톤)의 좌표를 매 프레임마다 계산할 수 있다. 스톤들 사이의 충돌여부는 [수학식 1]에 의해 계산될 수 있다.
Figure pat00003
여기서, s(t)는 추적 스톤 집합, s(t+1)은 갱신된 추적 스톤 집합, x는 추적 스톤 집합에 포함되지 않은 스톤, s는 추적 스톤 집합에 포함되는 스톤, px는 스톤 x의 좌표, ps는 스톤 s의 좌표, d는 스톤의 직경을 나타낸다.
앞서 도 4에서 설명한 바와 같이, 좌표 계산부(140)는 스톤의 좌표를 스톤 영상의 중심점을 인식하여 영상 좌표로 계산하고, 영상 좌표를 세계 좌표로 변환하여 계산할 수 있다. 좌표 계산부(140)는 두 대의 카메라의 파라미터, 사전 칼리브레이션, 3차원 자세 추정 등의 과정을 통해 영상 좌표를 획득하고, 영상 좌표를 상기의 파라미터를 이용하여 세계 좌표로 변환할 수 있다.
사전 칼리브레이션은 두 대의 카메라의 내부 및 외부 파라미터를 구하는 과정이고, 3차원 자세 추정은 사전 칼리브레이션에서 구한 두 대의 카메라의 외부 파라미터의 관계식을 구하는 과정이다. 세계 좌표로 변환하는 방법은 제1 카메라를 이용하여 관측한 영역의 특징점들을 추출하여 컬링 시트의 세계 좌표와 제1 카메라에서 획득한 영상의 좌표를 정합하는 과정을 통해 수행될 수 있다. 이때, 3차원 자세 추정 과정에서 구한 두 대의 카메라의 관계식을 이용하여 근거리와 원거리 카메라에서 획득한 영상의 좌표를 컬링 시트의 세계 좌표와 정합한다. 이 과정에서 카메라를 통해 획득된 영상 좌표와 세계 좌표의 관계식을 획득한다. 세계 좌표에서 컬링 시트의 짧은 폭을 x축, 긴 폭을 y축, 그리고 컬링시트와 수직한 방향을 z 축이라 표현할 수 있다.
도 5 내지 도 6은 본 발명의 일 실시예에 따른 복수의 컬링 스톤 추적 장치의 근거리 영상으로부터 복수의 컬링 스톤의 좌표를 추적하는 방법을 설명하기 위한 도면이다.
도 5 내지 도 6을 참조하면, 본 발명의 일 실시예에 따른 복수의 컬링 스톤 추적 장치는 근거리 영상으로부터 충돌에 의해 이동하는 컬링 스톤에 대한 영상 분석만을 수행할 수 있다.
구체적으로, 컬링 경기는 각각 4명의 선수로 구성된 두 팀이 빙판 위에서 컬링 스톤(S1 내지 S4)을 하우스 방향으로 미끄러뜨려 득점을 획득하는 스포츠로, 하우스는 크기가 서로 다른 동심원으로 구성되고 동심원의 중앙에 컬링 스톤을 위치시킬수록 높은 점수를 획득하는 방식이다.
컬링 경기는 1인의 선수가 컬링 스톤을 투구하고, 나머지 선수가 투구 스톤의 진행방향을 유도하는 방식이므로, 원거리 영역의 제2 영상에서는 투구 스톤만 움직이고 있어 투구 스톤의 좌표 변화만을 추적하면 된다. 투구 스톤이 제1 호그라인, 즉, 득점 표적에 가까운 호그라인을 지나면 제1 영상에서 투구 스톤을 추적할 수 있다. 이때, 제2 영상과 제1 영상의 공통 영역의 투구 스톤 좌표를 이용하여 제2 영상에서 제1 영상으로 영상을 전환하여 투구 스톤의 추적을 이어나갈 수 있다.
움직이는 컬링 스톤과 정지한 컬링 스톤 사이의 충돌 여부는 앞서 설명한 바와 같이, [수학식 1]에 의해 계산되고, 충돌한 그룹의 컬링 스톤들의 좌표만 추적하면 되기 때문에 영상 분석의 연산량을 줄일 수 있다.
구체적으로, 투구 스톤 S1이 이동하며 스톤 S2의 초기 좌표와 직경 미만으로 근접한 경우, 충돌이 발생하여 스톤 S1과 S2가 추적 스톤 집합에 포함된다. 복수의 컬링 스톤 충돌 감지 장치는 추적 스톤 집합에 포함된 스톤 S1과 S2의 좌표를 추적한다. 추적 스톤 집합에 포함된 스톤 S2가 이동하여 스톤 S4의 초기 좌표와 거리가 직경 미만이 되면 스톤 S2와 스톤 S4가 충돌한 것으로 감지하여, 스톤 S4를 추적 스톤 집합에 포함시켜 추적 스톤 집합을 갱신할 수 있다. 충돌이 발생함에 따라, 추적 스톤 집합을 갱신하고, 추적 스톤 집합에 포함된 스톤들의 좌표를 계산할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 복수의 컬링 스톤 추적 방법의 흐름도이다.
도 7을 참조하면, 본 발명의 다른 실시예에 따른 복수의 컬링 스톤 추적 방법은 스톤들의 초기 좌표를 계산하고(S710), 투구 스톤의 좌표가 제1 호그라인을 경과하였는지 판단하고(S720), 판단 결과에 따라 제1 카메라를 활성화하거나(S730), 제2 카메라를 활성화할 수 있다(S770).
구체적으로, 투구 스톤 좌표가 제1 호그라인을 경과한 경우(예), 근거리 영역의 컬링 시트 영상인 제1 영상을 촬영하는 제1 카메라를 활성화 상태로 전환할 수 있다(S730). 또한, 원거리 영역의 컬링 시트 영상인 제2 영상을 촬영하는 제2 카메라를 대기 상태로 전환할 수 있다.
다음으로, 활성화된 제1 카메라를 통해 촬영된 제1 영상으로부터 투구 스톤 좌표와 움직이지 않는 스톤들의 초기 좌표의 차이를 이용하여 충돌을 감지할 수 있다(S740).
충돌이 감지되면, 추적 스톤 집합을 갱신하고(S750), 움직이는 스톤들의 좌표를 계산할 수 있다(S760). 이때, 추적 스톤 집합을 갱신하는 과정은 앞서 설명한 수학식을 이용할 수 있다.
반면, 투구 스톤의 좌표가 제1 호그라인을 경과하지 못한 경우(아니오), 두 대의 카메라의 동작상태를 초기 설정된 상태로 유지하며(즉, 제2 카메라를 활성화 상태로 유지) 계속하여 제2 영상을 분석할 수 있다(S770).
본 발명에 따르면, 원거리용과 근거리용 두 대의 카메라를 구비하는 장치를 사용하여 초기 투구 시, 원거리의 영상을 분석하여 투구 스톤의 위치를 추적하고, 투구 스톤이 일정 라인 이내로 접근한 경우, 분석할 영상을 원거리의 영상에서 근거리의 영상으로 변경하여 분석함으로써, 컬링 스톤의 좌표 분석의 정확도를 높일 수 있다. 또한, 근거리의 영상으로부터 충돌이 발생한 컬링 스톤들만 좌표를 추적함으로써 복수의 컬링 스톤을 추적하기 위한 영상 처리량을 줄일 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 복수의 컬링 스톤 추적 장치 110: 제1 카메라
120: 제2 카메라 130: 동작 제어부
140: 좌표 계산부 150: 충돌 감지부

Claims (9)

  1. 컬링시트의 두 개의 사이드라인, 제1 백라인, 제1 호그라인으로 둘러싸인 영역을 촬영한 영상인 제1 영상을 획득하는 제1 카메라;
    상기 두 개의 사이드라인, 상기 제1 호그라인, 제2 호그라인으로 둘러싸인 영역을 촬영한 영상인 제2 영상을 획득하는 제2 카메라;
    상기 제1 영상과 상기 제2 영상을 이용하여 움직이는 스톤들의 집합인 추적 스톤 집합에 포함된 스톤들의 좌표를 계산하는 좌표 계산부;
    투구 스톤의 좌표에 따라 상기 제1 카메라와 상기 제2 카메라 중 하나의 카메라를 활성화시키는 동작 제어부; 및
    상기 추적 스톤 집합에 포함된 스톤들의 좌표와 상기 추적 스톤 집합에 포함되지 않은 스톤들의 초기 좌표를 이용하여 스톤들 간의 충돌을 감지하는 충돌 감지부;
    를 포함하는 복수의 컬링 스톤 추적 장치.
  2. 제1항에 있어서,
    상기 좌표 계산부는, 상기 추적 스톤 집합에 포함되는 모든 스톤들에 대하여, 상기 제1 카메라 또는 상기 제2 카메라에서 촬영한 각 스톤 이미지의 중심을 인식하여 상기 각 스톤의 좌표를 계산하는, 복수의 컬링 스톤 추적 장치.
  3. 제1항에 있어서,
    상기 동작 제어부는, 상기 제1 카메라를 대기 상태로 유지하고, 상기 제2 카메라만 활성화 상태로 유지하고, 상기 투구 스톤이 상기 제1 호그라인을 지나는 경우, 상기 제1 카메라를 대기 상태에서 활성화 상태로 전환하고, 상기 제2 카메라를 활성화 상태에서 대기 상태로 전환하는, 복수의 컬링 스톤 추적 장치.
  4. 제1항에 있어서,
    상기 충돌 감지부는, 상기 추적 스톤 집합에 포함되지 않는 스톤들 중 특정 스톤과 상기 추적 스톤 집합에 포함된 스톤 사이의 거리가 스톤의 직경 미만인 경우, 충돌을 감지하여 상기 특정 스톤을 상기 추적 스톤 집합에 추가하는, 복수의 컬링 스톤 추적 장치.
  5. 제2항에 있어서,
    상기 충돌 감지부는, 상기 추적 스톤 집합에 포함되는 스톤들의 좌표와 상기 추적 스톤 집합에 포함되지 않는 스톤들의 초기 좌표를 이용하여, 아래 수학식에 의해 충돌을 감지하여 상기 추적 스톤 집합을 갱신하는, 복수의 스톤 추적 장치.
    Figure pat00004

    (여기서, s(t)는 추적 스톤 집합, s(t+1)은 갱신된 추적 스톤 집합, x는 추적 스톤 집합에 포함되지 않는 스톤, s는 추적 스톤 집합에 포함되는 스톤, px는 스톤 x의 좌표, ps는 스톤 s의 좌표, d는 스톤의 직경을 나타냄)
  6. 컬링시트의 두 개의 사이드라인, 제1 백라인, 제1 호그라인으로 둘러싸인 영역을 촬영한 영상인 제1 영상을 획득하는 제1 카메라와, 상기 두 개의 사이드라인, 상기 제1 호그라인, 제2 호그라인으로 둘러싸인 영역을 촬영한 영상인 제2 영상을 획득하는 제2 카메라를 선택적으로 활성화하는 복수의 컬링 스톤 추적 방법에 있어서,
    투구 스톤의 좌표가 상기 제1 호그라인을 경과했는지 판단하는 단계;
    상기 투구 스톤의 좌표가 상기 제1 호그라인을 경과한 경우, 상기 제1 카메라를 활성화 상태로 전환하는 단계;
    움직이는 스톤들의 집합인 추적 스톤 집합에 포함된 스톤들의 좌표와 상기 추적 스톤 집합에 포함되지 않은 스톤들의 초기 좌표를 이용하여 스톤들 간의 충돌을 감지하는 단계;
    상기 충돌 감지에 따라, 상기 추적 스톤 집합을 갱신하는 단계; 및
    상기 추적 스톤 집합에 포함되는 스톤들의 좌표를 계산하는 단계;
    를 포함하는 복수의 스톤 추적 방법.
  7. 제6항에 있어서,
    상기 스톤들 간의 충돌을 감지하는 단계는,
    상기 다른 스톤들 중 특정 스톤과 상기 투구 스톤 사이의 거리가 스톤의 직경 미만인 경우, 충돌로 결정하는, 복수의 스톤 추적 방법.
  8. 제7항에 있어서,
    상기 추적 스톤 집합을 갱신하는 단계는,
    상기 특정 스톤을 상기 추적 스톤 집합에 추가하는, 복수의 스톤 추적 방법.
  9. 제6항에 있어서,
    상기 추적 스톤 집합을 갱신하는 단계는, 아래 수학식에 의해 결정되는, 복수의 컬링 스톤 추적 방법.
    Figure pat00005

    (여기서, s(t)는 추적 스톤 집합, s(t+1)은 갱신된 추적 스톤 집합, x는 추적 스톤 집합에 포함되지 않는 스톤, s는 추적 스톤 집합에 포함되는 스톤, px는 스톤 x의 좌표, ps는 스톤 s의 좌표, d는 스톤의 직경을 나타냄)
KR1020180036150A 2017-09-15 2018-03-28 두 대의 카메라를 사용한 복수의 컬링 스톤 추적 장치 및 방법 KR102050898B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170118971 2017-09-15
KR20170118971 2017-09-15

Publications (2)

Publication Number Publication Date
KR20190033415A true KR20190033415A (ko) 2019-03-29
KR102050898B1 KR102050898B1 (ko) 2019-12-03

Family

ID=65898901

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180036150A KR102050898B1 (ko) 2017-09-15 2018-03-28 두 대의 카메라를 사용한 복수의 컬링 스톤 추적 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102050898B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101478097B1 (ko) * 2014-02-21 2014-12-31 숭실대학교산학협력단 컬링 시뮬레이션을 수행하기 위한 이동 단말, 컬링 시뮬레이션 방법 및 기록 매체
KR20170001076A (ko) * 2015-06-25 2017-01-04 (주) 야담 원격으로 복수의 카메라를 제어하는 방법 및 장치
KR20170073963A (ko) * 2015-12-21 2017-06-29 한국과학기술연구원 그룹-기반 다중 객체 추적 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101478097B1 (ko) * 2014-02-21 2014-12-31 숭실대학교산학협력단 컬링 시뮬레이션을 수행하기 위한 이동 단말, 컬링 시뮬레이션 방법 및 기록 매체
KR20170001076A (ko) * 2015-06-25 2017-01-04 (주) 야담 원격으로 복수의 카메라를 제어하는 방법 및 장치
KR20170073963A (ko) * 2015-12-21 2017-06-29 한국과학기술연구원 그룹-기반 다중 객체 추적 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
김정후. 최적 색상정보 추출을 통한 Mean-shift 알고리즘 기반 컬링 스톤의 검출 및 추적 기법. 숭실대학교 석사학위논문, 2014년, pp. 1-37. 1부.* *
미국특허출원 US97023248 (2017년 7월 11일 등록), 발명의 명칭: Curling detection device, image forming apparatus, curling detection method, recording medium storing a curing detection program, and recording medium storing an image adjustment program

Also Published As

Publication number Publication date
KR102050898B1 (ko) 2019-12-03

Similar Documents

Publication Publication Date Title
US11392146B2 (en) Method for detecting target object, detection apparatus and robot
CN109325967B (zh) 目标跟踪方法、装置、介质以及设备
Xu et al. Review of machine-vision based methodologies for displacement measurement in civil structures
US10242454B2 (en) System for depth data filtering based on amplitude energy values
CN101821583B (zh) 用于跟踪和测量目标的测量装置
Doyle et al. Optical flow background estimation for real-time pan/tilt camera object tracking
US10341647B2 (en) Method for calibrating a camera and calibration system
EP1462984A2 (en) Authentication object image pick-up device and method thereof
EP3343242B1 (en) Tracking system, tracking device and tracking method
CN111353355B (zh) 动作追踪系统及方法
US10564250B2 (en) Device and method for measuring flight data of flying objects using high speed video camera and computer readable recording medium having program for performing the same
CN104166137A (zh) 一种基于雷达告警态势图显示的目标综合参数跟踪测量方法
CN104296658B (zh) 一种基于虚拟双目视觉的石壁爆破孔检测与定位装置及定位方法
KR20190033415A (ko) 두 대의 카메라를 사용한 복수의 컬링 스톤 추적 장치 및 방법
CN104296657B (zh) 一种基于双目视觉的石壁爆破孔检测与定位装置及定位方法
Pennisi et al. Ground truth acquisition of humanoid soccer robot behaviour
KR101590889B1 (ko) 표적 추적 정확도 분석을 위한 영상 기반의 위치추정 방법 및 이를 위한 위치추정 시스템
CN107866058A (zh) 一种基于多层映射解析定位的乒乓球运动系统
WO2018134866A1 (ja) カメラ校正装置
CN204202556U (zh) 一种基于虚拟双目视觉的石壁爆破孔检测与定位装置
KR20160090632A (ko) 비행물체의 비행정보 추정 장치 및 비행정보 추정 방법
WO2017006860A1 (ja) 撮影装置、物体の挙動計測装置、撮影制御方法および物体の挙動計測方法
CN114494455B (zh) 一种大视角下的位移高精度测量方法
Lin et al. Development of a binocular vision-based catcher robot system using DSP platform
CN114374903B (zh) 拾音方法和拾音装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant