KR101703316B1 - 영상을 기반으로 속도를 측정하는 방법 및 장치 - Google Patents

영상을 기반으로 속도를 측정하는 방법 및 장치 Download PDF

Info

Publication number
KR101703316B1
KR101703316B1 KR1020160023333A KR20160023333A KR101703316B1 KR 101703316 B1 KR101703316 B1 KR 101703316B1 KR 1020160023333 A KR1020160023333 A KR 1020160023333A KR 20160023333 A KR20160023333 A KR 20160023333A KR 101703316 B1 KR101703316 B1 KR 101703316B1
Authority
KR
South Korea
Prior art keywords
velocity
measurement
images
image
pixels
Prior art date
Application number
KR1020160023333A
Other languages
English (en)
Inventor
김준일
이정천
이상인
김덕호
Original Assignee
주식회사 엠비씨플러스
주식회사 씨엔이미징
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠비씨플러스, 주식회사 씨엔이미징 filed Critical 주식회사 엠비씨플러스
Priority to KR1020160023333A priority Critical patent/KR101703316B1/ko
Application granted granted Critical
Publication of KR101703316B1 publication Critical patent/KR101703316B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Abstract

영상을 기반으로 속도를 측정하는 방법 및 장치가 개시된다. 복수의 영상을 기반으로 속도를 측정하는 방법은 복수의 영상에서 기준 객체를 결정하는 단계와 기준 객체를 기반으로 복수의 영상에서 변화된 위치에 존재하는 측정 대상 객체의 속도를 산출하는 단계를 포함할 수 있되, 기준 객체는 미리 크기를 알고 있는 영상 내에서 고정된 객체이고, 측정 대상 객체는 속도를 측정하는 대상 객체일 수 있다.

Description

영상을 기반으로 속도를 측정하는 방법 및 장치{Method and apparatus for measuring velocity based on image}
본 발명은 속도 측정 방법 및 장치에 관한 것으로서, 보다 상세하게는, 영상을 기반으로 속도를 측정하는 방법 및 장치에 관한 것이다.
영상에서 객체의 움직임을 추적하기 위해 다양한 방법이 사용되었다. 예를 들어, 영상에서 객체의 움직임을 추적하기 위한 방법으로 블록 기반 추적 방법, 화소 기반 추적 방법, 광류 기반 추적 방법 등이 사용될 수 있다.
블록 기반 추적 방법의 대표적인 것으로는 블록 정합 기법이 있고, 화소 기반 추적 방법에는 차 영상 기법과 배경 영상 기법이 있다. 블록 정합 기법은 연산량이 많기 때문에 빠른 움직임을 추적할 경우 움직이는 목표물을 놓쳐버리는 단점이 있고, 차 영상 기법은 물체의 움직임이 적을 경우, 움직임을 추적하지 못하는 단점이 있다. 또한, 광류 기반 추적 방법은 계산 속도가 오래 걸린다는 단점이 있다. 하지만, 배경 영상 기법은 빠르게 움직이는 물체 추적에 강하다는 장점은 있지만, 배경 영상을 보상해야 한다는 단점이 있다.
또한, 스테레오 영상으로 객체의 위치 및 속도를 결정하는 방법도 연구되었다. 스테레오 영상은 사람의 눈과 같이 입체감을 느끼기 위해 좌, 우측 카메라 2대가 필요하며, 동시성을 갖고 영상을 취득하게 된다. 취득된 영상을 정합하여 얻어지는 시차 정보를 이용하여 움직이는 객체의 거리, 이동 거리 및 속도를 측정할 수 있다.
KR 10-2009-0059475
본 발명의 일 측면은 영상을 기반으로 속도를 측정하는 방법을 제공한다.
본 발명의 다른 측면은 영상을 기반으로 속도를 측정하는 장치를 제공한다.
본 발명의 일 측면에 따른 복수의 영상을 기반으로 속도를 측정하는 방법은 상기 복수의 영상에서 기준 객체를 결정하는 단계, 상기 기준 객체를 기반으로 상기 복수의 영상에서 변화된 위치에 존재하는 측정 대상 객체의 속도를 산출하는 단계를 포함할 수 있되, 상기 기준 객체는 미리 크기를 알고 있는 상기 영상 내에서 고정된 객체이고, 상기 측정 대상 객체는 상기 속도를 측정하는 대상 객체일 수 있다.
한편, 상기 측정 대상 객체의 속도를 산출하는 단계는 상기 기준 객체의 상기 크기 및 상기 크기에 대응되는 픽셀 수를 기반으로 픽셀 당 거리를 산출하는 단계, 상기 복수의 영상 내에서 상기 측정 대상 객체의 변화된 위치를 기반으로 상기 복수의 영상 내에서 상기 측정 대상 객체의 이동 픽셀 수를 산출하는 단계와 상기 복수의 영상 간의 촬상 시간 차이를 산출하는 단계를 포함할 수 있다.
또한, 상기 측정 대상 객체의 속도는 아래의 수학식을 기반으로
Figure 112016019152492-pat00001
산출될 수 있다.
*또한, 상기 측정 대상 객체의 변화된 위치에 대응되는 상기 측정 대상 객체의 상기 이동 픽셀 수는 상기 측정 대상 객체의 기준 픽셀을 기반으로 결정되고, 상기 기준 픽셀은 상기 측정 대상 객체의 에지의 중앙 지점 또는 상기 측정 대상 객체의 특징점일 수 있다.
또한, 상기 기준 픽셀이 직선 궤적을 그릴 경우, 상기 이동 픽셀 수는 상기 직선 궤적 내에 포함되는 픽셀의 개수이고, 상기 기준 픽셀이 곡선 궤적을 그릴 경우, 상기 이동 픽셀 수는 상기 곡선 궤적 내에 포함되는 픽셀의 개수이고, 상기 곡선 궤적 내에 포함되는 상기 픽셀의 개수는 상기 곡선 궤적에 대한 정적분을 기반으로 산출될 상기 곡선 궤적의 길이에 대응되는 픽셀의 개수일 수 있다.
본 발명의 다른 측면에 따른 복수의 영상을 기반으로 속도를 측정하는 속도 측정 장치는 프로세서를 포함하고, 상기 프로세서는 상기 복수의 영상에서 기준 객체를 결정하고, 상기 기준 객체를 기반으로 상기 복수의 영상에서 변화된 위치에 존재하는 측정 대상 객체의 속도를 산출하도록 구현될 수 있되, 상기 기준 객체는 미리 크기를 알고 있는 상기 영상 내에서 고정된 객체이고, 상기 측정 대상 객체는 상기 속도를 측정하는 대상 객체일 수 있다.
한편, 상기 프로세서는 상기 기준 객체의 상기 크기 및 상기 크기에 대응되는 픽셀 수를 기반으로 픽셀 당 거리를 산출하고, 상기 복수의 영상 내에서 상기 측정 대상 객체의 변화된 위치를 기반으로 상기 복수의 영상 내에서 상기 측정 대상 객체의 이동 픽셀 수를 산출하고, 상기 복수의 영상 간의 촬상 시간 차이를 산출하여 상기 측정 대상 객체의 속도를 산출하도록 구현될 수 있다.
또한, 상기 측정 대상 객체의 속도는 아래의 수학식을 기반으로
Figure 112016019152492-pat00002
산출될 수 있다.
*또한, 상기 측정 대상 객체의 변화된 위치에 대응되는 상기 측정 대상 객체의 상기 이동 픽셀 수는 상기 측정 대상 객체의 기준 픽셀을 기반으로 결정되고, 상기 기준 픽셀은 상기 측정 대상 객체의 에지의 중앙 지점 또는 상기 측정 대상 객체의 특징점일 수 있다.
또한, 상기 기준 픽셀이 직선 궤적을 그릴 경우, 상기 이동 픽셀 수는 상기 직선 궤적 내에 포함되는 픽셀의 개수이고, 상기 기준 픽셀이 곡선 궤적을 그릴 경우, 상기 이동 픽셀 수는 상기 곡선 궤적 내에 포함되는 픽셀의 개수이고, 상기 곡선 궤적 내에 포함되는 상기 픽셀의 개수는 상기 곡선 궤적에 대한 정적분을 기반으로 산출될 상기 곡선 궤적의 길이에 대응되는 픽셀의 개수일 수 있다.
본 발명의 실시예에 따른 영상을 기반으로 속도를 측정하는 방법 및 장치는 별도의 속도 측정 장비 없이 영상 분석을 기반으로 객체의 속도를 정확하게 측정할 수 있다. 본 발명의 실시예에 따른 영상 기반의 객체 속도 측정 방법이 사용되는 경우, 다양한 스포츠 경기(예를 들어, 야구 당구 골프 테니스 등 기구를 이용하는 스포츠 경기)에서 경기 진행에 지장을 주지 않은 형태로 측정 대상 객체의 속도를 측정 할 수 있다. 측정된 데이터는 데이터베이스 형태로 저장되어 경기 전략 수립, 선수 컨디션 점검 및 분석 등을 위해 사용될 수 있다.
도 1은 본 발명의 실시예에 따른 영상 기반의 객체 속도 측정 방법을 나타낸 순서도이다.
도 2는 본 발명의 실시예에 따른 영상 기반의 객체 속도 측정 방법을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 영상 기반의 객체 속도 측정 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 영상 기반의 객체 속도 측정 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시에에 따른 측정 대상 객체의 이동 거리를 결정하기 위한 픽셀 결정 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 측정 대상 객체의 이동 픽셀 수를 결정하는 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 영상 내의 원근을 고려한 속도 측정 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 영상 기반의 객체 속도 측정 장치를 나타낸 블록도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조 부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
기존의 스포츠 경기(예를 들어, 야구)에서 공의 속도는 일반적으로 도플러 효과를 이용한 스피드 건을 기반으로 측정될 수 있다. 하지만 도플러 효과를 이용한 스피드 건은 설치 위치에 따른 오차 범위가 넓어진다. 또한, 날아오는 공을 배트로 타격하는 야구 경기에서는 현실적으로 경기 중 배트 스피드를 측정할 수 있는 방법이 없다.
따라서, 야구 배트의 스윙뿐만 아니라 골프채의 스윙과 같은 동작이 발생할 경우, 임팩트 순간의 정확한 야구 배트, 골프채의 움직임 속도를 측정하기 위한 방법이 필요하다. 이하, 본 발명의 실시예에서는 촬상된 영상의 픽셀을 기반으로 객체의 움직임 속도를 측정하기 위한 방법이 개시된다.
이하, 본 발명의 실시예에서는 설명의 편의상 속도를 측정하는 대상 객체가 야구 배트인 경우를 가정하여 설명하나, 야구 배트가 아닌 다양한 객체가 속도 측정 대상 객체로 설정될 수도 있다.
도 1은 본 발명의 실시예에 따른 영상 기반의 객체 속도 측정 방법을 나타낸 순서도이다.
도 1을 참조하면, 영상 촬상 장치를 기반으로 객체에 대한 영상을 획득한다.
영상 촬상 장치(예를 들어, 카메라)는 고정된 위치에 설치되어 측정 대상 객체의 움직임을 촬상할 수 있다. 영상 촬상 장치는 고해상도, 높은 프레임 레이트로 측정 대상 객체의 움직임을 촬상할 수 있다.
영상에서 기준 객체를 설정한다(단계 S110).
영상 촬상 장치를 기반으로 획득한 영상에서 측정 대상 객체의 움직임을 판단하기 위한 기준이 되는 객체인 기준 객체가 설정될 수 있다. 기준 객체는 미리 크기를 아는 고정된 크기의 객체일 수 있다.
본 발명의 실시예에 따르면, 영상 내에서 기준 객체의 거리와 실제 기준 객체의 거리를 비교하여 픽셀 당 실제 거리가 산출될 수 있다. 픽셀 당 실제 거리 및 복수의 영상에서 측정 대상 객체의 위치 변화를 기반으로 측정 대상 객체의 실제 움직임 거리가 산출될 수 있다. 또한, 프레임레이트를 기반으로 측정 대상 객체의 위치 변화 정보를 포함하는 복수의 영상 간의 촬상 시간 차가 산출될 수 있다. 복수의 영상 간의 촬상 시간 차와 측정 대상 객체의 실제 움직임 거리를 기반으로 측정 대상 객체의 움직임 속도가 산출될 수 있다.
위와 같은 측정 대상 객체의 움직임 속도의 산출 절차를 위해 영상 내에서 기준 객체가 설정될 수 있다. 예를 들어, 야구 경기에서 야구 배트의 스윙 속도를 측정하는 경우, 타격 박스와 같이 고정된 위치에 구현된 이미 거리를 알고 있는 객체가 기준 객체로 선택될 수 있다. 다른 예를 들어, 골프 연습장에서 골프채의 스윙 속도를 측정하는 경우, 타석 박스 내의 고정된 위치에 구현된 이미 크기를 알고 있는 객체가 기준 객체가 될 수 있다.
영상에서 기준 객체를 기반으로 측정 대상 객체의 속도를 산출한다(단계 S120).
측정 대상 객체의 속도를 산출하기 위해 촬상된 복수의 영상에서 측정 대상 객체가 촬상된 픽셀의 위치 변화를 고려하여 픽셀 기준으로 측정 대상 객체의 이동 픽셀 수가 결정된다. 예를 들어, 제1 영상에서 측정 대상 객체에 대응되는 픽셀이 제1 위치에 존재하였고, 제2 영상에서 측정 대상 객체에 대응되는 상기 픽셀이 제2 위치에 존재한 경우, 제1 위치와 제2 위치의 차이가 픽셀의 위치 변화로서 측정 대상 객체의 이동 픽셀 수가 될 수 있다. 또한, 제1 영상과 제2 영상 사이의 촬상 시간의 차이는 프레임레이트를 기반으로 산출될 수 있다. 만약, 초당 120프레임이 촬상 가능하고, 제1 영상과 제2 영상이 연속된 프레임인 경우, 1/120(sec)가 제1 영상과 제2 영상 사이의 촬상 시간의 차이로 결정될 수 있다.
또한, 영상 내에서 기준 객체에 대응되는 픽셀의 수와 기준 객체의 실제 크기(또는 길이)를 고려하여 픽셀 당 거리가 결정될 수 있다.
측정 대상 객체의 이동 픽셀 수, 픽셀 당 거리, 촬상 시간 차를 기반으로 아래의 수학식 1을 사용하여 측정 대상 객체의 속도가 산출될 수 있다.
<수학식 1>
Figure 112016019152492-pat00003
본 발명의 실시예에 따른 영상 기반의 객체 속도 측정 방법에서는 취득 영상의 해상도가 높을수록 정확도가 높아질 수 있다. 왜냐하면, 취득 영상의 해상도가 높아질수록 측정 대상 객체에 대응되는 픽셀의 위치 변화가 보다 정확하게 측정될 수 있기 때문이다.
또한, 카메라의 FPS(frames per second)(초당 프레임레이트)가 높을수록 특정 시점의 정확한 속도 산출 가능하다. 예를 들어, 60fps인 경우, 초당 60장의 영상이 촬상되고, 120fps인 경우, 초당 120장의 영상이 촬상될 수 있다. 즉, 60fps인 경우, 1/60초 단위로 측정 대상 객체의 속도가 산출되고, 120fps인 경우, 1/120초 단위로 측정 대상 객체의 속도가 산출될 수 있다.
본 발명의 실시예에 따른 영상 기반의 객체 속도 측정 방법에서는 화면 영상 분석을 통한 특정 위치를 지나는 측정 대상 객체(예를 들어, 배트 또는 공)의 속도가 자동적으로 인식되어 원하는 단위(시속/분속/초속)등으로 자동 저장되어 디스플레이에 출력될 수 있다.
본 발명의 실시예에 따른 영상 기반의 객체 속도 측정 방법이 사용되는 경우, 다양한 스포츠 경기(예를 들어, 야구 당구 골프 테니스 등 기구를 이용하는 스포츠 경기)에서 경기 진행에 지장을 주지 않은 형태로 측정 대상 객체의 속도를 측정 할 수 있다. 측정된 데이터는 데이터베이스 형태로 저장되어 경기 전략 수립, 선수 컨디션 점검 및 분석 등을 위해 사용될 수 있다.
도 2는 본 발명의 실시예에 따른 영상 기반의 객체 속도 측정 방법을 나타낸 개념도이다.
도 2에서는 야구 배트의 스윙시 야구 배트의 스윙 속도를 측정하는 방법이 개시된다.
도 2를 참조하면, 야구 배트의 경우, 스윙시 야구 배트가 촬상된 복수의 영상 내에서 야구 배트가 위치한 픽셀의 위치 변화가 결정될 수 있다.
기준 객체가 타격 박스의 길이인 경우, 실제 타격 박스의 길이와 영상에서 타격 박스에 대응되는 픽셀의 거리(픽셀 수(200))를 기반으로 픽셀 당 거리가 결정될 수 있다. 예를 들어, 타격 박스의 길이가 1m이고, 1m에 대응되는 픽셀의 개수(200)가 100개인 경우, 픽셀당 거리는 1cm일 수 있다.
60fps의 촬상 속도로 야구 배트에 대한 영상이 촬상되고 연속된 제1 영상에 위치한 야구 배트에 대응되는 픽셀과 제2 영상에 위치한 야구 배트에 대응되는 픽셀 간의 위치 차이(250)가 10개의 픽셀일 수 있다. 이러한 경우, 야구 배트의 이동 거리는 1/60초 당 10cm를 이동하였다고 결정될 수 있다. 따라서, 야구 배트의 속도는 6m/sec(또는 21.6km/h)로 산출될 수 있다.
동일한 방식으로 공의 움직임을 산출하여 공의 움직임 속도와 배트의 움직임 속도가 동시에 디스플레이 상에 표시될 수 있다. 즉, 기준 객체를 기반으로 복수의 영상에서 변화된 위치에 존재하는 적어도 하나의 측정 대상 객체 각각의 속도가 산출될 수 있다.
도 3은 본 발명의 실시예에 따른 영상 기반의 객체 속도 측정 방법을 나타낸 개념도이다.
도 3에서는 야구 선수의 배트 속도를 측정하는 방법이 개시된다.
도 3을 참조하면, 야구 선수의 스윙 영상이 실시간으로 취득될 수 있다.
영상 내에서 기준 객체(예를 들어, 타격 박스) 및 측정 대상 객체(예를 들어, 야구 배트)가 추출되고, 픽셀당 거리가 산출될 수 있다.
또한, 복수의 영상 내에서 측정 대상 객체의 측정 대상 객체를 트래킹하여 복수의 영상 각각 내에서 측정 대상 객체에 대응되는 픽셀의 위치 변화를 결정하여 측정 대상 객체의 이동 픽셀 수가 결정될 수 있다.
전술한 바와 같이 측정 대상 객체의 이동 픽셀 수와 픽셀 당 거리 및 영상 촬상 장치의 fps를 기반으로 측정 대상 객체의 속도가 산출될 수 있다. 산출된 측정 대상 객체의 속도에 대한 정보는 사용자 장치를 통해 출력될 수 있다.
이러한 측정 대상 객체의 속도는 fps를 고려한 시간 단위로 연속적으로 결정될 수 있다. 사용자는 측정 대상 객체의 위치 별로 측정 대상 객체의 속도에 대한 정보를 획득할 수 있다.
동일한 방식으로 공의 움직임을 산출하여 공의 움직임 속도와 배트의 움직임 속도가 동시에 디스플레이 상에 표시될 수 있다. 즉, 기준 객체를 기반으로 복수의 영상에서 변화된 위치에 존재하는 적어도 하나의 측정 대상 객체 각각의 속도가 산출될 수 있다.
도 4는 본 발명의 실시예에 따른 영상 기반의 객체 속도 측정 방법을 나타낸 개념도이다.
도 4에서는 복수의 기준 객체에 대한 설정을 기반으로 측정 대상 객체의 속도를 보다 정확하게 측정하기 위한 방법이 개시된다.
도 4를 참조하면, 복수의 기준 객체가 설정되어 보다 정확하게 측정 대상 객체의 속도가 측정될 수 있다.
예를 들어, 영상 기반의 객체 속도 측정 장치는 영상에 대한 객체 분석을 통해 기준 객체로 사용될 수 있는 객체를 추출할 수 있다.
예를 들어, 영상 기반의 객체 속도 측정 장치는 일정 기간 동안의 영상 촬상 절차를 통해 움직이지 않는 객체를 추출할 수 있다. 야구 선수의 배팅에 대한 영상인 경우, 타격 박스, 홈 플레이트 등이 후보 기준 객체로서 추출될 수 있다.
이러한 경우, 객체 속도 측정 장치는 후보 기준 객체로 사용 가능한 객체를 윤곽선을 별도로 표시하여 복수의 후보 기준 객체 중 적어도 하나의 후보 기준 객체를 기준 객체로 선택할 것을 요청할 수 있다.
객체 속도 측정 장치는 원근을 고려하여 측정 대상 객체와 최대한 가장 가까운 객체가 기준 객체로 선택되도록 기준 객체를 결정할 수 있다.
만약, 사용자가 복수의 후보 기준 객체를 기준 객체로서 선택한 경우, 복수의 기준 객체 각각을 사용하여 추출한 복수의 측정 대상 객체의 속도 각각을 기반으로 측정 대상 객체의 속도가 결정될 수 있다.
예를 들어, 사용자가 타격 박스와 홈 플레이트를 모두 기준 객체로 선택하는 경우, 타격 박스(제1 기준 객체(410))를 기준으로 측정 대상 객체의 제1 속도(415)가 결정되고, 홈 플레이트(제2 기준 객체(420))를 기준으로 측정 대상 객체의 제2 속도(425)가 결정될 수 있다.
측정 대상 객체의 속도(450)로서 제1속도(415)와 제2 속도(425)가 별도로 사용자에게 제공되거나 제1 속도(415)와 제2 속도(425)의 평균값에 대한 정보가 사용자에게 측정 대상 객체의 속도 정보로서 제공될 수 있다.
만약, 기준 대상 객체가 3개 이상인 경우, 측정된 복수의 속도 중 중간 값에 해당하는 속도가 측정 대상 객체의 속도로 결정될 수 있다.
본 발명의 실시예에 따르면, 측정 대상 객체의 속도로 측정된 값의 오차가 임계값 이상인 경우, 객체 속도 측정 장치는 속도 측정 실패로 판단할 수 있다. 객체 속도 측정 장치는 속도의 측정이 실패하였음을 지시하는 메시지를 사용자에게 전달할 수 있다.
도 5는 본 발명의 실시에에 따른 측정 대상 객체의 이동 거리를 결정하기 위한 픽셀 결정 방법을 나타낸 개념도이다.
도 5에서는 측정 대상 객체의 이동 거리를 결정하기 위해 측정 대상 객체에 대응되는 픽셀 중 픽셀 위치의 변화를 산출하기 위한 기준 픽셀을 결정하는 방법이 개시된다.
도 5의 (A)를 참조하면, 우선 측정 대상 객체의 에지를 추출하고, 에지에서 하나의 지점(예를 들어, 에지의 중심점)을 기준 픽셀(500)로 결정할 수 있다. 예를 들어, 측정 대상 객체가 야구 배트인 경우, 야구 배트에 대한 에지를 추출할 수 있다. 추출된 야구 배트의 에지에서 하나의 직선 에지(또는 직선에 가까운 에지)가 추출될 수 있고, 직선 에지의 중앙 지점이 기준 픽셀(500)로 결정될 수 있다.
도 5의 (B)를 참조하면, 또는 측정 대상 객체에서 특징점을 추출하고 특징점 중 하나를 기준 픽셀(550)로 결정할 수 있다. 특징점은 측정 대상 객체 포함되는 텍스트 또는 측정 대상 객체의 형태가 변화하는 변화 지점과 같이 식별 가능한 점일 수 있다. 예를 들어, 야구 배트에 ‘ABC’라는 문자가 포함되어 있는 경우, 문자 인식을 통해 ‘A’라는 문자에 대응되는 복수의 픽셀 중 하나의 픽셀을 기준 픽셀(550)로 선택할 수 있다.
도 5에서는 기준 픽셀로 설명하였으나 기준 픽셀 그룹이 정의되고, 기준 픽셀 그룹을 기준으로 픽셀의 위칭 변화가 결정될 수도 있다.
도 6은 본 발명의 실시예에 따른 측정 대상 객체의 이동 픽셀 수를 결정하는 방법을 나타낸 개념도이다.
도 6에서는 운동의 성질에 따라 측정 대상 객체의 이동 픽셀 수를 결정하는 방법이 개시된다.
도 6의 (A)를 참조하면, 만약, 측정 대상 객체가 직선 운동을 하는 경우, 기준 픽셀의 직선 상의 이동 궤적을 고려하여 이동 궤적 상에 위치한 측정 대상 객체의 이동 픽셀 수가 결정될 수 있다.
하지만, 측정 대상 객체가 곡선 운동을 하는 경우, 기준 픽셀의 이동 궤적도 곡선 궤적을 그릴 수 있고, 그에 따라 이동 픽셀 수의 산출이 어려울 수 있다
도 6의 (B)를 참조하면, 만약, 측정 대상 객체가 곡선 운동을 하는 경우 해당 곡선 궤적의 길이를 구할 수 있고, 곡선 궤적의 길이에 포함되는 픽셀 수를 이동 픽셀 수로 결정할 수 있다. 예를 들어, 야구 배트가 3차원 상에서 곡성 궤적을 그리는 경우, 해당 3차원 상의 곡선 궤적의 길이가 정적분을 기반으로 영상 기반의 객체 속도 측정 장치에 의해 산출될 수 있다.
영상 내에서 곡선 궤적의 길이가 구해지는 경우 해당 거리에 대응되는 픽셀의 개수가 이동 픽셀 수로 결정될 수 있다.
도 7은 본 발명의 실시예에 따른 영상 내의 원근을 고려한 속도 측정 방법을 나타낸 개념도이다.
도 7에서는 영상 내에 존재하는 원근을 고려하여 픽셀 당 거리를 다르게 설정하는 방법이 개시된다.
영상 촬상 장치에 의해 촬상된 영상에서 원근에 따라 픽셀 당 거리가 다를 수 있다. 예를 들어, 영상 촬상 장치의 렌즈와 가까운 위치에 대응되는 픽셀의 픽셀 당 거리는 영상 촬상 장치의 렌즈와 먼 위치에 대응되는 픽셀의 픽셀 당 거리보다 상대적으로 클 수 있다.
따라서, 보다 정확한 측정 대상 객체의 속도 측정을 위해서 픽셀 당 거리를 다르게 설정하기 위해 거리에 따라 촬상 영상을 분할하고 분할된 복수의 분할 촬상 영상 각각에서 픽셀 당 거리를 개별적으로 결정할 수 있다.
예를 들어, 제1 영상은 촬상 범위를 10m로 설정하여 10m 내의 객체들에 대한 촬상을 수행한 영상이고, 제2 영상은 촬상 범위를 50m로 설정하여 50m 내의 객체들에 대한 촬상을 수행한 영상일 수 있다. 촬상 범위는 영상 촬상 장치에 의해 측정될 수 있다. 영상 촬상 장치는 영상 촬상시 촬상 범위에 대한 정보를 획득할 수 있을 뿐만 아니라, 영상 내에서 각 객체 (또는 픽셀)에 대응되는 거리 정보를 획득할 수 있다.
이러한 경우, 제1 영상은 1m 단위로 촬상 범위를 분할하여 10개의 분할 촬상 영상으로 분할할 수 있고, 제2 영상도 1m 단위로 촬상 범위를 분할하여 50개의 분할 촬상 영상으로 분할할 수 있다. 분할 촬상 영상을 생성하기 위한 분할 단위(위와 같은 경우, 1m)는 임의적인 값으로서 영상의 촬상 범위를 고려하여 서로 다른 분할 단위로 분할 촬상 영상을 생성할 수도 있다. 예를 들어, 제2 영상 같은 경우, 5m 단위로 촬상 범위로 분할하여 10개의 분할 촬상 영상으로 분할될 수 있다.
위와 같이 영상을 분할한 후 이동하는 측정 대상 객체가 어떠한 분할 영상에 포함되는지 여부를 고려하여 픽셀 당 거리를 다르게 설정할 수 있다.
예를 들어, 제1 영상에서 0~1m 촬상 범위 내에서 측정 대상 객체(700)가 이동한 경우, 제1 픽셀 당 거리로 측정 대상 객체(700)의 이동 거리를 산출하고, 1~2m 촬상 범위 내에서 측정 대상 객체(700)가 이동한 경우, 제2 픽셀당 거리로 측정 대상 객체(700)의 이동 거리를 산출할 수 있다. 이때 제1 픽셀 당 거리가 제2 픽셀 당 거리보다 큰 값일 수 있다.
만약, 측정 대상 객체(700)가 복수개의 분할 영상을 거쳐서 이동될 경우, 복수의 분할 영상 각각에 대한 픽셀당 거리를 적용하여 측정 대상 객체(700)의 이동 거리를 산출할 수 있다.
예를 들어, 제1 영상에서 0~2m 촬상 범위 내에서 측정 대상 객체(700)가 이동한 경우, 0~1m 의 촬상 범위 내에서는 제1 픽셀 당 거리로 측정 대상 객체(700)의 이동 거리를 산출하고, 1~2m 촬상 범위 내에서 제2 픽셀당 거리로 측정 대상 객체(700)의 이동 거리를 산출할 수 있다. 이때 제1 픽셀 당 거리가 제2 픽셀 당 거리보다 큰 값일 수 있다.
도 8은 본 발명의 실시예에 따른 영상 기반의 객체 속도 측정 장치를 나타낸 블록도이다.
도 8에서는 객체 속도 측정 장치를 구성하는 복수의 구성부가 개시된다.
도 8을 참조하면, 객체 속도 측정 장치는 기준 객체 설정부(800), 측정 대상 객체 결정부(810), 객체 속도 산출부(820), 프로세서(830)를 포함할 수 있다. 객체 속도 측정 장치의 각 구성부는 도 1 내지 도 7에서 전술한 객체 속도 측정 장치의 동작을 수행할 수 있다. 예를 들어, 객체 속도 측정 장치의 각 구성부는 아래와 같은 동작을 수행할 수 있다.
기준 객체 설정부(800)는 영상 내에서 기준 객체를 설정하기 위해 구현될 수 있다. 기준 객체 설정부(800)는 영상 내에서 고정된 객체를 기준 객체로 설정할 수 있다. 또는 기준 객체 설정부(800)는 측정 대상 객체와 최대한 인접한 위치의 고정된 객체를 기준 객체로 설정할 수 있다.
측정 대상 객체 결정부(810)는 영상 내에서 측정 대상 객체를 설정하기 위해 구현될 수 있다. 측정 객체 결정부(810)는 이동 픽셀을 산출하기 위한 측정 대상 객체의 기준 픽셀을 결정할 수 있다.
객체 속도 산출부(820)는 이동 픽셀 산출부, 픽셀 당 거리 산출부를 더 포함할 수 있다.
이동 픽셀 산출부는 기준 객체가 이동된 픽셀의 개수를 산출하기 위해 구현될 수 있다. 픽셀 당 거리 산출부는 픽셀 당 실제 거리의 크기를 산출하기 위해 구현될 수 있다.
객체 속도 산출부는 이동 픽셀 산출부에 의해 산출된 이동 픽셀 수 및 픽셀 당 거리 산출부에 의해 산출된 픽셀 당 거리 및 촬상 시간의 차이를 고려하여 측정 대상 객체의 속도를 산출하기 위해 구현될 수 있다.
프로세서(830)는 기준 객체 설정부(800), 측정 객체 결정부(810), 객체 속도 산출부(820)의 동작을 제어하기 위해 구현될 수 있다.
이와 같은 영상을 기반으로 속도를 측정하는 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 복수의 영상을 기반으로 속도를 측정하는 방법은,
    상기 복수의 영상에서 기준 객체를 결정하는 단계; 및
    상기 기준 객체를 기반으로 상기 복수의 영상에서 변화된 위치에 존재하는 적어도 하나의 측정 대상 객체 각각의 속도를 산출하는 단계를 포함하되,
    상기 기준 객체는 미리 크기를 알고 있는 상기 영상 내에서 고정된 객체이고,
    상기 적어도 하나의 측정 대상 객체 각각은 상기 속도를 측정하는 대상 객체이며,
    상기 적어도 하나의 측정 대상 객체 각각의 속도를 산출하는 단계는,
    상기 기준 객체의 상기 크기 및 상기 크기에 대응되는 픽셀 수를 기반으로 픽셀 당 거리를 산출하는 단계;
    상기 복수의 영상 내에서 상기 적어도 하나의 측정 대상 객체 각각의 변화된 위치를 기반으로 상기 복수의 영상 내에서 상기 적어도 하나의 측정 대상 객체 각각의 이동 픽셀 수를 산출하는 단계; 및
    상기 복수의 영상 간의 촬상 시간 차이를 산출하는 단계를 포함하고,
    상기 적어도 하나의 측정 대상 객체 각각의 변화된 위치에 대응되는 상기 적어도 하나의 측정 대상 객체 각각의 상기 이동 픽셀 수는 상기 적어도 하나의 측정 대상 객체 각각의 기준 픽셀을 기반으로 결정되고,
    상기 기준 픽셀은 상기 적어도 하나의 측정 대상 객체 각각의 에지의 중앙 지점 또는 상기 적어도 하나의 측정 대상 객체 각각의 특징점인 것을 특징으로 하는 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 적어도 하나의 측정 대상 객체 각각의 속도는 아래의 수학식을 기반으로
    Figure 112016104876300-pat00004

    산출되는 것을 특징으로 하는 방법.
  4. 삭제
  5. 제3항에 있어서,
    상기 기준 픽셀이 직선 궤적을 그릴 경우, 상기 이동 픽셀 수는 상기 직선 궤적 내에 포함되는 픽셀의 개수이고,
    상기 기준 픽셀이 곡선 궤적을 그릴 경우, 상기 이동 픽셀 수는 상기 곡선 궤적 내에 포함되는 픽셀의 개수이고,
    상기 곡선 궤적 내에 포함되는 상기 픽셀의 개수는 상기 곡선 궤적에 대한 정적분을 기반으로 산출될 상기 곡선 궤적의 길이에 대응되는 픽셀의 개수인 것을 특징으로 하는 방법.
  6. 복수의 영상을 기반으로 속도를 측정하는 속도 측정 장치에 있어서,
    상기 속도 측정 장치는 프로세서를 포함하고,
    상기 프로세서는 상기 복수의 영상에서 기준 객체를 결정하고,
    상기 기준 객체를 기반으로 상기 복수의 영상에서 변화된 위치에 존재하는 적어도 하나의 측정 대상 객체 각각의 속도를 산출하도록 구현되되,
    상기 기준 객체는 미리 크기를 알고 있는 상기 영상 내에서 고정된 객체이고,
    상기 적어도 하나의 측정 대상 객체 각각은 상기 속도를 측정하는 대상 객체이며,
    상기 프로세서는 상기 기준 객체의 상기 크기 및 상기 크기에 대응되는 픽셀 수를 기반으로 픽셀 당 거리를 산출하고,
    상기 복수의 영상 내에서 상기 적어도 하나의 측정 대상 객체 각각의 변화된 위치를 기반으로 상기 복수의 영상 내에서 상기 적어도 하나의 측정 대상 객체 각각의 이동 픽셀 수를 산출하고,
    상기 복수의 영상 간의 촬상 시간 차이를 산출하여 상기 적어도 하나의 측정 대상 객체 각각의 속도를 산출하도록 구현되며,
    상기 적어도 하나의 측정 대상 객체 각각의 변화된 위치에 대응되는 상기 적어도 하나의 측정 대상 객체 각각의 상기 이동 픽셀 수는 상기 적어도 하나의 측정 대상 객체 각각의 기준 픽셀을 기반으로 결정되고,
    상기 기준 픽셀은 상기 적어도 하나의 측정 대상 객체 각각의 에지의 중앙 지점 또는 상기 적어도 하나의 측정 대상 객체 각각의 특징점인 것을 특징으로 하는 속도 측정 장치.
  7. 삭제
  8. 제6항에 있어서,
    상기 적어도 하나의 측정 대상 객체 각각의 속도는 아래의 수학식을 기반으로
    Figure 112016104876300-pat00005

    산출되는 것을 특징으로 하는 속도 측정 장치.
  9. 삭제
  10. 제8항에 있어서,
    상기 기준 픽셀이 직선 궤적을 그릴 경우, 상기 이동 픽셀 수는 상기 직선 궤적 내에 포함되는 픽셀의 개수이고,
    상기 기준 픽셀이 곡선 궤적을 그릴 경우, 상기 이동 픽셀 수는 상기 곡선 궤적 내에 포함되는 픽셀의 개수이고,
    상기 곡선 궤적 내에 포함되는 상기 픽셀의 개수는 상기 곡선 궤적에 대한 정적분을 기반으로 산출될 상기 곡선 궤적의 길이에 대응되는 픽셀의 개수인 것을 특징으로 하는 속도 측정 장치.

KR1020160023333A 2016-02-26 2016-02-26 영상을 기반으로 속도를 측정하는 방법 및 장치 KR101703316B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160023333A KR101703316B1 (ko) 2016-02-26 2016-02-26 영상을 기반으로 속도를 측정하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160023333A KR101703316B1 (ko) 2016-02-26 2016-02-26 영상을 기반으로 속도를 측정하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101703316B1 true KR101703316B1 (ko) 2017-02-06

Family

ID=58109062

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160023333A KR101703316B1 (ko) 2016-02-26 2016-02-26 영상을 기반으로 속도를 측정하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101703316B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101995294B1 (ko) * 2018-12-24 2019-07-03 (주)제이엘케이인스펙션 영상 분석 장치 및 방법
KR102332186B1 (ko) * 2020-11-20 2021-12-01 (주) 트립클립 스톡 이미지 및 영상 판매 플랫폼 제공 방법, 서버 및 이를 위한 장치
KR20220037108A (ko) * 2020-09-17 2022-03-24 광주과학기술원 대상 객체의 크기를 식별하는 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090059475A (ko) 2007-12-06 2009-06-11 삼성전자주식회사 인터넷을 이용한 방송 서비스 제공 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090059475A (ko) 2007-12-06 2009-06-11 삼성전자주식회사 인터넷을 이용한 방송 서비스 제공 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
P. Das et al. Measurement of displacement and velocity of a moving object from real time video. International Journal of Computer Applications. July 2012, Vol.49, No. 13. p12-16.* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101995294B1 (ko) * 2018-12-24 2019-07-03 (주)제이엘케이인스펙션 영상 분석 장치 및 방법
WO2020138803A1 (ko) * 2018-12-24 2020-07-02 (주)제이엘케이 영상 분석 장치 및 방법
KR20220037108A (ko) * 2020-09-17 2022-03-24 광주과학기술원 대상 객체의 크기를 식별하는 방법 및 장치
KR102464130B1 (ko) * 2020-09-17 2022-11-08 광주과학기술원 대상 객체의 크기를 식별하는 방법 및 장치
KR102332186B1 (ko) * 2020-11-20 2021-12-01 (주) 트립클립 스톡 이미지 및 영상 판매 플랫폼 제공 방법, 서버 및 이를 위한 장치

Similar Documents

Publication Publication Date Title
KR101078975B1 (ko) 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법
AU2012231931B2 (en) Virtual golf simulation apparatus and sensing device and method used for same
KR101048089B1 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
US11439886B2 (en) System and method for determining impact characteristics of sports ball striking element
KR102205639B1 (ko) 골프 공 추적 시스템
US20200346091A1 (en) Device for calculating flight information of ball, method of calculating flight information of ball, and computing-device-readable recording medium having the method recorded therein
US20220277463A1 (en) Tracking dynamics using a computerized device
KR101703316B1 (ko) 영상을 기반으로 속도를 측정하는 방법 및 장치
KR101562319B1 (ko) 깊이 정보를 이용한 퍼팅 분석 시스템 및 방법
CN110298864B (zh) 一种高尔夫推杆设备的视觉感测方法及装置
US10776929B2 (en) Method, system and non-transitory computer-readable recording medium for determining region of interest for photographing ball images
KR101461144B1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
KR101078954B1 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
KR20160139634A (ko) 골프공 스핀 계산 방법 및 장치
US20230364468A1 (en) Deep learning method of determining golf swing and golf ball parameters from radar signal and image data
US20230347209A1 (en) Device for sensing golf swing and method for sensing impact position on club head using the same
KR20230016070A (ko) 이동하는 볼의 센싱을 위한 영상분석방법 및 이를 이용한 센싱장치
WO2023031747A2 (en) Deep learning method of determining golf club parameters from both radar signal and image data
Ohya et al. Tracking racket face in tennis serve motion using high-speed multiple cameras

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191119

Year of fee payment: 4