KR100493718B1 - 골프스윙객체 자세추적방법 - Google Patents

골프스윙객체 자세추적방법 Download PDF

Info

Publication number
KR100493718B1
KR100493718B1 KR10-2003-0011618A KR20030011618A KR100493718B1 KR 100493718 B1 KR100493718 B1 KR 100493718B1 KR 20030011618 A KR20030011618 A KR 20030011618A KR 100493718 B1 KR100493718 B1 KR 100493718B1
Authority
KR
South Korea
Prior art keywords
image
line
block
pixel
tracking
Prior art date
Application number
KR10-2003-0011618A
Other languages
English (en)
Other versions
KR20040076319A (ko
Inventor
박상현
황재정
Original Assignee
(유)동진정보통신
군산대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (유)동진정보통신, 군산대학교산학협력단 filed Critical (유)동진정보통신
Priority to KR10-2003-0011618A priority Critical patent/KR100493718B1/ko
Publication of KR20040076319A publication Critical patent/KR20040076319A/ko
Application granted granted Critical
Publication of KR100493718B1 publication Critical patent/KR100493718B1/ko

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/05Image processing for measuring physical parameters
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/17Counting, e.g. counting periodical movements, revolutions or cycles, or including further data processing to determine distances or speed
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Image Analysis (AREA)

Abstract

골프스윙객체 자세추적방법에 대해 개시한다. 본 발명은, 영상입력보드에 연결되어 있는 카메라를 통해서 입력데이터가 입력되고, 이때 입력되는 각 프레임의 영상데이터를 가지고 선검출 알고리즘을 적용하기에 알맞은 영상으로 만들고, 6단계의 전처리 과정을 거친 후, 선검출 알고리즘을 적용하여 입력영상을 특징짓는 선성분을 검출하도록 하기 위해 선검출 알고리즘을 적용한다. 선검출을 스윙자세 분석을 위한 데이터 검출에 적용하기 위해서, 얼굴 정보와 색채정보를 이용한 손과 얼굴 부분의 인식 및 추적에 적용한다. 입력되어지는 방대한 양의 영상데이터를 소프트웨어로 처리하기 위해서 RGB24 비트의 형식으로 저장된 파일을 먼저 음영 처리하여 데이터 양을 줄인 후, 음영 처리된 이미지에 대해서 에지검출기법을 통하여 영상 이미지의 경계선을 검출하여 운동선수의 경계선을 추출하고, 이를 다시 2진화 처리하여 불필요한 잡음을 제거한다. 확장, 축소 처리를 삽입하여 추가적으로 미세한 불필요한 잡음 요소를 제거하고, 선검출 알고리즘의 계산을 줄이기 위해서 세선화 기법을 수행한다. 1차 선검출 알고리즘에 적용하여 여러 개의 후보선들의 시작점과 끝점의 좌표를 얻게 되고, 이 좌표를 가지고 다시 선의 길이와 기울기, 위치 등의 변수를 적용하여 원하고자 하는 직선의 성분을 검출한 후, 후보선들에 대해서 길이와 기울기, 위치 등의 변수를 다양하게 주어 최적의 선성분을 검출한다. 색채정보를 이용한 선과 얼굴부분의 검출하고, 검출된 자세들을 차영상과 블록매칭, 움직임벡터를 통해서 손, 얼굴, 선 시작, 선 끝점에 대한 추적을 통해서 완벽한 스윙 자세를 분석한다.

Description

골프스윙객체 자세추적방법{Method for pursuiting posture of golf swinger feature}
본 발명은 객체 자세추적방법에 관한 것으로, 특히 입력된 영상에서 선검출, 차영상, 블록매칭 및 움직임벡터를 이용하여 골프스윙 자세를 분석하는 골프스윙객체 자세추적방법에 관한 것이다.
선(Line) 검출방법은 한정된 주위의 화소들의 값을 이용하여 결정하는 방법과, 선 추적방법으로 나눌 수 있다. 상기한 화소들의 값을 이용하는 방법은 선이 직선형태인 경우에 우수한 결과를 얻을 수 있지만 직선에 국한되는 한계성이 있었다. 그래서 문자열이나 설계도면 처리 등의 직선성분이 많이 포함된 영상을 처리하는 경우에 적당하다. 한편, 선 추적방법은 영상내의 모든 점들에 대해서 변환영역으로 이동시킨 값들의 누적을 이용함으로써 선을 검출하는 방법으로, 처리시간 및 인식 시 오류발생 가능성이 높았고 하드웨어적 구현이 어렵다는 단점이 있었다.
한편, 움직임 영역 판단에 기초한 방법은 카메라 및 이동하는 물체의 이동 파라미터를 고려하여 화소 단위의 이동 변화량을 계산하여 추적하는 방법이다. 하지만, 종래 기술에 따른 화소 단위 이동 변화량 추적은 추적하고자 하는 이동 물체의 전체 영역에 포함된 화소들을 모두 사용하여 이동하는 물체를 추적해야 하므로 단순 반복적이며 대응되는 화소가 너무 많아 정확한 매칭이 어렵다는 문제점이 있었다. 뿐만 아니라, 물체의 위치, 방향 및 크기 변화 발생 시, 이를 판정하고 적응하여 추적하기가 매우 어렵다는 단점이 있었다.
따라서, 본 발명의 목적은 카메라를 통해 입력된 영상데이터에 대해 선검출 및 색채성분을 이용한 손과 얼굴의 중심점 추출을 통해 손과 얼굴로 예상되는 블록을 검출하고 검출된 선에 의해 인식된 클럽과 손의 중심점을 차영상, 블록매칭, 움직임벡터를 이용하여 각 프레임의 클럽 이동을 추적함으로써 골프스윙 자세를 분석하는 골프스윙객체 자세추적방법을 제공하는데 있다.
상기한 본 발명의 목적을 달성하기 위한 본 발명의 골프스윙객체 자세추적방법을 개략적으로 설명하면 다음과 같다. 먼저, 카메라로부터 입력되는 스윙자세 분석을 위해서 입력영상을 RGB24 비트의 형식으로 저장된 파일을 먼저 음영 처리하여 데이터 양을 줄인다. 에지검출기법을 통하여 영상 이미지의 경계선을 검출하고 2진화 처리하여 불필요한 잡음을 제거한다. 확장, 축소 처리를 삽입하여 미세한 잡음 요소를 제거하고 이미지를 개선한다. 선검출 알고리즘의 계산을 줄이기 위해서 세선화 기법을 사용하는 전처리과정을 거치게 된다. 1차 선검출 알고리즘에 적용하여 여러 개의 후보선들의 시작점과 끝점의 좌표를 얻는다. 이 좌표를 가지고 다시 선의 길이와 기울기, 위치 등의 변수를 적용하여 원하고자 하는 직선의 성분을 검출한다. 색채정보를 이용한 선과 얼굴부분을 추출하고 각 블록의 경계 픽셀들을 카운트하여 손과 얼굴로 인식한다. 검출된 자세는 차영상과 블록매칭, 움직임벡터를 이용해서 스윙 자세 검출 및 스윙객체 추적을 수행한다.
이하, 첨부된 도면을 참조하여 본 발명의 골프스윙객체 자세추적방법에 관한 바람직한 실시예에 대해 상세히 설명한다.
도 1은 본 발명의 골프스윙객체 자세추적방법에 이용되는 장비를 개략적으로 도시한 도면이다. 도 1에 도시된 바와 같이, 그 구성은 물체 촬상에 의해 영상 이미지가 형성되는 CCD 카메라(1)와, 상기 영상 이미지를 처리하는 영상입력보드(2)와, 그리고 데이터의 저장 및 영상처리 프로그램(골프영상 추적 소프트웨어)에 의해 골프스윙객체의 자세추적이 이루어지는 데이터 처리용 PC(3)를 포함하여 이루어져 있다.
도 2는 본 발명의 일실시예로서, 입력된 영상으로부터 골프자세 검출 및 스윙객체 추적방법을 도시한 전체 흐름도이다. 도 2를 참조하면, 먼저 CCD 카메라(1)로부터 골프영상이 입력되면(S110), CCD 카메라(1)로부터 들어오는 영상데이터들을 영상입력보드(2)를 통해서 처리하게 되는데, 입력되어지는 방대한 양의 영상데이터를 소프트웨어적으로 처리하게 되므로 파일로 저장하는 비효율성을 극복하기 위해 일단 지정된 버퍼에 임시로 저장한다. 이에, 데이터가 모두 버퍼로 저장되는데, 각 프레임 영상데이터에 대해서 BMP 파일로 저장하게 된다. 이 때, 선검출 알고리즘에 적용하기 위해서 RGB24 비트의 형식으로 저장된다.
이와 같이, 입력되는 각 프레임의 영상데이터를 가지고 선검출 알고리즘을 적용하기에 알맞은 영상을 생성한 후, 이어서 6단계의 전처리 과정을 거친 후(S120), 선검출 알고리즘을 적용하여 입력영상을 특징짓는 선성분을 검출하도록 하기 위해 선검출 알고리즘을 적용한다. 다음으로, 얼굴 정보와 색채정보를 이용하여 손과 얼굴 부분을 검출한다(S130∼S140). 이에 선검출이 이루어지면(S150), 검출된 자세들을 차영상(S210)과 블록매칭(S220), 움직임벡터를 통해서 손, 얼굴, 선 시작, 선 끝점에 대한 추적(S230)을 통해서 완벽한 스윙 자세를 분석한다.
도 3은 선검출 알고리즘을 적용하기 위한 6단계의 전처리 과정을 수행하는 도면이다. 도 3을 참조하면, CCD 카메라(1)를 통해서 들어오는 영상데이터는 보통 색채정보를 갖는 칼라 영상이다. 그러나 경계선검출에서는 칼라영상에서보다는 컬러좌표변환한 그레이 스케일 영상이 보다 손쉬운 처리와 더 나은 결과값을 도출시킬 수 있다. 따라서, 칼라영상을 그레이 스케일 영상으로 바꾸기 위한 컬러좌표변환이 필요하다. 입력영상은 한 픽셀에 RGB 의 색채정보를 갖는 3차원 배열의 데이터 형태를 갖는다. 그레이 스케일 영상을 얻기 위해서 각각의 픽셀 RGB 값에 일정한 수를 곱하여 그레이 스케일 값을 얻도록 한다(S121).
영상에서의 기울기를 그래디언트(gradient)라고 하는데 영상에서 그래디언트의 크기를 구하면 경계선을 구할 수 있게 된다. 그래디언트가 경계선검출에 있어서 중요한 이유는 경계선은 영상의 밝기 값이 급격히 변화하는 부분에 존재하므로 이는 그래디언트의 크기가 큰 곳이 윤곽선이기 때문이다. 경계선검출은 마스크를 이용하여 빠른 계산을 효과적으로 하고 있다. 마스크의 형태는 3×3이며 원 영상의 3×3 픽셀 단위로 연산하여 간다(S122).
경계선검출 알고리즘에 의해 얻어진 영상 이미지는 잡음부분에 대해서도 경계선으로 인식되어 동작에 오류를 범할 수 있다. 이런 동작의 오류를 막기 위해서 잡음을 없애기 위한 방법으로, 임의의 임계값을 설정하여 임계치 이하의 값을 갖는 픽셀에 대해서는 0 의 값으로 설정이 되고 이상의 값을 갖는 픽셀에 대해서는 255 의 값으로 설정된다. 즉, 배경은 0(BLACK), 사물은 255(WHITE)로 나타내게 되어 사물은 흰색이 이미지로 화면에 나타나게 된다(S123).
이어서, 2진화 처리를 마친 데이터에 대해 확장처리를 수행한다. 확장처리는 물체의 최외각 픽셀을 확장하는 역할을 수행한다. 그러므로 물체의 크기는 확장되고 배경은 축소된다. 확장처리는 물체안의 홀과 같은 빈 공간을 메우는 역할을 하거나 서로 짧은 거리만큼 끊어진 영역을 연결시켜준다. 확장처리를 계속하게 되면 흰색 값을 가진 물체의 확장영역으로 배경 영역이 없어지게 된다(S124).
한편, 축소처리는 물체에 대해 배경을 확장시키고 물체의 크기를 축소하는 역할을 수행한다. 3×3 마스크가 영상 위를 지나갈 때 원 영상의 3×3 씩 계산이 이루어지는데 원 영상의 3×3 의 픽셀 값과 3×3 마스크의 픽셀 값이 정확히 일치하지 않으면 결과 영상이 다시 할당되어 0(BLACK) 이 들어가 물체의 축소가 일어난다. 마찬가지로 마스크와 원 영상의 3×3 블록과의 픽셀을 비교한 것이 정확히 일치할 경우에는 255(WHITE) 이 할당된다(S125).
그 다음 선도형을 추출하는 조작을 수행한다. 즉, 세선화는 원래 도형의 연결성은 변화시키지 않고 선으로 변화시키는 것이 필요하다. 세선화의 결과에서 도형의 결함 관계의 특징이 구해지므로 글씨나 도면 등에서 선의 구조를 해석하는데 불가결한 처리로 되어 있다. 3×3 의 이웃 윈도우 안에서 조사하여 각 영역이 세선화할 때까지 각 영역의 경계선을 한번에 한 픽셀 두께씩 벗겨내는 것이다. 이런 처리가 반복적으로 되풀이된다. 이 때, 다음과 같은 2개의 조건이 만족되어야 한다. 첫째는, 2개 이상 6개 이하 이웃 픽셀이 있어야 한다. 이 조건은 끝점이나 영역 내부의 점은 지워져서는 안된다는 것을 의미한다. 둘째는, 2개 영역을 연결하는 픽셀은 지워져서는 안된다. 이 픽셀을 지운다면 영역 개수가 달라지게 된다(S126).
상기한 바와 같이 전처리 과정을 마친 후, 입력되는 영상 이미지에서 특징으로 대표될 수 있는 성분을 검출하여 어떤 영상이 입력되어 있는가를 구별한다. 이는 도 4를 통해 자세히 설명한다.
도 4는 추가적인 직선판별 요소를 검출하기 위한 변수들을 나타낸 도면이다. 도 4를 참조하면, 직선의 길이와 기울기의 값을 구하기 위한 X(P1), Y(P2) 좌표상의 변수들을 나타낸다. 본 발명에서는 임의의 직선에 대해서 직선의 위치와 직선의 시작점의 좌표 및 직선의 기울기 등을 참조하여 주어지는 조건을 만족하면 직선이 검출되어 원하는 영상이 입력되었다고 인지한다. 선검출을 통해서 얻어진 직선의 시작점을 (Xs(P4), Ys(P5))라 하고, 끝점을 (Xe(P6), Ye(P7))라고 하고, 이 두 점 사이의 x축 거리를 X(P1), y축 거리를 Y(P2), 그리고 이 선의 기울기를 θ(P3)라 한다.
X=Xs-Xe
Y=Ys-Ye
두 점 (Xs(P4), Ys(P5))와 (Xe(P6), Ye(P7))의 X, Y를 구한다.
구해진 X, Y값을 다음 공식을 이용해서 직선의 길이 L을 구한다.
이렇게 해서 얻어진 x축 과 y축의 길이를 이용해서 직선의 호도값(radian)을 읽어낸다. 시작점 (Xs(P4), Ys(P5))의 범위를 X1<Xs<X2, Y1<Ys<Y2 와 같이 임의의 X1, X2, Y1, Y2 의 일정 범위를 설정하여 선이 원하는 위치에 있는지를 확인하여 입력된 영상 이미지가 원하는 이미지인지 아닌지를 인식한다.
전체 선검출 과정은 여러 가지 전처리 과정을 통해서 선검출 방법에 적합한 영상 이미지를 획득하고, 이 전처리된 영상 이미지를 선검출 방법에 적용하여 여러 개의 후보 선성분들을 검출한다. 이렇게 여러 개의 검출된 선들에 대해서 선의 위치와 기울기, 길이 등의 조건을 가지고 2차 선검출 알고리즘에 적용한다. 이런 과정을 거쳐서 원하는 선성분을 검출하게 되는 것이다. 이의 과정은 도 5를 통해 설명한다.
도 5a는 선검출을 수행하기 위한 X, Y 좌표값과 그 진행방행이고, 도 5b는 선검출을 수행하기 위한 스캔순서와 방향을 정의한 도면이다. 도 5a 및 도 5b를 참조하면, 선검출 과정을 마친 후 얼굴, 손 검출을 수행하게 되는데, 이미지의 RGB 성분 중 R 성분을 이용한 얼굴과 손의 검출 방법은 피부색의 색 성분을 이용한 검출 방법을 사용한다. 먼저 영상에서 각 픽셀값을 x축의 + 방향, y축의 + 방향으로 스캔하여 255의 값을 갖는 픽셀의 위치를 찾는다. 찾아진 픽셀의 위치를 스타트 포인트로 설정하고 그 위치부터 블록의 경계선 픽셀을 추적한다. 시작점을 기준으로 각 픽셀의 x, y 좌표값과 이전의 좌표값의 비교에 따라 도 5와 같이 5개(S151, S152, S153, S154, S155)의 추적 알고리즘이 이용된다.
경계선 픽셀추적 스캔에 의해 경계선 픽셀 개수와 픽셀의 X 및 Y 좌표, 최대값 및 최소값을 얻은 후에 구해진 최대값 및 최소값의 평균을 구하여 그 흰색 블록의 중심점을 구할 수 있다. 이 중심점이 바로 얼굴, 또는 손으로 인식된 블록의 중심점이 된다. 또한 픽셀의 개수에 임계치를 두어 임계치 이하이면 잡음으로 처리하여 결과적으로 손과 얼굴 부분만을 표시하도록 한다.
이동정보량 추정에 있어서 정확한 운동벡터를 구하기 위해 먼저 도 6처럼 블록매칭 방법을 적용하여 연속된 두 프레임 영상을 이용하여 차영상(S211)을 구하고, 이 차영상(S211)에서 나타난 윤곽정보를 2진화(S212)하여 윤곽의 포함정도에 따라 블록의 활동도를 정의하고, 이 활동도에 따라 움직임이 많은 부분을 보다 정확한 운동벡터를 구한다. 차영상(S211)에서 나타난 윤곽부분을 2진화(S212)하여 M x N 크기의 블록으로 자른(S213) 다음, 움직임벡터를 검출함으로써(S214) 블록매칭(S215)을 수행한다.
도 7은 움직임벡터 검출을 위한 한 프레임을 48개의 소블록으로 구성한 구성도 및 골퍼의 스윙시 프레임별 손영역(P11)과 선 끝부분(P12)의 위치에 대한 평균값을 도시한 도면이다. 블록매칭을 수행하기 위해서 도 7에 도시된 바와 같이, 하나의 프레임을 48개의 소블록으로 나눈다. 이 때, 블록 1개의 크기는 40*40의 픽셀크기를 갖는다. 그리고 손영역(P11)과 선 끝부분(P12)의 프레임별 위치를 X, Y좌표를 이용해서 구한다.
구해진 X, Y 좌표값들이 입력되는 프레임에서 해당 소블록을 탐색영역으로 하여 블록매칭을 시도한다. 차영상(S211)을 이용하여 블록매칭을 시도하기 때문에 현재 프레임에서의 손 영역의 X, Y 좌표를 , 라 하고, 이전 프레임에서의 손영역의 X, Y 좌표를 , 라고 하면, 움직임벡터는 다음과 같은 식으로 구할 수 있다.
각 프레임(frame)별로 손영역(P11)에 대한 MV 값은 도 8과 같은 MV 그래프(P111)와 같은 결과를 얻을 수 있다. 마찬가지로 선 끝영역(P12)에 대한 MV 값은 도 8과 같은 MV 그래프(P112)를 얻을 수 있다.
입력 프레임에 대한 해당 소블록을 탐색영역으로 한 블록매칭의 경우, 움직임 탐색영역이 이웃 블록과 중첩되는 영역에서 현재 블록 MAD의 최소 및 최대범위를 이웃 블록의 각 탐색점에 대한 MAD 및 현재 블록과 이웃 블록간의 MAD를 이용하여 구한 뒤, 이를 이용하여 탐색점 수를 줄임으로써 고속으로 움직임 추정을 행한다.
N은 블록의 수직 및 수평방향의 크기, (i, j)는 현재 프레임의 (i,j) 좌표에서 화소의 휘도값, (i, j)는 이전 프레임의 (i,j) 좌표에서 화소의 휘도값, (k,l)은 블록의 위치좌표, (x,y)는 탐색영역에서의 탐색점의 위치를 나타내며 이를 이용한 MAD는 다음과 같은 식으로 구한다.
손 영역(P11)과 선 끝영역(P12)의 MV 그래프의 중간 지점(P113, P114)을 경계로 좌우는 각각 가우적 분포 특성의 MV 그래프를 얻을 수 있고 블록 MAD 분포를 이용하여 블록 매칭을 행함으로써 움직임 추적을 수행한다.
입력 프레임에서 해당 소블록을 탐색영역으로 하여 블록 매칭을 시도하고, 블록 매칭값을 가지고 움직임벡터 값을 구해서 스윙모델을 분석하고, 블록 내 매칭이 실패하는 경우 스윙모델을 업데이트하고, 주변 블록으로 탐색영역을 확장하고, 다시 매칭을 시도하여 도 9와 같은 손 영역의 이동과 클럽의 이동을 추적한다.
상술한 바와 같이, 본 발명에 따른 골프스윙객체 자세추적방법은, 카메라 입력을 선검출 및 색채성분을 선과 얼굴을 검출하고 검출된 선에 의해 인식된 이동물체와 물체의 중심점을 차영상과 블록매칭을 이용하여 각 프레임에서 실시간 이동하는 물체를 추적함으로써, 2D 영상의 3D 변환, 보안 감시, 정찰, 화상통신 등의 각종 분야에서 유용하게 사용될 수 있다. 본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당분야의 통상의 지식을 가진 자에 의하여 많은 변형이 가능함은 명백할 것이다.
도 1은 본 발명의 골프스윙객체 자세추적방법에 이용되는 장비를 개략적으로 도시한 도면,
도 2는 본 발명의 일실시예로서, 입력된 영상으로부터 골프자세 검출 및 스윙객체 추적방법을 도시한 전체 흐름도,
도 3은 선검출 알고리즘에 적용하기 위한 전처리 과정을 도시한 흐름도,
도 4는 추가적인 직선판별 요소를 검출하기 위한 변수를 도시한 도면,
도 5a는 선검출을 수행하기 위한 X, Y 좌표값과 그 진행방행을 도시한 도면,
도 5b는 선검출을 수행하기 위한 스캔순서와 방향을 도시한 도면,
도 6은 차영상 정보를 이용한 블록정합 방법을 도시한 흐름도,
도 7은 움직임벡터 검출을 위한 한 프레임을 48개의 소블록으로 구성한 구성도 및 골퍼의 스윙시 손영역과 선 끝의 위치에 대한 X, Y 좌표값을 프레임별로 도시한 도면,
도 8은 프레임별 손영역과 클럽의 움직임에 대한 프레임 내의 X, Y 좌표값의 평균값을 도시한 도면,
도 9는 입력영상에 대해 스윙객체 추적을 위한 특징점을 추출하는 예를 도시한 도면이다.
* 도면의 주요 부분에 대한 부호의 설명 *
1 : CCD 카메라 2 : 영상입력보드
3 : 데이터 처리용 PC

Claims (6)

  1. 선성분을 검출하고 차영상의 블록매칭 및 움직임벡터를 이용하여 골프영상에서 자세검출 및 스윙객체를 추적하는 골프스윙객체 자세추적방법에 있어서,
    입력되는 각 프레임의 영상데이터에 대해 선검출 알고리즘에 적용시키기에 적합한 영상을 생성시키기 위해 전처리를 수행하는 제1 단계;
    상기 입력된 영상데이터에서 손과 얼굴 부분을 특정짓는 선성분을 포함하여 1차 선검출을 수행하는 제2 단계;
    상기 1차 선검출에서 검출된 다수의 후보선들의 시작점과 끝점의 좌표로부터 상기 후보선의 길이, 기울기, 및 위치 변수를 적용하여 원하는 직선의 성분을 검출한 후, 상기 후보선에 대해서 길이, 기울기, 및 위치 변수를 적용하여 2차 선검출을 수행하는 제3 단계;
    얼굴 정보와 색채정보를 이용하여 손과 얼굴 부분을 검출하는 제4 단계; 및
    차영상, 블록매칭, 및 움직임벡터에 의해 손, 얼굴, 선 시작, 선 끝점에 대한 추적을 통해서 스윙 자세를 분석하는 제5 단계
    를 포함하여 이루어진 것을 특징으로 하는 골프스윙객체 자세추적방법.
  2. 제 1 항에 있어서, 상기 제1 단계는,
    칼라영상을 그레이 스케일 영상으로 바꾸기 위한 컬러좌표변환을 수행하는 단계;
    3×3 픽셀 단위의 마스크 연산을 수행하여 그래디언트가 설정값 이상인 곳을 판별하여 경계선을 검출하는 단계;
    임의의 임계값을 설정하여 임계치 이하의 값을 갖는 픽셀에 대해서는 0 의 값으로 설정이 되고 이상의 값을 갖는 픽셀에 대해서는 255 의 값으로 설정하여 해당 물체를 2진화 처리하는 단계;
    상기 해당 물체의 크기는 확장시키고 배경은 축소시키되, 상기 해당 물체 내의 홀 및 빈 공간을 메우거나 서로 짧은 거리만큼 끊어진 영역을 연결시키는 확장처리를 수행하거나, 상기 해당 물체의 크기를 축소시키고 배경은 확장시키되, 원 영상의 3×3 의 픽셀 값과 3×3 마스크의 픽셀 값의 비교를 통해 축소처리를 수행하는 단계; 및
    원래 도형의 연결성의 변화를 방지하기 위해 선도형을 추출하는 세선화를 수행하는 단계
    로 이루어진 것을 특징으로 하는 골프스윙객체 자세추적방법.
  3. 제 1 항에 있어서, 제2 단계 및 제3 단계는,
    영상에서 각 픽셀값을 x축의 + 방향, y축의 + 방향으로 스캔하여 255의 값을 갖는 픽셀의 위치를 검출하는 단계;
    상기 검출된 픽셀의 위치를 스타트 포인트로 설정하고 그 위치부터 블록의 경계선 픽셀을 추적하는 단계;
    시작점을 기준으로 각 픽셀의 x, y 좌표값과 이전의 좌표값의 비교에 따라 경계선 픽셀추적 스캔이 이루어지는 단계;
    상기 경계선 픽셀추적 스캔에 의해 경계선 픽셀 개수와 픽셀의 X 및 Y 좌표, 최대값 및 최소값을 산출하는 단계; 및
    상기 최대값 및 최소값의 평균을 구하여 흰색 블록의 중심점을 구하여 이 중심점을 얼굴 또는 손으로 판정하는 단계
    로 이루어진 것을 특징으로 하는 골프스윙객체 자세추적방법.
  4. 제 1 항에 있어서, 제5 단계는,
    연속된 두 프레임 영상을 이용하여 차영상을 검출하는 단계;
    상기 차영상에서 나타난 윤곽정보를 2진화 처리하는 단계;
    상기 2진화된 영상을 M x N 크기의 블록으로 분할하는 단계;
    상기 블록의 활동도를 정의하고, 이 활동도에 따라 움직임이 설정값 이상여부를 판별하여 운동벡터를 검출하는 단계; 및
    상기 운동벡터로부터 블록매칭을 수행하는 단계
    로 이루어진 것을 특징으로 하는 골프스윙객체 자세추적방법.
  5. 제 1 항에 있어서, 상기 제5 단계에서,
    하나의 프레임에 대해 40*40의 픽셀크기를 갖는 48개의 소블록으로 나누고, 상기 소블록을 탐색영역으로 한 블록매칭의 경우, 움직임 탐색영역이 이웃 블록과 중첩되는 영역에서 현재 블록 MAD의 최소 및 최대범위를 이웃 블록의 각 탐색점에 대한 MAD 및 현재 블록과 이웃 블록간의 MAD를 이용하여 구한 뒤, 이를 이용하여 탐색점 수를 줄임으로써 고속으로 움직임 추정을 행하는 것을 특징으로 하는 골프스윙객체 자세추적방법.
    (여기서, N은 블록의 수직 및 수평방향의 크기, (i, j)는 현재 프레임의 (i,j) 좌표에서 화소의 휘도값, (i, j)는 이전 프레임의 (i,j) 좌표에서 화소의 휘도값, (k,l)은 블록의 위치좌표, (x,y)는 탐색영역에서의 탐색점의 위치를 각각 나타낸다.)
  6. 제 1 항에 있어서, 상기 제5 단계에서,
    블록매칭을 시도하여 움직임벡터의 검출이 되지 않은 블록에 대해서는 다시 주변블록으로 탐색영역을 확장하고 매칭을 시도하여 상기 해당 물체의 이동추적이 이루어지는 것을 특징으로 하는 골프스윙객체 자세추적방법.
KR10-2003-0011618A 2003-02-25 2003-02-25 골프스윙객체 자세추적방법 KR100493718B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2003-0011618A KR100493718B1 (ko) 2003-02-25 2003-02-25 골프스윙객체 자세추적방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0011618A KR100493718B1 (ko) 2003-02-25 2003-02-25 골프스윙객체 자세추적방법

Publications (2)

Publication Number Publication Date
KR20040076319A KR20040076319A (ko) 2004-09-01
KR100493718B1 true KR100493718B1 (ko) 2005-06-02

Family

ID=37362531

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0011618A KR100493718B1 (ko) 2003-02-25 2003-02-25 골프스윙객체 자세추적방법

Country Status (1)

Country Link
KR (1) KR100493718B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100696725B1 (ko) * 2005-08-30 2007-03-20 경북대학교 산학협력단 객체의 대칭성과 거리 벡터를 사용한 그림자 제거방법
KR20210014409A (ko) * 2019-07-30 2021-02-09 주식회사 골프존 골프클럽 센싱방법 및 이를 이용한 센싱장치

Also Published As

Publication number Publication date
KR20040076319A (ko) 2004-09-01

Similar Documents

Publication Publication Date Title
JP6501092B2 (ja) オブジェクトセグメンテーションのための前景マスク補正のための画像処理装置及び方法
CN110866924B (zh) 一种线结构光中心线提取方法及存储介质
EP3306562B1 (en) Image processing method and device
US9626568B2 (en) Use of spatially structured light for dynamic three dimensional reconstruction and reality augmentation
US8385630B2 (en) System and method of processing stereo images
JP2576771B2 (ja) 動き補償予測装置
JP2915894B2 (ja) ターゲット追跡方法及び装置
US10679358B2 (en) Learning image automatic sorting device, learning image automatic sorting method, and learning image automatic sorting program
US9805443B2 (en) Image processing method, image processing apparatus, program, storage medium, production apparatus, and method of producing assembly
KR100651034B1 (ko) 대상 물체 검출 시스템 및 그 방법
JP4373840B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
US10102635B2 (en) Method for moving object detection by a Kalman filter-based approach
US7110023B2 (en) Method and apparatus for target object extraction from an image
CN112634262A (zh) 一种基于互联网的写字质量评价方法
JP2008288684A (ja) 人物検出装置及びプログラム
US20210090260A1 (en) Deposit detection device and deposit detection method
CN111160362B (zh) 一种fast特征均匀化提取与帧间特征误匹配去除方法
KR20050063991A (ko) 영상 피라미드를 이용한 영상정합 처리방법 및 장치
KR100493718B1 (ko) 골프스윙객체 자세추적방법
CN111179281A (zh) 人体图像提取方法及人体动作视频提取方法
KR20070035655A (ko) 영상 데이터 레이블링 방법
KR20030067199A (ko) 국부최대값을 이용한 에지발견 및 윤곽선 추출 방법
JP3164835B2 (ja) 人物画像認識における前処理方法および後処理方法
JP6276504B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
CN111563912B (zh) 一种行人追踪系统和方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110516

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee