KR20220044156A - 골프공 오버헤드 검출방법, 시스템 및 저장매체 - Google Patents

골프공 오버헤드 검출방법, 시스템 및 저장매체 Download PDF

Info

Publication number
KR20220044156A
KR20220044156A KR1020217030579A KR20217030579A KR20220044156A KR 20220044156 A KR20220044156 A KR 20220044156A KR 1020217030579 A KR1020217030579 A KR 1020217030579A KR 20217030579 A KR20217030579 A KR 20217030579A KR 20220044156 A KR20220044156 A KR 20220044156A
Authority
KR
South Korea
Prior art keywords
golf ball
picture
positioning
camera
ball
Prior art date
Application number
KR1020217030579A
Other languages
English (en)
Other versions
KR102610900B1 (ko
Inventor
지쥔 왕
칭화 왕
Original Assignee
썬전 그린조이 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202011000469.7A external-priority patent/CN112184808A/zh
Application filed by 썬전 그린조이 테크놀로지 컴퍼니 리미티드 filed Critical 썬전 그린조이 테크놀로지 컴퍼니 리미티드
Publication of KR20220044156A publication Critical patent/KR20220044156A/ko
Application granted granted Critical
Publication of KR102610900B1 publication Critical patent/KR102610900B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • A63B69/3658Means associated with the ball for indicating or measuring, e.g. speed, direction
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/168Segmentation; Edge detection involving transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • A63B2024/0028Tracking the path of an object, e.g. a ball inside a soccer pitch
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • A63B2024/0028Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A63B2024/0031Tracking the path of an object, e.g. a ball inside a soccer pitch at the starting point
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image
    • G06T2207/30224Ball; Puck
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Abstract

본 발명은 골프공 오버헤드 검출방법, 시스템 및 저장매체를 개시하는데, 상기 방법은, 카메라의 이미지 좌표계를 세계 좌표계로 전환하는 카메라의 캘리브레이션 단계; 서브 후 카메라가 수집한 제1 프레임 픽처의 전체 픽처에 대해 글로벌 포지셔닝을 사용하여 골프공의 좌표 데이터를 획득하고; 서브 후 카메라가 수집한 후속 프레임 픽처에 대해 먼저 골프공의 착지 범위를 예측하며 이 착지범위에 의해 이 프레임 픽처의 부분 픽처를 획득한 다음 이 부분 픽처에 대해 글로벌 포지셔닝을 사용하여 골프공의 좌표 데이터를 획득하는 골프공의 포지셔닝 단계; 파라미터 계산 단계; 포지셔닝에 사용된 픽처에서의 골프공의 마크에 대해 구배에 의한 동적 분할 방법을 사용하여 추출하고, 추출된 상기 마크가 픽처에서의 각도 변화를 통해 회전속도를 획득하는 골프공의 회전속도 검출 단계를 포함한다. 본 발명은 골프 시스템이 포지셔닝 처리를 진행할 때의 반응 속도를 향상시키고, 사용자의 사용 체험을 향상시킨다.

Description

골프공 오버헤드 검출방법, 시스템 및 저장매체
본 발명은 골프 시뮬레이션 기술 분야에 관한 것으로, 특히 골프공 오버헤드 검출방법, 시스템 및 저장매체에 관한 것이다.
골프 시스템은 타석, 센서, 계산 유닛 및 디스플레이 스크린을 포함한다. 골프 시스템은 실내 골프 또는 실외 골프 운동 이벤트에 사용될 수 있다.
사용자가 타석에서 골프공을 치고, 센서가 골프공의 타격정보 및 운동 정보를 수집하며, 계산 유닛은 이러한 정보에 근거하여 골프공의 운동 궤적을 시뮬레이션 함과 동시에 디스플레이 스크린에서 디스플레이 한다. 센서는 이미지 센서 또는 광 센서 등이다. 이미지 센서를 사용할 경우, 골프공의 운동 변화 정보를 획득하여 이의 운동 궤적을 시뮬레이션 하도록 이미지 정보를 분석 처리하여야 한다.
그러나, 현재의 골프 시스템은 이미지 센서가 수집한 픽처를 처리할 경우, 각 픽처 전체, 즉 각 프레임의 픽처의 전체 픽처 내의 요소 특징을 모두 처리한 다음 픽셀 포인트 포지셔닝을 진행하는 방식으로 골프공의 좌표 정보를 획득, 즉 현재의 포지셔닝 방식은 전체 포지셔닝 방식이다. 각 프레임의 픽처마다에는 모두 큰 면적의 콘텐츠를 중복 처리가 필요한데, 이는 시스템 리소스를 점용하므로 이러한 전체 포지셔닝의 방식은 골프 시스템으로 하여금 포지셔닝 처리를 진행할 때 반응 속도가 늦고 시스템의 효율에 영향을 미치며 사용 체험에 영향을 미치도록 한다.
따라서, 선행기술은 아직도 더 발전이 필요하다.
상기 선행기술의 단점을 감안하여, 본 발명의 목적은 골프공 오버헤드 검출방법, 시스템 및 저장매체를 제공하는 것인데, 골프 시스템이 포지셔닝 처리를 진행할 때의 반응 속도를 향상시키고, 사용자의 사용 체험을 향상시킨다.
상기 목적을 구현하기 위하여 본 발명은 아래와 같은 기술적 해결수단을 사용한다.
제1 양태에서, 본 발명은 골프공 오버헤드 검출방법을 제기하는데, 천정면에 카메라가 배치된 골프 시스템에 응용되어 마크가 설치된 골프공을 검출하는 골프공 오버헤드 검출방법에 있어서,
카메라의 이미지 좌표계를 세계 좌표계로 전환하는 카메라의 캘리브레이션 단계S10;
서브 후 카메라가 수집한 제1 프레임 픽처의 전체 픽처에 대해 글로벌 포지셔닝을 사용하여 골프공의 좌표 데이터를 획득하고;
서브 후 카메라가 수집한 후속 프레임 픽처에 대해 먼저 골프공의 착지 범위를 예측하고 이 착지 범위에 의해 이 프레임 픽처의 부분 픽처를 획득한 다음, 이 부분 픽처에 대해 글로벌 포지셔닝을 사용하여 골프공의 좌표 데이터를 획득하는 골프공의 포지셔닝 단계S20;
포지셔닝 하여 얻은 골프공의 좌표 데이터를 세계 좌표계에 대입하여 골프공의 운동 파라미터를 계산하는 파라미터 계산 단계S30;
포지셔닝에 사용된 픽처에서의 골프공의 마크에 대해 구배에 의한 동적 분할 방법을 사용하여 추출하고, 추출된 상기 마크가 픽처에서의 각도 변화를 통해 회전속도를 획득하는 골프공의 회전속도 검출 단계S40을 포함한다.
제2 양태에서, 본 발명은 골프 시뮬레이션 시스템을 제기하는데, 여기서, 상기 시스템은 메모리, 프로세서 및 상기 메모리에 저장되어 상기 프로세서에 의해 실행되도록 배치되는 컴퓨터 프로그램을 포함하고, 상기 프로세서가 상기 컴퓨터 프로그램을 실행할 경우, 상술한 방법을 구현한다.
제3 양태에서, 본 발명은 컴퓨터 판독 가능 저장매체를 제기하는데, 여기서, 상기 컴퓨터 판독 가능 저장매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 실행될 경우, 상술한 방법을 구현한다.
본 발명의 골프공 오버헤드 검출방법은, 골프공을 포지셔닝 할 경우, 서브 후의 제1 프레임 픽처가 전체 포지셔닝의 방식을 이용하여 골프공이 제1 프레임 픽처에서의 좌표 데이터를 획득하며, 후속적인 포지셔닝은 착지 범위 및 부분 포지셔닝을 예측하는 방식을 이용하여 골프공의 좌표 데이터를 획득한다. 즉 글로벌 포지셔닝 및 부분 포지셔닝을 서로 결합한 방식을 사용함으로써 픽처에서의 골프공에 대해 포지셔닝 처리를 진행할 경우 각 픽처의 전체 픽처를 모두 처리하여 전체 포지셔닝을 진행할 필요가 없어 골프 시스템이 포지셔닝 처리를 진행할 때의 반응 속도를 크게 향상시키고 골프 시스템의 효율 및 사용자 체험을 향상시킨다.
본 발명의 구체적인 실시예 또는 선행기술에서의 기술적 해결수단을 더욱 뚜렷이 하기 위하여 아래에는 실시예 또는 선행기술에서 사용해야 할 도면에 대해 간단히 소개하고자 하는데, 아래 설명에의 도면은 단지 본 발명의 일부 실시예로서, 본 기술분야에서 통상의 지식을 가진 자에게 있어서 진보적인 창출에 힘쓸 필요가 없이 이러한 도면에 따라 기타 도면을 획득할 수 있다는 것은 자명한 것이다.
도 1은 본 발명의 골프공 오버헤드 검출방법의 제1 실시예의 흐름 모식도이고;
도 2는 본 발명의 이미지 좌표계와 세계 좌표계의 전환 과정 모식도이며;
도 3은 본 발명의 골프공 운동 파라미터 계산 모식도이고;
도 4는 본 발명의 골프공의 글로벌 포지셔닝의 제1 실시예의 흐름 모식도이며;
도 5는 본 발명의 글로벌 포지셔닝에서 줌 및 보간 처리 전후의 비교 모식도이고;
도 6은 본 발명의 타깃 윤곽 면적, 종횡비 선별과정의 제1 모식도이며;
도 7은 본 발명의 타깃 윤곽 면적, 종횡비 선별과정의 제2 모식도이고;
도 8은 본 발명의 타깃 윤곽이 슬라이딩 윈도우 통계 필터링을 사용한 제1 모식도이며;
도 9는 본 발명의 타깃 윤곽이 슬라이딩 윈도우 통계 필터링을 사용한 제2 모식도이고;
도 10은 본 발명의 타깃 선별 후 픽처에서의 볼 윤곽 변환 수정 과정 모식도이며;
도 11은 본 발명의 골프공의 부분 포지셔닝의 제1 실시예의 흐름 모식도이고;
도 12는 본 발명의 골프공의 부분 포지셔닝에서 멀티 프레임 픽처의 착지 범위 예측 모식도이며;
도 13은 본 발명의 골프공이 회전속도를 획득하는 제1 실시예의 흐름 모식도이고;
도 13은 본 발명의 골프공이 회전속도를 획득하는 제1 실시예의 흐름 모식도이고;
도 14는 본 발명의 골프공의 회전속도 검출에서 빛의 분포를 시뮬레이션하고 조절하는 모식도이며;
도 15는 본 발명의 골프공의 회전속도 검출에서 mark 그래프를 획득하는 과정 모식도이다.
이하 본 발명의 실시예의 도면과 결부하여 본 발명의 실시예의 기술적 해결수단을 뚜렷하고 완전하게 설명하고자 하는데 설명된 실시예는 단지 본 발명의 일부 실시예일 뿐 모든 실시예가 아님은 자명한 것이다. 본 발명의 실시예에 기반하면, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자들은 진보적인 창출에 힘쓸 필요가 없이 획득한 모든 기타 실시예는 모두 본 발명의 보호범위에 속한다.
본 발명은, 천정면에 카메라를 배치한 골프 시스템에 응용되어 마크(mark)가 설치된 골프공의 운동상태를 검출하는 골프공 오버헤드 검출방법을 제기한다.
천정면에 카메라가 배치된 골프 시스템에서, 사용된 픽처는 천정면의 하향 시각이고, 배경 광원이 비교적 안정적이며, 인체도 거의 골프공과 중합되지 않아 아래 방법에 적용되어 골프공의 운행을 검출함으로써 시스템의 반응 속도를 향상시킨다.
도 1에 도시된 바와 같이, 이는 본 발명의 골프공 오버헤드 검출방법의 흐름으로서 아래 단계를 포함한다.
단계S10, 카메라의 캘리브레이션: 카메라의 이미지 좌표계를 세계 좌표계로 전환한다.
이미지 처리를 진행하는 과정에서, 공간 물체 표면의 어느 한 점의 3차원 기하학 위치 및 이가 이미지에서 대응하는 포인트 사이의 상호 관계를 확정하기 위하여 반드시 카메라 이미징의 기하학적 모델을 구축해야 하는데, 대다수 조건에서 이러한 파라미터는 반드시 실험과 계산을 통해 얻을 수 있고 이 파라미터를 해결하는 과정을 사진기 캘리브레이션(또는 카메라 캘리브레이션)이라고 한다. 사진기의 캘리브레이션은 바로 진실한 이미지의 수학적 의미를 계산 가능하고 조작 가능한 디지털화로 전환하는 실현과정이다.
카메라의 캘리브레이션은 후속적인 계산의 정밀도에 영향을 미치게 되어 오차가 알고리즘에서 점차적으로 증가하는 것을 방지할 수 있다. 이는 효과적인 계산 목표물을 구현하는 관건이다.
본 발명은 캘리브레이션 과정에서, 높이가 상이하고, 분포가 균일한 고정 수량의 고정 위치의 캘리브레이션 블록을 사용하고, 캘리브레이션 블록의 분포는 실험에 기반하여 효율이 제일 높은 설계이며 안착한 후의 캘리브레이션 블록에 높이 정보가 포함되므로 한번만 캘리브레이션 하면 된다.
본 발명의 카메라는 단안 카메라 또는 쌍안 카메라를 사용할 수 있는데, 쌍안 카메라를 사용할 경우, 각 카메라를 단독으로 캘리브레이션 한다.
도 2에 도시된 바와 같이, 본 발명에서 이미지 좌표계를 세계 좌표계로 전환하는 과정은 먼저 이미지 좌표계를 이미지 평면 좌표계로 전환한 다음 이미지 평면 좌표계를 카메라 좌표계로 전환하고, 그 다음 카메라 좌표계를 세계 좌표계로 전환하는 것이다.
바람직하게, 본 발명에서 상기 카메라의 이미지 좌표계를 세계 좌표계로 전환하는 것은 아래 전환공식을 사용하는데,
Figure pct00001
여기서,
Figure pct00002
은 카메라의 내부 파라미터 매트릭스이고,
Figure pct00003
는 카메라의 외부 파라미터 매트릭스이며,
Figure pct00004
×
Figure pct00005
=
Figure pct00006
,
Figure pct00007
은 매핑 매트릭스이다.
본 발명의 카메라가 쌍안 카메라일 경우, 쌍안 카메라에 대해 각각 캘리브레이션 하여 매핑 매트릭스
Figure pct00008
를 얻고, 쌍안 카메라의 좌표와 매트릭스를 대입 연립하여 세계 좌표를 구한다.
단계S20, 골프공의 포지셔닝: 서브 후 카메라가 수집한 제1 프레임 픽처의 전체 픽처에 대해 글로벌 포지셔닝을 사용하여 골프공의 좌표 데이터를 획득하고; 서브 후 카메라가 수집한 후속 프레임 픽처에 대해 먼저 골프공의 착지 범위를 예측하며 이 착지범위에 의해 이 프레임 픽처의 부분 픽처를 획득한 다음 이 부분 픽처에 대해 글로벌 포지셔닝을 사용하여 골프공의 좌표 데이터를 획득한다.
즉, 골프공의 포지셔닝 과정에서, 서브 후의 제1 프레임 픽처의 포지셔닝에 전체 포지셔닝을 사용한 후, 후속적인 포지셔닝에서 착지 범위 예측을 사용하여 부분 포지셔닝을 진행한다. 선행기술에서는 각 프레임의 픽처마다 모두 전체 픽처 포지셔닝을 진행하여 각 프레임의 픽처에서의 골프공의 좌표 데이터를 획득해야 하고, 전체 포지셔닝에서는 전체 픽처에서의 모든 영역에 대해 모두 타깃 인식과 같은 특징 처리를 진행해야 하며, 윤곽 가장자리에 대해 선명화 처리를 진행하여 윤곽의 완전성을 수정하고 볼의 중심을 획득하며, 볼 중심의 좌표 등을 계산하는데, 이는 픽처에 대한 처리 면적이 크고 픽셀 포인트가 많으며 처리 속도가 늦다.
본 발명은 서브 후 첫 번째 포지셔닝을 진행할 때 제1 프레임 픽처에 대해 한 차례의 전체 포지셔닝을 진행하면 되고, 후속적인 포지셔닝을 진행할 때 픽처에서의 대부분 영역을 제거하여 착지 범위 내의 부분 영역의 픽처만 보류하며, 보류된 부분 픽처를 포지셔닝 하면 되기에 각 프레임의 픽처마다 전체 포지셔닝 과정을 진행할 필요가 없게 되는 바, 이는 부분 픽처가 기존의 전체 이미지보다 많이 작아 골프 시스템이 포지셔닝 과정에서의 처리 속도를 크게 향상시키는 동시에 오리지널 픽처의 처리 범위를 단축하여 부분 영역 내에서만 포지셔닝 처리를 진행하므로 간섭을 효과적으로 제거하고 처리 효율과 정확도를 향상시킬 수 있다.
바람직하게, 본 발명은 골프공의 포지셔닝 단계 S20 이전에 포지셔닝의 트리거를 더 포함하는데, 구체적으로는,
서브 전에 먼저 골프공의 서브 위치 좌표를 획득하고 골프공의 서브 위치 좌표를 획득한 후 실시간으로 골프공의 서브 위치에서의 픽셀 변화값을 획득하며, 이 위치의 픽셀 변화값이 임계값을 초과하면 포지셔닝을 트리거하여 서브 후 픽처에서의 골프공 포지셔닝을 진행한다.
포지셔닝 트리거의 판정은 서브 전의 각 프레임의 픽처마다 모두 포지셔닝 처리를 진행하는 것을 방지하여 시스템의 픽처 처리량을 감소하며 시스템의 반응 처리 속도를 향상시킬 수 있다.
서브 전에 카메라는 먼저 픽처를 수집하고 픽처에서 초기 포지셔닝을 진행하여 골프공이 서브 위치에서의 좌표를 획득한다. 골프공의 서브 위치의 좌표를 획득한 후, 본 발명은 서브 전에 더 이상 골프공의 좌표위치의 변화를 모니터링하지 않고 골프공의 서브 위치에서의 픽셀 변화값을 실시간으로 모니터링하게 되는데, 이는 골프공의 좌표위치의 변화 모니터링은 전체 이미지에 대해 글로벌 포지셔닝을 진행해야 하고 픽셀 모니터링은 단지 골프공의 서브 위치에서의 부분 픽처만 처리하면 되므로 픽처의 처리 면적과 콘텐츠를 감소하기 때문이다. 이렇게 서브 전에 좌표 포지셔닝으로부터 픽셀 모니터링으로 변경하여 골프 시스템의 반응 속도를 향상시킬 수 있다.
단계S30, 파라미터 계산: 포지셔닝 하여 얻은 골프공의 좌표 데이터를 세계 좌표계에 대입하여 골프공의 운동 파라미터를 계산한다.
도 3에 도시된 바와 같이, 단계 S20에서 포지셔닝 하여 얻은 좌표계를 세계 좌표계로 전환하면 볼 스피드, 사이드 플라이 각도, 도약 각도 등 파라미터를 포함하는 운동 파라미터를 계산할 수 있는데 θ는 사이드 플라이 각도이고 γ는 도약 각도이며 V는 공간 볼 스피드이다.
단계S40, 골프공의 회전속도 검출: 포지셔닝에 사용된 픽처에서의 골프공의 마크에 대해 구배에 의한 동적 분할 방법을 사용하여 추출하고, 추출된 상기 마크가 픽처에서의 각도 변화를 통해 회전속도를 획득한다.
본 발명은 골프공에 미리 마크(mark)를 설치하는데 이렇게 되면 픽처에서의 마크(mark)의 각도 변화에 근거하여 회전속도를 계산할 수 있다.
전경 휘도 분포가 불균일하고 각 프레임의 휘도 변화가 비교적 크므로 낮은 해상도의 픽처에서 골프공의 mark를 추출하는 것은 상당한 어려움이 존재하는 바, 그레이스케일 값의 분할에 사용하기 적합하지 않다. 본 발명의 구배에 의한 동적 분할 방법은 낮은 해상도에서의 픽처에서 골프공의 mark를 정확히 추출하여 후속적인 회전 검출을 담보한다.
단계S30의 파라미터 계산에 의해 포지셔닝 하여 얻은 좌표를 세계 좌표로 전환한 후 볼 스피드, 사이드 플라이 각도, 도약 각도 등 파라미터를 계산한 다음, 단계S40에서 획득한 골프공의 회전속도와 결합하여 타격한 후 골프공의 완전한 운동 궤적 및 궤적에서의 골프공의 회전 상태를 시뮬레이션 하여 계산할 수 있다. 본 발명의 검출과 시뮬레이션은 일반적으로 나누어 진행하게 되는데, 시뮬레이션은 일반적으로 클라이언트단이 완성하게 된다.
구체적으로, 도 4에 도시된 바와 같이, 본 발명은 글로벌 포지셔닝을 이용하여 골프공의 좌표 데이터를 획득하게 되는데 구체적으로는 아래 단계를 포함한다.
단계S2011, 포지셔닝된 픽처를 획득하고, 상기 픽처에 대해 줌 및 보간 처리를 진행한다.
포지셔닝 픽처가 서브 후의 제1 프레임 픽처에서는 이 프레임 픽처의 전체 픽처이고, 후속 프레임 픽처에서는 부분 픽처이다.
카메라가 수집한 픽처에는 대량의 필요 없는 정보가 포함되는데 만약 전부 처리하게 되면 시스템의 속도에 영향을 주게 되므로 먼저 픽처에 대해 줌 및 보간 처리를 진행함으로써 오리지널 픽처에서의 대량의 필요 없는 정보를 제거하여 오리지널 픽처 크기로 회복하며 대량의 필요 없는 정보를 제거한 후 시스템의 연산량을 감소하여 속도를 향상시킨다. 동시에, 이 단계는 비교적 작은 간섭, 예를 들어 골프 클럽의 클럽 헤드가 빛을 반사하는 것을 제거할 수도 있다.
도 5에 도시된 바와 같이, 왼쪽은 오리지널 픽처인데, 이는 대량의 필요 없는 정보를 구비하는 동시에 클럽 헤드가 빛을 반사하며, 이 도면에 대해 줌 및 보간 처리를 진행한 후 도 5의 오른쪽 도면을 얻게 되는 바, 이때, 도면의 대량의 필요 없는 정보는 제거되고 클럽 헤드의 빛의 반사도 제거된다.
단계S2012, 줌 및 보간 처리 후의 픽처에서의 하이라이트 영역을 ROI로 설정하고, 오리지널 픽처로 매핑하여 모든 후보 타깃의 픽처를 얻으며, 최대 클래스간 분산 방법을 이용하여 상기 후보 타깃의 픽처를 이진화함으로써 뚜렷한 타깃 윤곽을 획득한다.
이 단계는 픽처에서 상기 타겟의 윤곽을 뚜렷하게 한다. 본 발명의 실시예에서는 후속적인 선별을 위하여 최대 클래스간 분산 방법(OTSU)을 사용하여 픽처에서의 모든 후보 타깃을 이진화 함으로써 뚜렷한 윤곽을 얻는다. 도 6의 A부분에 도시된 바와 같이, 이는 최대 클래스간 분산 방법으로 이진화 한 후 뚜렷한 타깃 윤곽을 가지는 픽처이다.
단계S2013, 이 타깃 윤곽에 대해 면적, 종횡비, 슬라이딩 윈도우 통계 필터링을 진행한 후 골프공이 아닌 타깃을 제거하고 골프공이 얻고자 하는 골프공 타깃 픽처를 보류한다.
이 단계는 픽처에 존재하는 골프공 타깃이 아닌 잡물을 제거하기 위한 것인 바, 예를 들어 픽처에서의 클럽 등 형상을 제거한다.
도 6 내지 도 7에 도시된 바와 같이, 도 6에서의 A부분은 최대 클래스간 분산 방법의 이진화 처리를 거친 후의 픽처인 바, 이 픽처에는 잡물이 존재하며, 그 다음 순차적으로 면적, 종횡비 선별을 거친 후 도 7에서의 D부분의 픽처를 얻게 되는데, A부분의 픽처와 비교하여 이때 골프공이 아닌 타깃은 이미 D부분의 픽처에서 제거되었다.
더 나아가, 타깃에 대해 면적, 종횡비 선별을 진행한 후, 다시 슬라이딩 윈도우 통계 필터링을 진행하여 골프공의 윤곽을 얻는다. 슬라이딩 윈도우 통계 필터링 윤곽은 볼의 윤곽을 선별하는 정확도를 향상시켜 일부 픽처에서 불규칙한 골프공 윤곽을 제거하여 과도한 선별로 인하여 볼 윤곽을 빠뜨리는 것을 방지할 수 있다.
도 8에 도시된 바와 같이, AB는 픽처에서의 전경 윤곽의 두 포인트로서, 이 두 포인트를 연결한 선을 너비로 하여 직사각형을 그리되, AB 두 포인트 사이의 거리를 조절하는 것을 통해 직사각형의 너비를 제어하고, 경험치를 통해 직사각형의 높이를 조절하며, 윤곽 포인트 AB의 중점이 직사각형 내에 위치함과 동시에 전경 윤곽의 질량 중심이 경험치에 부합될 경우, AB 사이의 윤곽이 원형 윤곽에 부합된다고 인정한다. 도 9에 도시된 바와 같이, 이 윤곽이 비록 불규칙하나 도 8에서의 슬라이딩 윈도우 통계 필터링 조건에 부합되기만 하면 도 9에서의 타깃 윤곽을 골프공의 원형 윤곽이라고 인정하여 지나치는 것을 효과적으로 방지할 수 있다.
단계S2014, 선별하여 얻은 골프공 타깃 픽처에서의 골프공 윤곽에 대해 Hough 변환 수정을 사용하여 완전한 골프공 윤곽을 획득한다.
그림자 등 요소의 영향으로 골프공 타깃 픽처에서의 골프공의 윤곽이 하나의 완전한 원형이 아닐 수 있는 바, 도 10에서의 왼쪽 부분에 도시된 바와 같이, 이렇게 되면 픽처에서 골프공의 중심을 포지셔닝 할 수 없게 된다. 따라서 타깃 픽처에서의 볼 윤곽을 변환 수정해야 한다. 본 발명의 실시예는 Hough 변환 수정을 이용하여 골프공의 완전한 원형 윤곽을 얻게 되는 바, 예를 들어 도 10의 오른쪽 부분에 도시된 바와 같이, 이는 수정한 후의 완전한 볼 윤곽의 픽처이다.
단계S2015, 상기 완전한 골프공 윤곽에 따라 픽처에서의 골프공의 볼 중심 좌표를 획득한다.
완전한 골프공 윤곽 픽처는 볼의 중심을 정확하게 포지셔닝 한 다음 픽셀 포인트 좌표를 통해 골프공의 볼 중심 좌표를 얻을 수 있다.
구체적으로, 도 11에 도시된 바와 같이, 본 발명에서 상기 서브 후 카메라가 수집한 후속 프레임 픽처에 대해 먼저 골프공의 착지 범위를 예측하고 이 착지범위에 의해 이 프레임 픽처의 부분 픽처를 획득한 다음 이 부분 픽처에 대해 글로벌 포지셔닝을 사용하여 골프공의 좌표 데이터를 획득하는 단계는 구체적으로 아래와 같은 단계를 포함한다.
단계S2021, 서브 후 제1 프레임 픽처에서의 볼 중심 좌표, 골프공이 디스플레이 스크린 가장자리에 도달하는 경험 궤적 및 볼 스피드 세계 기록에 근거하여 제2 프레임 픽처에서의 골프공의 착지 범위를 예측한다.
골프공이 디스플레이 스크린의 가장자리에 도달하는 궤적 수량은 한정되는 바, 이러한 한정된 궤적을 추출하여 볼 스피드 세계 기록과 결합하면 착지 범위의 길이 너비 경계를 얻을 수 있고, 그 다음 제1 프레임 픽처에서의 볼 중심 좌표와 결합하면 골프공이 제2 프레임 픽처에서의 착지 범위를 예측하여 얻을 수 있다.
단계S2022, 상기 예측된 제2 프레임 픽처에서의 골프공의 착지 범위에 따라 제2 프레임 픽처를 커팅 축소하여 이 프레임 픽처의 부분 픽처를 획득하되, 이 부분 픽처는 상기 착지 범위 내에 골프공 윤곽의 픽처를 포함하여 직접 이 부분 픽처를 두 번째 포지셔닝 픽처로 사용한다.
제2 프레임 픽처에서의 착지 범위를 예측한 다음, 이 착지 범위를 사용하여 제2 프레임 픽처에 대해 커팅 축소 처리를 진행함으로써 축소 처리 범위 다음의 부분 픽처를 획득할 수 있는데, 선행기술은 제1 프레임 픽처 다음의 각 프레임마다 모두 전체 픽처 이미지를 진행하고, 본 발명은 이 프레임 픽처의 착지 범위 내의 부분 영역만 처리하므로 이렇게 되면 각 픽처의 처리량을 감소시키고 골프 시스템 포지셔닝 과정에서의 처리 속도를 향상시키게 된다.
본 발명의 실시에는 제2 프레임 픽처에 대해 커팅 축소를 진행한 후 이 프레임 픽처의 부분 픽처를 획득하게 되는데, 이는 골프공의 궤적이 반드시 이 착지 범위 내에 있게 되므로 이 부분 픽처 내에 반드시 골프공의 윤곽이 존재하기 때문이다. 도 12에 도시된 바와 같이, 골프공의 윤곽은 매 차례의 미리 제조과정에서 모두 이 프레임 픽처에서의 예측 착지 범위 내에 있게 된다.
단계S2023, 두 번째 포지셔닝 픽처에서의 착지 범위를 ROI로 설정하고 ROI에 대해 마찬가지로 글로벌 포지셔닝을 사용하여 이 부분 픽처에서의 골프공의 볼 중심 좌표를 획득한다.
더 나아가, 커팅 축소하여 얻은 부분 픽처는 더 이상 오리지널 픽처의 전체 포지셔닝이 아니라 착지 범위에 의해 ROI(region of interest, 관심 영역)로 설치되며, 그 다음 ROI를 포지셔닝 영역으로 하여 단계S2011-단계S2015와 같은 글로벌 포지셔닝의 방법을 사용하여 골프공의 볼 중심 좌표를 획득, 즉 ROI의 픽처 영역을 사용하여 포지셔닝을 진행하되, 이는 전체 픽처의 전체 포지셔닝과 비교하여 아주 작은 일부 픽처 영역으로 부분 포지셔닝을 진행하게 되는데 이렇게 되면 이 부분 픽처에서의 골프공의 볼 중심 좌표를 신속하게 얻을 수 있게 된다. 전체 포지셔닝에서 전체 픽처의 모든 영역을 처리하는 것과 비교하여, 부분 포지셔닝은 골프 시스템의 포지셔닝 처리 과정에서의 처리 속도, 반응 속도를 크게 향상시킨다.
단계S2024, 처음 두 번의 포지셔닝으로 획득한 볼 중심 좌표를 사용하여 제3 프레임 픽처에서의 골프공의 착지 범위를 예측하고, 이 착지 범위에 따라 제3 프레임 픽처를 커팅 축소하여 세 번째 포지셔닝 픽처를 획득하며, 세 번째 포지셔닝 픽처에서의 착지 범위를 ROI로 설치하고 ROI에 대해 글로벌 포지셔닝을 진행하여 이 부분 픽처에서의 골프공의 볼 중심 좌표를 획득하며, 이처럼 차례로 유추한다. 도 12에 도시된 바와 같이, 순차적으로 각 포지셔닝 착지 범위의 예측, 커팅 축소 및 부분 픽처 포지셔닝을 진행함으로써 후속적인 포지셔닝 과정에서의 볼 중심 좌표를 신속하게 획득할 수 있다.
본 발명의 실시예는 예측을 통해 직접 착지 범위를 포지셔닝하고, 나아가 픽처의 커팅 축소를 통해 부분 픽처를 획득하여 포지셔닝 함으로써 픽처 처리 영역을 축소하고 포지셔닝을 진행할 때의 픽처 내 특징의 처리량을 감소하여 시스템의 처리 속도를 크게 향상시키고 사용자의 사용 체험을 향상시키며 시스템의 지연, 막힘 등 불량한 체험을 방지한다.
구체적으로, 도 13에 도시된 바와 같이, 본 발명에서, 포지셔닝에 사용된 픽처에서의 골프공의 마크에 대해 구배에 의한 동적 분할 방법을 사용하여 추출하고, 추출된 상기 마크가 픽처에서의 각도 변화를 통해 회전속도를 획득하는 단계는 구체적으로 아래와 같은 단계를 포함한다.
단계S401, 카메라가 발송한 적외선 평행광을 기반으로 하여 볼 면의 빛 분포를 시뮬레이션 함으로써 빛 시뮬레이션 분포도를 획득하고, 후속적인 포지셔닝에서 얻은 픽처에서의 볼 표면의 빛 분포를 상기 빛 시뮬레이션 분포도에 넣어 빛 분포 조절을 진행함으로써 빛 조절 분포도를 획득한다.
도 15에서 왼쪽 도면이 도시한 바와 같이, 본 발명은 골프공에 마크(mark)를 미리 설치하는데, 이렇게 되면 픽처에서의 마크(mark)에 따라 마크 그래프를 얻을 수 있다.
도 14에서 왼쪽에 도시된 바와 같이, 먼저 볼 표면의 빛에 대해 시뮬레이션 분포를 진행하되, 이 시뮬레이션 분포는 적용 범위가 넓으나 이의 분포 효과가 약하므로 후속적인 포지셔닝에서 얻은 볼 표면의 빛 분포를 넣은 후 조절하여 오른쪽의 빛 조절 분포도를 얻어 이 환경에서 최적화한 빛 분포 효과에 도달할 수 있다.
단계S402, 포지셔닝 하여 얻은 오리지널 픽처와 이 빛 조절 분포도의 차이를 만들어 열에너지 맵을 획득함으로써 휘도 변화로 인한 영향을 제거하고, 상기 열에너지 맵에서 x, y축 방향에서의 구배를 구하여 중첩함으로써 부분 변화가 제일 뚜렷한 마크 그래프를 획득한다.
전경 휘도 분포가 불균일하고 각 프레임의 픽처의 휘도 변화가 크므로 획득한 픽처의 해상도가 낮게 되는데, 이때 만약 그레이스케일 값을 사용하여 분할하게 되면 뚜렷하고 정확하게 골프공의 마크(mark)를 획득할 수 없게 된다. 본 발명은 구배에 의한 동적 분할 방법을 사용한다.
도 15에 도시된 바와 같이, 먼저 왼쪽의 오리지널 픽처와 빛 조절 분포도의 차이를 만든 후 가운데의 열 에너지 맵을 획득하게 되는데, 이 열에너지 맵은 휘도 변화로 인한 영향을 배제한다. 다음, 이 열에너지 맵에서 x, y 축방향에서의 구배를 구하여 중첩함으로써 오른쪽의 부분 변화가 제일 선명한 마크 그래프를 얻는다.
단계S403, 상기 마크 그래프에 대해 벡터 특이값 분해 방식을 사용하여 마크의 각도 특징을 추출하고, 미리 셋업한 각도 샘플 특징 라이브러리와 비교하여 이 각도 특징이 각도 샘플 특징 라이브러리에서 매칭되는 3차원 좌표 정보를 획득한다.
특이값 분해(SVD)를 이용하여 마크 그래프에서의 마크(mark)의 각도 특징을 추출한다. 각도 샘플 특징 라이브러리에는 골프공의 마크(mark)의 여러 가지 각도 및 여러 가지 각도와 대응되는 3차원 좌표 정보가 저장된다. 골프공의 마크(mark)가 픽처에서의 각도 특징을 추출한 후, 각도 샘플 특징 라이브러리와 매칭하여 대응되는 3차원 좌표 정보를 얻는다.
본 발명의 실시예에 따른 특이값 분해(SVD)방식으로 마크의 각도 특징을 추출하는 것은 골프공의 마크(mark)의 고정된 상황이다. 기타 실시예에서, 골프공의 마크(mark)가 고정되지 않을 경우, 마크(mark)의 질량 중심을 찾아 타깃 포인트로 하고 타깃 포인트의 볼 면과 대응되는 3차원 좌표에 근거하여 회전속도를 계산할 수 있다.
단계S404, 연속되는 두 프레임의 픽처에서의 마크가 획득한 3차원 좌표 정보로 골프공의 회전속도를 계산한다.
골프공의 회전속도를 획득한 후, 포지셔닝 하여 얻은 좌표 정보와 결합하여 골프공이 궤적의 각 포인트에서의 회전 상태를 시뮬레이션 함으로써 시스템 시뮬레이션의 진실감을 향상시킬 수 있다.
본 발명의 실시예에서 제기하는 골프공 오버헤드 검출방법은, 골프공을 포지셔닝 할 경우, 서브 후의 제1 프레임 픽처가 전체 포지셔닝의 방식을 이용하여 골프공이 제1 프레임 픽처에서의 좌표 데이터를 획득하며, 후속적인 포지셔닝은 착지 범위 및 부분 포지셔닝을 예측하는 방식을 이용하여 골프공의 좌표 데이터를 획득한다. 본 발명은 글로벌 포지셔닝 및 부분 포지셔닝을 서로 결합한 방식을 사용함으로써 픽처에서의 골프공에 대해 포지셔닝 처리를 진행할 경우 각 픽처의 전체 픽처를 모두 처리하여 전체 포지셔닝을 진행할 필요가 없어 골프 시스템이 포지셔닝 처리를 진행하는 과정에서의 처리 속도를 크게 향상시키고 골프 시스템의 효율 및 사용자 체험을 향상시킨다.
본 발명은 골프 시뮬레이션 시스템을 더 제기하는데, 상기 시스템은 메모리, 프로세서 및 상기 메모리에 저장되어 상기 프로세서에 의해 실행되도록 배치되는 컴퓨터 프로그램을 포함하고, 상기 프로세서가 상기 컴퓨터 프로그램을 실행할 경우, 상기 방법을 구현한다.
예시적으로, 상기 컴퓨터 프로그램은 하나 또는 다수의 모듈/유닛으로 분할될 수 있고, 상기 하나 또는 다수의 모듈/유닛은 상기 메모리에 저장되어 상기 프로세서에 의해 수행되어 본 발명을 완성한다. 상기 하나 또는 다수의 모듈/유닛은 특정된 기능의 일련의 컴퓨터 프로그램 명령 세그먼트를 완성할 수 있고, 이 명령 세그먼트는 상기 컴퓨터 프로그램이 비동기 메시지 처리 단말기기에서의 실행과정을 설명하는데 사용된다.
메인 제어 모듈은 프로세서, 메모리를 포함할 수 있으나 이에 한정되지 않는다. 본 기술분야에서 통상의 지식을 가진 자는, 상기 부품이 단지 시스템에 기반하여 예시한 것일 뿐 메인 제어 모듈을 한정하기 위한 것이 아니며, 상술한 것보다 더 많거나 더 적은 부품을 포함하거나 또는 일부 부품 또는 상이한 부품을 조합할 수 있는 바, 예를 들어, 메인 제어 모듈은 입출력 기기, 네트워크 액세스 기기, 버스 등을 더 포함할 수 있다는 것을 이해할 수 있다.
프로세서란 중앙 처리 유닛(Central Processing Unit,CPU)일 수도 있고, 기타 범용 프로세서, 디지털 신호 프로세서(Digital Signal Processor,DSP), 응용 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 필드 프로그래머블 게이트 어레이(Field-Programmable Gate Array, FPGA) 또는 기타 프로그램 가능 논리 소자, 이산 게이트 또는 트랜지스터 논리 소자, 개별 하드웨어 어셈블리 등 일 수도 있다. 범용 프로세서는 마이크로 프로세서 또는 임의의 통상적인 프로세서 등 일 수 있는 바, 상기 프로세서는 상기 기기의 제어 센터로서 여러 가지 인터페이스와 라인을 통해 전체 메인 제어 모듈의 각 부분을 연결한다.
상기 메모리는 상기 컴퓨터 프로그램 및/또는 모듈을 저장할 수 있고, 상기 프로세서는 상기 메모리 내에 저장된 컴퓨터 프로그램 및/또는 모듈을 운행시키거나 수행 및 메모리 내에 저장된 데이터를 호출하는 것을 통해 상기 기기의 여러 가지 기능을 구현한다. 상기 메모리는 주요하게 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있는데, 여기서, 프로그램 저장 영역은 운영체제, 적어도 하나의 기능에 필요한 애플리케이션 프로그램(예를 들어, 오디오 플레이 기능, 이미지 플레이 기능 등) 등을 저장할 수 있고; 데이터 저장 영역은 사용에 따라 생성한 데이터(예를 들어 오디오 데이터, 전화번호부) 등을 저장할 수 있다. 이 외에, 메모리는 고속 랜덤 액세스 메모리를 포함할 수도 있고 하드웨어, 램, 플러그인 하드 드라이브와 같은 비휘발성 메모리, 스마트 메모리 카드(Smart Media Card, SMC), 안전 디지털(Secure Digital, SD) 카드, 플래시 카드(Flash Card), 적어도 하나의 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 휘발성 솔리드 스테이트 메모리 장치를 포함할 수도 있다.
본 발명은 컴퓨터 판독 가능 저장매체를 더 제기하는데, 상기 컴퓨터 판독 가능 저장매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 실행될 경우, 상술한 방법을 구현한다.
본 발명의 골프공 오버헤드 검출방법에서 집적된 상기 모듈/유닛이 만약 소프트웨어 기능 유닛의 형태로 구현되고 별도의 제품으로 판매 또는 사용될 경우, 하나의 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 본 발명의 컴퓨터 판독 가능 저장매체의 구체적인 구현방식은 상기 골프공 오버헤드 검출방법에 사용되는 각 실시예와 기본적으로 동일한 바, 여기서 더이상 설명하지 않는다.
설명해야 할 것은, 이상에서 설명한 실시예는 단지 예시적인 것으로, 여기서, 분리부품으로 설명된 상기 유닛은 물리적으로 분리된 것이거나 아닐 수 있고, 유닛으로 표시된 부품은 물리적 유닛이거나 아닐 수 있는 바, 즉 한 곳에 위치하거나 또는 다수의 네트워크 유닛에 분포될 수도 있다. 실제 수요에 근거하여 그 중의 일부 또는 전부 유닛을 선택하여 본 실시예의 기술적 해결수단의 목적을 구현할 수 있다. 그 밖에, 본 발명이 제공하는 실시예의 도면에서, 모듈 사이의 연결관계는 이들 사이에 통신 연결을 구비한다는 것을 나타내는 바, 구체적으로는 한 갈래 또는 여러 갈래의 통신 버스 또는 신호 라인으로 구현될 수 있다. 본 기술분야에서 통상의 지식을 가진 자는 진보적인 창출에 힘쓸 필요가 없이 이해 및 실시할 수 있다.
이상의 설명은 단지 본 발명을 뚜렷이 설명하기 위해 열거한 것으로서, 본 발명의 보호범위가 이로써 한정되지 않으며, 여기서 모든 실시형태를 전부 나열할 수 없으나 본 발명의 구상에서 본 발명의 기술적 해결수단의 내용을 이용하여 진행한 등가적 구조 변화 또는 직접/간접적으로 기타 관련 기술분야에 운용된 것은 모두 본 발명의 특허보호범위 내에 포함된다.

Claims (8)

  1. 골프공 오버헤드 검출방법에 있어서,
    천정면에 카메라가 배치된 골프 시스템에 응용되어 마크가 설치된 골프공을 검출하고,
    카메라의 이미지 좌표계를 세계 좌표계로 전환하는 카메라의 캘리브레이션 단계S10;
    서브 후 카메라가 수집한 제1 프레임 픽처의 전체 픽처에 대해 글로벌 포지셔닝을 사용하여 골프공의 좌표 데이터를 획득하고;
    서브 후 카메라가 수집한 후속 프레임 픽처에 대해 먼저 골프공의 착지 범위를 예측하고 이 착지 범위에 의해 이 프레임 픽처의 부분 픽처를 획득한 다음, 이 부분 픽처에 대해 글로벌 포지셔닝을 사용하여 골프공의 좌표 데이터를 획득하는 골프공의 포지셔닝 단계S20;
    포지셔닝 하여 얻은 골프공의 좌표 데이터를 세계 좌표계에 대입하여 골프공의 운동 파라미터를 계산하는 파라미터 계산 단계S30;
    포지셔닝에 사용된 픽처에서의 골프공의 마크에 대해 구배에 의한 동적 분할 방법을 사용하여 추출하고, 추출된 상기 마크가 픽처에서의 각도 변화를 통해 회전속도를 획득하는 골프공의 회전속도 검출 단계S40을 포함하는 것을 특징으로 하는 골프공 오버헤드 검출방법.
  2. 제1항에 있어서,
    상기 카메라의 이미지 좌표계를 세계 좌표계로 전환하는 것은 아래 전환공식을 사용하되,
    Figure pct00009

    여기서,
    Figure pct00010
    은 카메라의 내부 파라미터 매트릭스이고,
    Figure pct00011
    는 카메라의 외부 파라미터 매트릭스이며,
    Figure pct00012
    ,
    Figure pct00013
    은 매핑 매트릭스인 것을 특징으로 하는 골프공 오버헤드 검출방법.
  3. 제1항에 있어서,
    골프공의 포지셔닝 단계S20 전에 포지셔닝의 트리거를 더 포함하되, 구체적으로는,
    서브 전에 먼저 골프공의 서브 위치 좌표를 획득하고 골프공의 서브 위치 좌표를 획득한 후 실시간으로 골프공의 서브 위치에서의 픽셀 변화값을 획득하며, 이 위치의 픽셀 변화값이 임계값을 초과하면 포지셔닝을 트리거하여 서브 후 픽처에서의 골프공 포지셔닝을 진행하는 것을 특징으로 하는 골프공 오버헤드 검출방법.
  4. 제1항에 있어서,
    글로벌 포지셔닝을 사용하여 골프공의 좌표 데이터를 획득하는 상기 단계는, 구체적으로,
    포지셔닝된 픽처를 획득하고, 상기 픽처에 대해 줌 및 보간 처리를 진행하는 단계S2011;
    줌 및 보간 처리 후의 픽처에서의 하이라이트 영역을 ROI로 설정하고, 오리지널 픽처로 매핑하여 모든 후보 타깃의 픽처를 얻으며, 최대 클래스간 분산 방법을 이용하여 상기 후보 타깃의 픽처를 이진화함으로써 뚜렷한 타깃 윤곽을 획득하는 단계S2012;
    이 타깃 윤곽에 대해 면적, 종횡비, 슬라이딩 윈도우 통계 필터링을 진행한 후 골프공이 아닌 타깃을 제거하고 골프공이 얻고자 하는 골프공 타깃 픽처를 보류하는 단계 S2013;
    선별하여 얻은 골프공 타깃 픽처에서의 골프공 윤곽에 대해 Hough 변환 수정을 사용하여 완전한 골프공 윤곽을 획득하는 단계S2014;
    상기 완전한 골프공 윤곽에 따라 픽처에서의 골프공의 볼 중심 좌표를 획득하는 단계S2015를 포함하는 것을 특징으로 하는 골프공 오버헤드 검출방법.
  5. 제4항에 있어서,
    상기 서브 후 카메라가 수집한 후속 프레임 픽처에 대해 먼저 골프공의 착지 범위를 예측하고 이 착지범위에 의해 이 프레임 픽처의 부분 픽처를 획득한 다음 이 부분 픽처에 대해 글로벌 포지셔닝을 사용하여 골프공의 좌표 데이터를 획득하는 단계는 구체적으로,
    서브 후 제1 프레임 픽처에서의 볼 중심 좌표, 골프공이 디스플레이 스크린 가장자리에 도달하는 경험 궤적 및 볼 스피드 세계 기록에 근거하여 제2 프레임 픽처에서의 골프공의 착지 범위를 예측하는 단계S2021;
    상기 예측된 제2 프레임 픽처에서의 골프공의 착지 범위에 따라 제2 프레임 픽처를 커팅 축소하여 이 프레임 픽처의 부분 픽처를 획득하되, 이 부분 픽처는 상기 착지 범위 내에 골프공 윤곽의 픽처를 포함하여 직접 이 부분 픽처를 두 번째 포지셔닝 픽처로 사용하는 단계S2022;
    두 번째 포지셔닝 픽처에서의 착지 범위를 ROI로 설정하고 ROI에 대해 마찬가지로 글로벌 포지셔닝을 사용하여 이 부분 픽처에서의 골프공의 볼 중심 좌표를 획득하는 단계S2023;
    처음 두 번의 포지셔닝으로 획득한 볼 중심 좌표를 사용하여 제3 프레임 픽처에서의 골프공의 착지 범위를 예측하고, 이 착지 범위에 따라 제3 프레임 픽처를 커팅 축소하여 세 번째 포지셔닝 픽처를 획득하며, 세 번째 포지셔닝 픽처에서의 착지 범위를 ROI로 설치하고 ROI에 대해 글로벌 포지셔닝을 진행하여 이 부분 픽처에서의 골프공의 볼 중심 좌표를 획득하며, 이처럼 차례로 유추하는 단계S2024를 포함하는 것을 특징으로 하는 골프공 오버헤드 검출방법.
  6. 제1항에 있어서,
    포지셔닝에 사용된 픽처에서의 골프공의 마크에 대해 구배에 의한 동적 분할 방법을 사용하여 추출하고, 추출된 상기 마크가 픽처에서의 각도 변화를 통해 회전속도를 획득하는 단계는 구체적으로,
    카메라가 발송한 적외선 평행광을 기반으로 하여 볼 면의 빛 분포를 시뮬레이션 함으로써 빛 시뮬레이션 분포도를 획득하고, 후속적인 포지셔닝에서 얻은 픽처에서의 볼 표면의 빛 분포를 상기 빛 시뮬레이션 분포도에 넣어 빛 분포 조절을 진행함으로써 빛 조절 분포도를 획득하는 단계S401;
    포지셔닝 하여 얻은 오리지널 픽처와 이 빛 조절 분포도의 차이를 만들어 열에너지 맵을 획득함으로써 휘도 변화로 인한 영향을 제거하고, 상기 열에너지 맵에서 x, y축 방향에서의 구배를 구하여 중첩함으로써 부분 변화가 제일 뚜렷한 마크 그래프를 획득하는 단계S402;
    상기 마크 그래프에 대해 벡터 특이값 분해 방식을 사용하여 마크의 각도 특징을 추출하고, 미리 셋업한 각도 샘플 특징 라이브러리와 비교하여 이 각도 특징이 각도 샘플 특징 라이브러리에서 매칭되는 3차원 좌표 정보를 획득하는 단계S403;
    연속되는 두 프레임의 픽처에서의 마크가 획득한 3차원 좌표 정보로 골프공의 회전속도를 계산하는 단계S404를 포함하는 것을 특징으로 하는 골프공 오버헤드 검출방법.
  7. 메모리, 프로세서 및 상기 메모리에 저장되어 상기 프로세서에 의해 실행되도록 배치되는 컴퓨터 프로그램을 포함하는 골프 시뮬레이션 시스템에 있어서,
    상기 프로세서가 상기 컴퓨터 프로그램을 실행할 경우, 제1항 내지 제6항 중 어느 한 항에 따른 방법을 구현하는 것을 특징으로 하는 골프 시뮬레이션 시스템.
  8. 컴퓨터 프로그램이 저장되는 컴퓨터 판독 가능 저장매체에 있어서, 상기 컴퓨터 프로그램은 제1항 내지 제6항 중 어느 한 항에 따른 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능 저장매체.
KR1020217030579A 2020-09-22 2020-11-25 골프공 오버헤드 검출방법, 시스템 및 저장매체 KR102610900B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011000469.7A CN112184808A (zh) 2020-09-22 2020-09-22 一种高尔夫球置顶式检测方法、系统及存储介质
CN202011000469.7 2020-09-22
PCT/CN2020/131287 WO2022062152A1 (zh) 2020-09-22 2020-11-25 一种高尔夫球置顶式检测方法、系统及存储介质

Publications (2)

Publication Number Publication Date
KR20220044156A true KR20220044156A (ko) 2022-04-06
KR102610900B1 KR102610900B1 (ko) 2023-12-08

Family

ID=80741344

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217030579A KR102610900B1 (ko) 2020-09-22 2020-11-25 골프공 오버헤드 검출방법, 시스템 및 저장매체

Country Status (6)

Country Link
US (1) US20220088455A1 (ko)
EP (1) EP4009275A4 (ko)
JP (1) JP7214007B2 (ko)
KR (1) KR102610900B1 (ko)
AU (1) AU2020449440B2 (ko)
CA (1) CA3131590C (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278194B (zh) * 2022-09-22 2022-12-23 山东省青东智能科技有限公司 一种基于3d工业相机的图像数据处理方法
CN116342571B (zh) * 2023-03-27 2023-12-22 中吉创新技术(深圳)有限公司 通风系统控制箱的状态检测方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130058532A1 (en) * 2007-03-05 2013-03-07 Sportvision, Inc. Tracking An Object With Multiple Asynchronous Cameras
EP2032220B1 (en) * 2006-06-12 2013-10-30 Wintriss Engineering Corporation Method and apparatus for detecting the placement of a golf ball for a launch monitor
KR101461144B1 (ko) * 2013-08-02 2014-11-13 (주) 골프존 운동하는 볼에 대한 센싱장치 및 센싱방법
CN108765351A (zh) 2018-05-31 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和存储介质
CN106780620B (zh) * 2016-11-28 2020-01-24 长安大学 一种乒乓球运动轨迹识别定位与跟踪系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021005577A1 (en) * 2019-07-11 2021-01-14 Trackman A/S System and method for determining spin measurements using ball marking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2032220B1 (en) * 2006-06-12 2013-10-30 Wintriss Engineering Corporation Method and apparatus for detecting the placement of a golf ball for a launch monitor
US20130058532A1 (en) * 2007-03-05 2013-03-07 Sportvision, Inc. Tracking An Object With Multiple Asynchronous Cameras
KR101461144B1 (ko) * 2013-08-02 2014-11-13 (주) 골프존 운동하는 볼에 대한 센싱장치 및 센싱방법
CN106780620B (zh) * 2016-11-28 2020-01-24 长安大学 一种乒乓球运动轨迹识别定位与跟踪系统及方法
CN108765351A (zh) 2018-05-31 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
JP7214007B2 (ja) 2023-01-27
EP4009275A4 (en) 2022-06-22
EP4009275A1 (en) 2022-06-08
US20220088455A1 (en) 2022-03-24
AU2020449440B2 (en) 2023-04-06
KR102610900B1 (ko) 2023-12-08
JP2022553470A (ja) 2022-12-23
AU2020449440A1 (en) 2022-04-07
CA3131590C (en) 2023-08-29
CA3131590A1 (en) 2022-03-22

Similar Documents

Publication Publication Date Title
JP5719230B2 (ja) 物体認識装置、物体認識装置の制御方法、およびプログラム
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
KR20220044156A (ko) 골프공 오버헤드 검출방법, 시스템 및 저장매체
CN111047626A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN111667504B (zh) 一种人脸追踪方法、装置及设备
CN112446917B (zh) 一种姿态确定方法及装置
CN112001883B (zh) 一种车辆目标图像的优选方法、装置和计算机设备
CN110991452A (zh) 一种车位框检测方法、装置、设备及可读存储介质
CN113780201B (zh) 手部图像的处理方法及装置、设备和介质
US10803295B2 (en) Method and device for face selection, recognition and comparison
WO2024022301A1 (zh) 视角路径获取方法、装置、电子设备及介质
JP2013015891A (ja) 画像処理装置、画像処理方法及びプログラム
CN110340901B (zh) 一种控制方法、控制装置及终端设备
JPH11167455A (ja) 手形状認識装置及び単色物体形状認識装置
CN112184807A (zh) 一种高尔夫球落地式检测方法、系统及存储介质
KR20210088436A (ko) 이미지 처리 방법, 장치 및 전자 기기
CN112529943B (zh) 一种物体检测方法、物体检测装置及智能设备
CN112184808A (zh) 一种高尔夫球置顶式检测方法、系统及存储介质
CN116363583A (zh) 一种用于顶视角的人体识别方法、装置、设备及介质
CN113192127B (zh) 一种图像处理方法、装置、电子设备和存储介质
CN113989377A (zh) 一种相机的外参标定方法、装置、存储介质及终端设备
CN112101148A (zh) 一种运动目标检测方法、装置、存储介质及终端设备
KR102603819B1 (ko) 골프공 착지형 검출방법, 시스템 및 저장매체
TWI815351B (zh) 目標追蹤方法及目標追蹤裝置
JP6161931B2 (ja) 物体検出装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right