KR102505470B1 - 라이다센서 및 빅데이터를 이용한 스크린-골프 운영시스템 - Google Patents

라이다센서 및 빅데이터를 이용한 스크린-골프 운영시스템 Download PDF

Info

Publication number
KR102505470B1
KR102505470B1 KR1020210043742A KR20210043742A KR102505470B1 KR 102505470 B1 KR102505470 B1 KR 102505470B1 KR 1020210043742 A KR1020210043742 A KR 1020210043742A KR 20210043742 A KR20210043742 A KR 20210043742A KR 102505470 B1 KR102505470 B1 KR 102505470B1
Authority
KR
South Korea
Prior art keywords
information
golf
player
screen
module
Prior art date
Application number
KR1020210043742A
Other languages
English (en)
Other versions
KR20220138516A (ko
Inventor
이재복
Original Assignee
이재복
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이재복 filed Critical 이재복
Priority to KR1020210043742A priority Critical patent/KR102505470B1/ko
Publication of KR20220138516A publication Critical patent/KR20220138516A/ko
Application granted granted Critical
Publication of KR102505470B1 publication Critical patent/KR102505470B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A63B2024/0015—Comparing movements or motion sequences with computerised simulations of movements or motion sequences, e.g. for generating an ideal template as reference to be achieved by the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0028—Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/89—Field sensors, e.g. radar systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 스크린 골프장의 각 경기룸에 설치되는 라이다(LiDAR) 센서들을 이용하여, 플레이어의 각 신체의 움직임과, 골프클럽의 각 부위의 움직임, 골프공의 궤적정보를 포함하는 객체벡터정보를 생성하며, 생성된 객체벡터정보를 기반으로 가상골프경기가 운영되도록 구성됨으로써 실제 플레이어의 스윙에 대한 센싱이 정밀하게 이루어질 뿐만 아니라 가상골프경기의 리얼리티, 흥미 및 재미를 현저히 높일 수 있으며, 스크린-골프 관리서버가 기 학습된 최적스윙검출 알고리즘을 이용하여, 컨트롤러로부터 전송받은 객체벡터정보 및 환경정보를 분석하여 해당 플레이어의 최적스윙정보 및 코멘트정보를 생성하여 이를 해당 컨트롤러로 제공함과 동시에 컨트롤러가 스크린-골프 관리서버로부터 전송받은 최적스윙정보 및 코멘트정보를 전시단말기에 디스플레이 함으로써 플레이어가 현재 가상골프경기의 현재 환경에 따른 최적스윙정보를 참고할 수 있기 때문에 골프 연습/훈련의 효율성 및 효과를 극대화시킬 수 있을 뿐만 아니라 플레이어의 흥미 및 재미를 유발하여 참여도를 높일 수 있는 라이다센서 및 빅데이터를 이용한 스크린-골프 운영시스템에 관한 것이다.

Description

라이다센서 및 빅데이터를 이용한 스크린-골프 운영시스템{Management system of screen golf using LiDAR sensor and big-data}
본 발명은 라이다센서 및 빅데이터를 이용한 스크린-골프 운영시스템에 관한 것으로서, 상세하게로는 스크린 골프장에 설치되는 라이다(LiDAR) 센서들을 이용하여 플레이어(Player)의 각 신체의 움직임, 골프클럽의 각 부위의 움직임 및 골프공의 궤적을 수집함과 동시에 수집된 빅데이터를 기반으로 인공지능 알고리즘을 학습화하며, 전시단말기를 통해 플레이어에게 해당 스윙에 대한 코멘트정보를 제공함으로써 스크린 골프 경기의 흥미 및 참여도를 유발하여 대중성을 높일 수 있을 뿐만 아니라 플레이어의 골프 연습/훈련의 효율성 및 효과를 극대화시킬 수 있는 라이다센서 및 빅데이터를 이용한 스크린-골프 운영시스템에 관한 것이다.
라이다(LiDAR, Light Detection And Ranging)는 외부 대상체로 광신호를 조사한 후, 수신되는 광신호의 시간차(Time of flight) 또는 위상차를 검출하여 거리를 측정하는 것을 의미하며, 레이더와 비교하여 공간 분해능 및 해상도가 우수한 장점으로 인해 종래에 항공 및 위성 분야 등 특수 분야에 한정 사용되었으나, 최근 에는 감시정찰 등의 민수 및 국반 분야 로봇, 무인 수상함, 드론 등의 항공기, 산업용 보안 및 안전 분야 등 다양한 분야로 확대 적용되고 있다.
이러한 라이다(LiDAR)는 x, y, z의 3차원 점군(Point Cloud)을 활용하여 실시간으로 입체 영상을 모델링 할 수 있기 때문에 감지된 객체의 궤적을 추적 및 검출하기 위한 용도로 널리 사용되고 있다.
한편, 최근 들어 골프에 대한 관심이 높아져 골프를 즐기는 인구가 증가하고, 영상 및 센싱기술이 발달함에 따라 특정 공간에서 스크린을 이용하여 골프 경기를 즐기도록 하는 스크린 골프장이 널리 대중화되었다.
이러한 스크린 골프장은 스크린을 통하여 골프장의 영상이 표시되기 때문에, 야외에서 실제 골프 경기를 하고 있는 듯 한 느낌을 제공할 수 있을 뿐만 아니라 야외 필드와 비교하여 접근성이 높아 시간 및 비용이 절감되는 등의 이유로 인해 야외 필드를 방문이 쉽지 않은 바쁜 현대인들의 특성으로 인해 그 이용자수가 기하급수적으로 증가하고 있다.
이와 같은 스크린 골프장이 사용자에게 어필할 수 있는 가장 중요한 요인 중의 하나로는, 실제로 야외에서 플레이를 하고 있다는 리얼리티를 줄 수 있는지 여부인데, 종래의 스크린 골프에서는 이러한 리얼리티가 부족한 문제점이 발생한다.
즉 스크린 골프에서, 사용자가 골프공을 타격하는 것은 야외에서 골프공을 타격하는 것에 대응한다고 볼 수 있지만, 타격 후에는 스크린과 실제 필드 사이에 상당한 차이가 발생하고, 이러한 차이점을 줄여 리얼리티를 높이기 위해서는 플레이어의 움직임(각 신체의 움직임, 체중이동 등)과 골프클럽의 움직임(회전궤도, 속도, 클럽헤드 및 골프공의 접촉 위치 등), 골프공의 궤적(이동, 속도, 회전 등)을 얼마나 정밀하게 검출하는지와, 검출된 데이터를 기반으로 골프공의 이동을 얼마나 정확하게 예측하는지에 대한 연구가 필수적으로 이루어져야만 한다.
도 1은 국내공개특허 제10-2021-0008745호(발명의 명칭 : 가상 골프 시뮬레이션 처리방법 및 이를 이용한 스크린 골프 시스템)의 스크린 골프 시스템을 나타내는 예시도이다.
도 1의 스크린 골프 시스템(이하 종래기술이라고 함)(100)은 사용자의 골프샷에 따른 타구를 센싱하는 센싱장치(110)와, 가상의 골프코스에서 이루어지는 가상의 골프 플레이 진행 과정에서 사용자가 플레이 할 골프샷의 종류에 따라 각각의 골프샷에 따른 시뮬레이션 영상의 구현에 대한 연출 방식을 미리 설정하며 가상의 골프 플레이가 진행됨에 따라 사용자가 플레이 할 골프샷의 종류를 확인하여 센싱장치의 센싱결과에 기초하여 가상의 볼의 시뮬레이션을 수행하되, 확인하는 단계에서 확인된 골프샷에 대해 미리 설정된 연출 방식으로 시뮬레이션 영상을 구현하도록 영상처리를 하는 시뮬레이터(120)와, 시뮬레이터(120)에 의해 처리된 영상을 출력하는 영상출력장치(130)로 이루어진다.
또한 종래기술(100)은 사용자가 가상의 골프 경기를 수행할 수 있는 소정의 공간 내에 사용자(p)의 골프스윙을 위한 타석(SP)과 사용자(p)가 타격할 골프공(140)이 놓이는 골프매트(SM)가 구비되고, 전방에는 스크린(101)이 구비되며, 스크린(101)에 영상(150)이 투영되고, 타석(SP)은 영상(150) 상의 가상의 골프코스(160)의 지형에 대응하는 경사를 구현하는 스윙플레이트로써 구현될 수 있다.
센싱장치(110)는 카메라를 이용하여 사용자의 골프 스윙에 따라 골프클럽 및 볼 중 적어도 하나의 움직임을 센싱하며, 카메라의 화각 내에서 사용자가 골프샷에 의해 타격한 골프공(140)에 대한 영상을 촬영하여 수집하고, 그 수집된 영상에 대한 이미지 처리 등의 분석을 수행하여 골프공(140)의 이동에 대한 운동 파라미터 등의 센싱 정보를 산출하여 시뮬레이터(120)로 전달한다.
이와 같이 구성되는 종래기술(100)은 사용자가 어떤 상황에서 어떤 종류의 골프샷을 하는가에 따라, 해당 골프상에 대한 특유의 시뮬레이션 영상의 연출이 이루어지도록 다양한 시뮬레이션 영상의 연출 방식을 제공함으로써 가상의 골프 플레이를 하는 사용자로 하여금 더욱 극적이고 다이내믹한 시뮬레이션 영상의 구현을 경험하도록 하여 사용자의 흥미를 더욱 유발시킬 수 있는 장점을 갖는다.
일반적으로, 카메라 촬영에 의해 획득된 가시광 영상을 분석하여 객체를 감지하며 트래킹 하는 기술은 스크린(101)에서 투영되는 영상으로부터의 조도, 해당 공간의 조명 등의 다양한 변수로 인해, 플레이어의 움직임, 골프클럽의 움직임, 클럽헤드 및 골프공의 충돌위치, 골프공의 궤적 등에 대하여, 정밀하게 감지할 수 없는 구조적 한계를 갖는다. 특히 스크린 골프장의 경기룸에서와 같이, 조도가 떨어지는 환경에서 스크린에서 밝은 조도가 출사되어 음양이 빈번하게 발생하는 환경에서는, 영상분석을 통해서는 더욱 객체의 정밀한 감지가 어려운 문제점이 발생한다.
그러나 종래기술(100)은 객체의 움직임을 감지하기 위한 센싱장치로 카메라로 구성됨에 따라, 전술하였던 문제점을 전혀 해결할 수 없고, 이에 따라 객체(플레이어, 골프클럽 및 골프공)의 정밀한 감지가 어려운 단점을 갖는다.
또한 종래기술(100)은 플레이어가 스윙을 하고 난 이후에, 자신의 골프공이 경기영상 내 낙하하는 위치를 통해 본인 스스로 자신의 스윙의 문제점을 체크해야 하기 때문에 골프 연습/훈련의 효율성 및 효과가 떨어지는 문제점을 갖는다.
또한 종래기술(100)은 플레이어의 스윙이 이루어진 이후, 해당 스윙에 대한 보완점, 미비점, 단점 등에 대한 코멘트가 전혀 이루어지지 않아, 훈련 효율성 및 효과가 더욱 떨어지게 된다.
본 발명은 이러한 문제를 해결하기 위한 것으로, 본 발명의 해결과제는 스크린 골프장의 각 경기룸에 설치되는 라이다(LiDAR) 센서들을 이용하여, 객체(플레이어, 골프클럽 및 골프공)를 인식 및 트래킹 한 후, 플레이어의 각 신체의 움직임과, 골프클럽의 각 부위의 움직임, 골프공의 궤적정보를 포함하는 객체벡터정보를 생성하며, 생성된 객체벡터정보를 기반으로 가상골프경기가 운영되도록 구성됨으로써 실제 플레이어의 스윙에 대한 센싱이 정밀하게 이루어질 뿐만 아니라 플레이어의 스윙에 대응하여 가상골프경기가 진행되어 가상골프경기의 리얼리티, 흥미 및 재미를 현저히 높일 수 있는 라이다센서 및 빅데이터를 이용한 스크린-골프 운영시스템을 제공하기 위한 것이다.
또한 본 발명의 다른 해결과제는 인공지능 기반 스크린-골프 관리서버가 스크린 골프장 관리시스템의 컨트롤러로부터 전송받은 객체벡터정보, 환경정보 및 스윙결과정보를 활용하여, 가상필드상에서의 해당 플레이어의 최적의 스윙정보인 최적스윙정보를 검출하기 위한 파라미터 값들의 집합을 도출하여 최적스윙검출 알고리즘의 학습이 이루어지도록 구성됨으로써 스크린 골프장의 플레이어들의 스윙에 대하여 수집된 빅데이터를 기반으로 유효데이터를 검출하여 검출된 유효데이터를 활용한 다양한 부가서비스를 창출할 수 있는 라이다센서 및 빅데이터를 이용한 스크린-골프 운영시스템을 제공하기 위한 것이다.
또한 본 발명의 또 다른 해결과제는 스크린 골프장 관리시스템의 컨트롤러가 경기룸을 복수개로 분할한 세그먼트(Segment)인 큐브별로 분할하여 객체를 감지 및 트래킹 하도록 구성됨으로써 객체 감지 및 트래킹의 정확성 및 정밀도를 현저히 높일 수 있는 라이다센서 및 빅데이터를 이용한 스크린-골프 운영시스템을 제공하기 위한 것이다.
또한 본 발명의 또 다른 해결과제는 인공지능 기반 스크린-골프 관리서버가 기 학습된 최적스윙검출 알고리즘을 이용하여, 컨트롤러로부터 전송받은 객체벡터정보 및 환경정보를 분석하여 해당 플레이어의 최적스윙정보를 검출하여 이를 해당 컨트롤러로 제공함과 동시에 컨트롤러가 인공지능 기반 스크린-골프 관리서버로부터 전송받은 최적스윙정보를 전시단말기에 디스플레이 함으로써 플레이어가 현재 가상골프경기의 현재 환경에 따른 최적스윙정보를 참고할 수 있기 때문에 골프 연습/훈련의 효율성 및 효과를 극대화시킬 수 있을 뿐만 아니라 플레이어의 흥미 및 재미를 유발하여 참여도를 높일 수 있는 라이다센서 및 빅데이터를 이용한 스크린-골프 운영시스템을 제공하기 위한 것이다.
또한 본 발명의 또 다른 해결과제는 인공지능 기반 스크린-골프 관리서버가 해당 플레이어의 실제스윙과 최적스윙을 비교하여 코멘트정보를 생성하고, 컨트롤러가 전시단말기를 통해 인공지능 기반 스크린-골프 관리서버로부터 전송받은 코멘트정보를 디스플레이 함으로써 플레이어가 스윙 이후, 본인 스윙의 문제점을 신속하고 즉각적으로 인지할 수 있어 골프 연습/훈련의 효율성 및 효과를 더욱 높일 수 있는 라이다센서 및 빅데이터를 이용한 스크린-골프 운영시스템을 제공하기 위한 것이다.
상기 과제를 해결하기 위한 본 발명의 해결수단은 스크린 골프장의 운영을 관리하는 스크린 골프장 관리시스템을 포함하는 스크린 골프 운영시스템에 있어서: 상기 스크린 골프장 관리시스템은 상기 스크린 골프장의 경기룸의 천장 및 측벽에 간격을 두고 설치되어 상기 경기룸으로 라이다(LiDAR) 신호를 송출한 후, 반사신호를 수신 받는 라이다센서들; 컨트롤러를 포함하고, 상기 컨트롤러는 상기 라이다센서들에 의해 송수신된 라이다신호정보를 스캐닝하여, 객체(플레이어, 골프클럽 및 골프공)를 인식 및 트래킹 하여, 플레이어의 움직임정보와, 골프클럽의 움직임정보 및 골프공의 궤적정보를 포함하는 객체벡터정보를 생성하는 객체벡터정보 생성부; 기 제작된 가상골프 시뮬레이션 프로그램을 활용하여, 실제 필드에 대응하는 가상 필드 컨텐츠를 기반으로 가상골프경기가 진행되는 경기영상을 제공함과 동시에 가상골프경기의 운영을 관리 및 제어하며, 상기 객체벡터정보 생성부로부터 입력된 객체벡터정보를 기반으로 가상골프경기를 운영하는 골프경기 운영부; 상기 경기룸을 복수개로 분할한 세그먼트(Segment)를 큐브(S)라고 할 때, 각 큐브의 위치정보가 저장되는 메모리를 포함하고, 상기 객체벡터정보 생성부는 상기 라이다센서들에 의해 송수신된 라이다신호를 스캐닝 하며, 스캐닝정보와 기 설정된 큐브(S)별 위치정보를 활용하여 각 큐브별 라이다영상을 생성하는 라이다신호 스캐닝모듈; 상기 각 큐브별 라이다신호 스캐닝모듈에 의해 생성된 각 큐브별 라이다영상에 대하여, 소벨필터를 적용하여 픽셀 변화율이 임계치 이상인 픽셀을 검출하여, 에지라인으로 이루어지는 각 큐브별 에지영상을 추출하는 각 큐브별 에지영상 변환모듈; 상기 각 큐브별 에지영상 변환모듈에 의해 변환된 각 큐브별 에지영상을 분석하여 객체(플레이어, 골프클럽 및 골프공)를 인식하며, 1)감지된 객체가 플레이어일 때, 해당 플레이어의 각 신체를 인식하며, 2)감지된 객체가 골프클럽일 때, 골프클럽의 각 부위를 인식하는 객체인식모듈; 상기 객체인식모듈에 의해 인식된 객체의 움직임을 추적하는 객체 트래킹모듈; 상기 객체 트래킹모듈에 의해 트래킹 된 객체가 플레이어일 때 실행되며, 플레이어의 각 신체의 움직임을 검출한 후, 검출된 플레이어의 각 신체의 움직임을 포함하는 플레이어 움직임정보를 생성하는 플레이어 움직임정보 생성모듈; 상기 객체 트래킹모듈에 의해 트래킹 된 객체가 골프클럽일 때 실행되며, 골프클럽의 각 부위의 움직임과, 클럽헤드와 골프공이 충돌하는 위치 및 면적을 포함하는 골프공 충돌정보를 검출한 후, 검출된 골프클럽의 각 부위의 움직임과 골프공 충돌정보를 포함하는 골프클럽 움직임정보를 생성하는 골프클럽 움직임정보 생성모듈; 상기 객체 트래킹모듈에 의해 트래킹 된 객체가 골프공일 때 실행되며, 골프공의 위치, 이동속도, 궤적 및 탄도를 검출한 후, 검출된 골프공의 위치, 이동속도, 궤적 및 탄도를 포함하는 골프공 궤적정보를 생성하는 골프공 궤적정보 생성모듈; 상기 플레이어 움직임정보 생성모듈, 상기 골프클럽 움직임정보 생성모듈 및 골프공 궤적정보 생성모듈에서 생성된 플레이어 움직임정보, 골프클럽 움직임정보 및 골프공 궤적정보를 포함하는 객체벡터정보를 생성하는 객체벡터정보 생성모듈을 포함하는 것이다.
삭제
또한 본 발명에서 상기 객체인식모듈은 각 큐브별 에지영상으로부터 인식된 객체가 플레이어일 때, 플레이어의 에지라인과 일정간격으로 균등하게 형성되는 수평선들의 교점인 중간값 픽셀들을 연결한 선인 중심라인을 추출한 후, 추출된 중심라인을 활용하여 해당 플레이어의 신체를 인식하고, 상기 플레이어 움직임정보 생성모듈은 상기 객체인식모듈에 의해 인식된 중심라인의 이동정보를 통해 몸의 중심축인 체중이동정보를 검출한 후, 검출된 체중이동정보가 포함되도록 플레이어 움직임정보를 생성하는 것이 바람직하다.
또한 본 발명에서 상기 스크린 골프 운영시스템은 스크린-골프 관리서버를 더 포함하고, 상기 골프경기 운영부는 가상 필드상에서의 플레이어의 위치, 지형 고도와, 홀의 위치, 지형 고도와, 풍속 및 풍향을 포함하는 환경정보와, 해당 플레이어의 스윙이 이루어진 이후, 가상 필드상에서의 골프공의 최종 낙하지점인 스윙결과정보를 검출하고, 상기 컨트롤러는 상기 객체벡터정보 생성부에 의해 생성된 객체벡터정보와, 상기 골프경기 운영부에서 검출된 환경정보 및 스윙결과정보를 매칭시킨 수집데이터를 생성하는 빅데이터 수집부; 상기 객체벡터정보 생성부에 의해 생성된 객체벡터정보와, 상기 골프경기 운영부에서 검출된 환경정보를 매칭시킨 코멘트 요청데이터를 생성하는 코멘트정보 요청부; 상기 빅데이터 수집부에 의해 생성된 수집데이터와, 상기 코멘트정보 요청부에 의해 생성된 코멘트 요청데이터를 상기 스크린-골프 관리서버로 전송하는 제어부를 더 포함하고, 상기 스크린-골프 관리서버는 최적스윙검출 알고리즘과, 상기 컨트롤러로부터 전송받은 수집데이터가 저장되는 데이터베이스부; 기 설정된 주기(T) 마다 실행되며, 주기(T) 동안의 수집데이터의 객체벡터정보, 환경정보 및 스윙결과정보를 활용하여, 가상필드상에서의 해당 플레이어의 최적의 스윙정보인 최적스윙정보를 검출하기 위한 파라미터 값들의 집합을 도출하여 상기 최적스윙검출 알고리즘의 학습을 수행하는 인공지능 학습부; 상기 컨트롤러로부터 전송받은 코멘트 요청데이터의 객체벡터정보 및 환경정보를 상기 최적스윙검출 알고리즘의 입력데이터로 하여, 최적스윙정보를 출력하는 최적스윙정보 생성부; 상기 최적스윙정보 생성부에 의해 생성된 최적스윙정보를 상기 컨트롤러로 전송하는 제2 제어부를 포함하는 것이 바람직하다.
또한 본 발명에서 상기 스크린 골프장 관리시스템은 상기 경기룸에 설치되는 전시단말기를 더 포함하고, 상기 컨트롤러는 상기 스크린-골프 관리서버로부터 최적스윙정보를 전송받으면, 전송받은 최적스윙정보가 상기 전시단말기에 디스플레이 되도록 하는 디스플레이부를 더 포함하는 것이 바람직하다.
또한 본 발명에서 상기 스크린-골프 관리서버는 코멘트정보 생성부를 더 포함하고, 상기 코멘트정보 생성부는 상기 컨트롤러로부터 전송받은 코멘트 요청데이터의 객체벡터정보와, 상기 최적스윙정보 생성부에 의해 생성된 최적스윙정보를 입력받는 데이터 입력모듈; 상기 데이터 입력모듈을 통해 입력된 객체벡터정보 및 최적스윙정보를, ‘플레이어의 각 신체별 움직임’, ’체중이동‘, ‘골프클럽의 각 부위별 움직임’, ’클럽헤드 및 골프공의 충돌정보‘ 중 적어도 하나 이상을 포함하는 기 설정된 카테고리별로 추출하는 카테고리별 데이터 추출모듈; 상기 카테고리별 데이터 추출모듈에 의해 추출된 데이터들을 비교하여, 객체벡터정보와 최적스윙정보에서, 동일 카테고리의 데이터들을 비교하여, 각 카테고리별 차이데이터를 검출하는 카테고리별 데이터 비교모듈; 상기 카테고리별 데이터 비교모듈에 의해 검출된 각 카테고리별 차이데이터들을 매칭시킴과 동시에 해당 스윙의 문제점 및 해결방안 정보를 포함하는 코멘트정보를 생성하는 코멘트정보 생성모듈을 포함하고, 상기 컨트롤러의 상기 디스플레이부는 상기 스크린-골프 관리서버로부터 코멘트정보를 전송받으면, 전송받은 코멘트정보가 상기 전시단말기에 디스플레이 시키는 것이 바람직하다.
또한 본 발명에서 상기 코멘트정보 생성부는 상기 카테고리별 데이터 비교모듈에 의해 검출된 각 카테고리별 차이데이터를 그래픽으로 시각화하는 시각화모듈을 더 포함하고, 상기 코멘트정보 생성모듈은 상기 시각화모듈에 의해 시각화된 각 카테고리별 차이데이터를 포함하는 코멘트정보를 생성하는 것이 바람직하다.
상기 과제와 해결수단을 갖는 본 발명에 따르면 스크린 골프장의 각 경기룸에 설치되는 라이다(LiDAR) 센서들을 이용하여, 객체(플레이어, 골프클럽 및 골프공)를 인식 및 트래킹 한 후, 플레이어의 각 신체의 움직임과, 골프클럽의 각 부위의 움직임, 골프공의 궤적정보를 포함하는 객체벡터정보를 생성하며, 생성된 객체벡터정보를 기반으로 가상골프경기가 운영되도록 구성됨으로써 실제 플레이어의 스윙에 대한 센싱이 정밀하게 이루어질 뿐만 아니라 플레이어의 스윙에 대응하여 가상골프경기가 진행되어 가상골프경기의 리얼리티, 흥미 및 재미를 현저히 높일 수 있다.
또한 본 발명에 의하면 인공지능 기반 스크린-골프 관리서버가 스크린 골프장 관리시스템의 컨트롤러로부터 전송받은 객체벡터정보, 환경정보 및 스윙결과정보를 활용하여, 가상필드상에서의 해당 플레이어의 최적의 스윙정보인 최적스윙정보를 검출하기 위한 파라미터 값들의 집합을 도출하여 최적스윙검출 알고리즘의 학습이 이루어지도록 구성됨으로써 스크린 골프장의 플레이어들의 스윙에 대하여 수집된 빅데이터를 기반으로 유효데이터를 검출하여 검출된 유효데이터를 활용한 다양한 부가서비스를 창출할 수 있게 된다.
또한 본 발명에 의하면 스크린 골프장 관리시스템의 컨트롤러가 경기룸을 복수개로 분할한 세그먼트(Segment)인 큐브별로 분할하여 객체를 감지 및 트래킹 하도록 구성됨으로써 객체 감지 및 트래킹의 정확성 및 정밀도를 현저히 높일 수 있다.
또한 본 발명에 의하면 인공지능 기반 스크린-골프 관리서버가 기 학습된 최적스윙검출 알고리즘을 이용하여, 컨트롤러로부터 전송받은 객체벡터정보 및 환경정보를 분석하여 해당 플레이어의 최적스윙정보를 검출하여 이를 해당 컨트롤러로 제공함과 동시에 컨트롤러가 인공지능 기반 스크린-골프 관리서버로부터 전송받은 최적스윙정보를 전시단말기에 디스플레이 함으로써 플레이어가 현재 가상골프경기의 현재 환경에 따른 최적스윙정보를 참고할 수 있기 때문에 골프 연습/훈련의 효율성 및 효과를 극대화시킬 수 있을 뿐만 아니라 플레이어의 흥미 및 재미를 유발하여 참여도를 높일 수 있게 된다.
또한 본 발명에 의하면 인공지능 기반 스크린-골프 관리서버가 해당 플레이어의 실제스윙과 최적스윙을 비교하여 코멘트정보를 생성하고, 컨트롤러가 전시단말기를 통해 인공지능 기반 스크린-골프 관리서버로부터 전송받은 코멘트정보를 디스플레이 함으로써 플레이어가 스윙 이후, 본인 스윙의 문제점을 신속하고 즉각적으로 인지할 수 있어 골프 연습/훈련의 효율성 및 효과를 더욱 높일 수 있다.
도 1은 국내공개특허 제10-2021-0008745호(발명의 명칭 : 가상 골프 시뮬레이션 처리방법 및 이를 이용한 스크린 골프 시스템)의 스크린 골프 시스템을 나타내는 예시도이다.
도 2는 본 발명의 일실시예인 스크린 골프 운영시스템을 나타내는 구성도이다.
도 3은 도 2의 스크린-골프장 관리시스템을 나타내는 예시도이다.
도 4는 도 3의 컨트롤러에 적용되는 큐브를 설명하기 위한 측면예시도이다.
도 5는 도 4의 평면예시도이다.
도 6은 본 발명의 컨트롤러에서 큐브별로 골프공의 궤적을 감지하는 과정을 설명하기 위한 예시도이다.
도 7은 도 2의 컨트롤러를 나타내는 블록도이다.
도 8은 도 7의 객체벡터정보 생성부를 나타내는 블록도이다.
도 9의 (a)는 도 8의 라이다신호 스캐닝모듈에 의해 생성된 각 큐브별 라이다영상을 나타내는 예시도이고, (b)는 도 8의 각 큐브별 에지영상 변환모듈에 의해 생성된 각 큐브별 에지영상을 나타내는 예시도이다.
도 10은 도 8의 객체인식모듈에 의해 인식된 플레이어의 중심라인을 나타내는 예시도이다.
도 11의 (a), (b)는 본 발명의 클럽헤드 및 골프공의 충돌정보를 설명하기 위한 예시도이다.
도 12는 도 2의 인공지능 기반 스크린-골프 관리서버를 나타내는 블록도이다.
도 13은 도 12의 최적스윙정보 생성부를 나타내는 블록도이다.
도 14는 도 12의 코멘트정보 생성부를 나타내는 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.
도 2는 본 발명의 일실시예인 스크린 골프 운영시스템을 나타내는 구성도이고, 도 3은 도 2의 스크린-골프장 관리시스템을 나타내는 예시도이다.
본 발명의 일실시예인 스크린 골프 운영시스템(1)은 스크린 골프장(200)의 경기룸(210)에 설치되는 라이다(LiDAR) 센서(55-1), ..., (55-N)들을 이용하여 플레이어(Player)의 각 신체의 움직임, 골프클럽(C)의 각 부위의 움직임 및 골프공의 궤적을 수집함과 동시에 수집된 빅데이터를 기반으로 인공지능 알고리즘을 학습화하며, 전시단말기를 통해 플레이어에게 해당 스윙에 대한 코멘트정보를 제공함으로써 스크린 골프 경기의 흥미 및 참여도를 유발하여 대중성을 높일 수 있을 뿐만 아니라 플레이어의 골프 연습/훈련의 효율성 및 효과를 극대화시키기 위한 것이다.
또한 본 발명의 스크린 골프 운영시스템(1)은 도 2에 도시된 바와 같이, 인공지능 기반 스크린-골프 관리서버(3)와, 스크린-골프장 관리시스템(5-1), ..., (5-N)들, 통신망(10)으로 이루어진다.
통신망(10)은 인공지능 기반 스크린-골프 관리서버(3) 및 스크린-골프장 관리시스템(5-1), ..., (5-N)들 사이의 데이터 이동경로를 제공하며, 상세하게로는 광역 통신망(WAN) 등의 유무선 네트워크망, 3G, 4G, 5G, LTE 등으로 구성될 수 있다.
도 2와 3을 참조하여 스크린-골프장 관리시스템(5)을 살펴보면, 스크린-골프장 관리시스템(5)은 통상의 스크린 골프장(200)에 설치되어 인공지능 기반 스크린-골프 관리서버(3)와 연동하며, 1)라이다센서(55-1), ..., (55-N)들을 이용하여 객체(플레이어, 골프클럽 및 골프공)의 움직임 및 궤적을 검출한 후, 이를 인공지능 기반 스크린-골프 관리서버(3)로 전송하여, 빅데이터를 수집하기 위한 목적과, 2)라이다센서(55-1), ..., (55-N)들을 이용하여 객체(플레이어, 골프클럽 및 골프공)의 움직임 및 궤적을 검출한 후, 검출된 객체의 움직임 및 궤적에 따라 골프공 이동정보(최종 목적지 및 궤적)를 생성하여 생성된 골프공 이동정보를 스크린-골프의 경기에 운영되도록 하는 목적과, 3)라이다센서(55-1), ..., (55-N)들을 이용하여 객체(플레이어, 골프클럽 및 골프공)의 움직임 및 궤적을 검출한 후, 이를 인공지능 기반 스크린-골프 관리서버(3)로 전송하여, 해당 플레이에 대한 코멘트정보를 제공하도록 하는 목적을 갖는다.
또한 스크린-골프장 관리시스템(5)은 도 2에 도시된 바와 같이, 인공지능 기반 스크린-골프 관리서버(3)와 연동하여, 해당 가상골프경기의 운영을 관리 및 제어하는 컨트롤러(51)와, 스크린 골프장(200)의 천장 및 측면에 설치되어 객체(플레이어, 골프클럽 및 골프공)의 움직임 및 궤적을 감지하는 라이다센서(55-1), ..., (55-N)들과, 해당 플레이어(Player)의 플레이가 이루어지면 해당 플레이어의 플레이에 따른 코멘트정보가 전시되는 전시단말기(53)로 이루어진다.
이때 전시단말기(53)는 해당 스크린 골프장(200)에 설치되거나 또는 스마트폰 등과 같이 사용자가 소지하는 디지털 디바이스이다.
또한 스크린-골프장 관리시스템(5)이 적용되는 스크린 골프장(200)은 도 3에 도시된 바와 같이, 사용자가 가상의 골프 경기를 수행할 수 있는 소정의 공간인 경기룸(210)이 형성되고, 경기룸(210)의 천장 및 측벽에는 라이다센서(55-1), ..., (55-N)들이 간격을 두고 설치되고, 경기룸(210)의 전방 벽면에는 스크린(220)이 설치되고, 스크린(220)과 이격된 천장에는 스크린(220)으로 경기영상(221)을 투영하기 위한 영상출력장치(230)가 설치된다.
이때 영상출력장치(230)는 컨트롤러(51)의 제어에 따라 경기영상(221)을 출력한다.
또한 스크린 골프장(200)의 경기룸(210)의 바닥면에는 사용자(P)의 골프스윙을 위한 타석(240)이 마련되고, 이러한 타석(240)에는 골프공(B)이 높이는 골프매트(241)가 구비된다.
한편, 라이다(Lidar, Light Detection And Ranging)는 레이저를 발사하여 산란되거나 반사되는 레이저가 돌아오는 시간과 강도, 주파수의 변화, 편광 상태의 변화 등으로부터 측정 대상물의 거리와 농도, 속도, 형상 등 물리적 성질을 측정하며, 극초단파를 이용하여 대상물까지의 왕복 시간을 관측하여 거리를 구하는 레이더(RADAR: Radio Detection And Ranging)와 유사하지만, 전파를 이용하는 레이다와 달리 빛을 이용한다는 차이가 있으며, 이러한 점에서 '영상 레이더'라고 칭해지기도 한다.
라이다센서(55-1), ..., (55-N)들은 경기룸(210)의 천장, 측벽 및 바닥면에 설치되어 라이다(LiDAR) 신호를 송출한 후, 반사되는 신호를 수신 받으며, 송수신된 라이다신호 정보를 컨트롤러(51)로 전송한다.
이때 컨트롤러(51)는 라이다센서(55-1), ..., (55-N)들에 의해 송수신된 라이다신호를 분석 및 스캐닝하여 빛이 반사된 지점을 활용하여 3차원 모델링 영상인 라이다영상을 획득한다.
도 4는 도 3의 컨트롤러에 적용되는 큐브를 설명하기 위한 측면예시도이고, 도 5는 도 4의 평면예시도이다.
또한 컨트롤러(51)는 라이다센서(55-1), ..., (55-N)들로부터 송수신된 라이다신호 정보를 입력받으면, 입력된 라이다신호를 스캐닝하여 라이다영상을 획득하되, 도 4와 5에 도시된 바와 같이, 경기룸(210)을 복수개로 분할하여 각 큐브(S) 별 라이다영상을 획득하게 된다.
이때 큐브(S)들은 경기룸(210)을 수평방향의 길이방향으로 형성되되, 폭방향으로 서로 이격되는 제1 수평가상선(L11)들과, 수평방향의 폭방향으로 형성되되, 길이방향으로 서로 이격되는 제2 수평가상선(L12)들과, 수직방향으로 서로 이격되게 형성되는 수직가상선(L2)들로 분할하였을 때, 분할되는 각 세그먼트(Segment)들을 의미한다.
또한 컨트롤러(51)는 각 큐브별 에지영상이 생성되면, 생성된 각 큐브별 에지영상들을 분석하여 객체(플레이어, 골프클럽 및 골프공)의 움직임 및 궤적정보(이하 객체벡터정보라고 명칭하기로 함)를 검출한다.
즉 객체벡터정보는 해당 플레이어의 움직임(각 신체의 움직임, 체중이동 등)과, 골프클럽의 움직임(각 부위의 회전궤도, 속도, 클럽헤드 및 골프공의 접촉 위치 등), 골프공의 궤적(이동, 속도, 회전, 탄도 등) 정보를 포함한다.
도 6은 본 발명의 컨트롤러에서 큐브별로 골프공의 궤적을 감지하는 과정을 설명하기 위한 예시도이다.
일반적으로 골프는 스윙에 따라, ’원플레인스윙(One plane swing)’, ‘투플레인스윙(Two plane swing)’, ‘미들플레인 스윙(Middle plane swing)’, ‘쿼터스윙(Quarter swing)’, ‘백스윙(Back swing)’, ‘다운힐스윙(Down hill swing)’, ‘업앤힐스윙(Up and hill swing)’ 등으로 분류된다.
이러한 골프는 전술하였던 스윙의 종류와, 스윙자세, 스윙세기, 스윙궤도, 클럽헤드와 골프공이 충돌되는 위치 및 면적 등의 다양한 변수에 따라, 골프공의 궤적이 다양하게 이루어지는 매우 예민한 스포츠이다.
본원 발명은 이러한 골프의 특성을 감안한 것으로서, 본 발명의 컨트롤러(51)는 라이다센서(55-1), ..., (55-N)들을 활용하여 각 큐브(S)별로 객체(플레이어, 골프클럽 및 골프공)를 감지하기 때문에 객체 트래킹의 정밀도 및 신뢰도를 높일 수 있다.
예를 들어, 도 6에 도시된 바와 같이, 단순히 골프공(B)의 최초 위치(가)와 최종 위치(나) 만을 활용하여 공의 궤적을 검출하는 경우, 골프공(B)의 최초 위치(가) 및 최종 위치(나)를 연결한 선(L)을 공의 궤적으로 검출하게 되나, 본 발명에서는 각 큐브별로 골프공(B)의 객체를 감지하기 때문에 a -> b -> c -> d로 이루어지는 공의 궤적을 정밀하게 검출할 수 있게 된다.
다시 말하면, 본원 발명은 경기룸(210)의 천장 및 측벽에 설치되는 라이다(LiDAR) 센서(55)들을 이용하여, 각 큐브(S)별로 객체 감지 및 트래킹이 이루어지기 때문에 플레이어의 움직임, 골프클럽의 움직임 및 골프공의 궤적을 정밀하게 검출할 수 있게 된다.
도 7은 도 2의 컨트롤러를 나타내는 블록도이다.
컨트롤러(51)는 도 7에 도시된 바와 같이, 제어부(500)와, 메모리(510), 데이터 송수신부(520), 객체벡터 생성부(530), 골프경기 운영부(540), 빅데이터 수집부(550), 코멘트정보 요청부(560), 디스플레이부(570)로 이루어진다.
제어부(500)는 데이터 송수신부(520)를 통해 라이다센서(55-1), ..., (55-N)들로부터 전송받은 라이다신호 정보를 객체벡터정보 생성부(530)로 입력한다.
또한 제어부(500)는 객체벡터정보 생성부(530)에 의해 객체벡터정보가 생성되면, 객체벡터정보 생성부(530)에 의해 생성된 객체벡터정보를 골프경기 운영부(540), 빅데이터 수집부(550) 및 코멘트정보 요청부(560)로 입력한다.
또한 제어부(500)는 빅데이터 수집부(550) 및 코멘트정보 요청부(560)에 의해 수집데이터 및 코멘트 요청데이터가 생성되면, 생성된 수집데이터 및 코멘트 요청데이터가 인공지능 기반 스크린-골프 관리서버(3)로 전송되도록 데이터 송수신부(520)를 제어한다.
또한 제어부(500)는 데이터 송수신부(520)를 통해 인공지능 기반 스크린-골프 관리서버(3)로부터 코멘트정보를 전송받으면 전송받은 코멘트정보를 전시단말기(53)로 전송하여 해당 전시단말기(53)에서 해당 플레이어의 타격에 대한 코멘트정보가 디스플레이 되도록 한다.
메모리(510)에는 각 라이다센서(55)의 설치 위치정보와, 기 설정된 각 큐브별 위치정보가 기 설정되어 저장된다.
또한 메모리(510)에는 후술되는 도 8의 객체벡터정보 생성부(520)에 의해 생성된 각 큐브별 라이다영상들, 각 큐브별 에지영상들 및 객체벡터정보들이 임시 저장된다.
또한 메모리(510)에는 기 제작된 가상골프 시뮬레이션 프로그램이 저장된다.
이때 가상골프 시뮬레이션 프로그램은 스크린(220)에 투영될 경기영상 콘텐츠(221)를 포함하며, 외부로부터 객체벡터정보를 전송받으면, 전송받은 객체벡터정보에 따라 골프공의 이동정보를 생성한 후, 생성된 골프공 이동정보를 백그라운드 영상에 매칭시켜 경기영상 콘텐츠(221)를 생성한다. 이러한 가상골프 시뮬레이션 프로그램은 통상의 스크린 골프장에서 널리 사용되고 있기 때문에 상세한 설명은 생략하기로 한다.
데이터 송수신부(520)는 인공지능 기반 스크린-골프 관리서버(3)와 데이터를 송수신한다.
도 8은 도 7의 객체벡터정보 생성부를 나타내는 블록도이고, 도 9의 (a)는 도 8의 라이다신호 스캐닝모듈에 의해 생성된 각 큐브별 라이다영상을 나타내는 예시도이고, (b)는 도 8의 각 큐브별 에지영상 변환모듈에 의해 생성된 각 큐브별 에지영상을 나타내는 예시도이다.
객체벡터정보 생성부(530)는 도 8에 도시된 바와 같이, 라이다신호 스캐닝모듈(531)과, 각 큐브별 에지영상 변환모듈(532), 객체인식모듈(533), 객체 트래킹모듈(534), 플레이어 움직임정보 생성모듈(535), 골프클럽 움직임정보 생성모듈(536), 골프공 궤적정보 생성모듈(537), 객체벡터정보 생성모듈(538)로 이루어진다.
라이다신호 스캐닝모듈(531)은 라이다센서(55-1), ..., (55-N)들에 의해 송수신된 라이다신호를 스캐닝하며, 스캐닝정보와 기 설정된 큐브(S)별 위치정보를 활용하여 도 9의 (a)에 도시된 바와 같이, 각 큐브별 라이다영상(410)을 생성한다.
이때 라이다신호 스캐닝모듈(531)에 의해 생성된 각 큐브별 라이다영상(410)들은 제어부(500)의 제어에 따라, 각 큐브별 에지영상 변환모듈(532)로 출력된다.
각 큐브별 에지영상 변환모듈(532)은 각 큐브별 라이다영상 생성모듈(531)에 의해 생성된 도 9의 (a)의 라이다영상(410)에 대하여 에지를 검출하기 위하여 통상적으로 사용되는 소벨필터를 적용하여 픽셀의 변화율이 임계치 이상인 픽셀을 검출하여 도 9의 (b)에 도시된 바와 같은 에지라인으로 이루어지는 각 큐브별 에지영상(420)을 추출한다.
이때 컨트롤러(51)가 도 9의 (a)의 각 큐브별 라이다영상(420)만을 생성한다고 가정할 때, 해당 각 큐브별 라이다영상(420)은 다수의 에지(경계선)들로 이루어지기 때문에 데이터 처리량이 과도하게 증가하게 되나, 본 발명에서는 컨트롤러(51)의 각 큐브별 에지영상 추출모듈(532)이 도 9의 (b)에서와 같이, 임계치 이상의 변화율을 갖는 에지들만으로 이루어지는 각 큐브별 에지영상(420)을 생성함으로써 연산처리량을 현저히 절감시켜 연산처리 효율성을 극대화시킬 수 있게 된다.
이때 각 큐브별 에지영상 추출모듈(532)에 의해 생성된 각 큐브별 에지영상(420)들은 제어부(500)의 제어에 따라 메모리(510)에 임시 저장됨과 동시에 데이터 송수신부(520)를 통해 인공지능 기반 스크린-골프 관리서버(3)로 전송된다.
도 10은 도 8의 객체인식모듈에 의해 인식된 플레이어의 중심라인을 나타내는 예시도이다.
객체인식모듈(533)은 각 큐브별 에지영상 변환모듈(532)에 의해 변환된 각 큐브별 에지영상(420)을 분석하여 객체(플레이어, 골프클럽 및 골프공)를 인식하며, 상세하게로는 1)감지된 객체가 플레이어일 때, 어깨, 팔, 손목, 다리, 가슴 등과 같은 플레이어의 각 신체와, 2)감지된 객체가 골프클럽일 때, 클럽헤드, 그립, 샤프트 등과 같은 골프클럽의 각 부위와, 3)골프공을 인식한다.
또한 객체인식모듈(533)은 인식된 객체가 플레이어(P)일 때, 각 큐브별 에지영상 변환모듈(532)에 의해 변화된 각 큐브별 에지영상(420)으로부터 플레이어 객체(P)의 중심라인(431)을 추출한다.
이때 중심라인(431)은 도 10에 도시된 바와 같이, 플레이어 객체(P)의 에지라인과 일정간격으로 균등하게 형성되는 수평선들의 교점의 중간값 픽셀을 연결하는 선을 의미한다.
또한 객체인식모듈(533)은 추출된 플레이어 객체(P)의 중심라인(431)을 활용하여, 신체의 머리(A), 손(B, C), 발(D, E)의 위치를 결정한다.
객체 트래킹모듈(534)은 객체인식모듈(533)에 의해 인식된 객체(플레이어, 골프클럽 및 골프공)의 움직임을 추적한다.
플레이어 움직임정보 생성모듈(535)은 객체 인식모듈(533)에 의해 인식되어 객체 트래킹모듈(534)에 의해 트래킹 된, 플레이어(Player)의 각 신체(팔, 손, 어깨, 발 등)의 움직임(이동방향, 속도 및 회전궤도 등)을 검출한다.
또한 플레이어 움직임정보 생성모듈(535)은 객체인식모듈(533)에 의해 인식된 중심라인의 이동정보를 통해 몸의 중심축인 체중이동정보를 검출한다.
즉 플레이어 움직임정보 생성모듈(535)은 체중이동정보와, 각 신체(팔, 손, 어깨, 발 등)의 이동방향, 속도 및 회전궤도 등이 매칭된 플레이어 움직임정보를 생성한다.
도 11의 (a), (b)는 본 발명의 클럽헤드 및 골프공의 충돌정보를 설명하기 위한 예시도이다.
골프클럽 움직임정보 생성모듈(536)은 객체 인식모듈(533)에 의해 인식되어 객체 트래킹모듈(534)에 의해 트래킹 된, 골프클럽의 각 부위(클럽헤드, 그립, 샤프트 등)의 움직임(이동방향, 속도 및 회전궤도 등)을 검출한다.
또한 골프클럽 움직임정보 생성모듈(536)은 도 11의 (a), (b)에 도시된 바와 같이, 객체 인식모듈(533)에 의해 인식된 골프클럽(C)의 클럽헤드(C1)가 골프공(B)과 충돌이 이루어질 때, 클럽헤드(C1)와 골프공(B)의 충돌이 이루어지는 클럽헤드(C1) 상의 위치 및 면적을 나타내는 클럽헤드 충돌정보(L)를 검출한다.
즉 골프클럽 움직임정보 생성모듈(536)은 클럽헤드 충돌정보와, 골프클럽의 각 부위(클럽헤드, 그립, 샤프트 등)의 이동방향, 속도 및 회전궤도 등이 매칭된 골프클럽 움직임정보를 생성한다.
골프공 궤적정보 생성모듈(537)은 객체 인식모듈(533)에 의해 인식되어 객체 트래킹모듈(534)에 의해 트래킹 된, 골프공의 위치, 이동속도, 궤적 및 탄도를 포함하는 골프공 궤적정보를 생성한다.
이때 본 발명에서는 전술하였던 바와 같이, 골프공의 궤적을 큐브(S)별로 분할하여 감지 및 트래킹하기 때문에 골프공의 궤적을 정밀하고 신속하게 트래킹 할 수 있게 된다.
객체벡터정보 생성모듈(538)은 플레이어 움직임정보 생성모듈(535), 골프클럽 움직임정보 생성모듈(536) 및 골프공 궤적정보 생성모듈(537)에서 생성된 플레이어 움직임정보, 골프클럽 움직임정보 및 골프공 궤적정보를 포함하는 객체벡터정보를 생성한다.
이때 객체벡터정보 생성모듈(538)에 의해 생성된 객체벡터정보는 제어부(500)의 제어에 따라, 1)데이터 송수신부(520)를 통해 인공지능 기반 스크린-골프 관리서버(3)로 전송되고, 2)골프경기 운영부(540)로 입력되고, 3)메모리(510)에 임시 저장된다.
골프경기 운영부(540)는 가상골프 시뮬레이션 프로그램을 활용하여, 실제 필드에 대응하는 가상 필드 컨텐츠를 기반으로 가상골프경기가 진행되는 경기영상을 제공함과 동시에 가상골프경기에 필요한 데이터를 제공함으로써 가상골프경기의 운영을 관리 및 제어한다.
또한 골프경기 운영부(540)는 객체벡터정보 생성부(530)로부터 입력된 객체벡터정보를 입력받으면, 입력된 객체벡터정보를 기반으로 가상골프경기를 운영한다.
이러한 골프경기 운영부(540)에서 가상골프경기를 운영하는 기술 및 방법은 통상의 스크린 골프장에서 널리 사용되는 기술 및 방법이기 때문에 상세한 설명은 생략하기로 한다.
또한 골프경기 운영부(540)는 가상 필드상에서의 플레이어의 위치, 지형, 고도 등과, 홀의 위치, 지형, 고도 등과, 풍속 및 풍향 등을 포함하는 환경정보를 생성한다.
또한 골프경기 운영부(540)는 해당 플레이어의 스윙이 이루어진 이후, 가상골프 필드상에서의 골프공의 최종 낙하지점인 스윙결과정보를 검출한다.
이때 골프경기 운영부(540)에 의해 생성된 환경정보는 빅데이터 수집부(550) 및 코멘트정보 요청부(560)로 각각 입력되고, 골프경기 운영부(540)에 의해 생성된 스윙결과정보는 빅데이터 수집부(550)로 입력된다.
빅데이터 수집부(550)는 객체벡터정보 생성부(530)에 의해 생성된 객체벡터정보와, 골프경기 운영부(540)로부터 입력된 환경정보 및 스윙결과정보를 매칭시켜 수집데이터를 생성한다.
즉 빅데이터 수집부(550)에 의해 생성되는 수집데이터에는 객체벡터정보와, 환경정보, 스윙결과정보가 포함된다.
이때 빅데이터 수집부(550)에 의해 생성된 수집데이터는 제어부(500)의 제어에 따라 데이터 송수신부(520)를 통해 인공지능 기반 스크린-골프 관리서버(3)로 전송된다.
코멘트정보 요청부(560)는 객체벡터정보 생성부(530) 및 골프경기 운영부(540)로부터 객체벡터정보 및 환경정보를 입력받는다.
또한 코멘트정보 요청부(560)는 입력된 객체벡터정보 및 환경정보를 포함하는 코멘트 요청데이터를 생성한다.
이때 코멘트정보 요청부(560)에 의해 생성된 코멘트 요청데이터는 제어부(500)의 제어에 따라 데이터 송수신부(520)를 통해 인공지능 기반 스크린-골프 관리서버(3)로 전송된다.
디스플레이부(570)는 제어부(500)의 제어에 따라, 인공지능 기반 스크린-골프 관리서버(3)로부터 전송받은 코멘트정보를 전시단말기(53)에 디스플레이 한다.
도 12는 도 2의 인공지능 기반 스크린-골프 관리서버를 나타내는 블록도이다.
인공지능 기반 스크린-골프 관리서버(3)는 도 12에 도시된 바와 같이, 제어부(30)와, 데이터베이스부(31), 통신 인터페이스부(32), 인공지능 학습부(33), 최적스윙정보 생성부(34), 코멘트정보 생성부(36), 부가서비스부(37)로 이루어진다.
제어부(30)는 인공지능 기반 스크린-골프 관리서버(3)의 O.S(Operating System)이며, 제어대상(31), (32), (33), (34), (36), (37)들을 관리 및 제어한다.
또한 제어부(30)는 통신 인터페이스부(32)를 통해 스크린-골프장 관리시스템(5)의 컨트롤러(51)로부터 각 큐브별 라이다영상 및 각 큐브별 에지영상을 전송받으면, 이를 데이터베이스부(31)에 저장한다.
또한 제어부(30)는 통신 인터페이스부(32)를 통해 스크린-골프장 관리시스템(5)의 컨트롤러(51)로부터 수집데이터를 전송받으면, 전송받은 수집데이터를 데이터베이스부(31)에 저장한다.
또한 제어부(30)는 통신 인터페이스부(32)를 통해 스크린-골프장 관리시스템(5)의 컨트롤러(51)로부터 코멘트 요청데이터를 전송받으면, 전송받은 코멘트 요청데이터를 최적스윙정보 생성부(34)로 입력한다.
또한 제어부(30)는 기 설정된 주기(T) 마다 인공지능 학습부(33)를 실행시킨다.
또한 제어부(30)는 코멘트정보 생성부(36)에 의해 코멘트정보가 생성되면, 생성된 코멘트정보가 해당 컨트롤러(51)로 전송되도록 통신 인터페이스부(32)를 제어한다.
데이터베이스부(31)에는 각 스크린-골프장 관리시스템(5)의 컨트롤러(51)의 통신식별정보가 저장된다.
또한 데이터베이스부(31)에는 각 스크린-골프장 관리시스템(5)의 경기룸(210)에 설치된 라이다센서(55)들 각각의 식별 및 위치정보와, 해당 경기룸에 적용된 각 큐브(S)의 위치정보들이 기 설정되어 저장된다.
또한 데이터베이스부(31)에는 인공지능 학습부(33)에서 학습된 머신러닝 알고리즘인 최적스윙검출 알고리즘이 저장된다.
이때 최적스윙검출 알고리즘은 해당 플레이어의 수집데이터(객체벡터정보, 환경정보 및 스윙결과정보)를 입력데이터로 하여, 인공지능 학습부(33)에서 결정된 파라미터 값들의 집합을 적용하여 최적스윙정보(플레이어의 각 신체의 움직임, 골프클럽 각 부위의 움직임, 클럽헤드 충돌정보 등)를 검출하는 머신러닝 알고리즘이며, 인공지능 학습부(33)에 의해 기 설정된 주기(T) 마다 학습화한다.
이때 ‘환경정보’는 전술하였던 바와 같이, 가상 필드상에서의 플레이어의 위치, 지형, 고도 등과, 홀의 위치, 지형, 고도 등과, 풍속 및 풍향 등을 포함하고, ‘클럽헤드 충돌정보’는 클럽헤드(C1)와 골프공(B)의 충돌이 이루어지는 클럽헤드(C1) 상의 위치 및 면적을 포함하고, ‘스윙결과정보’는 해당 플레이어의 타격이 이루어진 이후, 가상 필드상에서의 골프공의 최종 낙하지점을 포함한다.
또한 데이터베이스부(31)에는 스크린-골프장 관리시스템(5)의 컨트롤러(51)로부터 전송받은 수집데이터가 저장된다. 이때 수집데이터에는 객체벡터정보, 환경정보 및 스윙결과정보가 포함된다.
통신 인터페이스부(32)는 스크린-골프장 관리시스템(5)의 컨트롤러(51)와 데이터를 송수신한다.
인공지능 학습부(33)는 제어부(30)의 제어에 따라, 기 설정된 주기(T) 마다 실행되며, 인공지능을 이용하여 최적스윙검출 알고리즘을 학습한다.
이때 최적스윙검출 알고리즘은 해당 주기(T) 동안의 수집데이터(객체벡터정보, 환경정보 및 스윙결과정보)를 활용하여, 가상 필드상에서의 해당 플레이어의 환경(플레이어의 위치, 지형, 고도 등과, 홀의 위치, 지형, 고도 등과, 풍속 및 풍향 등)에 따른 최적의 스윙(플레이어의 각 신체의 움직임, 골프클럽의 각 부의의 움직임, 클럽헤드 충돌위치 등)을 검출하기 위한 파라미터 값들의 집합을 도출한다.
도 13은 도 12의 최적스윙정보 생성부를 나타내는 블록도이다.
최적스윙정보 생성부(34)는 도 13에 도시된 바와 같이, 데이터 입력모듈(341)과, 인공지능 기반 분석모듈(342), 최적스윙정보 생성모듈(343)로 이루어진다.
데이터 입력모듈(341)은 제어부(30)의 제어에 따라, 컨트롤러(51)로부터 전송받은 코멘트 요청데이터를 입력받는다.
이때 코멘트 요청데이터에는 객체벡터정보 및 환경정보가 포함된다.
인공지능 기반 분석모듈(342)은 입력된 객체벡터정보 및 환경정보를, 인공지능 학습부(33)에 의해 학습된 최적스윙검출 알고리즘의 입력데이터로 하여, 분석을 실행한다.
최적스윙정보 생성모듈(343)은 인공지능 기반 분석모듈(342)에서 최적스윙검출 알고리즘으로부터 출력된, 플레이어의 각 신체의 움직임정보 및 체중이동정보와, 골프클럽의 각 부위의 움직임정보 및 충돌정보를 포함하는 최적스윙정보를 생성한다.
이때 제어부(30)는 최적스윙정보 생성모듈(343)에 의해 생성된 최적스윙정보를 코멘트정보 생성부(36)로 입력한다.
코멘트정보 생성부(36)는 컨트롤러(51)로부터 전송받은 코멘트 요청데이터의 객체벡터정보와, 최적스윙정보 생성부(34)에 의해 생성된 최적스윙정보를 비교한다.
도 14는 도 12의 코멘트정보 생성부를 나타내는 블록도이다.
코멘트정보 생성부(36)는 도 14에 도시된 바와 같이, 데이터 입력모듈(361)과, 카테고리별 데이터 추출모듈(362), 카테고리별 데이터 비교모듈(363), 시각화모듈(364), 코멘트정보 생성모듈(365)로 이루어진다.
데이터 입력모듈(361)은 컨트롤러(51)로부터 전송받은 코멘트 요청데이터의 객체벡터정보를 입력받으며, 최적스윙정보 생성부(34)에 의해 생성된 최적스윙정보를 입력받는다.
카테고리별 데이터 추출모듈(362)은 입력된 객체벡터정보 및 최적스윙정보를 기 설정된 카테고리별로 추출한다. 이때 카테고리는 ‘플레이어의 각 신체별 움직임’, ’체중이동‘, ‘골프클럽의 각 부위별 움직임’, ’클럽헤드 및 골프공의 충돌정보‘로 이루어진다.
일반적으로, 골프는 자세, 스윙종류, 각 신체의 움직임, 스윙세기, 스윙궤도, 클럽헤드 및 골프공의 충돌위치 등의 다양한 변수에 따라, 골프공의 궤적이 다양하게 이루어지는 매우 예민한 스포츠이다.
즉 본원 발명의 카테고리별 데이터 추출모듈(362)은 이러한 골프의 특성을 감안한 것으로서, 실제 플레이어의 스윙에 관련된 정보인 객체벡터정보와, 플레이어 및 홀의 위치에 따른 최적스윙정보를 기 설정된 카테고리별로 추출함으로써 차후 이들의 비교를 통해 플레이어의 스윙에서 잘못된 부분의 검출이 정확하고 신속하게 이루어질 수 있게 된다.
카테고리별 데이터 비교모듈(363)은 카테고리별 데이터 추출모듈(362)에 의해 추출된 데이터들을 비교하여, 객체벡터정보와 최적스윙정보에서, 동일 카테고리의 데이터들을 비교하여, 각 카테고리별 차이데이터를 검출한다.
예를 들어, 최적스윙정보의 충돌정보가 ‘x’이고, 객체벡터정보의 충돌정보가 ‘y’일 때, 카테고리별 데이터 비교모듈(363)은 ‘당점’ 카테고리의 데이터들을 비교하여 ‘l x - y l’을 차이데이터로 검출할 수 있다.
시각화모듈(364)은 카테고리별 데이터 비교모듈(363)에 의해 검출된 각 카테고리별 차이데이터를 그래픽, 그림, 텍스트, 기호 등으로 시각화한다.
코멘트정보 생성모듈(365)은 시각화모듈(364)에 의해 시각화된 각 카테고리별 차이데이터들을 매칭시킴과 동시에 문제점 및 해결방안 등의 정보를 포함하는 코멘트정보를 생성한다.
이때 코멘트정보 생성모듈(365)에 의해 생성된 코멘트정보는 제어부(30)의 제어에 따라 통신 인터페이스부(32)를 통해 스크린-골프장 관리시스템(5)의 컨트롤러(51)로 전송된다.
이와 같이 본 발명의 스크린 골프 운영시스템(1)은 스크린 골프장의 각 경기룸에 설치되는 라이다(LiDAR) 센서들을 이용하여, 객체(플레이어, 골프클럽 및 골프공)를 인식 및 트래킹 한 후, 플레이어의 각 신체의 움직임과, 골프클럽의 각 부위의 움직임, 골프공의 궤적정보를 포함하는 객체벡터정보를 생성하며, 생성된 객체벡터정보를 기반으로 가상골프경기가 운영되도록 구성됨으로써 실제 플레이어의 스윙에 대한 센싱이 정밀하게 이루어질 뿐만 아니라 플레이어의 스윙에 대응하여 가상골프경기가 진행되어 가상골프경기의 리얼리티, 흥미 및 재미를 현저히 높일 수 있다.
또한 본 발명의 스크린 골프 운영시스템(1)은 인공지능 기반 스크린-골프 관리서버가 스크린 골프장 관리시스템의 컨트롤러로부터 전송받은 객체벡터정보, 환경정보 및 스윙결과정보를 활용하여, 가상필드상에서의 해당 플레이어의 최적의 스윙정보인 최적스윙정보를 검출하기 위한 파라미터 값들의 집합을 도출하여 최적스윙검출 알고리즘의 학습이 이루어지도록 구성됨으로써 스크린 골프장의 플레이어들의 스윙에 대하여 수집된 빅데이터를 기반으로 유효데이터를 검출하여 검출된 유효데이터를 활용한 다양한 부가서비스를 창출할 수 있게 된다.
또한 본 발명의 스크린 골프 운영시스템(1)은 스크린 골프장 관리시스템의 컨트롤러가 경기룸을 복수개로 분할한 세그먼트(Segment)인 큐브별로 분할하여 객체를 감지 및 트래킹 하도록 구성됨으로써 객체 감지 및 트래킹의 정확성 및 정밀도를 현저히 높일 수 있다.
또한 본 발명의 스크린 골프 운영시스템(1)은 인공지능 기반 스크린-골프 관리서버가 기 학습된 최적스윙검출 알고리즘을 이용하여, 컨트롤러로부터 전송받은 객체벡터정보 및 환경정보를 분석하여 해당 플레이어의 최적스윙정보를 검출하여 이를 해당 컨트롤러로 제공함과 동시에 컨트롤러가 인공지능 기반 스크린-골프 관리서버로부터 전송받은 최적스윙정보를 전시단말기에 디스플레이 함으로써 플레이어가 현재 가상골프경기의 현재 환경에 따른 최적스윙정보를 참고할 수 있기 때문에 골프 연습/훈련의 효율성 및 효과를 극대화시킬 수 있을 뿐만 아니라 플레이어의 흥미 및 재미를 유발하여 참여도를 높일 수 있게 된다.
또한 본 발명의 스크린 골프 운영시스템(1)은 인공지능 기반 스크린-골프 관리서버가 해당 플레이어의 실제스윙과 최적스윙을 비교하여 코멘트정보를 생성하고, 컨트롤러가 전시단말기를 통해 인공지능 기반 스크린-골프 관리서버로부터 전송받은 코멘트정보를 디스플레이 함으로써 플레이어가 스윙 이후, 본인 스윙의 문제점을 신속하고 즉각적으로 인지할 수 있어 골프 연습/훈련의 효율성 및 효과를 더욱 높일 수 있다.
1:스크린 골프 운영시스템 3:인공지능 기반 스크린-골프 관리서버
5:스크린-골프장 관리시스템 30:제어부
31:데이터베이스부 32:통신 인터페이스부
33:인공지능 학습부 34:최적스윙정보 생성부
36:코멘트정보 생성부 37:부가서비스
51:컨트롤러 53:전시단말기
55-1, ..., 55-N:라이다센서들 200:스크린 골프장
210:경기룸 220:스크린
230:영상투영장치 240:타석
341:데이터 입력모듈 342:인공지능 기반 분석모듈
343:최적스윙정보 생성모듈 361:데이터 입력모듈
362:카테고리별 데이터 추출모듈 363:카테고리별 데이터 비교모듈
364:시각화모듈 365:코멘트정보 생성모듈
531:라이다신호 스캐닝모듈 532:각 큐브별 에지영상 변환모듈
533:객체인식모듈 534:객체 트래킹모듈
535:플레이어 움직임정보 생성모듈 536:골프클럽 움직임정보 생성모듈
537:골프공 궤적정보 생성모듈 538:객체벡터정보 생성모듈

Claims (7)

  1. 스크린 골프장의 운영을 관리하는 스크린 골프장 관리시스템을 포함하는 스크린 골프 운영시스템에 있어서:
    상기 스크린 골프장 관리시스템은
    상기 스크린 골프장의 경기룸의 천장 및 측벽에 간격을 두고 설치되어 상기 경기룸으로 라이다(LiDAR) 신호를 송출한 후, 반사신호를 수신 받는 라이다센서들;
    컨트롤러를 포함하고,
    상기 컨트롤러는
    상기 라이다센서들에 의해 송수신된 라이다신호정보를 스캐닝하여, 객체(플레이어, 골프클럽 및 골프공)를 인식 및 트래킹 하여, 플레이어의 움직임정보와, 골프클럽의 움직임정보 및 골프공의 궤적정보를 포함하는 객체벡터정보를 생성하는 객체벡터정보 생성부;
    기 제작된 가상골프 시뮬레이션 프로그램을 활용하여, 실제 필드에 대응하는 가상 필드 컨텐츠를 기반으로 가상골프경기가 진행되는 경기영상을 제공함과 동시에 가상골프경기의 운영을 관리 및 제어하며, 상기 객체벡터정보 생성부로부터 입력된 객체벡터정보를 기반으로 가상골프경기를 운영하는 골프경기 운영부;
    상기 경기룸을 복수개로 분할한 세그먼트(Segment)를 큐브(S)라고 할 때, 각 큐브의 위치정보가 저장되는 메모리를 포함하고,
    상기 객체벡터정보 생성부는
    상기 라이다센서들에 의해 송수신된 라이다신호를 스캐닝 하며, 스캐닝정보와 기 설정된 큐브(S)별 위치정보를 활용하여 각 큐브별 라이다영상을 생성하는 라이다신호 스캐닝모듈;
    상기 각 큐브별 라이다신호 스캐닝모듈에 의해 생성된 각 큐브별 라이다영상에 대하여, 소벨필터를 적용하여 픽셀 변화율이 임계치 이상인 픽셀을 검출하여, 에지라인으로 이루어지는 각 큐브별 에지영상을 추출하는 각 큐브별 에지영상 변환모듈;
    상기 각 큐브별 에지영상 변환모듈에 의해 변환된 각 큐브별 에지영상을 분석하여 객체(플레이어, 골프클럽 및 골프공)를 인식하며, 1)감지된 객체가 플레이어일 때, 해당 플레이어의 각 신체를 인식하며, 2)감지된 객체가 골프클럽일 때, 골프클럽의 각 부위를 인식하는 객체인식모듈;
    상기 객체인식모듈에 의해 인식된 객체의 움직임을 추적하는 객체 트래킹모듈;
    상기 객체 트래킹모듈에 의해 트래킹 된 객체가 플레이어일 때 실행되며, 플레이어의 각 신체의 움직임을 검출한 후, 검출된 플레이어의 각 신체의 움직임을 포함하는 플레이어 움직임정보를 생성하는 플레이어 움직임정보 생성모듈;
    상기 객체 트래킹모듈에 의해 트래킹 된 객체가 골프클럽일 때 실행되며, 골프클럽의 각 부위의 움직임과, 클럽헤드와 골프공이 충돌하는 위치 및 면적을 포함하는 골프공 충돌정보를 검출한 후, 검출된 골프클럽의 각 부위의 움직임과 골프공 충돌정보를 포함하는 골프클럽 움직임정보를 생성하는 골프클럽 움직임정보 생성모듈;
    상기 객체 트래킹모듈에 의해 트래킹 된 객체가 골프공일 때 실행되며, 골프공의 위치, 이동속도, 궤적 및 탄도를 검출한 후, 검출된 골프공의 위치, 이동속도, 궤적 및 탄도를 포함하는 골프공 궤적정보를 생성하는 골프공 궤적정보 생성모듈;
    상기 플레이어 움직임정보 생성모듈, 상기 골프클럽 움직임정보 생성모듈 및 골프공 궤적정보 생성모듈에서 생성된 플레이어 움직임정보, 골프클럽 움직임정보 및 골프공 궤적정보를 포함하는 객체벡터정보를 생성하는 객체벡터정보 생성모듈을 포함하는 것을 특징으로 하는 스크린 골프 운영시스템.
  2. 삭제
  3. 제1항에 있어서, 상기 객체인식모듈은
    각 큐브별 에지영상으로부터 인식된 객체가 플레이어일 때, 플레이어의 에지라인과 일정간격으로 균등하게 형성되는 수평선들의 교점인 중간값 픽셀들을 연결한 선인 중심라인을 추출한 후, 추출된 중심라인을 활용하여 해당 플레이어의 신체를 인식하고,
    상기 플레이어 움직임정보 생성모듈은
    상기 객체인식모듈에 의해 인식된 중심라인의 이동정보를 통해 몸의 중심축인 체중이동정보를 검출한 후, 검출된 체중이동정보가 포함되도록 플레이어 움직임정보를 생성하는 것을 특징으로 하는 스크린 골프 운영시스템.
  4. 제3항에 있어서, 상기 스크린 골프 운영시스템은 스크린-골프 관리서버를 더 포함하고,
    상기 골프경기 운영부는
    가상 필드상에서의 플레이어의 위치, 지형 고도와, 홀의 위치, 지형 고도와, 풍속 및 풍향을 포함하는 환경정보와, 해당 플레이어의 스윙이 이루어진 이후, 가상 필드상에서의 골프공의 최종 낙하지점인 스윙결과정보를 검출하고,
    상기 컨트롤러는
    상기 객체벡터정보 생성부에 의해 생성된 객체벡터정보와, 상기 골프경기 운영부에서 검출된 환경정보 및 스윙결과정보를 매칭시킨 수집데이터를 생성하는 빅데이터 수집부;
    상기 객체벡터정보 생성부에 의해 생성된 객체벡터정보와, 상기 골프경기 운영부에서 검출된 환경정보를 매칭시킨 코멘트 요청데이터를 생성하는 코멘트정보 요청부;
    상기 빅데이터 수집부에 의해 생성된 수집데이터와, 상기 코멘트정보 요청부에 의해 생성된 코멘트 요청데이터를 상기 스크린-골프 관리서버로 전송하는 제어부를 더 포함하고,
    상기 스크린-골프 관리서버는
    최적스윙검출 알고리즘과, 상기 컨트롤러로부터 전송받은 수집데이터가 저장되는 데이터베이스부;
    기 설정된 주기(T) 마다 실행되며, 주기(T) 동안의 수집데이터의 객체벡터정보, 환경정보 및 스윙결과정보를 활용하여, 가상필드상에서의 해당 플레이어의 최적의 스윙정보인 최적스윙정보를 검출하기 위한 파라미터 값들의 집합을 도출하여 상기 최적스윙검출 알고리즘의 학습을 수행하는 인공지능 학습부;
    상기 컨트롤러로부터 전송받은 코멘트 요청데이터의 객체벡터정보 및 환경정보를 상기 최적스윙검출 알고리즘의 입력데이터로 하여, 최적스윙정보를 출력하는 최적스윙정보 생성부;
    상기 최적스윙정보 생성부에 의해 생성된 최적스윙정보를 상기 컨트롤러로 전송하는 제2 제어부를 포함하는 것을 특징으로 하는 스크린 골프 운영시스템.
  5. 제4항에 있어서, 상기 스크린 골프장 관리시스템은 상기 경기룸에 설치되는 전시단말기를 더 포함하고,
    상기 컨트롤러는
    상기 스크린-골프 관리서버로부터 최적스윙정보를 전송받으면, 전송받은 최적스윙정보가 상기 전시단말기에 디스플레이 되도록 하는 디스플레이부를 더 포함하는 것을 특징으로 하는 스크린 골프 운영시스템.
  6. 제5항에 있어서, 상기 스크린-골프 관리서버는 코멘트정보 생성부를 더 포함하고,
    상기 코멘트정보 생성부는
    상기 컨트롤러로부터 전송받은 코멘트 요청데이터의 객체벡터정보와, 상기 최적스윙정보 생성부에 의해 생성된 최적스윙정보를 입력받는 데이터 입력모듈;
    상기 데이터 입력모듈을 통해 입력된 객체벡터정보 및 최적스윙정보를, ‘플레이어의 각 신체별 움직임’, ’체중이동‘, ‘골프클럽의 각 부위별 움직임’, ’클럽헤드 및 골프공의 충돌정보‘ 중 적어도 하나 이상을 포함하는 기 설정된 카테고리별로 추출하는 카테고리별 데이터 추출모듈;
    상기 카테고리별 데이터 추출모듈에 의해 추출된 데이터들을 비교하여, 객체벡터정보와 최적스윙정보에서, 동일 카테고리의 데이터들을 비교하여, 각 카테고리별 차이데이터를 검출하는 카테고리별 데이터 비교모듈;
    상기 카테고리별 데이터 비교모듈에 의해 검출된 각 카테고리별 차이데이터들을 매칭시킴과 동시에 해당 스윙의 문제점 및 해결방안 정보를 포함하는 코멘트정보를 생성하는 코멘트정보 생성모듈을 포함하고,
    상기 컨트롤러의 상기 디스플레이부는
    상기 스크린-골프 관리서버로부터 코멘트정보를 전송받으면, 전송받은 코멘트정보가 상기 전시단말기에 디스플레이 시키는 것을 특징으로 하는 스크린 골프 운영시스템.
  7. 제6항에 있어서, 상기 코멘트정보 생성부는
    상기 카테고리별 데이터 비교모듈에 의해 검출된 각 카테고리별 차이데이터를 그래픽으로 시각화하는 시각화모듈을 더 포함하고,
    상기 코멘트정보 생성모듈은 상기 시각화모듈에 의해 시각화된 각 카테고리별 차이데이터를 포함하는 코멘트정보를 생성하는 것을 특징으로 하는 스크린 골프 운영시스템.
KR1020210043742A 2021-04-05 2021-04-05 라이다센서 및 빅데이터를 이용한 스크린-골프 운영시스템 KR102505470B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210043742A KR102505470B1 (ko) 2021-04-05 2021-04-05 라이다센서 및 빅데이터를 이용한 스크린-골프 운영시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210043742A KR102505470B1 (ko) 2021-04-05 2021-04-05 라이다센서 및 빅데이터를 이용한 스크린-골프 운영시스템

Publications (2)

Publication Number Publication Date
KR20220138516A KR20220138516A (ko) 2022-10-13
KR102505470B1 true KR102505470B1 (ko) 2023-03-03

Family

ID=83599496

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210043742A KR102505470B1 (ko) 2021-04-05 2021-04-05 라이다센서 및 빅데이터를 이용한 스크린-골프 운영시스템

Country Status (1)

Country Link
KR (1) KR102505470B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190046087A (ko) * 2017-10-25 2019-05-07 (주)야디지코리아 스크린 골프장 시스템
KR20200139754A (ko) * 2018-03-30 2020-12-14 플라잉티 테크, 엘엘씨 자동화된 시각 강화 카메라 시스템 및 프로세스

Also Published As

Publication number Publication date
KR20220138516A (ko) 2022-10-13

Similar Documents

Publication Publication Date Title
US11373354B2 (en) Techniques for rendering three-dimensional animated graphics from video
CN108697922B (zh) 用于棒球练习装置的传感装置及传感方法、利用其的棒球练习装置及其控制方法
JP6983172B2 (ja) スポーツ用品の運動解析を行うための方法及び装置
JP5960240B2 (ja) 仮想ゴルフシミュレーション装置に用いられるセンシング装置及びセンシング方法
KR101048090B1 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
US8409024B2 (en) Trajectory detection and feedback system for golf
AU2012231925B2 (en) Virtual golf simulation apparatus and sensing device and method used for the same
JP5320332B2 (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
CN101893935A (zh) 基于真实球拍的协同式增强现实乒乓球系统构建方法
CN101964047A (zh) 一种基于多跟踪点的人体动作识别方法
KR20190031111A (ko) 가상 테니스 시뮬레이션 시스템, 이에 이용되는 센싱장치 및 센싱방법
KR20200085803A (ko) 골프 공 추적 시스템
US20220277463A1 (en) Tracking dynamics using a computerized device
KR20170092929A (ko) 야구 연습 장치에 이용되는 센싱장치 및 센싱방법과, 이를 이용한 야구 연습 장치 및 이의 제어방법
KR102490972B1 (ko) 라이다센서 및 인공지능을 이용한 실외 골프-시뮬레이션 운영 시스템
CN111228771B (zh) 高尔夫球娱乐系统和高尔夫球训练方法
KR102505470B1 (ko) 라이다센서 및 빅데이터를 이용한 스크린-골프 운영시스템
KR102519798B1 (ko) 라이다센서 및 인공지능을 이용한 체험형 야구-시뮬레이션 서비스 시스템
JP2023171316A (ja) 人工知能を利用してゴルフボールの打撃結果を把握する方法及びこれを利用する仮想ゴルフ装置
KR102507339B1 (ko) 라이다센서 및 빅데이터를 이용한 체험형 축구 경기 운영시스템
KR102495821B1 (ko) 라이다센서를 이용한 축구 경기의 빅데이터 수집 시스템 및 이를 이용한 온라인 축구게임 제공시스템
KR102502842B1 (ko) 라이다센서를 이용한 당구 경기의 빅데이터 수집 시스템과, 수집된 빅데이터 및 인공지능을 이용한 체험형 당구 연습 시스템
CN101957655A (zh) 一种基于标志点的动作识别方法及终端设备
KR102518635B1 (ko) 비젼 ai와 사물인터넷을 이용한 인터랙티브 구기종목 연습 시스템 및 그 동작방법
KR20240029712A (ko) 운동 영상에 기초한 합성 영상 제공 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right