KR20230087231A - 인공지능 기반 이동 객체의 위치 측정 시스템 및 방법 - Google Patents

인공지능 기반 이동 객체의 위치 측정 시스템 및 방법 Download PDF

Info

Publication number
KR20230087231A
KR20230087231A KR1020210175994A KR20210175994A KR20230087231A KR 20230087231 A KR20230087231 A KR 20230087231A KR 1020210175994 A KR1020210175994 A KR 1020210175994A KR 20210175994 A KR20210175994 A KR 20210175994A KR 20230087231 A KR20230087231 A KR 20230087231A
Authority
KR
South Korea
Prior art keywords
camera
distance
golf ball
moving
image
Prior art date
Application number
KR1020210175994A
Other languages
English (en)
Inventor
이효승
김춘호
강신석
Original Assignee
(주)네오와인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)네오와인 filed Critical (주)네오와인
Priority to KR1020210175994A priority Critical patent/KR20230087231A/ko
Priority to US18/077,303 priority patent/US20230186493A1/en
Publication of KR20230087231A publication Critical patent/KR20230087231A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/557Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/05Image processing for measuring physical parameters
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/20Distances or displacements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/807Photo cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image
    • G06T2207/30224Ball; Puck
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Abstract

본 발명은 인공지능 기반 영상 분석 및 거리 측정을 이용하여 사용자에게 이동 객체의 위치 및 거리 정보를 제공하는 인공기능 기반 이동 객체의 위치 측정 시스템 및 방법에 관한 것이다. 이를 위해, 본 발명에 따른 인공지능 기반 이동 객체의 위치 측정 시스템은 제1 객체를 촬영하는 제1 카메라와, 상기 제1 객체가 이동한 위치 주변에 설치되어 상기 제1 객체 및 상기 제1 객체와 연관된 제2 객체를 촬영하는 제2 카메라와, 상기 제1 객체와 거리 측정 기준 위치 간의 제1 거리 및 상기 제2 객체와 거리 측정 기준 위치 간의 제2 거리를 측정하는 거리계와, 상기 거리계가 측정한 제1 거리 및 제2 거리를 이용해 상기 제1 객체의 위치값 및 상기 제2 객체의 위치값을 산출하는 객체 모니터링 장치를 포함한다.

Description

인공지능 기반 이동 객체의 위치 측정 시스템 및 방법{System and method for measuring location of moving object based on artificial intelligence}
본 발명은 인공지능 기반 영상 분석 및 거리 측정을 이용하여 사용자에게 이동 객체의 위치 및 거리 정보를 제공하는 인공기능 기반 이동 객체의 위치 측정 시스템 및 방법에 관한 것이다.
골프장은 티잉 그라운드(teeing ground), 페어웨이(fairway), 러프(rough), 벙커(bunker), 해저드(hazard), OB(Out of Bounds), 그린(green) 등의 영역으로 구분된다.
일반적으로 골프에서 가장 중요한 정보는 골프공과 그린 상의 홀(hole) 간의 거리이다. 골프장에서 홀을 제외한 거의 모든 위치는 고정되어 있다. 홀의 위치는 매일 1~2회 정도 변하게 된다. 골프를 칠 때 골프공과 홀 간의 거리는 실시간 변하기 때문에 계속해서 측정해야 한다.
종래 골프공과 홀 간의 거리를 측정하는 다양한 기술들이 제안되었다.
첫 번째 방법은 플레이어가 GPS 탑재 장치를 가지고 다니면서 골프공과 홀 간의 거리를 측정하는 것이다. 그런데 이 측정 방법은 플레이어가 골프공이 있는 위치로 가야만 골프공과 홀 간의 거리를 측정할 수 있다는 문제점이 있다. 또한 홀의 위치가 매일 바뀌기 때문에 그린의 중간 위치 값을 홀 위치로 추정해서 사용해야 한다. 따라서 이 측정 방법은 통상 10~20m 정도의 오차가 발생한다.
두 번째 방법은 레이저 거리계를 이용하여 측정하는 것이다. 그런데 이 측정 방법도 플레이어가 골프공이 있는 위치로 가야만 골프공과 홀 간의 거리를 측정할 수 있다. 더욱이 골프공의 위치에서 홀까지 거리가 멀면 측정 자체가 어렵다는 문제점이 있다.
세 번째 방법은 골프공에 RFID 안테나를 삽입하여 골프공의 위치와 거리를 측정하는 것이다. 그런데 이 측정 방법은 골프공의 가격이 비싸다는 단점이 있고 공의 중심에 부품이 들어가 있어서 골프공의 기능에 불가피한 한계가 있다. 즉, 퍼팅과 샷에서 회전이 걸리게 되면 공의 방향성에 심각한 문제가 발생하게 된다.
네 번째 방법은 영상 분석을 이용하여 측정하는 것이다. 이 측정 방법은 영상의 스윙폼과 골프공의 이동궤적을 분석하여 골프공의 비거리를 산출한다. 그러나 이 측정 방법은 골프공의 비거리를 산출하는 것이어서 골프공의 낙하 위치를 정확히 알 수 없기 때문에 골프공과 홀 간의 거리를 정확히 측정하기 어렵고 홀의 위치가 바뀌는 경우 그 오차는 더욱 커지게 된다.
한국공개특허공보 제10-2016-0122383호
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 목적은 플레이어가 골프공을 친 이후 골프공이 있는 위치에 가지 않더라도 골프공과 홀 간의 거리를 실시간 파악할 수 있도록 하는 것이다.
본 발명의 다른 목적은 여러 명의 플레이어가 골프를 칠 때 공이 낙하한 지점에 가지 않더라도 각 사람이 자신의 공과 다른 플레이어의 공 간의 거리를 확인할 수 있도록 하는 것이다.
본 발명의 다른 목적은 플레이어가 골프공이 떨어진 위치에 가지 않더라도 골프공이 있는 위치의 주변 환경을 미리 파악하여 다음 플레이에 대처할 수 있도록 하는 것이다.
이를 위해, 본 발명에 따른 인공지능 기반 이동 객체의 위치 측정 시스템은 제1 객체를 촬영하는 제1 카메라와, 상기 제1 객체가 이동한 위치 주변에 설치되어 상기 제1 객체 및 상기 제1 객체와 연관된 제2 객체를 촬영하는 제2 카메라와, 상기 제1 객체와 거리 측정 기준 위치 간의 제1 거리 및 상기 제2 객체와 거리 측정 기준 위치 간의 제2 거리를 측정하는 거리계와, 상기 거리계가 측정한 제1 거리 및 제2 거리를 이용해 상기 제1 객체의 위치값 및 상기 제2 객체의 위치값을 산출하는 객체 모니터링 장치를 포함한다.
본 발명에 따른 인공지능 기반 이동 객체의 위치 측정 시스템은 제1 객체를 촬영하여 획득한 영상으로부터 제1 객체의 이동 궤적을 추적하여 제1 객체가 이동한 거리를 산출하는 제1 카메라 장치와, 상기 제1 객체가 이동한 위치 주변에 설치되어 상기 제1 객체 및 상기 제1 객체와 연관된 제2 객체를 촬영하여 상기 제1 객체와 거리 측정 기준 위치 간의 제1 거리 및 상기 제2 객체와 거리 측정 기준 위치 간의 제2 거리를 측정하는 제2 카메라 장치와, 상기 제2 카메라 장치로부터 수신한 제1 거리 및 제2 거리를 이용해 상기 제1 객체의 위치값과 상기 제2 객체의 위치값을 산출하는 객체 모니터링 장치를 포함한다.
본 발명에 따른 인공지능 기반 이동 객체의 거리 측정 방법은 제1 카메라에 의해 촬영된 영상을 분석하여 제1 객체의 이동 궤적을 추적하고, 상기 제1 객체의 이동 궤적에 근거해 상기 제1 객체의 이동 거리를 산출하는 단계와, 상기 제1 객체의 이동 거리에 근거해 상기 제1 객체가 이동한 위치 주변에 설치된 제2 카메라에 의해 촬영된 영상을 분석하여 상기 제1 객체를 인식하는 단계와, 상기 제2 카메라를 이동 및 줌인하여 상기 제1 객체를 영상의 특정 지점에 위치시키고, 상기 제2 카메라 또는 그 주변에 설치된 거리계로부터 측정된 상기 제1 객체와 거리계 간의 제1 거리를 수신하는 단계와, 상기 제2 카메라에 의해 촬영된 영상을 분석하여 상기 제1 객체와 연관된 제2 객체를 인식하는 단계와, 상기 제2 카메라를 이동 및 줌인하여 상기 제2 객체를 영상의 특정 지점에 위치시키고, 상기 거리계로부터 측정된 상기 제2 객체와 거리계 간의 제2 거리를 수신하는 단계와, 상기 제1 거리 및 상기 제2 거리를 이용하여 상기 제1 객체의 위치값과 상기 제2 객체의 위치값을 산출하는 단계를 포함한다.
상술한 바와 같이, 본 발명은 플레이어가 골프공을 친 이후 골프공이 있는 위치에 가지 않더라도 사용자 단말기를 통해 골프공의 위치 및 골프공과 홀 간의 거리를 실시간 파악할 수 있는 효과가 있다.
또한 본 발명은 여러 명의 플레이어가 골프를 칠 때 공이 낙하한 지점에 가지 않더라도 각 사람이 다른 플레이어의 공의 위치 및 자신의 공과 다른 플레이어의 공 간의 거리를 확인할 수 있는 효과가 있다.
또한 본 발명은 플레이어가 공을 친 후 공이 떨어진 위치의 주변 영상을 사용자 단말기를 통해 볼 수 있기 때문에 골프공이 떨어진 위치에 가지 않더라도 골프공이 있는 위치의 주변 환경을 바로 파악하여 다음 플레이에 대처할 수 있는 효과가 있다.
도 1은 본 발명의 제1 실시예에 의한 인공지능 기반 이동 객체의 위치 측정 시스템의 개략적인 구성도.
도 2는 본 발명의 제1 실시예에 의한 인공지능 기반 이동 객체의 위치 측정 시스템에서 각 구성요소 간의 신호 흐름도.
도 3은 본 발명의 본 발명의 제2 실시예에 의한 인공지능 기반 이동 객체의 위치 측정 시스템의 개략적 구성도.
도 4는 본 발명의 제2 실시예에 의한 인공지능 기반 이동 객체의 위치 측정 시스템에서 각 구성요소 간의 신호 흐름도.
도 5는 본 발명에 따른 인공지능 기반 이동 객체의 위치 측정 시스템이 골프장에 구현된 모습을 나타낸 도면.
도 6은 본 발명에 따른 이동 객체의 위치 및 상대 거리를 구하는 과정을 나타낸 도면.
도 7은 본 발명에 따른 인공지능 기반 이동 객체의 위치 측정 방법의 처리 과정을 나타낸 순서도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다.
본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.
본 발명에 따른 인공지능 기반 이동 객체의 위치 측정 시스템은 제1 카메라로 촬영한 영상으로부터 이동 객체의 이동 거리를 산출하고 제2 카메라로 촬영한 영상으로부터 이동 객체의 위치정보 및 상대 거리 정보를 산출한다.
본 명세서에서 영상은 주로 정지 영상(still image)를 의미하지만, 이에 한정되는 것은 아니며 동영상(video clip)이 될 수 있다. 따라서 제1 카메라 및 제2 카메라를 포함하는 복수의 카메라에서 촬영한 영상은 특정 시점에 촬영한 단일의 정지 영상, 특정 기간 동안 일정한 시간적 공백(temporal gap)을 두고 촬영한 복수의 정지 영상들 또는 특정 기간 동안 촬영한 동영상을 포함할 수 있다.
본 발명의 실시예에서는 이동 객체로서 골프공을 상정한다. 이에 따라 본 발명에 따른 인공지능 기반 이동 객체의 위치 측정 시스템은 골프장에 설치될 수 있으며, 플레이어가 치는 골프공의 위치정보와 함께 골프공과 홀 간의 거리 정보, 플레이어 간 골프공의 거리 정보 등과 같은 골프공과 관련한 상대 거리 정보를 플레이어에게 실시간으로 제공할 수 있다.
도 1은 본 발명의 제1 실시예에 의한 인공지능 기반 이동 객체의 위치 측정 시스템의 개략적인 구성을 나타낸 것이다.
도 1을 참조하면, 본 발명의 제1 실시예에 의한 인공지능 기반 이동 객체의 위치 측정 시스템은 제1 카메라(10)와 제1 카메라(10)에 구비된 레이저 거리계(12), 제2 카메라(20)와 제2 카메라(20)에 구비된 레이저 거리계(22), 객체 모니터링 장치(30), 사용자 단말기(40) 등으로 구성되어 있다.
본 발명의 명세서에서 제1 카메라(10)와 제2 카메라(20)는 영상 촬영을 수행하는 카메라 기능뿐만 아니라 동작 인식, 영상 전송 등의 다양한 기능을 포함하고 있다.
제1 카메라(10)는 사용자가 골프 클럽으로 골프공을 치는 장소에 하나 이상 설치될 수 있으며, 이러한 장소의 예로서 티샷(tee shot)을 치는 구간 즉, 티잉 그라운드(teeing ground)에 설치될 수 있다. 제1 카메라(10)는 카메라, 통신 모듈 등의 하드웨어 부품으로 구성되어 있다.
제1 카메라(10)는 플레이어의 샷, 즉 티잉 그라운드에서 플레이어가 티샷을 치는 모습을 촬영하여 티샷 영상(제1 영상)을 객체 모니터링 장치(30)로 전송한다.
한편 플레이어의 샷을 인식하는 샷 인식 장치(미도시)가 제1 카메라(10)에 구비되거나 제1 카메라(10)와 별도로 설치될 수 있다. 샷 인식 장치는 마이크, 모션 센서, 신호 수신 모듈 등을 포함할 수 있다.
제1 카메라(10)는 항상 영상을 촬영하거나, 모션 센서를 이용해 플레이어의 동작이 포착되면 일정 기간 영상을 촬영하거나, 마이크로부터 골프클럽과 골프공이 부딪히는 소리가 입력되는 시점 이후에 영상을 촬영하거나, 신호 수신 모듈을 통해 플레이어가 발신한 특정 신호가 수신될 때 영상을 촬영할 수 있다. 제1 카메라(10)는 다양한 방식으로 촬영한 영상을 객체 모니터링 장치(30)로 전송할 수 있다.
레이저 거리계(12)는 자신의 위치(거리 측정 기준 위치)에서 골프공까지의 거리를 측정할 수 있다. 레이저 거리계(12)는 하나 이상 설치될 수 있으며, 제1 카메라(10)에 설치되거나 제1 카메라(10)와 별도의 위치에 설치될 수 있다.
레이저 거리계(12)가 제1 카메라(10)에 설치된 경우 레이저 거리계(12)와 제1 카메라(10)는 동일한 위치이므로 레이저 거리계(12)와 골프공 간의 거리는 제1 카메라(10)와 골프공 간의 거리가 동일하다. 만약 레이저 거리계(12)가 제1 카메라(10)와 별도로 설치되는 경우 레이저 거리계(12)와 골프공 간의 거리는 제1 카메라(10)와 골프공 간의 거리는 다르게 된다.
설명의 편의를 위해, 제1 카메라(10)와 제2 카메라(20)에 각각 레이저 거리계(12, 22)가 설치되어 있는 것으로 한다.
제2 카메라(20) 역시 플레이어가 골프클럽으로 골프공을 치는 장소에 하나 이상 설치할 수 있으며, 이러한 장소로는 페어웨이(fairway) 또는 그린(green) 주변 등이 있다. 제2 카메라(20)는 제1 카메라(10)와 일정 거리를 두고 설치될 수 있다. 제2 카메라(20)는 PTZ 카메라, 통신 모듈 등의 하드웨어 부품으로 구성되어 있다. 또한 제2 카메라(20)에는 레이저 거리계(22)가 설치되어 있다.
제2 카메라(20)는 골프장의 각 부분(페어웨이, 러프, 그린, 벙커 등)의 모습을 촬영한다. 제2 카메라(20)는 객체 모니터링 장치(30)의 제어에 따라 동작하면서 이동하는 플레이어의 주변, 골프공이 떨어진 위치 주변과 그린 위의 홀 위치 주변을 촬영하고, 촬영한 영상(제2 영상)을 객체 모니터링 장치(30)로 전송한다.
레이저 거리계(22)는 제2 카메라(20)가 설치된 위치에서 플레이어, 골프공 등을 포함하는 여러 객체까지의 거리를 측정한다. 제2 카메라(20)는 레이저 거리계(22)에 의해 측정된 거리정보를 객체 모니터링 장치(30)로 전송한다.
객체 모니터링 장치(30)는 다양한 방식으로 다양한 정보를 사용자(플레이어)에게 전달할 수 있다.
첫 번째 예로서, 객체 모니터링 장치(30)는 제1 카메라(10)로부터 수신한 영상으로부터 골프공의 이동 궤적을 추적하고, 이동 궤적에 근거해 골프공이 이동한 거리 및 방향을 구할 수 있다.
객체 모니터링 장치(30)는 골프공의 이동 거리(비거리)에 근거해 골프공이 이동한 위치 주변에 있는 제2 카메라(20)를 특정하여 동작시킨다. 즉, 객체 모니터링 장치(30)는 골프공에 제일 가깝거나 골프공이 제일 잘 보이는(일례로 가장 많은 부분의 골프공을 인식할 수 있는) 위치에 있는 제2 카메라(20)를 특정할 수 있다.
객체 모니터링 장치(30)는 제2 카메라(20)로부터 수신한 영상을 인공지능 기반 모델을 이용해 분석해 영상 내 골프공, 홀 등의 객체를 검출한다.
골프공 또는 홀이 포함된 영상이 확인되면, 객체 모니터링 장치(30)는 제2 카메라(20)의 동작을 제어하여 제2 카메라(20)의 프리뷰 화면의 중심에 골프공 또는 홀이 위치하도록 제2 카메라(20)를 PTZ 이동 및 줌인시킨다. 이후 객체 모니터링 장치(30)는 레이저 거리계(22)를 동작시켜 골프공의 거리 또는 홀의 거리가 측정되도록 한 후 제2 카메라(20)로부터 거리정보를 수신한다.
객체 모니터링 장치(30)는 제2 카메라(20)의 위치로부터 골프공까지의 거리, 홀까지의 거리 등을 이용해 골프공의 위치, 홀의 위치 및 상대 거리 정보를 산출한다. 여기서 상대 거리 정보란 골프공과 다른 골프공 간의 거리, 골프공과 홀 간의 거리 등을 의미한다.
두 번째 예로서, 객체 모니터링 장치(30)는 제1 카메라(10)로부터 수신한 영상으로부터 골프공의 이동 궤적을 추적하고, 이동 궤적에 근거해 골프공이 이동한 위치를 구할 수 있다. 객체 모니터링 장치(30)는 골프공의 이동 위치에 근거해 골프공이 위치한 주변의 제2 카메라(20)를 특정하여 동작시킨다. 이후 객체 모니터링 장치(30)는 첫 번째 예에서 상술한 작업과 동일한 작업을 수행하게 된다.
본 발명에 따른 사용자 단말기(40)는 각 플레이어가 휴대하는 스마트폰, 태블릿 PC, 스마트 워치 등이 될 수 있고, 골프장에서 제공하는 전용 단말기가 될 수 있다. 전용 단말기는 골프장의 카트에 매립되거나 착탈 가능한 형태로 제공될 수 있다.
도 2는 본 발명의 제1 실시예에 의한 인공지능 기반 이동 객체의 위치 측정 시스템에서 각 구성요소 간의 신호 흐름을 나타낸 것이다.
도 2를 참조하면, 제1 카메라(10)는 사용자의 샷, 일례로 티잉 그라운드에서 플레이어가 티샷을 하는 모습을 촬영한 영상(티샷 영상) 등의 제1 영상을 유무선 통신 네트워크를 통해 객체 모니터링 장치(30)로 전송한다(S10). 제1 카메라(10)는 촬영 대기 상태에 있다가 플레이어의 티샷이 감지되면 촬영을 시작한다.
객체 모니터링 장치(30)는 제1 카메라(10)로부터 수신한 제1 영상을 분석하여 골프공의 비거리 정보를 생성한다(S12).
객체 모니터링 장치(30)는 골프공 비거리 산출을 위한 소프트웨어를 이용해 제1 영상으로부터 골프공의 이동 궤적을 추적하고, 골프공의 이동 궤적에 근거해 골프공의 이동거리(비거리)를 산출한다.
객체 모니터링 장치(30)는 골프공의 이동거리정보에 근거해 골프공이 떨어진 위치 주변으로서 골프공에서 가장 가깝거나 골프공이 제일 잘 보이는 위치에 있는 제2 카메라(20)를 특정하여, 제2 카메라(20)의 동작을 제어하기 위한 카메라 제어 명령(제1 제어 명령)을 제2 카메라(20)로 전송한다(S14).
제2 카메라(20)는 객체 모니터링 장치(30)의 카메라 제어 명령에 따라 동작하면서 주변 영상 즉, 제2 영상을 촬영한다(S16). 제2 카메라(20)는 촬영 대기 상태에 있다가 카메라 제어 명령에 의해 촬영을 시작하고 제2 영상을 연속적으로 생성하여 객체 모니터링 장치(30)로 전송한다(S18).
객체 모니터링 장치(30)는 제2 카메라(20)로부터 수신한 제2 영상을 분석하여 제2 영상 내에 골프공, 홀, 플레이어 등의 객체를 검출한다(S20). 객체 모니터링 장치(30)는 인공지능 모델을 이용해 제2 영상으로부터 골프공 또는 홀과 같은 특정 객체를 인식할 수 있다.
제2 영상에서 골프공 또는 홀이 검출되면, 객체 모니터링 장치(30)는 카메라 제어 명령(제2 제어 명령)을 제2 카메라(20)로 전송한다(S22).
제2 카메라(20)는 객체 모니터링 장치(30)의 제어에 따라 PTZ 이동 및 줌인 동작을 수행하여 프리뷰 화면의 중심에 골프공 또는 홀을 위치시킨다. 이렇게 되면 제2 카메라(20)와 레이저 거리계(22)가 평행으로 위치되어, 레이저 거리계(22)를 통해 제2 카메라(20)와 골프공 간의 거리 또는 제2 카메라(20)와 홀 간의 거리가 측정될 수 있다(S24).
레이저 거리계(22)를 통해 골프공 및 홀의 거리정보(제2 카메라와 골프공 간의 거리 및 제2 카메라와 홀 간의 거리)가 생성되면, 제2 카메라(20)는 골프공의 거리정보를 객체 모니터링 장치(30)로 전송한다(S26).
객체 모니터링 장치(30)는 골프공 및 홀의 거리정보를 이용해 골프공의 위치, 홀의 위치 및 골프공의 상대거리정보를 산출한다(S28). 즉, 객체 모니터링 장치(30)는 제2 카메라(20)와 골프공 간의 거리 또는 제2 카메라(20)와 홀 간의 거리를 이용해 골프공과 홀의 위치를 산출하고, 골프공과 홀의 위치를 이용해 골프공과 다른 골프공 간의 거리, 골프공과 홀 간의 거리 등과 같이 골프 플레이어에게 필요한 실시간 정보를 산출한다.
객체 모니터링 장치(30)는 산출한 상대거리 정보를 플레이어의 사용자 단말기(40)로 전송한다(S30).
도 3은 본 발명의 제2 실시예에 의한 인공지능 기반 이동 객체의 위치 측정 시스템의 개략적인 구성을 나타낸 것이다.
도 3을 참조하면, 본 발명의 제2 실시예에 의한 인공지능 기반 이동 객체의 위치 측정 시스템은 제1 카메라 장치(100), 제2 카메라 장치(200), 객체 모니터링 장치(300), 사용자 단말기(400) 등으로 구성되어 있다.
제1 카메라 장치(100)는 골프장의 특정 장소, 일례로 티샷(tee shot)을 치는 구간 즉, 티잉 그라운드(teeing ground)에 설치된다. 제1 카메라 장치(100)는 카메라, 통신 모듈, 레이저 거리계 등의 하드웨어 부품과 골프공 비거리 산출을 위한 소프트웨어를 구비하고 있다.
제1 카메라 장치(100)는 티잉 그라운드에서 플레이어가 티샷을 치는 모습을 촬영한다. 제1 카메라 장치(100)는 티샷 영상으로부터 골프공의 이동 궤적을 추적하고, 이동 궤적에 근거해 골프공이 이동한 거리(비거리)를 구할 수 있다.
제1 카메라 장치(100)는 골프공이 이동한 거리를 객체 모니터링 장치(300)로 전송한다. 제1 카메라 장치(100)는 티샷 영상으로부터 골프공의 이동 거리를 산출하면, 임의로 플레이어의 식별 정보를 생성하여 골프공의 이동거리 정보에 플레이어의 식별 정보를 포함시킨다. 제1 카메라 장치(100)는 플레이어의 식별 정보가 포함된 골프공의 이동거리 정보를 객체 모니터링 장치(300)로 전송한다.
제2 카메라 장치(200)는 골프장의 특정 장소, 일례로 페어웨이(fairway) 또는 그린(green) 주변에 복수 개 설치될 수 있다. 제2 카메라 장치(200)는 PTZ 카메라, 통신 모듈, 레이저 거리계 등의 하드웨어 부품과 영상 내 골프공 및 홀을 인식하기 위한 인공지능 모델을 구비하고 있다.
제2 카메라 장치(200)는 골프장의 각 부분(페어웨이, 러프, 그린, 벙커 등)의 모습을 촬영한다. 제2 카메라 장치(200)는 골프공이 떨어진 위치 주변과 그린 위의 홀 위치 주변을 촬영한다.
제2 카메라 장치(200)는 인공지능 모델을 이용해 촬영한 영상으로부터 골프공을 인식하면 PTZ 카메라를 이동 및 줌인하여 골프공이 화면의 중심에 위치되도록 한 후, 레이저 거리계를 이용해 골프공의 거리를 측정한다. 골프공의 거리란 제2 카메라 장치(200)가 설치된 위치에서 골프공이 떨어진 위치까지의 거리를 말한다.
제2 카메라 장치(200)는 골프공의 이동거리 정보에 포함된 플레이어의 식별 정보에 근거해 복수 개의 골프공을 각각 구분하여 각 골프공의 거리를 측정할 수 있다. 즉, 4명이 한 팀이 되어 골프를 칠 때, 제2 카메라 장치(200)는 4명의 플레이어가 치는 각각의 골프공을 식별하여 4개 골프공의 거리를 측정할 수 있다.
또한 제2 카메라 장치(200)는 인공지능 모델을 이용해 촬영한 영상으로부터 홀을 인식하면 PTZ 카메라를 이동 및 줌인하여 홀이 화면의 중심에 위치되도록 한 후, 레이저 거리계를 이용해 홀의 거리를 측정한다. 홀의 거리란 제2 카메라 장(20)치가 설치된 위치에서 홀까지의 거리를 말한다.
제2 카메라 장치(200)는 골프공의 거리 정보와 홀의 거리 정보를 객체 모니터링 장치(300)로 전송한다.
객체 모니터링 장치(300)는 제1 카메라 장치(100)로부터 골프공의 이동거리 정보를 수신하면, 골프공의 이동거리 정보에 근거해 골프공이 떨어진 위치 주변에 있는 제2 카메라 장치의 동작을 구동시켜, 제2 카메라 장치(200)가 골프공이 떨어진 위치 주변을 촬영하도록 한다. 제2 카메라 장치(200)는 골프장의 각 부분에 복수 개 설치될 수 있기 때문에, 객체 모니터링 장치(300)는 골프공이 떨어진 위치에서 가장 가까운 곳에 있는 제2 카메라 장치(200)를 선택하여 동작시킨다.
객체 모니터링 장치(300)는 제2 카메라 장치(200)로부터 골프공의 거리 정보 및 홀의 거리 정보를 수신하여 골프공의 거리 및 홀의 거리를 이용해 골프공과 홀의 위치, 골프공과 홀 간의 거리를 산출한다. 또한 객체 모니터링 장치(300)는 복수의 골프공의 거리 정보를 이용해 다른 플레이어의 골프공의 위치 및 플레이어 간 골프공의 거리를 산출할 수 있다. 객체 모니터링 장치(300)는 골프공의 위치, 홀의 위치, 골프공과 홀 간의 거리 정보 및 플레이어 간 골프공의 거리 정보를 사용자 단말기(400)로 전송한다.
사용자 단말기(400)는 객체 모니터링 장치(300)로부터 골프공의 위치와 관련한 다양한 정보를 수신하여 플레이어에게 표시한다. 사용자 단말기(40)는 화면 상에 현재 홀의 모습과 함께 플레이어의 골프공의 위치, 홀의 위치, 골프공과 홀 간의 거리 정보 및 플레이어 간 골프공의 거리 정보를 시각적으로 출력한다.
도 4는 본 발명의 제2 실시예에 의한 인공지능 기반 이동 객체의 위치 측정 시스템에서 각 구성요소 간의 신호 흐름을 나타낸 것이다.
도 4를 참조하면, 제1 카메라 장치(100)는 티잉 그라운드에서 플레이어가 티샷을 치는 모습을 촬영하고, 티샷 영상 즉, 제1 영상을 분석한다(S50). 제1 카메라 장치(10)는 제1 영상으로부터 골프공의 이동 궤적을 추적하고, 이동 궤적에 근거해 골프공이 이동한 거리(비거리)를 계산하여 비거리 정보(골프공의 이동거리 정보)를 객체 모니터링 장치(300)로 전송한다(S52).
객체 모니터링 장치(300)는 제1 카메라 장치(100)로부터 골프공의 비거리 정보를 수신하면, 골프공의 비거리 정보에 근거해 골프공이 떨어진 위치 주변에 있는 제2 카메라 장치(200)로 카메라 제어 명령을 전송한다(S54).
제2 카메라 장치(200)는 카메라 제어 명령에 따라 구동되어 골프공이 떨어진 위치 주변과 그린 위의 홀 위치 주변을 촬영하여 제2 영상을 계속해서 생성하면서, 인공지능 모델을 통해 제2 영상에 대한 분석을 수행한다(S56).
제2 카메라 장치(200)는 제2 영상으로부터 골프공 또는 홀을 인식하면 PTZ 카메라를 이동 및 줌인하여 골프공 또는 홀이 화면의 중심에 위치되도록 한 후, 레이저 거리계를 이용해 골프공의 거리 또는 홀의 거리를 측정한다(S58).
제2 카메라 장치(200)는 골프공의 거리 정보와 홀의 거리 정보를 객체 모니터링 장치(300)로 전송한다(S60).
객체 모니터링 장치(300)는 제2 카메라 장치(200)로부터 골프공의 거리 정보 및 홀의 거리 정보를 수신하여 골프공의 거리 및 홀의 거리를 이용해 골프공과 홀의 위치 및 골프공에 대한 상대거리정보를 산출한다(S62). 즉, 객체 모니터링 장치(300)는 골프공과 홀의 위치와 함께 골프공과 홀 간의 거리, 플레이어 간 골프공의 거리 등을 산출할 수 있다.
객체 모니터링 장치(300)는 골프공과 홀의 위치, 골프공과 홀 간의 거리 정보 및 플레이어 간 골프공의 거리 정보를 사용자 단말기(40)로 전송한다(S64).
도 5는 본 발명에 따른 인공지능 기반 이동 객체의 위치 측정 시스템이 골프장에 구현된 모습을 나타낸 것이다.
도 5를 참조하면, 티샷(tee shot)을 치는 구간 즉, 티잉 그라운드(teeing ground)에 제1 카메라(10) 또는 제1 카메라 장치(100)가 설치되고, 페어웨이(fairway) 또는 그린(green) 주변에 복수의 제2 카메라(20) 또는 제2 카메라 장치(200)가 설치될 수 있다.
객체 모니터링 장치(30, 300)는 제1 카메라(10) 또는 제1 카메라 장치(100) 및 복수의 제2 카메라(20) 또는 제2 카메라 장치(200)와 통신하면서 골프공의 위치(P1, P2, P3, P4)과 홀의 위치(P5), 골프공과 홀 간의 거리(1) 및 골프공간의 거리(2)를 산출하여 사용자 단말(40, 400)로 전송한다.
도 6은 본 발명에 따른 이동 객체의 위치 및 상대 거리를 구하는 과정을 나타낸 것이다.
도 6을 참조하면, 제2 카메라(20) 또는 제2 카메라 장치(200)가 설치된 위치가 P0(0,0)이고, 객체 A의 위치가 P1, 객체 B의 위치가 P2일 때, P0에서 P1까지 즉, 카메라에서 객체 A까지의 거리는 D1이고, P0에서 P2까지 즉, 카메라에서 객체 B까지의 거리는 D2이다.
카메라에서 객체 A까지의 거리 D1를 측정할 때 카메라의 각도는 A1이고, 카메라에서 객체 B까지의 거리 D2를 측정할 때 카메라 각도는 A2이다.
상술한 바와 같이, P0에서 P1까지의 거리와 P0에서 P2까지의 거리는 레이저 거리계를 이용하여 측정할 수 있다. 이 때, D1과 D2 간의 사이각(Angle A)은 카메라의 이동 각도 즉, A2-A1으로부터 쉽게 구할 수 있다.
카메라 위치 P0(0, 0), 카메라 각도 A1 및 거리 D1을 알고 있기 때문에, 객체 A의 위치(P1) 값은 다음과 같이 계산될 수 있다.
(H, L1) = (D1×cosA1, D1×sinA1)
마찬가지로, 카메라 위치 P0(0, 0), 카메라 각도 A2 및 거리 D2을 알고 있기 때문에, 객체 B의 위치(P2) 값은 다음과 같이 계산될 수 있다.
(H, L2) = (D2×cosA2, D2×sinA2)
여기서, 설명의 편의상 높이 H를 동일하게 하였으나, 실제는 다를 수 있다.
그러면 P1과 P2 간의 거리(L) 즉, 객체 A와 객체 B 간의 거리는 수학식 1 또는 수학식 2에 의해 계산될 수 있다.
Figure pat00001
Figure pat00002
도 7은 본 발명에 따른 인공지능 기반 이동 객체의 위치 측정 방법의 처리 과정을 나타낸 것이다.
도 7에 대한 설명의 편의를 위해, 제1 카메라(10) 또는 제2 카메라 장치(100)는 제1 카메라로 통칭하고, 복수의 제2 카메라(20) 또는 제2 카메라 장치(200)는 제2 카메라로 통칭하기로 한다.
또한, 도 7의 각 단계를 수행하는 주체는 인공지능 기반 이동 객체의 위치 측정 시스템으로서, 구체적으로 제1 카메라의 프로세서 또는 소프트웨어, 제2 카메라의 프로세서 또는 소프트웨어, 객체 모니터링 장치의 프로세서 또는 소프트웨어가 될 수 있는데, 설명의 편의를 위해 제1 카메라, 제2 카메라 및 객체 모니터링 장치 각각의 프로세서 또는 소프트웨어가 해당 단계를 수행하는 것에 대해 인공지능 기반 이동 객체의 위치 측정 시스템에 포함된 프로세서 또는 소프트웨어가 수행하는 것으로 기술한다.
도 7을 참조하면, 제1 카메라에 의해 촬영된 영상을 수신하면(S100), 제1 카메라 영상을 분석하여 골프공(제1 객체)의 이동 궤적을 추적하고, 골프공의 이동 궤적에 근거해 골프공의 이동 거리(비거리)를 산출하여 골프공의 낙하 지점을 추정한다(S102).
골프공의 이동 거리에 근거해 낙하지점을 추정한 후 골프공이 낙하한 위치 주변에 설치된 제2 카메라를 특정해 제2 카메라의 동작을 제어한다(S104).
제2 카메라의 동작이 제어되면서, 제2 카메라에 의해 촬영된 영상을 수신하면(S106), 제2 카메라 영상을 인공지능 모델을 이용해 분석한다(S108).
제2 카메라 영상에 대한 분석 결과 골프공이 검출되었는지 확인한다(S110).
만약 골프공이 검출된 경우, 제2 카메라의 동작이 제어되면서, 검출한 골프공을 카메라 화면 중앙에 위치시키고 크게 보일 때까지 줌인을 수행한다(S112).
제2 카메라가 이동 및 줌인하여 골프공이 카메라 화면의 중심에 위치되면, 제2 카메라에 설치된 레이저 거리계가 골프공과 제2 카메라 간의 거리를 측정하게 되고, 골프공과 제2 카메라 간의 거리정보(골프공의 거리정보)를 수신한다(S114).
또한, 제2 카메라 영상에서 홀이 검출되면 동일한 동작을 통해 홀과 제2 카메라 간의 거리가 측정되고 홀과 제2 카메라 간의 거리정보(홀의 거리정보)를 수신할 수 있다.
그러면 골프공의 거리정보 및 홀의 거리정보를 이용해, 골프공의 위치, 홀의 위치 및 상대거리정보를 산출한다(S116). 상대거리정보는 골프공과 홀 간의 거리 및 플레이어 간의 골프공 거리를 포함한다.
이와 같이 골프공의 위치, 홀의 위치 또는 상대거리정보가 산출되면 사용자 단말기로 골프공과 홀의 위치 및 상대거리정보를 전송한다(S118). 이때 골프공과 홀위 위치정보 및 상대거리정보와 함께 골프공이 낙하한 지점의 주변환경을 촬영한 영상을 사용자 단말기로 전송할 수 있다. 플레이어는 사용자 단말기의 화면을 통해 자신의 골프공의 위치, 홀의 위치 및 자신의 골프공과 홀 간의 거리, 자신의 골프공과 다른 플레이어의 골프공 간의 거리를 확인하는 한편 골프공이 낙하한 지점의 주변환경 영상을 보고 다음 플레이를 미리 준비할 수 있다.
만약 골프골이 검출되지 않은 경우, 인공지능 모델을 이용해 다시 한 번 골프공 검출 동작을 수행하고 수행 카운트를 계수한다(S120).
골프공 검출 동작 수행 결과 골프공이 검출되면, 상기 S112 단계 내지 S118 단계를 수행하고, 다시 골프공이 검출되지 않으면 수행 카운트를 확인한 후(S124), S120 단계를 반복하게 된다.
수행 카운트가 일정 값을 초과하는 경우, 더 이상 골프공 검출 동작을 수행하지 않고 낙하 추정 위치를 포함하는 영상을 사용자 단말기로 전송하는 것으로 단계를 종료한다(S126). 낙하 추정 위치를 포함하는 영상을 전송할 때 골프공 미발견 원인(OB, 해저드, 러프 등)을 제공할 수 있다.
본 발명에 따른 인공지능 기반 이동 객체의 위치 측정 시스템(이후 "측정 시스템"으로 통칭)은 공지의 머신 러닝, 딥 러닝 등의 기술(이후 "머신 러닝"으로 통칭) 및 이에 근거한 공지의 인공지능 소프트웨어나 인공 지능 프로그램(이후 "인공 지능"으로 통칭)을 이용하여 골프공 또는 다른 객체(일예로 사용자, 사용자의 소지품 등)의 위치나 이동 경로 등을 확인할 수 있다.
일예로 상기 측정 시스템은 공지의 머신 러닝을 이용하여 골프공, 골프장 및 주변 객체들의 크기, 모양, 위치, 방향(orientation), 각 객체들의 배열 등을 학습시킨 후, 그 학습 결과를 이용하는 공지의 인공 지능을 이용하여 골프공의 위치나 이동 경로, 사용자나 사용자의 물품의 위치나 이동 경로, 기타 객체의 위치 및 경로 이동 경로 등을 확인할 수 있다.
특히 상기 측정 시스템은 다양한 방법으로 골프공, 사용자 또는 다른 객체의 위치를 확인할 수 있다. 일예로 상기 측정 시스템은 상기 카메라가 촬영한 특정 영상에서 골프공을 확인하고, 레이저 거리계를 이용하여 레이저 거리계, 카메라 또는 다른 기준점과 골프공 사이의 거리를 측정함으로써 골프공의 위치를 확인할 수 있다.
또한 상기 측정 시스템은 다수의 카메라가 촬영한 다수의 영상에서 골프공을 확인하고, 각각의 영상에서의 골프공의 2차원적 위치들을 이용하여 하나 이상의 카메라 또는 다른 기준점과 골프공 사이의 거리 또는 각도를 확인함으로써, 골프공의 위치를 확인할 수 있다.
또한 상기 측정 시스템은 움직이는 골프공이 포함된 다수의 영상을 분석하여 골프공의 이동 경로를 확인하고, 이에 근거하여 골프공의 이동 경로를 추정할 수 있다. 그 후 상기 측정 시스템은 골프공의 이동 경로에 근거하여 낙하 지점을 추정함으로써 골프공의 위치를 확인할 수도 있다.
다만 자율 주행, 안면 인식 등을 위한 머신 러닝이나 인공 지능에 비하여, 골프공 인식을 위한 머신 러닝이나 인공 지능은 상대적으로 간단하다고 간주할 수 있다. 우선 골프공에 관해서 골프공은 항상 특정 직경을 가진 (거의 완벽한) 구의 형태를 가진다. 따라서 골프공이 어떤 위치에 있건, 골프공을 어떤 각도에서 촬영하건, 카메라가 촬영된 영상에 포함된 골프공은 항상 원형의 모양을 가진다.
또한 사용자가 골프공을 타격함에 따라 골프공은 이동하지만, 골프장, 부대 시설, 주변환경 등은 대부분 정지 상태에 있다. 따라서 골프장의 코스를 따라 이동하는 사용자, 바람에 의하여 움직이는 나무 등을 제외한다면, 카메라가 촬영한 영상에서 이동하는 객체는 골프공일 확률이 매우 높다.
그 결과 골프공 인식을 위한 머신 러닝에는 자율 주행, 안면 인식 등을 위한 머신 러닝에 비하여 상대적으로 적은 수효의 영상이 필요할 수 있고, 이에 따라 골프공 인식을 위한 머신 러닝에 소요되는 시간, 머신 러닝에 필요한 CPU 용량 등도 감소할 수 있다.
이러한 특성을 이용하여 상기 측정 시스템은 상대적으로 용이하게 카메라가 촬영한 동영상에서 이동하는 원형의 객체를 확인하거나, 이전 영상에는 존재하지 않았지만 신규 영상에 등장하는 원형의 객체를 확인함으로써 골프공의 위치 또는 이동 경로를 용이하게 확인할 수 있다.
설령 골프공의 일부가 풀에 가려지고, 카메라가 촬영한 영상에는 골프공의 테두리의 일부만이 포함되더라도, 상기 측정 시스템은 영상에서 확인할 수 있는 골프공의 테두리를 이용하여 골프공 전체의 테두리를 추정할 수 있다. 따라서 상기 측정 시스템은 용이하게 골프공의 위치 또는 이동 경로를 확인할 수 있다.
상기 측정 시스템은 각각의 카메라가 촬영한 영상에 근거하여 상이한 머신 러닝을 수행할 수 있다. 즉, 상기 측정 시스템은 각각의 카메라가 촬영한 각각의 영상 중 하나 이상에 근거하여 골프공의 위치나 이동 경로, 또는 사용자나 기타 객체의 위치나 이동 경로를 확인할 수 있다.
일예로 특정 카메라가 골프장의 특정 위치(일예로 특정 x, y, z 좌표)에 설치되되 회전이나 이동이 불가능하도록 고정식으로 설치된 경우, 상기 측정 시스템은 상기 카메라가 최대 줌인으로 촬영한 영상, 최대 줌아웃으로 촬영한 영상 및 그 사이의 줌으로 촬영한 다수의 영상에 근거하여 머신 러닝을 실행할 수 있다.
이와는 달리 특정 카메라가 골프장의 특정 위치에 설치되어 어느 정도의 회전이나 이동이 가능하도록 설치된 경우, 상기 측정 시스템은 상기 카메라를 회전시키며 또는 이동시키면서 상기 카메라가 최대 줌인으로 촬영한 영상, 최대 줌아웃으로 촬영한 영상 및 그 사이의 줌으로 촬영한 다수의 영상들 모두 또는 다수의 영상들 중 일부만을 이용하여 머신 러닝을 실행할 수 있다.
반면 특정 카메라가 드론, 골프 카트, 골프백 또는 사용자 등과 같이 이동 가능한 물체에 탈착식 또는 고정식으로 설치될 경우, 카메라가 골프장의 특정 위치에 설치되는 것이 아니라, 골프장 내부나 외부, 골프장 지표나 공중에 이동이 가능하도록 설치된다고 간주할 수 있다.
따라서 카메라는 임의의 위치나 높이에서 영상을 촬영하게 되며, 이에 따라 상기 측정 시스템은 더 많은 영상을 이용하여 머신 러닝을 실행하게 되고, 그 결과 머신 러닝에 더 긴 시간이 소요되거나 더 많은 CPU 용량을 필요로 할 수도 있다.
상기 측정 시스템은 골프장에 특화된 기법을 이용하여 머신 러닝을 수행함으로써, 머신 러닝에 필요한 데이터의 양을 줄이거나, CPU 용량 또는 CPU 구동 시간을 줄이거나, 머신 러닝의 정확도를 향상시킬 수 있다. 이에 따라 인공 지능의 구동 속도가 빨라지거나 인공 지능의 정확도가 증가될 수 있다.
일예로 골프장 내부 또는 주위에는 건물, 벤치, 티샷 지점이나 그린의 팩(peg)이나 깃발, 홀, 전봇대, 송전탑, 피뢰침 등과 같은 인공 건축물 또는 인공 객체들이 있다. 이러한 인공 객체들은 일반적으로 위치, 크기, 모양, 방향, 색상 등과 같은 세부 특성이 변하지 않는 특징을 가지고 있으므로 이를 "고정 객체"로 지칭하기로 한다. 참고로 골프장 내부 또는 주변의 나무, 바위, 언덕, 연못, 화단, 잔디 등과 같은 자연 환경물 또는 자연 객체도 고정 객체라고 간주할 수 있다.
따라서 카메라가 촬영한 영상에 골프공과 하나 이상의 고정 객체가 포함되는 경우, 상기 측정 시스템은 영상에 포함된 고정 객체의 세부 특성 및 위치를 확인함으로써, 고정 객체들 사이로 이동하는 또는 고정 객체들 사이에 위치한 골프공의 위치나 이동 경로를 용이하게 확인하거나, 사용자나 기타 객체의 위치나 이동 경로를 용이하게 확인할 수 있다.
반면 골프장 내부 또는 주위에는 고정 객체와는 달리, 상하/좌우 회전이 가능하거나 이동이 가능한 인공 객체, 나뭇가지, 나뭇잎, 꽃, 풀, 덤불 등과 같이 비나 바람에 따라 움직이는 객체들도 있다. 특히 나뭇가지, 나뭇잎, 꽃, 덤불 등은 자연적으로 성장함에 따라 크기, 모양, 지양, 색상 등의 세부 특성이 바뀜은 물론, 인공 조경 작업에 따라 세부 특성이 급격히 바뀔 수 있다. 일예로 꾸준히 자라서 길이나 높이가 증가한 풀이나 잔디는 인공 유지 보수 작업 후 그 길이나 높이가 급격히 감소할 수 있다. 이러한 측면에서 상술한 객체를 "부분고정 객체"로 지칭하기로 한다.
상기 측정 시스템은 부분고정 객체에 특화된 기법을 이용하여 머신 러닝을 수행함으로써, 머신 러닝에 필요한 데이터의 양을 줄이거나, CPU 용량 또는 CPU 구동 시간을 줄이거나, 머신 러닝의 정확도를 향상시킬 수 있다. 이에 따라 인공 지능의 구동 속도가 빨라지거나, 인공 지능의 정확도가 증가될 수 있다.
일예로 상기 측정 시스템은 매일 오전 골프장이 개장하기 전 각종 카메라들을 구동하여 골프장 내부 또는 주변을 촬영한 후, 그 날의 잔디의 길이, 꽃의 유부 등과 같은 자연 환경물 또는 부분고정 객체의 세부 특성을 확인할 수 있다. 따라서 그 전날까지는 잔디가 길었지만 전날 저녁 또는 당일 새벽 잔디를 깎은 경우, 상기 측정 시스템은 부분고정 객체의 세부 특성을 그 날의 특성으로 업데이트할 수 있다.
이에 따라 카메라가 촬영한 영상에 골프공과 하나 이상의 부분고정 객체가 포함되는 경우, 상기 측정 시스템은 상술의 업데이트된 세부 특성을 이용하여 영상에 포함된 부분고정 객체를 더 용이하게 확인할 수 있다. 또는 부분고정 객체의 위치를 확인함으로써, 상기 측정 시스템은 고정 객체 또는 부분고정 객체들 사이로 이동하는 골프공의 위치나 이동 경로, 고정 객체 또는 부분고정 객체들 사이에 위치한 골프공의 위치나 이동 경로, 사용자나 기타 객체의 위치나 이동 경로 등을 더욱 용이하게 확인할 수 있다.
상기 측정 시스템은 상술한 방법과 상이한 방법을 통하여 상기 부분고정 객체에 특화된 기법을 개발할 수도 있다.
상기 측정 시스템은 골프장 내부나 주변에 위치한 골프공의 위치나 이동 경로를 확인함을 목적으로 하는 반면, 골프장 내부나 주변의 나뭇가지, 나뭇잎, 꽃, 덤불, 잔디 등과 같은 자연 환경물이 어떤 종류인지, 얼마나 많은 지, 얼마나 성장하였는지, 어떤 배열로 위치하고 있는지를 인식하는 것을 목적으로 하지는 않는다.
즉, 상기 측정 시스템은 골프장 내부나 주변에 위치한 자연 환경물과 같은 부분고정 객체에 대한 자세한 정보를 확인할 필요가 없어서, 이러한 부분고정 객체에 대해서는 기본적인 특성만을 확인하면 충분한 경우가 대부분이다. 일예로 골프공이 날아가서 착지하는 부분의 잔디라 하더라도, 상기 측정 시스템은 골프공이나 기타 객체의 위치나 이동 경로만 확인하고 그 외의 부분고정 객체에 대한 위치나 상세 특성까지 확인할 필요가 없다.
이러한 측면을 고려하면, 상기 측정 시스템은 골프장 내부나 주변에 위치하며 자연 환경물에 해당하는 부분고정 객체를 일종의 고정 객체로 간주할 수도 있다. 일예로 특정 카메라가 촬영한 영상의 특정 부분에 위치한 부분고정 객체를 일종의 고정 객체로 간주하므로 부분고정 객체에 대한 세부 특성을 일일이 확인하지 않도록 할 수 있다. 따라서 잔디가 바람에 의하여 움직이거나, 나뭇가지가 비바람에 흔들리는 등의 세세한 부분고정 객체의 작은 움직임이 있더라도 상기 측정 시스템은 이를 일종의 고정 객체라고 간주한 채, 간편한 계산을 통하여 고정 객체 사이로 이동하는 골프공, 사용자 또는 기타 객체의 위치나 이동 경로 등을 더욱 용이하게 확인할 수 있다.
다만 이러한 부분고정 객체의 고정 객체화 방법을 사용할 때의 중요한 점은, 골프공 또는 사용자 등의 특정 객체가 부분고정 객체 내부 또는 변두리로 이동할 때, 상기 측정 시스템이 이를 확실히 확인해야 한다는 것이다. 왜냐하면 부분고정 객체의 고정 객체화 방법을 사용하는 경우 상기 측정 시스템은 부분고정 객체 내부 또는 바로 그 주변에 위치하는 골프공 등의 위치를 확인하기 어려울 수 있기 때문이다. 따라서 이러한 방법을 사용할 경우, 상기 측정 시스템은 단위 시간 당 더 많은 영상을 촬영하거나, 줌인한 상태로 영상을 촬영하거나, 기타 방법을 이용하여 부분고정 객체 내부로 이동하는 골프공 또는 그 주변에 위치한 골프공을 더 확실하고 주의 깊게 확인할 필요가 있다.
상술한 바와 같이 부분고정 객체는 시간이 흐름에 따라 세부 특성이 변한다는 특성을 가지며, 이러한 변화는 태양, 비, 바람 등과 같은 자연 현상에 의하여 변하거나, 관리자의 계획된 보수나 유지 또는 계획에는 없었으나 급박한 요구에 의한 보수나 유지 등에 의하여 변할 수 있다.
따라서 상기 부분고정 객체의 세부 특성의 일부에라도 변화가 일어나면, 상기 측정 시스템은 그러한 변화를 인지한 후, 상기 변화에 의한 부분고정 객체의 세부 특성을 업데이트할 수 있다. 이에 따라 상기 측정 시스템은 머신 러닝이나 인공 지능을 이용하여 골프공의 위치나 이동 경로, 사용자나 기타 객체의 위치나 이동 경로를 더 용이하고 정확하게 확인할 수 있다.
상기 측정 시스템은 다양한 시점에 부분고정 객체의 특성을 업데이트할 수 있다. 일예로 상기 측정 시스템은 매일 새벽 골프장 개장 전, 특정 사용자가 첫 번째 홀에서 골프공을 타격하기 전 또는 매 홀 사용자가 골프공을 타격하기 전에 골프장 내부 또는 주변의 부분고정 객체들의 전부 또는 일부에 대한 세부 특성을 업데이트할 수 있다. 또는 골프장 관리자가 부분고정 객체에 대한 유지 보수 작업을 실행한 후, 관리자의 신호에 따라 특정 부분고정 객체의 세부 특성을 업데이트할 수도 있다.
이와는 달리 상기 측정 시스템은 태양광 조사량, 강우량, 기온, 습도, 풍향 등과 같은 날씨 또는 계절적 요인을 측정하고, 이를 통하여 부분고정 객체의 상기 변화를 예측하고 이를 다양한 시점에 부분고정 객체의 특성을 업데이트함으로써, 상기 변화를 자동적으로 머신 러닝이나 인공 지능에 반영할 수 있다.
일예로 특정 기간 동안의 태양광 조사량, 강우량, 기온, 습도 등은 물론 관리지가 공급한 비료의 양 등을 기초로 하여 풀, 꽃, 잔디, 나무 등의 길이, 두께 등의 변화를 미리 예측할 수 있다. 하지만 이러한 추정 방법에는 한계가 존재하므로 위에서 설명한 영상을 상기 추정 방법과 함께 활용할 수 있다.
또한 고정 객체라 하더라도 추후 관리자의 작업에 의하여 세부 특성이 변하거나, 자연 재해에 의하여 세부 특성이 변하거나, 추가 고정 객체가 설치됨에 따라 세부 특성이 변할 수 있다. 따라서 상술한 부분고정 객체와 마찬가지로 고정 객체의 세부 특성 변화 시 이를 업데이트함으로써, 상기 측정 시스템은 머신 러닝이나 인공 지능을 이용하여 골프공의 위치나 이동 경로 또는 사용자나 기타 객체의 위치나 이동 경로를 더 용이하면서 더 정확하게 확인할 수 있다.
본 발명의 실시예에서는 제1 카메라(10) 레이저 거리계(12), 제2 카메라(20), 레이저 거리계(22), 객체 모니터링 장치(30), 사용자 단말기(40) 등을 포함하는 인공지능 기반 이동 객체의 위치 측정 시스템의 대표적 실시예들을 설명하였다.
하지만 상술한 제1 카메라, 제2 카메라, 레이저 거리계, 객체 모니터링 장치 및 사용자 단말기를 포함하는 인공지능 기반 이동 객체의 위치 측정 시스템은 상이한 구성을 가질 수 있고 상술한 방법과 다른 방법으로 작동하도록 할 수 있다.
다음은 상술한 본 발명의 실시예를 변형한 예를 설명하기로 한다.
상기 측정 시스템은 상기 제1 카메라 및 제2 카메라를 이용하여 영상을 촬영하고, 상기 영상을 분석하여 골프공, 사용자 또는 특정 객체의 이전 위치, 현재 위치, 이동 경로, 이동 속도 등을 확인할 수 있다.
따라서 상기 측정 시스템이 활용하는 카메라는 정지 영상 또는 동영상을 촬영할 수 있고, 흑백 또는 칼라 영상을 촬영할 수 있다. 또한 촬영한 영상에서 골프공을 더 용이하게 확인하기 위하여 카메라에 특정 색상의 필터가 사용될 수도 있다. 또한 상기 측정 시스템은 카메라가 촬영한 영상을 그대로 분석하거나, 이를 공지의 방법을 이용하여 처리하여 분석할 수 있다.
상술한 바와 같이 상기 측정 시스템이 사용하는 카메라는 가시광선 대역 내의 정지 영상 또는 동영상을 촬영할 수 있지만, 필요한 경우 가시광선 대역 외의 주파수를 가진 전자기파를 이용하여 영상을 촬영할 수 있다. 따라서 상기 측정 시스템은 일반 카메라 외에 적외선 센서가 부착된 카메라 등을 사용할 수도 있다.
상기 측정 시스템은 하나 이상의 송수신 장치를 포함하고, 상기 송수신 장치가 제1 카메라, 제2 카메라, 레이저 거리계 등과 객체 모니터링 장치나 사용자 단말기 간의 송수신을 담당하도록 할 수 있다.
또한 제1 카메라, 제2 카메라, 레이저 거리계 등이 각각 객체 모니터링 장치나 사용자 단말기와 직접 송수신할 수 있도록 제작될 수도 있다. 즉, 각각의 카메라가 촬영한 영상을 전송하고, 레이저 거리계가 측정한 거리를 전송하고, 기타 센서가 측정한 신호를 전송할 수 있다. 이와 같이 상기 측정 시스템에서 하나 이상의 송수신 장치가 다양한 부품 또는 다양한 위치에 설치될 수 있다.
또한 상기 측정 시스템의 송수신 장치는 기존의 다양한 방법을 이용하여 신호를 송수신할 수 있다. 송수신 장치는 유무선 송수신 방식을 모두 채용할 수 있으며, 무선 송수신의 경우 LTE, 3G, 4G, 5G, 6G 등의 광대역 통신 방식뿐만 아니라 UWB, 와이파이(Wi-Fi), 지그비(ZigBee), 블루투스 같은 기존의 근거리 통신 방식을 사용할 수 있다.
상기 측정 시스템은 다양한 구성 및 방법을 이용하여 골프공, 사용자 또는 특정 객체의 위치나 이동 경로를 확인할 수 있으며, 설명의 편의를 위하여 상기 측정 시스템이 위치나 이동 경로를 확인하려는 골프공, 사용자 또는 특정 객체 등을 이후 타겟이라고 통칭한다.
상기 측정 시스템은 타겟의 위치나 이동 경로를 확인하기 위하여 다양한 정보를 이용할 수 있으며, 이러한 정보의 예로는 (1) 하나 이상의 카메라 및 상기 카메라가 촬영한 하나 이상의 정지 영상 또는 동영상, (2) 레이저 거리계가 측정한 타겟까지의 거리(직선 거리), (3) 레이저 거리계가 타겟까지의 거리를 측정하고 기타 객체까지의 거리를 측정하였을 때 상기 거리들 사이의 차이, (4) 특정 기준점의 2차원적 또는 3차원적 위치(절대적 위치), (5) 특정 기준점과 타겟 사이의 거리, (6) 특정 기준점과 타겟 사이의 2차원적 또는 3차원적 각도 등이 있다.
특히 상기 측정 시스템은 위의 (1) 내지 (6)의 각종 정보를 상기 영상 또는 센서를 이용하여 직접 얻을 수 있다. 또는 상기 측정 시스템은 머신 러닝을 통하여 (1) 내지 (6)의 동영상, 측정치 등과 관련된 각종 정보를 학습한 후, 그 결과에 근거하여 인공 지능을 사용하여 위의 (1) 내지 (6)의 각종 정보를 얻을 수 있다.
단 위의 "2차원적 또는 3차원적 위치"의 예로는 카테시안 좌표계(Cartesian coordinate)의 (x, y)나 (x, y, z) 등이 있고, 위의 "특정 기준점"의 예로는 특정 고정 객체, 고정 객체의 특정 부분, 카메라, 레이저 거리계, 특정 고정 객체가 위치하지는 않지만 사용자나 관리자가 미리 설정한 지점 등이 있다. 또한 위의 "2차원적 또는 3차원적 각도"의 예로는 구면 좌표계(spherical coordinate)의 (α,ρ)나 (α,ρ,η) 등이 있다.
따라서 상기 측정 시스템은 상기 (1) 내지 (6)의 하나 이상을 이용하여 타겟의 위치나 이동 경로를 용이하게 확인할 수 있다. 일예로 상술의 다양한 구성 및 방법 중 하나는 (1), (2) 및 (4)의 조합으로서, 특정 기준점과 골프공과 같은 타겟의 상대적 위치를 영상을 이용하여 확인하고, 레이저 거리계가 측정한 거리를 이용하여 골프공 등의 타겟의 절대적 위치를 확인할 수 있다.
상술한 다양한 구성 및 방법 중 또 다른 예는 (1)만을 이용하는 구성 및 방법이다. 즉 상기 측정 시스템은 세 개 이상의 카메라를 상이한 위치 또는 높이에 설치하여 골프공 등의 타겟이 포함된 상이한 영상을 확보한 후, 기존의 삼각 측량법(triangulation)을 이용하여 골프공 등의 위치나 이동 경로를 확인할 수 있다. 이와는 달리 카메라가 촬영한 영상에 특정 기준점도 포함되어 있으면, 상기 측정 시스템은 두 개의 영상만을 이용하는 삼각 측량법으로 골프공 등과 같은 타겟의 위치나 이동 경로를 확인할 수도 있다.
위의 (1)만을 이용하는 구성 및 방법에서도 (2)의 레이저 거리계를 이용하여 타겟의 위치나 이동 경로를 얻을 수 있다. 이와 같이 2개 이상의 영상을 이용하는 삼각 측량법 및 (2)의 레이저 거리계를 이용함으로써 상기 측정 시스템은 타겟의 위치나 경로를 재확인함으로써, 타겟의 위치나 경로 추정 시 발생하는 오차를 줄일 수 있다.
일반적으로 타겟의 위치는 특정 죄표계에서 세 개의 변수로 결정된다. 따라서 상기 측정 시스템은 위의 (1) 내지 (6) 중 2개 또는 3개 이상을 이용하여 세 개의 독립적인 방정식을 만들고, 이 방정식들을 풀면 타겟의 절대적 3차원 위치를 구할 수 있다. 또한 상기 측정 시스템은 시간에 따르는 상기 위치의 변화로부터 타겟의 이동 경로, 이동 속도 등을 확인할 수 있다.
상기 측정 시스템은 레이저 거리계 이외의 장치 또는 방법을 이용하여 골프공, 사용자 또는 특정 객체 등과 같은 타겟까지의 거리를 측정할 수 있다. 일예로 상기 측정 시스템은 레이저 거리계 대신 적외선, 자외선, 기타 파장의 전자기파 또는 초음파 등을 이용하여 거리를 측정할 수 있다.
본 발명의 실시예에서는 카메라가 골프공을 촬영한 영상에서 가능한 골프공이 영상 중앙에 위치하는 것으로 설명하였지만 필요한 경우 골프공, 사용자 또는 특정 개체 등의 타겟은 반드시 영상의 중앙에 위치할 필요는 없다. 즉 상기 측정 시스템이 상기 영상으로부터 타겟의 위치, 각도 등과 같은 특성을 파악할 수 있는 한 타겟은 영상의 어떤 지점에도 위치할 수 있다.
상기 측정 시스템은 다양한 개수의 카메라와 레이저 거리계를 다양한 구성으로 다양한 위치에 장착하고 사용할 수 있다.
일예로 카메라와 레이저 거리계는 함께 "상하 또는 좌우로" (이후 "상하/좌우로" 약칭) 회전이 가능하도록 제작 또는 설치하거나, 함께 "상하 또는 좌우 또는 앞뒤로" (이후 "상하/좌우/전후로" 약칭) 이동이 가능하도록 제작 또는 설치할 수 있다. 따라서 이러한 구성의 경우, 카메라와 골프공 사이의 거리는 대략 레이저 거리계와 골프공 사이의 거리와 같다고 할 수 있다.
이와는 달리 카메라와 레이저 거리계는 독립적으로 상하/좌우로 회전이 가능하도록, 또는 독립적으로 상하/좌우/전후로 이동이 가능하도록 설치할 수 있다.
또한 카메라와 레이저 거리계가 독립적으로 회전하거나 이동하는 경우, 카메라 및 레이저 거리계의 설치 위치에 따라 특정 골프공을 촬영하기 위한 카메라의 회전 또는 이동 방향, 이동 각도 또는 이동 거리는 레이저 거리계의 회전 또는 이동 방향, 이동 각도 또는 이동 거리와 상이하거나, 경우에 따라 반대 방향일 수 있다.
상술한 제1 카메라, 제2 카메라, 레이저 거리계, 객체 모니터링 장치 등은 특정 위치에 고정되도록 설치할 수 있다. 일예로 제1 카메라, 제2 카메라, 레이저 거리계, 객체 모니터링 장치 등은 골프장 내부 또는 주변의 나무, 전봇대, 피뢰침, 조명 가구 또는 기타 자연 구조물 또는 기타 인공 구조물에 고정되도록 설치될 수 있다. 물론 상기 제1 카메라, 제2 카메라 또는 레이저 거리계 등은 상기 위치에 고정되도록 설치된 상태에서 회전이 가능하도록 제작할 수 있다.
이와는 달리 제1 카메라, 제2 카메라, 레이저 거리계, 객체 모니터링 장치 중 하나 이상은 이동이 가능하도록 또는 위치는 일정하지만 방향 전환이 가능하도록 설치할 수 있다. 일예로 카메라의 방향, 위치 또는 높이의 변경이 가능하도록 카메라가 회전 또는 이동이 가능한 구동 장치 및 모터를 포함할 수 있다. 또한 카메라가 이동할 수 있는 레일을 설치하고 카메라를 레일을 따라 이동 또는 회전시킴으로써 카메라의 위치나 방향을 조작할 수 있다.
또한 제1 카메라, 제2 카메라, 레이저 거리계, 객체 모니터링 장치 중 하나 이상을 이동이 가능한 골프 카트, 로봇 또는 드론 등에 설치하고 이들의 이동을 조작함으로써 제1 카메라, 제2 카메라, 레이저 거리계, 객체 모니터링 장치의 위치나 높이를 조작할 수 있다.
또한 제1 카메라, 제2 카메라, 레이저 거리계, 객체 모니터링 장치 등은 고정되도록 설치되어 그 위치를 일정하게 할 수 있다. 이와는 달리 제1 카메라, 제2 카메라, 레이저 거리계, 객체 모니터링 장치 등은 탈착이 가능하도록 설치하여 추후 사용자가 그 위치나 높이를 조절할 수 있다.
상술한 레이저 거리계는 골프공, 사용자 또는 기타 객체의 위치를 측정할 수 있는 한 다양한 위치에 설치될 수 있다. 일예로 레이저 거리계는 제1 카메라 또는 제2 카메라와 동일한 또는 아주 근접한 위치 또는 높이에 설치될 수 있다. 이를 위하여 레이저 거리계와 제1 카메라 또는 제2 카메라는 단일의 물체로 제작될 수 있다.
이와는 달리 레이저 거리계는 제1 카메라 또는 제2 카메라와 상이한 위치 또는 높이에 설치될 수 있다. 이 경우 측정 시스템은 레이저 거리계의 위치 및 높이와 제1 또는 제2 카메라의 위치 및 높이를 고려하여 골프공, 사용자 또는 특정 객체의 위치를 확인할 수 있다.
상기 측정 시스템은 하나 이상의 공지의 센서를 포함할 수도 있다. 일예로 상기 측정 시스템은 풍향을 측정하는 풍향계, 풍속을 측정하는 풍속계, 강우 유무 및 강우량을 측정하는 강우계, 온도를 측정하는 온도계, 습도를 측정하는 습도계, 시간을 측정하는 시계, 특정 기간의 길이를 측정하는 타이머, 음향을 측정하는 마이크 등과 같은 센서 중 하나 이상을 포함할 수 있다. 상기 센서는 상술의 제1 카메라, 제2 카메라, 레이저 거리계, 객체 모니터링 장치 또는 사용자 단말기에 설치될 수 있다.
상기 측정 시스템은 골프공, 사용자 등의 위치 이외에도 골프 클럽, 골프채 케이스, 사용자의 용품(일예로 모자, 옷 등) 등과 같은 다양한 객체의 위치를 실시간으로 파악하고, 이를 사용자에게 통지할 수 있다. 또한 상기 측정 시스템은 사용자의 요청 시 이미 촬영한 영상을 분석하여 객체의 위치를 사후 파악할 수 있다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다.
따라서 본 발명의 명세서에 개시된 실시예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
10: 제1 카메라 20: 제2 카메라
12, 22: 레이저 거리계 30, 300: 객체 모니터링 장치
40: 사용자 단말기
100: 제1 카메라 장치 200: 제2 카메라 장치

Claims (10)

  1. 제1 객체를 촬영하는 제1 카메라와,
    상기 제1 객체가 이동한 위치 주변에 설치되어 상기 제1 객체 및 상기 제1 객체와 연관된 제2 객체를 촬영하는 제2 카메라와,
    상기 제1 객체와 거리 측정 기준 위치 간의 제1 거리 및 상기 제2 객체와 거리 측정 기준 위치 간의 제2 거리를 측정하는 거리계와,
    상기 거리계가 측정한 제1 거리 및 제2 거리를 이용해 상기 제1 객체의 위치값 및 상기 제2 객체의 위치값을 산출하는 객체 모니터링 장치를 포함하는 인공지능 기반 이동 객체의 위치 측정 시스템.
  2. 제1항에 있어서,
    상기 객체 모니터링 장치는 상기 제1 카메라에 의해 촬영된 영상을 분석하여 상기 제1 객체의 이동 궤적을 추적하고, 상기 제1 객체의 이동 궤적에 근거해 상기 제1 객체가 이동한 거리를 산출하여 상기 제2 카메라를 특정하고, 상기 제2 카메라의 동작을 제어하는 것을 특징으로 하는 인공지능 기반 이동 객체의 위치 측정 시스템.
  3. 제2항에 있어서,
    상기 객체 모니터링 장치는 상기 제2 카메라에 의해 촬영된 영상을 분석하여 상기 제1 객체를 인식하면, 상기 제2 카메라를 이동 및 줌인하여 상기 제1 객체를 영상의 특정 지점에 위치시키고, 상기 거리계로부터 측정된 상기 제1 객체와 상기 거리 측정 기준 위치 간의 제1 거리를 수신하는 것을 특징으로 하는 인공지능 기반 이동 객체의 위치 측정 시스템.
  4. 제3항에 있어서,
    상기 객체 모니터링 장치는 상기 제2 카메라에 의해 촬영된 영상을 분석하여 상기 제1 객체와 연관된 제2 객체를 인식하면, 상기 제2 카메라를 이동 및 줌인하여 상기 제2 객체를 영상의 특정 지점에 위치시키고, 상기 거리계로부터 측정된 상기 제2 객체와 상기 거리 측정 기준 위치 간의 제2 거리를 수신한 후, 상기 제1 거리 및 상기 제2 거리를 이용하여 상기 제1 객체의 위치값과 상기 제2 객체의 위치값을 산출하는 것을 특징으로 하는 인공지능 기반 이동 객체의 위치 측정 시스템.
  5. 제2항에 있어서,
    상기 객체 모니터링 장치는 상기 제2 카메라에 의해 촬영된 영상을 분석하여 상기 제1 객체를 인식하지 못한 경우, 상기 제1 객체가 이동한 거리에 근거해 상기 제1 객체가 이동한 추정 위치를 포함하는 영상을 사용자 단말기로 전송하는 것을 특징으로 하는 인공지능 기반 이동 객체의 위치 측정 시스템.
  6. 제1항에 있어서,
    상기 객체 모니터링 장치는 상기 제1 객체의 위치값, 상기 제2 객체의 위치값, 상기 제1 객체의 위치값 및 상기 제2 객체의 위치값을 이용해 산출한 상기 제1 객체와 상기 제2 객체 간의 거리 중의 적어도 하나를 사용자 단말기로 전송하는 것을 특징으로 하는 인공지능 기반 이동 객체의 위치 측정 시스템.
  7. 제1 객체를 촬영하여 획득한 영상으로부터 제1 객체의 이동 궤적을 추적하여 제1 객체가 이동한 거리를 산출하는 제1 카메라 장치와,
    상기 제1 객체가 이동한 위치 주변에 설치되어 상기 제1 객체 및 상기 제1 객체와 연관된 제2 객체를 촬영하여 상기 제1 객체와 거리 측정 기준 위치 간의 제1 거리 및 상기 제2 객체와 거리 측정 기준 위치 간의 제2 거리를 측정하는 제2 카메라 장치와,
    상기 제2 카메라 장치로부터 수신한 제1 거리 및 제2 거리를 이용해 상기 제1 객체의 위치값과 상기 제2 객체의 위치값을 산출하는 객체 모니터링 장치를 포함하는 인공지능 기반 이동 객체의 위치 측정 시스템.
  8. 제7항에 있어서,
    상기 제1 카메라 장치는 상기 제1 객체의 이동 거리를 상기 객체 모니터링 장치로 전송하고, 상기 객체 모니터링 장치는 상기 제1 객체의 이동 거리에 근거해 상기 제2 카메라 장치를 특정하여 상기 제2 카메라 장치의 동작을 제어하는 것을 특징으로 하는 인공지능 기반 이동 객체의 위치 측정 시스템.
  9. 제8항에 있어서,
    상기 제2 카메라 장치는 촬영한 영상으로부터 상기 제1 객체를 인식하면 카메라를 이동 및 줌인하여 상기 제1 객체를 영상의 특정 지점에 위치시키고, 거리계를 이용해 상기 제1 객체와 거리 측정 기준 위치 간의 제1 거리를 측정하고,
    촬영한 영상으로부터 상기 제2 객체를 인식하면 카메라를 이동 및 줌인하여 상기 제2 객체를 영상의 특정 지점에 위치시키고, 거리계를 이용해 상기 제2 객체와 거리 측정 기준 위치 간의 제2 거리를 측정하는 것을 특징으로 하는 인공지능 기반 이동 객체의 위치 측정 시스템.
  10. 인공지능 기반 이동 객체의 위치 측정 시스템에서 이동 객체의 위치를 측정하는 방법에 있어서,
    제1 카메라에 의해 촬영된 영상을 분석하여 제1 객체의 이동 궤적을 추적하고, 상기 제1 객체의 이동 궤적에 근거해 상기 제1 객체의 이동 거리를 산출하는 단계와,
    상기 제1 객체의 이동 거리에 근거해 상기 제1 객체가 이동한 위치 주변에 설치된 제2 카메라에 의해 촬영된 영상을 분석하여 상기 제1 객체를 인식하는 단계와,
    상기 제2 카메라를 이동 및 줌인하여 상기 제1 객체를 영상의 특정 지점에 위치시키고, 상기 제2 카메라 또는 그 주변에 설치된 거리계로부터 측정된 상기 제1 객체와 거리계 간의 제1 거리를 수신하는 단계와,
    상기 제2 카메라에 의해 촬영된 영상을 분석하여 상기 제1 객체와 연관된 제2 객체를 인식하는 단계와,
    상기 제2 카메라를 이동 및 줌인하여 상기 제2 객체를 영상의 특정 지점에 위치시키고, 상기 거리계로부터 측정된 상기 제2 객체와 거리계 간의 제2 거리를 수신하는 단계와,
    상기 제1 거리 및 상기 제2 거리를 이용하여 상기 제1 객체의 위치값과 상기 제2 객체의 위치값을 산출하는 단계를 포함하는 방법.
KR1020210175994A 2021-12-09 2021-12-09 인공지능 기반 이동 객체의 위치 측정 시스템 및 방법 KR20230087231A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210175994A KR20230087231A (ko) 2021-12-09 2021-12-09 인공지능 기반 이동 객체의 위치 측정 시스템 및 방법
US18/077,303 US20230186493A1 (en) 2021-12-09 2022-12-08 System and method for measuring location of moving object based on artificial intelligence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210175994A KR20230087231A (ko) 2021-12-09 2021-12-09 인공지능 기반 이동 객체의 위치 측정 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20230087231A true KR20230087231A (ko) 2023-06-16

Family

ID=86694668

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210175994A KR20230087231A (ko) 2021-12-09 2021-12-09 인공지능 기반 이동 객체의 위치 측정 시스템 및 방법

Country Status (2)

Country Link
US (1) US20230186493A1 (ko)
KR (1) KR20230087231A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446350B (zh) * 2014-09-26 2018-05-29 科沃斯机器人股份有限公司 自移动机器人移动界限划定方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160122383A (ko) 2015-04-14 2016-10-24 이병인 무인항공기를 이용한 실시간 골프공 위치 추적 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160122383A (ko) 2015-04-14 2016-10-24 이병인 무인항공기를 이용한 실시간 골프공 위치 추적 시스템 및 방법

Also Published As

Publication number Publication date
US20230186493A1 (en) 2023-06-15

Similar Documents

Publication Publication Date Title
EP3566103B1 (en) Capturing images of a game by an unmanned autonomous vehicle
KR102392148B1 (ko) 레이더 데이터 및 이미지화기 데이터를 사용하여 물체를 추적하기 위한 디바이스, 시스템, 및 방법
EP3393608B1 (en) Planar solutions to object-tracking problems
US20220138969A1 (en) Three-dimensional object tracking using unverified detections registered by one or more sensors
AU2018404876B2 (en) Golf ball tracking system
CN104853104A (zh) 一种自动跟踪拍摄运动目标的方法以及系统
US10525324B2 (en) Mixed-reality kick tracking and simulation
US20220284628A1 (en) System and method for robotic camera calibration
US11644562B2 (en) Trajectory extrapolation and origin determination for objects tracked in flight
US20230085842A1 (en) Trajectory extrapolation and origin determination for objects tracked in flight and sensor coverage determination
US11964188B2 (en) Trajectory extrapolation for objects tracked in flight and sensor coverage determination
KR20230087231A (ko) 인공지능 기반 이동 객체의 위치 측정 시스템 및 방법
US11645819B2 (en) Augmented reality system for viewing an event with mode based on crowd sourced images
US20230118280A1 (en) Use of multiple registrations for augmented reality system for viewing an event
KR101778890B1 (ko) 골프장용 거리 측정을 위한 드론
US20220295139A1 (en) Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
KR102523667B1 (ko) 무인 골프 카트 동작 제어 장치 및 방법
US20240139599A1 (en) Extended Reality System for Training and Evaluation
WO2022040796A1 (en) Electronic assessment of playing surface properties

Legal Events

Date Code Title Description
E902 Notification of reason for refusal