KR20170114045A - 이미지 센서 및 레이더 센서를 이용하여 타겟의 궤적을 추적하는 장치 및 방법 - Google Patents

이미지 센서 및 레이더 센서를 이용하여 타겟의 궤적을 추적하는 장치 및 방법 Download PDF

Info

Publication number
KR20170114045A
KR20170114045A KR1020160039803A KR20160039803A KR20170114045A KR 20170114045 A KR20170114045 A KR 20170114045A KR 1020160039803 A KR1020160039803 A KR 1020160039803A KR 20160039803 A KR20160039803 A KR 20160039803A KR 20170114045 A KR20170114045 A KR 20170114045A
Authority
KR
South Korea
Prior art keywords
target
velocity
speed
detecting
image
Prior art date
Application number
KR1020160039803A
Other languages
English (en)
Other versions
KR101848864B1 (ko
Inventor
최두헌
강세진
Original Assignee
주식회사 아이유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이유플러스 filed Critical 주식회사 아이유플러스
Priority to KR1020160039803A priority Critical patent/KR101848864B1/ko
Publication of KR20170114045A publication Critical patent/KR20170114045A/ko
Application granted granted Critical
Publication of KR101848864B1 publication Critical patent/KR101848864B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
    • G01P3/68—Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light
    • G01P3/685—Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light for projectile velocity measurements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A63B69/3658—Means associated with the ball for indicating or measuring, e.g. speed, direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H04N13/0022—
    • H04N13/025—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/30—Speed
    • A63B2220/31—Relative speed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/805—Optical or opto-electronic sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/89—Field sensors, e.g. radar systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

일 개시에 의하여 이미지 센서 및 레이더 센서를 이용하여 타겟(target)의 궤적을 추적하는 방법을 제공하며, 본 방법은, 이미지 센서를 통해, 적어도 하나 이상의 객체들의 이동상태가 포함된 영상을 획득하는 단계, 적어도 하나 이상의 객체들로부터 타겟을 결정하는 단계, 획득한 영상으로부터 타겟의 제 1속도를 검출하는 단계, 레이더 센서를 통해 타겟의 제 2속도를 검출하는 단계, 타겟의 제 1속도를 검출한 시간과 타겟의 제 2속도를 검출한 시간을 매핑함으로써, 제 2속도를 이용하여 제 1속도를 보정하는 단계, 및 보정된 타겟의 제 1속도를 이용하여 타겟의 궤적을 추적하는 단계를 포함할 수 있다.

Description

이미지 센서 및 레이더 센서를 이용하여 타겟의 궤적을 추적하는 장치 및 방법{APPARATUS AND METHOD FOR TRACKING TRAJECTORY OF TARGET USING IMAGE SENSOR AND RADAR SENSOR}
일 개시에 의하여, 움직이는 타겟의 움직임을 분석하여 궤적을 추적하는 장치 및 방법을 제공하는 것이다. 보다 구체적으로, 이미지 센서 및 레이더 센서를 이용하여 타겟의 움직임을 분석하여 궤도를 추적하는 장치 및 발명에 관한 것이다.
1990년대 초 미국, 독일, 일본 등에서 시뮬레이션 기술을 골프에 적용하여 개발된 골프 시뮬레이션 시스템들은 골프 클럽 제조사 등에서 자사 제품을 사용했을 때, 비 거리 및 탄도를 분석하기 위한 연구용으로 사용되었다. 그 이후 국내에서는 2000년대초 골프인구가 급격히 증가하면서 스크린 골프시장이 급격히 성장하면서 국내에서도 다양한 센서들을 이용하여 골프 시뮬레이터 기술과 제품이 개발되고 발전되어 왔다.
골프공의 움직임을 촬영한 영상을 이미지 영상처리 기술로 처리하여 기본적인 궤적 추적이 가능하다. 하지만 카메라의 원리상 이동하는 물체의 초점을 다시 설정해야하는 문제로 인해, 초점에서 벗어난 타겟의 영상의 경우 번짐 현상이 발생한다. 이런 문제로 움직이는 타겟의 방향을 확인하는 것은 어려움이 없으나 정확한 순간 속도를 측정하는데 오차가 발생할 수 있다.
일 실시예에 의하여, 카메라를 통한 영상 처리에 있어서 레이더 센서를 이용하여 측정한 타겟의 속도 정보를 이용하여 보정함으로써, 움직이는 타겟의 정확한 궤적 정보를 측정할 수 있는 방법 및 장치를 제공함에 있다.
일 개시에 의하여 이미지 센서 및 레이더 센서를 이용하여 타겟(target)의 궤적을 추적하는 방법을 제공하며, 본 방법은, 이미지 센서를 통해, 적어도 하나 이상의 객체들의 이동상태가 포함된 영상을 획득하는 단계, 적어도 하나 이상의 객체들로부터 타겟을 결정하는 단계, 획득한 영상으로부터 타겟의 제 1속도를 검출하는 단계, 레이더 센서를 통해 타겟의 제 2속도를 검출하는 단계, 타겟의 제 1속도를 검출한 시간과 타겟의 제 2속도를 검출한 시간을 매핑함으로써, 제 2속도를 이용하여 제 1속도를 보정하는 단계, 및 보정된 타겟의 제 1속도를 이용하여 타겟의 궤적을 추적하는 단계를 포함할 수 있다.
여기서, 타겟을 결정하는 단계는, 수신한 3차원 영상에서 미리 결정된 발사점에서부터 공중으로 이동하는 적어도 하나 이상의 객체를 인식하는 단계 및 적어도 하나 이상의 객체에서, 발사점에서 정지 상태로 인식된 객체가 공중으로 이동하는 객체를 타겟으로 설정하는 단계를 포함할 수 있다.
또한, 제 1속도를 검출하는 단계는 적어도 하나 이상의 객체의 속도 정보 중 타겟의 속도 정보를 제외한 나머지 객체의 속도 정보를 제거하는 단계, 타겟의 속도를 구간별로 측정하는 단계 및 구간별로 측정된 타겟의 속도를 제 1속도로 결정하는 단계를 포함하고, 타겟의 제 2속도를 검출하는 단계는, 레이더를 통해 수신한 신호에서 적어도 하나 이상의 객체의 움직임을 감지하는 단계를 포함할 수 있다.
또한, 적어도 하나 이상의 객체에서, 발사점에서 정지 상태로 감지된 객체가 공중으로 이동하는 객체를 타겟으로 설정하는 단계, 적어도 하나 이상의 객체의 속도 정보 중 타겟의 속도 정보를 제외한 나머지 객체의 속도 정보를 제거하는 단계, 타겟의 속도를 구간별로 측정하는 단계, 및 구간별로 측정된 타겟의 속도를 제 2속도로 결정하는 단계를 포함할 수 있다.
또한, 타겟의 제 1속도를 검출하는 단계는, 타겟의 위치를 미리 결정된 시간 간격으로 촬영한 영상의 픽셀수 데이터를 이용하여 타겟의 제 1속도를 검출하고, 타겟의 제 2속도를 검출하는 단계는, 레이더로부터 출사되는 방사파의 출사시점과 반사파의 수신시점 정보를 획득하는 단계, 획득한 정보를 기초로 레이더로부터 타겟이 이격된 거리 정보를 산출하는 단계, 및 거리 정보로부터 제 2속도를 검출하는 단계를 포함할 수 있다.
또한, 검출된 제 1속도 및 제 2속도를 비교하는 단계, 제 1속도 및 제 2속도의 차이가 미리 결정된 오차 범위에 해당하는 지 미리 결정된 시간 구간 별로 판단하는 단계, 제 1속도 및 제 2속도의 차이가 미리 결정된 오차 범위를 벗어나는 경우, 오차 범위를 벗어난 시간 구간에 대하여 제 1속도를 제 2속도로 대체하는 단계, 제 2속도로 대체된 제 1속도에 기초하여 타겟의 평균 속도를 산출하는 단계, 및 산출된 타겟의 평균 속도에 기초하여, 타겟의 궤적을 출력하는 단계를 포함할 수 있다.
또한, 제 2속도를 검출하는 단계는, 레이더 센서로부터 타겟에 대한 레이더 센싱 신호를 수신하는 단계, 레이더 센싱 신호를 신호 처리하여, 비트 신호에 대한 주파수 스펙트럼을 생성하는 단계, 레이더 센서의 이동 속도에 해당하는 주파수 대역의 피크값이 임계값을 비교하여, 타겟의 상태를 판단하는 단계 및 비트 신호에 대한 주파수 스펙트럼을 기반으로 타겟의 제 2속도를 검출하는 단계를 포함할 수 있다
또한, 이미지 센서는 타켓에 대한 퍼팅이 이루어지는 발사점에 대한 깊이 영상을 획득하는 깊이(depth) 카메라 모듈을 포함하고, 깊이 카메라 모듈로부터 배경 영상 및 타켓이 발사점에 위치하는 시점부터 퍼팅이 종료되는 시점까지의 깊이 영상을 획득하는 단계, 깊이 영상의 화면을 배경 영상에서의 깊이 값과 비교하여 타겟을 검출하고, 타겟에서 포인터를 추출하는 단계, 추출된 포인터 위치의 깊이 값을 기준으로 영상에서 공간 좌표를 계산하는 단계, 미리 결정된 시간 구간에 따라, 포인터의 3차원 좌표 값을 획득하고, 3차원 좌표값의 분석을 통해 포인터의 속도를 검출하는 단계 및 포인터의 속도로부터 타겟의 초기 속도를 구하고, 실제 측정된 거리와 보정계수를 이용하여 제 1속도를 보정하는 단계 및 제 2속도를 이용하여 타겟의 제 1속도를 보정하는 단계를 포함할 수 있다.
또한, 이하 수식에 의하여, 특정 시점에서의 타겟의 위치와 최종적으로 타겟이 도착하는 위치를 계산할 수 있다.
Figure pat00001
(여기에서, v0 는 포인터의 초기 속도, t는 타겟이 퍼팅된 이후 경과한 시간, a는 가속도를 의미함)
또한, 타겟의 궤적을 출력하는 단계는, 사용자에 의하여 경사도, 퍼팅 잔디의 빠르기를 포함하는 환경설정 정보를 입력받는 단계, 환경설정 정보에 따라 타겟의 방향, 각도, 거리가 포함된 궤적을 화면에 출력하는 단계, 타겟을 화면에 표시할 때, 타겟의 궤적을 서로 다른 속도 모드로 재생하는 단계를 포함할 수 있다.
일 실시예에 의하여, 타겟(target)의 궤적을 추적하는 장치를 제공하며, 본 장치는, 적어도 하나 이상의 객체들이 이동하는 영상이 포함된 영상을 획득하는 이미지 센서, 적어도 하나 이상의 객체들로부터 타겟을 결정하고, 타겟의 제 1속도를 검출하는 제 1속도 검출부, 레이더 센서를 이용하여 타겟의 속도를 제 2속도를 검출하는 제 2속도 검출부, 타겟의 제 1속도를 검출한 시간과 타겟의 제 2속도를 검출한 시간을 매핑함으로써, 제 2속도를 이용하여 제 1속도를 보정하고, 보정된 타겟의 제 1속도를 이용하여 보정된 타겟의 궤적을 추적하는 제어부 및 타겟의 궤적을 출력하는 디스플레이 부를 포함할 수 있다.
또한, 제 1속도 검출부는 타겟의 위치를 미리 결정된 시간 간격으로 촬영한 영상의 픽셀수 데이터를 이용하여 타겟의 제 1속도를 검출하고, 제 2속도 검출부는 레이더 센서로부터 출사되는 방사파의 출사시점과 반사파의 수신시점 정보를 획득하고, 획득한 정보를 기초로 레이더로부터 타겟이 이격된 거리 정보를 산출하고, 거리 정보로부터 제 2속도를 검출할 수 있다.
여기서, 레이더 센서는 CW(continuous wave) 레이더 또는 FMCW 레이더일 수 있으며, 제 2속도 검출부는, 레이더 센서로부터 타겟에 대한 레이더 센싱 신호를 수신하고, 레이더 센싱 신호를 신호 처리하여, 비트 신호에 대한 주파수 스펙트럼을 생성하고, 레이더 센서의 이동 속도에 해당하는 주파수 대역의 피크값이 임계값을 비교하여, 타겟의 상태를 판단하고, 비트 신호에 대한 주파수 스펙트럼을 기반으로 타겟의 제 2속도를 검출할 수 있다.
일 실시예에 의하여, 본 발명의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
일 실시예에 의하여, 영상 센서만을 이용하여 궤적을 추적하였을 때 발생하는 환경에 따른 번짐 현상과 먼지, 렌즈의 오염 등으로 인한 번짐현상으로 인해 발생하는 속도 측정의 오차를 개선할 수 있다.
또한, 하나의 레이더를 사용함으로써, 저가의 장치로 타겟의 속도 측정을 보완해줄 수 있다.
도 1 및 도 2는 일 실시예에 의한, 이미지 센서와 레이더 센서를 이용하여 타겟의 궤도를 측정하는 장치의 구성을 기능적으로 나타낸 도면이다.
도 3은 일 실시예에 의한, 이미지 센서와 레이더 센서를 이용하여 타겟의 궤도를 측정하는 방법의 흐름도이다.
도 4는 일 실시예에 의하여, 타겟의 궤도를 측정하는 일 실시예를 설명하기 위한 도면이다.
도 5는 일 실시예에 의하여, 레이더를 이용하여 객체를 검출하는 것을 설명하기 위한 예시도면이다.
도 6은 일 실시예에 의하여, 타겟의 움직임을 추적하여 중심점을 저장하는 방법을 나타낸 도면이다.
도 7은 일 실시예에 의하여, 미리 결정된 구간에 따라 타겟의 방향각도를 구하는 실시예를 설명하기 위한 도면이다.
일 개시에 의한 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
일 실시예에 의하여, 본 명세서에서 "타겟"은 사용자의 클럽에 의하여 타격된 골프공 또는 골프공과 클럽 헤드를 함께 의미할 수 있다.
일 실시예에 의하여, 본 명세서의 "사용자"는 골프클럽을 이용하여 골프공을 타격하는 자, 관리자, 기계 설치자 등을 의미할 수 있으며, 이에 한정되지 않는다.
도 1 및 도 2는 일 실시예에 의한, 이미지 센서와 레이더 센서를 이용하여 타겟의 궤도를 측정하는 궤도 추적 장치의 구성을 기능적으로 나타낸 도면이다.
도 1에 도시된 바와 같이, 일 실시예에 따른 궤적 추적 장치(100)는 이미지 센서(200), 제 1속도 검출부(210), 레이더 센서(220), 제 2속도 검출부(230), 제어부(300) 및 디스플레이부(400)를 포함할 수 있다. 그러나, 도 1에 도시된 구성 요소 모두가 궤적 추적 장치(100)의 필수 구성 요소인 것은 아니다. 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 궤적 추적 장치(100)가 구현될 수도 있고, 도 1에 도시된 구성 요소보다 적은 구성 요소에 의해 궤적 추적 장치(100)가 구현될 수도 있다.
이미지 센서(200)는 타겟 및 사용자의 영상을 획득할 수 있다. 이미지 센서(200)는 타겟의 이동궤적을 촬영할 수 있다. 이미지 센서(200)는 적어도 하나의 카메라를 포함할 수 있다. 이미지 센서(200)는 복수의 타겟을 촬영하기 위하여 사용될 수 있다. 이미지 센서(200)는 360도의 촬영각도를 가지는 촬영을 진행할 수 있다.
이미지 센서(200)는 레이더 센서(200)와 같은 위치에 설치될 수 있다. 또한, 이미지 센서(200)는 사용자의 머리가 향하는 방향에 설치될 수 있다. 이미지 센서(200)는 바닥면과 대응되는 천장면에 설치됨으로써, 움직이는 타겟의 궤도를 넓게 촬영할 수 있다.
제 1속도 검출부(210)는 이미지 센서(200)로부터 적어도 하나 이상의 객체들의 이동 영상이 포함된 영상을 수신할 수 있다. 제 1속도 검출부(210)는 적어도 하나 이상의 객체들로부터 타겟을 결정하고, 타겟의 제 1속도를 검출할 수 있다. 이 경우, 결정되는 타겟은 복수 개일 수 있다. 예를 들어, 골프 스윙 영상에 포함된 객체는 골프 스윙을 하는 사람과 골프채의 헤드, 그리고 골프공 등이 있을 수 있으며, 이 중에서 골프공을 단독 타겟으로 설정하여 골프공의 이동 속도만을 측정하거나 또는 골프공과 함께 골프채의 헤드를 타겟으로 각각 설정하여 골프공의 이동 속도의 보정시에 골프채의 헤드의 이동 속도를 반영할 수도 있다.
제 1속도는 이미지 센서(200)를 통해 측정된 타겟의 이동 속도를 의미할 수 있다.
제 1속도 검출부(210)는 수신한 3차원 영상에서 미리 결정된 발사점에서부터 공중으로 이동하는 적어도 하나 이상의 객체를 인식하고 발사점에서 정지 상태로 인식된 객체가 공중으로 이동하는 객체를 타겟으로 설정할 수 있다.
제 1속도 검출부(210)는 타겟의 위치를 미리 결정된 시간 간격으로 촬영한 영상의 픽셀수 데이터를 이용하여 타겟의 제 1속도를 검출할 수 있다.
제 1속도 검출부(210)는 적어도 하나 이상의 객체의 속도 정보 중 타겟의 속도 정보를 제외한 나머지 객체의 속도 정보를 제거할 수 있다. 제 1속도 검출부(210)는 사용자의 퍼팅 동작을 촬영한 영상으로부터 골프공을 타겟으로 설정하여, 타겟의 제 1속도를 검출할 수 있다.
제 1속도 검출부(210)는 클럽 헤드 및 골프공이 이동하는 영상으로부터, 클럽 헤드 및 골프공을 인식할 수 있다. 제 1속도 검출부(210)는 클럽헤드의 이동 후, 미리 설정된 발사점에서 이동되는 골프공을 타겟으로 설정할 수 있다. 제 1속도 검출부(210)는 타겟으로 설정된 골프공을 제외한, 나머지 객체(예를 들어, 클럽헤드)의 속도 정보를 제거할 수 있다. 즉, 불필요한 속도 정보를 제거함으로써, 타겟으로 설정된 골프공만의 속도를 제 1속도로 검출할 수 있다. 경우에 따라서 골프공 및 클럽 헤드를 타겟으로 설정한 경우에는 골프공 및 클럽 헤드에 대한 각각의 제1 속도를 검출하도록 할 수 있다. 이 경우, 각각의 타겟에 대해 이하의 프로세스가 진행되며 이후의 궤적 예측 및 속도 예측 과정에서 클럽 헤드에 대해 계산된 값을 이용하여 골프공의 속도를 보정할 수 있다.
제 1속도 검출부(210)는 타겟의 속도를 구간별로 측정하고, 구간별로 측정된 타겟의 속도를 제 1속도로 결정할 수 있다.
제 1속도 검출부(210)는 타겟이 타격되는 순간의 및 배경의 깊이 정보를 이용하여 제 1속도를 검출할 수 있다. 이하에서 자세히 설명하도록 한다.
레이더 센서(220)는 타겟의 제 2속도를 측정할 수 있다.
레이더 센서(220)를 통한 타겟의 속도 측정은 주파수 분석을 통해 분석할 수 있다.
예를 들어, 도 5를 참고하면 레이더와 거리 R만큼 떨어진 물체가 정지해있다고 가정한 경우, 시간에 따른 주파수 파형을 나타낸다. 먼저 제1 파형과 같이 리니어(linear)하게 주파수 변조된 신호를 송신하면 거리 R의 물체에 반사되어
Figure pat00002
의 시간 딜레이 이후 레이더에 수신된다. 여기서 R은 타겟과의 거리이고 c는 빛의 속도(
Figure pat00003
)이다. 이때 송신한 신호와 수신된 신호를 서로 믹싱하면 그 차이 주파수를 얻어낼 수 있는데 그 주파수는 아래의 수학식 1과 같다.
Figure pat00004
수학식 1에서 산출된 차이 주파수 정보를 기반으로 아래의 수학식 2에 대입하여 거리 R을 결정할 수 있다.
Figure pat00005
또한, 레이더 센서(220)는 CW(continuous wave) 레이더 또는 FM-CW 레이더일 수 있다. 레이더 센서(200)는 움직이는 타겟의 속도를 측정하기 위해 고정된 전송 주파수를 사용할 수 있다. 레이더 센서(200)는 도플러 주파수 이동을 기반으로 움직이는 타겟의 속도를 측정할 수 있다. 만약, 레이더 센서(200)가 전송한 주파수
Figure pat00006
의 신호와 움직이는 타겟의 상대 속도
Figure pat00007
가 0이 아니라면, 수신된 신호는 딜레이된 주파수
Figure pat00008
에 도플러 주파수
Figure pat00009
가 쉬프트된 주파수
Figure pat00010
또는
Figure pat00011
를 가질 수 있다.
여기서,
Figure pat00012
는 도플러 주파수 쉬프트로써 아래의 수학식 3과 같이 결정될 수 있다.
Figure pat00013
여기서, c는 빛의 속도이고 타겟의 상대 속도
Figure pat00014
는 레이더의 LOS(line of sight)에 따른 속도 요소로 결정될 수 있다. 아래의 수학식 4는 타겟의 상대 속도를 나타내는 수학식이다.
Figure pat00015
여기서
Figure pat00016
는 타겟의 실제 속도이고,
Figure pat00017
는 타겟 궤적과 LOS 사이의 각도를 나타낼 수 있다.
즉, 레이더 센서(200)를 기반으로 속도를 측정하는 방법은 움직이는 물체에 레이더를 발사할 때 생기는 도플러 주파수의 변조 주파수를 이용하는 것이다. 예를 들어, 센싱 신호의 발신자가 정지하고 있는 상태에서 1024GHz의 연속파를 물체를 향해서 발사하면 발진 주파수와 조금 다른 주파수의 반사파가 돌아오는데, 그 주파수 차이(Doppler Frequency)는 물체의 속도에 비례한다. 따라서 그 주파수의 차이를 알면 물체의 속도를 산출할 수 있다. 따라서, 레이더 센서(200)는 타겟의 속도를 정확하게 측정하는데 유용하게 사용될 수 있다.
제 2속도 검출부(230)는, 레이더 센서(200)로부터 타겟에 대한 레이더 센싱 신호를 수신하고, 레이더 센싱 신호를 신호 처리하여, 비트 신호에 대한 주파수 스펙트럼을 생성하고, 레이더의 이동 속도에 해당하는 주파수 대역의 피크값이 임계값을 비교하여, 타겟의 상태를 판단하고, 비트 신호에 대한 주파수 스펙트럼을 기반으로 타겟의 제 2속도를 검출할 수 있다.
제 2속도 검출부(230)는 레이더 센서(220)를 통해 수신한 신호에서 적어도 하나 이상의 객체의 움직임을 감지하고, 적어도 하나 이상의 객체에서, 발사점에서 정지 상태로 감지된 객체가 공중으로 이동하는 객체를 타겟으로 설정할 수 있다.
제 2속도 검출부(230)는 적어도 하나 이상의 객체의 속도 정보 중 타겟의 속도 정보를 제외한 나머지 객체의 속도 정보를 제거할 수 있다. 나머지 객체의 속도 정보를 제거하는 것은 노이즈 제거 필터를 통해 수행할 수 있다.
제 2속도 검출부(230)는 타겟의 속도를 구간별로 측정하는 단계, 및 구간별로 측정된 타겟의 속도를 제 2속도로 결정할 수 있다. 제 2속도 검출부(230)는 레이더로부터 출사되는 방사파의 출사시점과 반사파의 수신시점 정보를 획득하는 단계, 획득한 정보를 기초로 레이더로부터 타겟이 이격된 거리 정보를 산출하는 단계, 및 거리 정보로부터 제 2속도를 검출할 수 있다.
제어부(300)는, 타겟의 제 1속도를 검출한 시간과 타겟의 제 2속도를 검출한 시간을 매핑함으로써, 제 2속도를 이용하여 제 1속도를 보정하고, 보정된 타겟의 제 1속도를 이용하여 보정된 타겟의 궤적을 추적할 수 있다.
제어부(300)는 제 1속도 검출부(210)로부터 수신한 타겟의 제 1속도를 검출한 시간과 제 2속도 검출보(230)로부터 수신한 타겟의 제 2속도를 검출한 시간이 대응되도록 시간 정보들을 매핑할 수 있다.
제어부(300)는 검출된 제 1속도 및 제 2속도를 비교할 수 있다. 제어부(300)는 제 1속도 및 제 2속도의 차이가 미리 결정된 오차 범위에 해당하는 지 미리 결정된 시간 구간 별로 판단할 수 있다.
제어부(300)는 제 1속도 및 제 2속도의 차이가 미리 결정된 오차 범위를 벗어나는 경우, 오차 범위를 벗어난 시간 구간에 대하여 제 1속도를 제 2속도로 대체할 수 있다. 즉, 여기서 제 1속도는 이미지 센서(200)의 초점, 성능, 화질 등에 따라서 속도의 정확도가 떨어질 수 있다. 제어부(300)는 제 2속도를 이용하여 제 1속도를 보정할 수 있다.
제어부(300)는 매핑된 시간에서의 제 1속도 및 제 2속도를 비교하고, 상기 제 1속도 및 제 2속도의 차이가 미리 결정된 오차 범위에 해당하는 지 미리 결정된 시간 구간 별로 판단할 수 있다. 제어부(300)는 제 1속도 및 제 2속도의 차이가 미리 결정된 오차 범위를 벗어나는 경우, 오차 범위를 벗어난 시간 구간에 대하여 제 1속도를 상기 제 2속도로 대체할 수 있다.
또한, 제어부(300)는 제 2속도로 대체된 제 1속도에 기초하여 타겟의 평균 속도를 산출할 수 있고, 제어부(300)는 산출된 타겟의 평균 속도에 기초하여, 타겟의 궤적을 추적할 수 있다.
디스플레이 부(400)는 타겟의 궤적을 출력할 수 있다. 디스플레이 부(400)는 사용자 정보, 사용자의 타격 영상, 타겟의 궤적, 환경설정 정보등을 표시할 수 있다.
일 실시예에 의하여, 디스플레이부(1210)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 궤적 추적 장치(100)의 구현 형태에 따라 궤적 추적 장치(100)는 디스플레이부(400)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(400)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.
다른 실시예에 의하여, 도 2에 도시된 바와 같이, 일부 실시예에 따른 궤적 추적 장치(1000)는, 사용자 입력부(1100), 출력부(1200), 제어부(1300), 및 통신부(1500) 이외에 센싱부(1400), A/V 입력부(1600), 및 메모리(1700)를 더 포함할 수도 있다.
사용자 입력부(1100)는, 사용자가 궤적 추적 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(1100)는, 궤적 추적 장치(1000)의 환경 설정을 위한 사용자 입력을 수신할 수 있다. 또한, 사용자 입력부(1100)는 다시보기, 빨리 보기, 궤적의 추적 등의 궤적 보기 메뉴를 입력하는 사용자 입력을 수신할 수 있다.
출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다.
디스플레이부(1210)는 궤적 추적 장치(1000)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(1210)는, 제 1속도 및 제 2속도에 의하여 보정된 타겟의 속도를 디스플레이 할 수 있다. 또한, 디스플레이부(1210) 보정된 타겟의 속도를 이용하여 추적된 타겟의 궤적을 디스플레이 할 수 있다.
음향 출력부(1220)는 통신부(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(1220)는 궤적 추적 장치(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(1220)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(1230)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(1230)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(1230)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
제어부(1300)는, 통상적으로 궤적 추적 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 제어부(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600) 등을 전반적으로 제어할 수 있다.
센싱부(1400)는, 궤적 추적 장치(1000)의 상태 또는 궤적 추적 장치(1000) 주변의 상태를 감지하고, 감지된 정보를 제어부(1300)로 전달할 수 있다.
센싱부(1400)는, 지자기 센서(Magnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(illuminance sensor)(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
통신부(1500)는, 궤적 추적 장치(1000)와 사용자 단말, 다른 서버 등 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1500)는, 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(151)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 궤적 추적 장치(1000)가 방송 수신부(1530)를 포함하지 않을 수도 있다.
A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. 카메라(1610)은 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(1610)에서 처리된 화상 프레임은 메모리(1700)에 저장되거나 통신부(1500)를 통하여 외부로 전송될 수 있다. 카메라(1610)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1620)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1620)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(1700)는, 제어부(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 궤적 추적 장치(1000)로 입력되거나 궤적 추적 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다.
메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1710), 터치 스크린 모듈(1720), 알림 모듈(1730) 등으로 분류될 수 있다.
UI 모듈(1710)은, 애플리케이션 별로 궤적 추적 장치(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1720)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(1300)로 전달할 수 있다. 일부 실시예에 따른 터치 스크린 모듈(1720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
또한, 터치스크린의 터치를 감지하기 위한 센서의 일례로 근접 센서가 있다.
근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
알림 모듈(1730)은 궤적 추적 장치(1000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 궤적 추적 장치(1000)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(1730)은 디스플레이부(1210)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(1220)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(1230)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
도 3은 일 실시예에 의하여, 이미지 센서 및 레이더 센서를 이용하여 타겟의 궤적을 추적하는 방법의 흐름도를 나타낸 것이다.
단계 S310에서, 궤적 추적 장치(100)는 이미지 센서를 통해, 적어도 하나 이상의 객체들의 이동 상태가 포함된 영상을 획득할 수 있다. 궤적 추적 장치(100)는, 타겟을 촬영하기 위하여 타겟의 주위에 설치된 이미지 센서를 통해 타겟의 이동 상태가 포함된 영상을 획득할 수 있다. 보다 구체적으로, 궤적 추적 장치(100)는 사용자의 클럽 헤드에 의하여 골프공이 타격되는 경우, 정지된 골프공이 공중으로 이동하는 영상을 획득할 수 있다. 또한, 영상에는 클럽 헤드가 이동되는 장면이 포함될 수 있다.
단계 S320에서, 궤적 추적 장치(100)는 적어도 하나 이상의 객체들로부터 타겟을 결정할 수 있다.
즉, 궤적 추적 장치(100)는 사용자에 의하여 움직이는 클럽 헤드 및 골프공을 객체로서 인식할 수 있다. 궤적 추적 장치(100)는 골프공을 타겟으로서 결정할 수 있다.
보다 구체적으로, 궤적 추적 장치(100)는 이미지 센서로부터 획득한 영상에서 미리 결정된 발사점에서부터 공중으로 이동하는 적어도 하나 이상의 객체를 인식할 수 있다. 궤적 추적 장치(100)는 미리 결정된 발사점에서 정지 상태로 인식된 객체가 공중으로 이동하는 객체를 타겟으로 설정할 수 있다. la리 결정된 발사점은, 골프공을 타격하기 위하여 골프공을 놓아두는 바닥면을 의미할 수 있다.
단계 S330에서, 궤적 추적 장치(100)는 획득한 영상으로부터 타겟의 제 1속도를 검출할 수 있다. 타겟의 속도는 영상을 촬영한 시간 및 영상에서 타겟이 이동하는 거리를 분석함으로서 검출될 수 있다.
단계 S340에서, 궤적 추적 장치(100)는 레이더 센서를 통해 타겟의 제 2속도를 검출할 수 있다. 궤적 추적 장치(100)는 레이더 센서로부터 출사되는 방사파의 출사시점과 반사파의 수신시점 정보를 획득할 수 있다.
궤적 추적 장치(100)는 획득한 정보를 기초로 레이더로부터 타겟이 이격된 거리 정보를 산출할 수 있다. 궤적 추적 장치(100)는 산출된 거리 정보로부터 제 2속도를 검출하는 단계를 포함할 수 있다.
단계 S350에서, 궤적 추적 장치(100)는 타겟의 제 1속도를 검출한 시간과, 타겟의 제 2속도를 검출한 시간을 매핑함으로써, 제 2속도를 이용하여 제 1속도를 보정할 수 있다.
단계 S360에서, 궤적 추적 장치(100)는 보정된 타겟의 제 1속도를 이용하여 타겟의 궤적을 추적할 수 있다. 즉, 궤적 추적 장치(100)는 이미지 센서로부터 얻어진 속도가 명백하지 않은 경우, 레이더 센서를 이용하여 측정한 속도를 이용하여 타겟의 속도를 보정하여 궤적을 추적할 수 있다.
보다 자세하게 살피면, 궤적 추적 장치(100)는 검출된 제 1속도 및 제 2속도를 비교할 수 있다. 궤적 추적 장치(100)는 제 1속도 및 제 2속도의 차이가 미리 결정된 오차 범위에 해당하는 지 미리 결정된 시간 구간 별로 판단할 수 있다. 궤적 추적 장치(100)는 제 1속도 및 제 2속도의 차이가 미리 결정된 오차 범위를 벗어나는 경우, 오차 범위를 벗어난 시간 구간에 대하여 제 1속도를 제 2속도로 대체할 수 있다.
또한, 궤적 추적 장치(100)는 제 2속도로 대체된 제 1속도에 기초하여 타겟의 평균 속도를 산출할 수 있으며, 궤적 추적 장치(100)는 산출된 타겟의 평균 속도에 기초하여, 타겟의 궤적을 추적할 수 있다.
도 4는 일 실시예에 의하여, 타겟의 궤도를 측정하는 일 실시예를 설명하기 위한 도면이다.
궤적 추적 장치(100)는 타겟(6)이 사용자의 타격에 의하여 발사점에서부터 공중으로 이동하는 경우, 타겟(6)의 궤적을 이미지 센서(200) 및 레이더 센서(220)를 이용하여 추적할 수 있다.
궤적 추적 장치(100)는 골프공이 사용자에 의하여 타격되는 경우, 클럽 헤드(4) 및 골프공(6)이 이동되는 영상을 획득할 수 있다.
도 4를 참조하면, 클럽 헤드(4)가 발사점에 근접하도록 이동 한 후, 골프공(6)의 이동과 함께 이동됨을 알 수 있다. 클럽 헤드(4)는 사용자에 의하여 고정되어 있는 바, 골프공(6)을 타격한 후의 힘에 의하여 사용자의 이동반경 내에서 이동할 수 있다. 도 4에서 클럽 헤드(4)는 진행방향 10→12→14와 같이 이동함을 확인할 수 있다.
골프공(6)은 발사점에 정지상태로 위치하여 있다가, 클럽 헤드(4)에 의하여 타격된 후 16→18→20과 같이 이동함을 확인할 수 있다. 궤적 추적 장치(100)는 골프공(6) 및 클럽 헤드(4)의 움직임을 확인하고, 발사점에서 정지상태로 있다가 공중으로 이동한 골프공(6)을 타겟으로 설정할 수 있다. 궤적 추적 장치(100)는 발사점에서의 골프공(6) 발사 전 후의 영상의 시퀀스 분석을 통해, 골프공(6)의 수직 및 수평 각을 결정할 수 있다. 즉, 궤적 추적 장치(100)는 타겟으로 설정된 골프공(6)의 이동 영상의 분석을 통해 제 1속도를 검출할 수 있다.
또한, 궤적 추적 장치(100)는 레이더 센서(220)를 통해 골프공(6)의 제 2속도를 검출할 수 있다. 궤적 추적 장치(100)는 CW 레이더를 이용하여, 타겟의 속도 성분에 해당하는 도플러 주파수를 추출할 수 있다. 궤적 추적 장치(100)는 타겟에 대한 전송 신호 및 반사신호를 분석함으로써, 구간별로 타겟의 제 2속도를 검출할 수 있다.
궤적 추적 장치(100)는 제 1속도와 제 2속도를 동일 시간에 매핑시킴으로써, 속도의 오차를 찾아낼 수 있다. 궤적 추적 장치(100)는 속도의 오차가 발생하는 시간 구간에 대하여, 제 2속도를 이용하여 제 1속도 정보를 보정할 수 있다. 즉, 궤적 추적 장치(100)는 이미지 센서(200)의 오류로 인한 제 1속도의 오류를 레이더 센서(220)를 통해 측정한 제 2속도로 보완할 수 있다. 이로 인하여, 궤적 추적 장치(100)는 정확도가 향상된 골프공(6)의 정확한 궤적을 추적할 수 있다.
다른 실시예에 의하여, 궤적 추적 장치(100)는 영상의 깊이 정보를 통해 타겟의 궤적을 검출할 수 있다. 궤적 추적 장치(100)는 영상의 깊이 정보를 이용하여 헤드의 이동 궤적으로부터 헤드가 바깥쪽에서 안쪽으로 타점위치를 지나가는지, 안쪽에서 바깥쪽으로 지나가는지 등을 판단하고, 퍼팅 방향 및 각도, 헤드의 속도와 공을 타점하는 위치로부터 공이 굴러간 거리를 판단할 수 있다.
일 실시예에 의하여, 이미지 센서는 영상의 깊이 정보를 획득할 수 있는 깊이 카메라 모듈을 포함할 수 있다.
궤적 추적 장치(100)는 깊이 카메라 모듈로부터 배경 영상 및 타켓이 발사점에 위치하는 시점부터 퍼팅이 종료되는 시점까지의 깊이 영상을 획득할 수 있다. 궤적 추적 장치(100)는 퍼터를 공 뒤에 위치하는 시점부터 퍼팅을 마치는 시점까지의 깊이 영상을 획득할 수 있다.
궤적 추적 장치(100)는 깊이 영상의 화면을 배경 영상에서의 깊이 값과 비교하여 타겟을 검출할 수 있다. 여기서, 타겟은 타격된 골프공을 의미할 수 있다.
궤적 추적 장치(100)는 타겟에서 포인터를 추출할 수 있다. 궤적 추적 장치(100)는 타겟의 중심점을 포인터로서 추출할 수 있다.
도 6은 일 실시예에 의하여, 타겟의 움직임을 추적하여 중심점을 저장하는 방법을 나타낸 도면이다.
도 6에서와 같이, 클럽 헤드(4)가 골프공(6)하고 충돌하게 된다면 두 개의 객체가 서로 충돌하게 된다. 궤적 추적 장치(100)는 충돌시점부터 골프공(6)의 움직임을 추적하여 중심점을 저장할 수 있다. 궤적 추적 장치(100)는 공의 중심점을 계속 저정하고, 분석함으로써 초기 속도를 알 수 있다. 또한, 궤적 추적 장치(100)는 골프장과 퍼팅 장소의 마찰력이 다를 수 있기 때문에 실제 측정된 거리(S)와 보정되는 계산치를 보정해줄 수 있다.
또한, 수학식 5를 참조하면, 초기 속도를 보정한 값을 v0라 하고, 골프공(6)을 퍼팅한 후 지난 시간을 t라 하고 그린에서의 마찰계수를 고려한 가속도를 a이라 하면 시간 t일 때의 공의 위치를 계산할 수 있다.
Figure pat00018
궤적 추적 장치(100)는 수학식 5를 이용하여 특정 시점에서의 공의 위치와 최종적으로 공이 도착하는 위치를 계산할 수 있다. 또한, 궤적 추적 장치(100)는 계산된 위치와 측정 시간을 통해 골프공(6)의 속도를 계산할 수 있다.
궤적 추적 장치(100)는 추출된 포인터 위치의 깊이 값을 기준으로 영상에서 공간 좌표를 계산할 수 있다. 또한, 궤적 추적 장치(100)는 미리 결정된 시간 구간에 따라, 포인터의 3차원 좌표 값을 획득하고, 3차원 좌표값의 분석을 통해 포인터의 속도를 검출할 수 있다.
도 7은 일 실시예에 의하여, 미리 결정된 구간에 따라 타겟의 방향각도를 구하는 실시예를 설명하기 위한 도면이다.
도 7에서와 같이, 궤적 추적 장치(100)는 구해진 공의 거리 S와 매 프레임마다 측정된 K값을 바탕으로 중앙에서 오른쪽 또는 왼쪽으로 방향 각도 θ를 구할 수 있다. 궤적 추적 장치(100)는 최종적으로 공이 굴러간 거리 S, 방향 각도 θ, 중앙선을 기준으로 오른쪽 또는 왼쪽으로 벌어진 거리 K를 계산할 수 있다. 궤적 추적 장치(100)는 거리와 방향을 결정하여 타겟의 궤적을 추적할 수 있다. 궤적 추적 장치(100)는 타겟의 궤적을 3차원 좌표로부터 분석할 수 있다.
궤적 추적 장치(100)는 포인터의 속도로부터 타겟의 초기 속도를 구하고, 실제 측정된 거리와 보정계수를 이용하여 제 1속도를 보정할 수 있다.
다른 실시예에 의하여, 궤적 추적 장치(100)는 사용자가 퍼팅 잔디의 빠르기, 경사도 등을 설정하면 설정 환경에 맞게 퍼팅공의 방향, 각도, 거리 등을 표시할 수 있다. 또한, 궤적 추적 장치(100)는 카메라뷰 관점에서 퍼팅 스윙하는 동영상을 다양한 속도 모드로 재생해줄 수 있다. 또한, 모든 화면을 합쳐서 겹친 모드로 보여줄 수 있다. 궤적 추적 장치(100)는 골프공이 굴러가는 또는 굴러오는 방향뷰 관점에서 퍼팅 스윙하는 동영상을 다양한 속도 모드로 재생해줄 수 있다.
도면들에 도시된 다양한 요소들의 기능들은 적절한 소프트웨어와 관련되어 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 이런 기능은 단일 전용 프로세서, 단일 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 또한, 용어 "제어부" 또는 "...부"의 명시적 이용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되지 말아야 하며, 제한 없이, 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비휘발성 저장장치를 묵시적으로 포함할 수 있다.
본 명세서의 청구항들에서, 특정 기능을 수행하기 위한 수단으로서 표현된 요소는 특정 기능을 수행하는 임의의 방식을 포괄하고, 이러한 요소는 특정 기능을 수행하는 회로 요소들의 조합, 또는 특정 기능을 수행하기 위한 소프트웨어를 수행하기 위해 적합한 회로와 결합된, 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함할 수 있다.
본 명세서에서 일 실시 예와 이런 표현의 다양한 변형들의 지칭은 이 실시 예와 관련되어 특정 특징, 구조, 특성 등이 본 발명의 원리의 적어도 하나의 실시 예에 포함된다는 것을 의미한다. 따라서, 표현 "일 실시 예에서"와, 본 명세서 전체를 통해 개시된 임의의 다른 변형 예시들은 반드시 모두 동일한 실시 예를 지칭하는 것은 아니다.
본 명세서에서, 'A와 B 중 적어도 하나'의 경우에서 '~중 적어도 하나'의 표현은, 첫 번째 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 양쪽 옵션들 (A와 B)의 선택을 포괄하기 위해 사용된다. 추가적인 예로 'A, B, 및 C 중 적어도 하나'의 경우는, 첫 번째 열거된 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 세 번째 열거된 옵션 (C)의 선택만, 또는 첫 번째와 두 번째 열거된 옵션들 (A와 B)의 선택만, 또는 두 번째와 세 번째 열거된 옵션 (B와 C)의 선택만, 또는 모든 3개의 옵션들의 선택(A와 B와 C)이 포괄할 수 있다. 더 많은 항목들이 열거되는 경우에도 당업자에게 명백하게 확장 해석될 수 있다.
본 발명에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 명세서를 통해 개시된 모든 실시 예들과 조건부 예시들은, 본 실시 예의 기술 분야에서 통상의 지식을 가진 당업자가 실시 예의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 실시 예의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 실시 예의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 실시 예에 포함된 것으로 해석되어야 할 것이다.

Claims (13)

  1. 이미지 센서 및 레이더 센서를 이용하여 타겟(target)의 궤적을 추적하는 방법에 있어서,
    상기 이미지 센서를 통해, 적어도 하나 이상의 객체들의 이동상태가 포함된 영상을 획득하는 단계;
    상기 적어도 하나 이상의 객체들로부터 상기 타겟을 결정하는 단계;
    상기 획득한 영상으로부터 상기 타겟의 제 1속도를 검출하는 단계;
    상기 레이더 센서를 통해 상기 타겟의 제 2속도를 검출하는 단계;
    상기 타겟의 제 1속도를 검출한 시간과 상기 타겟의 제 2속도를 검출한 시간을 매핑함으로써, 상기 제 2속도를 이용하여 상기 제 1속도를 보정하는 단계;및
    상기 보정된 타겟의 제 1속도를 이용하여 상기 타겟의 궤적을 추적하는 단계;를 포함하는, 방법.
  2. 제 1항에 있어서,
    상기 타겟을 결정하는 단계는,
    상기 획득한 영상에서 미리 결정된 발사점에서부터 공중으로 이동하는 적어도 하나 이상의 객체를 인식하는 단계;및
    상기 적어도 하나 이상의 객체에서, 상기 발사점에서 정지 상태로 인식된 객체가 상기 공중으로 이동하는 객체를 타겟으로 설정하는 단계;를 포함하고,
    상기 제 1속도를 검출하는 단계는,
    상기 적어도 하나 이상의 객체의 속도 정보 중 상기 타겟의 속도 정보를 제외한 나머지 객체의 속도 정보를 제거하는 단계;
    상기 타겟의 속도를 구간별로 측정하는 단계;및
    상기 구간별로 측정된 타겟의 속도를 제 1속도로 결정하는 단계;를 포함하고,
    상기 타겟의 제 2속도를 검출하는 단계는,
    상기 레이더를 통해 수신한 신호에서 적어도 하나 이상의 객체의 움직임을 감지하는 단계;
    상기 적어도 하나 이상의 객체에서, 상기 발사점에서 정지 상태로 감지된 객체가 상기 공중으로 이동하는 객체를 타겟으로 설정하는 단계;
    상기 적어도 하나 이상의 객체의 속도 정보 중 상기 타겟의 속도 정보를 제외한 나머지 객체의 속도 정보를 제거하는 단계;
    상기 타겟의 속도를 구간별로 측정하는 단계;및
    상기 구간별로 측정된 타겟의 속도를 제 2속도로 결정하는 단계;를 포함하는, 방법.
  3. 제 1항에 있어서,
    상기 타겟의 제 1속도를 검출하는 단계는,
    상기 타겟의 위치를 미리 결정된 시간 간격으로 촬영한 상기 영상의 픽셀수 데이터를 이용하여 상기 타겟의 제 1속도를 검출하고,
    상기 타겟의 제 2속도를 검출하는 단계는,
    상기 레이더로부터 출사되는 방사파의 출사시점과 반사파의 수신시점 정보를 획득하는 단계;
    상기 획득한 정보를 기초로 상기 레이더로부터 상기 타겟이 이격된 거리 정보를 산출하는 단계;및
    상기 거리 정보로부터 상기 제 2속도를 검출하는 단계;를 포함하는, 방법.
  4. 제 3항에 있어서,
    상기 매핑된 시간에서의 제 1속도 및 제 2속도를 비교하는 단계;
    상기 제 1속도 및 제 2속도의 차이가 미리 결정된 오차 범위에 해당하는 지 미리 결정된 시간 구간 별로 판단하는 단계;
    상기 제 1속도 및 제 2속도의 차이가 미리 결정된 오차 범위를 벗어나는 경우, 상기 오차 범위를 벗어난 시간 구간에 대하여 상기 제 1속도를 상기 제 2속도로 대체하는 단계;
    상기 제 2속도로 대체된 제 1속도에 기초하여 상기 타겟의 평균 속도를 산출하는 단계;및
    상기 산출된 타겟의 평균 속도에 기초하여, 상기 타겟의 궤적을 출력하는 단계;를 포함하는, 방법.
  5. 제 1항에 있어서,
    상기 제 2속도를 검출하는 단계는,
    상기 레이더 센서로부터 상기 타겟에 대한 레이더 센싱 신호를 수신하는 단계;
    상기 레이더 센싱 신호를 신호 처리하여, 비트 신호에 대한 주파수 스펙트럼을 생성하는 단계;
    상기 레이더 센서의 이동 속도에 해당하는 주파수 대역의 피크값이 임계값을 비교하여, 상기 타겟의 상태를 판단하는 단계;및
    상기 비트 신호에 대한 주파수 스펙트럼을 기반으로 상기 타겟의 제 2속도를 검출하는 단계;를 포함하는, 방법.
  6. 제 1항에 있어서,
    상기 이미지 센서는 상기 타켓에 대한 퍼팅이 이루어지는 발사점에 대한 깊이 영상을 획득하는 깊이(depth) 카메라 모듈을 포함하고,
    상기 깊이 카메라 모듈로부터 배경 영상 및 상기 타켓이 상기 발사점에 위치하는 시점부터 상기 퍼팅이 종료되는 시점까지의 깊이 영상을 획득하는 단계;
    상기 깊이 영상의 화면을 상기 배경 영상에서의 깊이 값과 비교하여 상기 타겟을 검출하고, 상기 타겟에서 포인터를 추출하는 단계;
    상기 추출된 포인터 위치의 깊이 값을 기준으로 상기 영상에서 공간 좌표를 계산하는 단계;
    미리 결정된 시간 구간에 따라, 상기 포인터의 3차원 좌표 값을 획득하고, 상기 3차원 좌표값의 분석을 통해 상기 포인터의 속도를 검출하는 단계;및
    상기 포인터의 속도로부터 상기 타겟의 초기 속도를 구하고, 실제 측정된 거리와 보정계수를 이용하여 상기 제 1속도를 보정하는 단계;및
    상기 제 2속도를 이용하여 상기 타겟의 제 1속도를 보정하는 단계;를 포함하는, 방법.
  7. 제 6항에 있어서,
    이하 수식에 의하여, 특정 시점에서의 상기 타겟의 위치와 최종적으로 타겟이 도착하는 위치를 계산하는,
    Figure pat00019
    (여기에서, v0 는 포인터의 초기 속도, t는 타겟이 퍼팅된 이후 경과한 시간, a는 가속도를 의미함), 방법.
  8. 제 1항에 있어서,
    상기 타겟의 궤적을 출력하는 단계는,
    사용자에 의하여 경사도, 퍼팅 잔디의 빠르기를 포함하는 환경설정 정보를 입력받는 단계;
    상기 환경설정 정보에 따라 상기 타겟의 방향, 각도, 거리가 포함된 상기 궤적을 화면에 출력하는 단계;및
    상기 타겟을 화면에 표시할 때, 상기 타겟의 궤적을 서로 다른 속도 모드로 재생하는 단계;를 포함하는, 방법.
  9. 타겟(target)의 궤적을 추적하는 장치에 있어서,
    적어도 하나 이상의 객체들이 이동하는 영상이 포함된 영상을 획득하는 이미지 센서;
    상기 적어도 하나 이상의 객체들로부터 상기 타겟을 결정하고, 상기 타겟의 제 1속도를 검출하는 제 1속도 검출부;
    레이더 센서를 이용하여 상기 타겟의 속도를 제 2속도를 검출하는 제 2속도 검출부;
    상기 타겟의 제 1속도를 검출한 시간과 상기 타겟의 제 2속도를 검출한 시간을 매핑함으로써, 상기 제 2속도를 이용하여 상기 제 1속도를 보정하고, 상기 보정된 타겟의 제 1속도를 이용하여 보정된 상기 타겟의 궤적을 추적하는 제어부; 및
    상기 타겟의 궤적을 출력하는 디스플레이부;를 포함하는, 장치.
  10. 제 9항에 있어서,
    상기 제 1속도 검출부는 상기 타겟의 위치를 미리 결정된 시간 간격으로 촬영한 상기 영상의 픽셀수 데이터를 이용하여 상기 타겟의 제 1속도를 검출하고,
    상기 제 2속도 검출부는 상기 레이더 센서로부터 출사되는 방사파의 출사시점과 반사파의 수신시점 정보를 획득하고, 상기 획득한 정보를 기초로 상기 레이더로부터 상기 타겟이 이격된 거리 정보를 산출하고, 상기 거리 정보로부터 상기 제 2속도를 검출하는, 장치.
  11. 제 10항에 있어서,
    상기 제어부는 매핑된 시간에서의 제 1속도 및 제 2속도를 비교하고, 상기 제 1속도 및 제 2속도의 차이가 미리 결정된 오차 범위에 해당하는 지 미리 결정된 시간 구간 별로 판단하고, 상기 제 1속도 및 제 2속도의 차이가 미리 결정된 오차 범위를 벗어나는 경우, 상기 오차 범위를 벗어난 시간 구간에 대하여 상기 제 1속도를 상기 제 2속도로 대체하고, 상기 제 2속도로 대체된 제 1속도에 기초하여 상기 타겟의 평균 속도를 산출하는, 장치.
  12. 제 9항에 있어서,
    상기 레이더 센서는 CW(continuous wave) 레이더이며,
    상기 제 2속도 검출부는,
    상기 CW 레이더로부터 상기 타겟에 대한 레이더 센싱 신호를 수신하고, 상기 레이더 센싱 신호를 신호 처리하여, 비트 신호에 대한 주파수 스펙트럼을 생성하고,
    상기 CW 레이더의 이동 속도에 해당하는 주파수 대역의 피크값이 임계값을 비교하여, 상기 타겟의 상태를 판단하고, 상기 비트 신호에 대한 주파수 스펙트럼을 기반으로 상기 타겟의 제 2속도를 검출하는, 장치.
  13. 제 1항 내지 제 8항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020160039803A 2016-03-31 2016-03-31 이미지 센서 및 레이더 센서를 이용하여 타겟의 궤적을 추적하는 장치 및 방법 KR101848864B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160039803A KR101848864B1 (ko) 2016-03-31 2016-03-31 이미지 센서 및 레이더 센서를 이용하여 타겟의 궤적을 추적하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160039803A KR101848864B1 (ko) 2016-03-31 2016-03-31 이미지 센서 및 레이더 센서를 이용하여 타겟의 궤적을 추적하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170114045A true KR20170114045A (ko) 2017-10-13
KR101848864B1 KR101848864B1 (ko) 2018-04-16

Family

ID=60139715

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160039803A KR101848864B1 (ko) 2016-03-31 2016-03-31 이미지 센서 및 레이더 센서를 이용하여 타겟의 궤적을 추적하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101848864B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190110316A (ko) * 2018-03-20 2019-09-30 주식회사 만도 객체 검출 기반 거리 추정 장치 및 그 방법
WO2019198909A1 (ko) * 2018-04-12 2019-10-17 김훈민 골프장그린 위치 기반형 스마트 골프퍼터
KR20200049923A (ko) * 2018-10-29 2020-05-11 주식회사 아이유플러스 지능형 교통안전시스템
KR102162019B1 (ko) * 2019-07-29 2020-10-06 한국과학기술원 3 차원 이미지 생성 방법 및 장치
CN112883809A (zh) * 2021-01-25 2021-06-01 浙江大华技术股份有限公司 一种目标检测方法、装置、设备及介质
WO2021167312A1 (ko) * 2020-02-19 2021-08-26 주식회사 픽셀스코프 라이다 센서를 구비한 터치 인식 방법 및 장치
JP2021129646A (ja) * 2020-02-18 2021-09-09 株式会社テクノクラフト ボール軌道追跡システム
CN113465608A (zh) * 2021-07-22 2021-10-01 清华大学苏州汽车研究院（吴江） 一种路侧传感器标定方法及系统
CN113759366A (zh) * 2020-06-02 2021-12-07 杭州海康威视数字技术股份有限公司 目标检测方法及装置
KR102356651B1 (ko) * 2021-06-30 2022-02-09 (주)그린아이티코리아 레이더 보안 카메라를 이용한 지능형 관제 방법 및 시스템
KR20230105868A (ko) * 2022-01-05 2023-07-12 한국해양대학교 산학협력단 심층 신경망 기반 레이더를 이용한 객체 행동 인식을 위한 자동 학습데이터 수집 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102230552B1 (ko) 2019-05-15 2021-03-22 에이치에스앤티 주식회사 움직임 감지와 레이더 센서를 이용한 탐지 객체 위치 산출 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6349737B2 (ja) * 2014-01-17 2018-07-04 日本電気株式会社 移動体追尾装置及び、移動体追尾方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190110316A (ko) * 2018-03-20 2019-09-30 주식회사 만도 객체 검출 기반 거리 추정 장치 및 그 방법
WO2019198909A1 (ko) * 2018-04-12 2019-10-17 김훈민 골프장그린 위치 기반형 스마트 골프퍼터
KR20200049923A (ko) * 2018-10-29 2020-05-11 주식회사 아이유플러스 지능형 교통안전시스템
KR102162019B1 (ko) * 2019-07-29 2020-10-06 한국과학기술원 3 차원 이미지 생성 방법 및 장치
JP2021129646A (ja) * 2020-02-18 2021-09-09 株式会社テクノクラフト ボール軌道追跡システム
KR20210105618A (ko) * 2020-02-19 2021-08-27 주식회사 픽셀스코프 라이다 센서를 구비한 터치 인식 방법 및 장치
WO2021167312A1 (ko) * 2020-02-19 2021-08-26 주식회사 픽셀스코프 라이다 센서를 구비한 터치 인식 방법 및 장치
US11868567B2 (en) 2020-02-19 2024-01-09 Pixelscope Inc. Touch recognition method and device having LiDAR sensor
CN113759366A (zh) * 2020-06-02 2021-12-07 杭州海康威视数字技术股份有限公司 目标检测方法及装置
CN113759366B (zh) * 2020-06-02 2024-06-04 杭州海康威视数字技术股份有限公司 目标检测方法及装置
CN112883809B (zh) * 2021-01-25 2024-02-23 浙江大华技术股份有限公司 一种目标检测方法、装置、设备及介质
CN112883809A (zh) * 2021-01-25 2021-06-01 浙江大华技术股份有限公司 一种目标检测方法、装置、设备及介质
KR102356651B1 (ko) * 2021-06-30 2022-02-09 (주)그린아이티코리아 레이더 보안 카메라를 이용한 지능형 관제 방법 및 시스템
US11678058B2 (en) 2021-06-30 2023-06-13 Green It Korea Co., Ltd. Method and system for providing intelligent control by using radar security camera
CN113465608A (zh) * 2021-07-22 2021-10-01 清华大学苏州汽车研究院（吴江） 一种路侧传感器标定方法及系统
CN113465608B (zh) * 2021-07-22 2024-05-03 清华大学苏州汽车研究院（吴江） 一种路侧传感器标定方法及系统
KR20230105868A (ko) * 2022-01-05 2023-07-12 한국해양대학교 산학협력단 심층 신경망 기반 레이더를 이용한 객체 행동 인식을 위한 자동 학습데이터 수집 장치

Also Published As

Publication number Publication date
KR101848864B1 (ko) 2018-04-16

Similar Documents

Publication Publication Date Title
KR101848864B1 (ko) 이미지 센서 및 레이더 센서를 이용하여 타겟의 궤적을 추적하는 장치 및 방법
US11697046B2 (en) System and method for three dimensional object tracking using combination of radar and image data
US11747461B2 (en) Radar and camera-based data fusion
EP3191888B1 (en) Scanning laser planarity detection
US20190199935A1 (en) Contextual display
TWI485365B (zh) 用於估計一真實世界距離之方法及系統及電腦可讀媒體
US20160306036A1 (en) Systems and methods to track a golf ball to and on a putting green
US20120026088A1 (en) Handheld device with projected user interface and interactive image
EP2660686A1 (en) Gesture operation input system and gesture operation input method
WO2021148497A1 (en) Three dimensional object tracking using combination of radar speed data and two dimensional image data
KR20160122709A (ko) 디바이스의 모션의 추정을 결정하기 위한 방법들 및 시스템들
US9990547B2 (en) Odometry feature matching
KR101871937B1 (ko) 고속 영상 카메라를 이용한 비행물체의 비행데이터 측정 장치 및 방법 및 이를 수행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
JP2017129904A (ja) 情報処理装置、情報処理方法、及び記録媒体
WO2016183954A1 (zh) 运动轨迹的计算方法及装置、终端
KR20220130700A (ko) 비행중에 추적된 물체들에 대한 궤적 외삽 및 기점 결정
US20230065922A1 (en) Self-organized learning of three-dimensional motion data
US10478700B2 (en) Golf swing analysis from pre-strike sound
KR20100033634A (ko) 거리 측정 장치 및 방법
TWI594643B (zh) 無線收發系統、無線接收裝置及無線收發方法
CN115856861A (zh) 基于对象检测的通知
KR102106274B1 (ko) 이동체의 거동 계측 방법 및 거동 계측 장치
KR102018045B1 (ko) 라이다를 이용하여 골프 퍼팅 라인 정보를 제공하기 위한 모바일 단말기
JP2001218982A (ja) ゲーム装置
CN109947236B (zh) 用于控制电子设备的显示器上的内容的方法和设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant