KR20120064389A - 구형물체의 비행정보 측정장치 및 방법 - Google Patents

구형물체의 비행정보 측정장치 및 방법 Download PDF

Info

Publication number
KR20120064389A
KR20120064389A KR1020100125593A KR20100125593A KR20120064389A KR 20120064389 A KR20120064389 A KR 20120064389A KR 1020100125593 A KR1020100125593 A KR 1020100125593A KR 20100125593 A KR20100125593 A KR 20100125593A KR 20120064389 A KR20120064389 A KR 20120064389A
Authority
KR
South Korea
Prior art keywords
spherical object
photographing
camera
flight
trigger signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
KR1020100125593A
Other languages
English (en)
Inventor
서병조
Original Assignee
(주)바램시스템
주식회사 디케이어패럴
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)바램시스템, 주식회사 디케이어패럴 filed Critical (주)바램시스템
Priority to KR1020100125593A priority Critical patent/KR20120064389A/ko
Publication of KR20120064389A publication Critical patent/KR20120064389A/ko
Abandoned legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A63B69/3658—Means associated with the ball for indicating or measuring, e.g. speed, direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0053—Tracking a path or terminating locations for locating an object, e.g. a lost ball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/30—Speed
    • A63B2220/34—Angular speed
    • A63B2220/35—Spin

Landscapes

  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

구형물체의 비행정보 측정장치 및 방법이 개시된다. 촬영부는 비행개시지점으로부터 출발하여 대상영역 내에서 움직이는 구형물체의 비행정보를 측정하기 위해 대상영역을 사전에 설정된 촬영주기로 촬영하는 복수의 카메라로 구성된다. 촬영 제어부는 복수의 카메라 중에서 선택된 집중감시 카메라가 구형물체를 포함하는 최소의 영역인 감시영역을 사전에 설정된 제1촬영주기로 촬영하도록 하는 제1트리거 신호 및 복수의 카메라가 대상영역을 사전에 설정된 제2촬영주기에 의해 순차적으로 촬영하도록 하는 제2트리거 신호를 출력한다. 영상 분석부는 촬영부로부터 출력된 복수의 영상으로부터 구형물체를 검출하고, 구형물체의 비행속도, 비행각도, 비행방향 및 회전량을 포함하는 비행정보를 산출한다. 이때 촬영 제어부는 대상영역을 촬영한 영상으로부터 검출된 구형물체의 위치가 비행개시지점이면 제1트리거 신호를 출력하고, 제1트리거 신호에 의해 촬영부로부터 연속하여 출력된 복수의 감시영상에서 구형물체에 해당하는 영역에 움직임이 발생하면 제2트리거 신호를 출력한다. 본 발명에 따르면, 고가의 센서 및 초고속 카메라를 사용하지 않고 복수의 카메라로 촬영부를 구성함으로써 비용을 절감할 수 있으며 설치가 용이하다. 또한 구형물체의 움직임을 포착하기 위해 카메라의 주밍 동작을 이용하여 최소의 영역을 촬영함으로써 미세한 움직임까지도 검출할 수 있다.

Description

구형물체의 비행정보 측정장치 및 방법{Apparatus and method for measuring flight parameter of spherical object}
본 발명은 구형물체의 비행정보 측정장치 및 방법에 관한 것으로, 보다 상세하게는, 일정 영역 내에서 움직이는 구형물체를 촬영한 영상을 분석하여 방향, 속도 및 회전량을 포함하는 비행정보를 측정하는 장치 및 방법에 관한 것이다.
골프공, 야구공 등과 같은 구형 물체의 비행경로는 공에 물리적 힘이 가해진 시점(즉, 골프클럽 또는 배트에 의한 타격 시점)에 결정된다. 이러한 구형 물체의 비행경로를 결정하기 위해 사용되는 정보에는 공의 회전정보(즉, 회전속도 및 회전축), 진행방향, 속도 등이 포함된다. 비행하는 구형물체의 비행궤도를 예측하는 시스템의 일례로 골프공 타격 감지 시스템이 있다.
기존의 골프공 타격 감지 시스템에서는 레이저, 포토 다이오드 및 초음파 센서와 같은 다수의 센서를 사용하여 공의 움직임을 감지하는데, 이러한 센서들을 바닥에 매설되거나 천장에 부착하는 방식으로 시스템이 설계되었다. 따라서 시스템 설치가 용이하지 않으며 비용이 상승하게 된다는 단점을 가진다.
또한 기존의 시스템에서는 골프공의 타격이 이루어지는 시점을 파악하기 위해 골프공이 특정 위치를 통과하는지 판별할 수 있는 센서 또는 카메라를 사용한다. 그러나 이러한 경우 실제 타격이 발생하는 시점부터 지속적으로 골프공의 이동경로를 추적하는 것이 어려우며, 골프공이 아닌 골프클럽 등의 다른 물체를 감지하여 트리거 장치를 작동시키는 등의 오류가 발생한다는 문제가 있다.
본 발명이 이루고자 하는 기술적 과제는, 고가의 장비를 사용하지 않고 구형물체의 비행정보를 정확하게 측정할 수 있으며 설치가 용이한 구형물체의 비행정보 측정장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 고가의 장비를 사용하지 않고 구형물체의 비행정보를 정확하게 측정할 수 있으며 설치가 용이한 구형물체의 비행정보 측정방법을 컴퓨터로 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 구형물체의 비행정보 측정장치는, 비행개시지점으로부터 출발하여 대상영역 내에서 움직이는 구형물체의 비행정보를 측정하며, 상기 대상영역을 사전에 설정된 촬영주기로 촬영하는 복수의 카메라로 구성된 촬영부; 상기 복수의 카메라 중에서 선택된 집중감시 카메라가 상기 구형물체를 포함하는 최소의 영역인 감시영역을 사전에 설정된 제1촬영주기로 촬영하도록 하는 제1트리거 신호 및 상기 복수의 카메라가 상기 대상영역을 사전에 설정된 제2촬영주기에 의해 순차적으로 촬영하도록 하는 제2트리거 신호를 출력하는 촬영 제어부; 및 상기 촬영부로부터 출력된 복수의 영상으로부터 상기 구형물체를 검출하고, 상기 구형물체의 비행속도, 비행각도, 비행방향 및 회전량을 포함하는 비행정보를 산출하는 영상 분석부;를 구비하며, 상기 촬영 제어부는 상기 대상영역을 촬영한 영상으로부터 검출된 상기 구형물체의 위치가 상기 비행개시지점이면 상기 제1트리거 신호를 출력하고, 상기 제1트리거 신호에 의해 상기 촬영부로부터 연속하여 출력된 복수의 감시영상에서 상기 구형물체에 해당하는 영역에 움직임이 발생하면 상기 제2트리거 신호를 출력한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 구형물체의 비행정보 측정방법은, 비행개시지점으로부터 출발하여 대상영역 내에서 움직이는 구형물체의 비행정보를 측정하며, (a) 상기 대상영역을 촬영한 영상으로부터 검출된 상기 구형물체의 위치가 상기 비행개시지점이면 상기 대상영역을 사전에 설정된 촬영주기로 촬영하는 복수의 카메라 중에서 선택된 집중감시 카메라가 상기 구형물체를 포함하는 최소의 영역인 감시영역을 사전에 설정된 제1촬영주기로 촬영하도록 하는 제1트리거 신호를 출력하는 단계; (b) 상기 제1트리거 신호에 의해 상기 복수의 카메라로부터 연속하여 출력된 복수의 감시영상에서 상기 구형물체에 해당하는 영역에 움직임이 발생하면 상기 복수의 카메라가 상기 대상영역을 사전에 설정된 제2촬영주기에 의해 순차적으로 촬영하도록 하는 제2트리거 신호를 출력하는 단계; 및 (c) 상기 복수의 카메라로부터 출력된 복수의 영상으로부터 상기 구형물체를 검출하고, 상기 구형물체의 비행속도, 비행각도, 비행방향 및 회전량을 포함하는 단계;를 갖는다.
본 발명에 따른 구형물체의 비행정보 측정장치 및 방법에 의하면, 고가의 센서 및 초고속 카메라를 사용하지 않고 복수의 카메라로 촬영부를 구성함으로써 비용을 절감할 수 있으며 설치가 용이하다. 또한 구형물체의 움직임을 포착하기 위해 카메라의 주밍 동작을 이용하여 최소의 영역을 촬영함으로써 미세한 움직임까지도 검출할 수 있다. 나아가 복수의 카메라에 의해 연속적으로 촬영된 영상을 분석함으로써 구형물체의 비행정보를 정확하게 측정할 수 있다.
도 1은 본 발명에 따른 구형물체의 비행정보 측정장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 촬영부의 구성의 일 예를 도시한 도면,
도 3은 대상영역 전체를 촬영한 영상과 감시영역을 촬영한 영상의 예를 나타낸 도면,
도 4는 대상영역에서 구형물체의 움직임을 나타낸 도면,
도 5는 핀홀 카메라 모델을 도시한 도면,
도 6은 비행방향의 산출 방법을 설명하기 위한 도면,
도 7은 시간의 경과에 따른 구형물체의 높이 변화의 예를 도시한 그래프,
도 8은 시간의 경과에 따라 구형물체의 표면에 표시된 패턴의 변화를 도시한 그래프,
도 9는 본 발명에 따른 비행정보 측정장치가 골프 시뮬레이션 시스템에 적용되는 경우의 예를 도시한 도면, 그리고,
도 10은 본 발명에 따른 구형물체의 비행정보 측정방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 구형물체의 비행정보 측정장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 구형물체의 비행정보 측정장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 비행정보 측정장치는 비행개시지점으로부터 출발하여 대상영역 내에서 움직이는 구형물체의 비행정보를 측정하기 위한 것으로, 촬영부(110), 촬영 제어부(120) 및 영상 분석부(130)를 구비한다. 구체적으로, 촬영부(110)는 구형물체가 대상영역 내에 위치하는 동안 연속적인 촬영에 의해 복수의 영상을 생성하고, 촬영 제어부(120)는 촬영부(110)의 촬영 범위 또는 촬영 주기를 제어하는 트리거 신호를 촬영부(110)로 입력하며, 영상 분석부(130)는 촬영부(110)에 의해 촬영된 복수의 영상을 분석함으로써 비행정보를 측정한다.
본 발명에 따른 비행정보 측정장치는 특히 골프 연습장에서 각 타석 부근에 설치되어 골프공 타격 감지 시스템으로서 적용될 수 있다. 이하에서는 본 발명에 따른 비행정보 측정장치가 골프공 타격 감지 시스템이고, 구형물체가 골프공인 경우를 대표적인 실시예로 하여 본 발명의 각 구성요소의 동작에 대하여 상세하게 설명한다. 그러나 본 발명에 따른 비행정보 측정장치는 골프공에 한정되지 않고 일정 영역 내에서 회전 및 이동하는 모든 구형물체의 비행정보를 측정하기 위해 적용될 수 있다.
촬영부(110)는 대상영역을 사전에 설정된 촬영주기로 촬영하는 복수의 카메라로 구성된다. 이때 복수의 카메라로서 기존의 시스템에서 주로 사용되었던 초고속 카메라가 아닌 일반 스틸 카메라를 사용함으로써 시스템 설계 비용을 절감할 수 있다. 또한 구형물체가 움직이는 대상영역을 복수의 스틸 카메라가 일정한 촬영주기에 의해 순차적으로 촬영하도록 함으로써 촬영부(110)는 초고속 카메라에 가까운 촬영 결과를 보일 수 있다.
또한 촬영부(110)를 구성하는 복수의 카메라 중에서 선택된 하나의 카메라는 대상영역 전체를 촬영할 때 사용되는 한편, 집중감시 카메라로서 구형물체를 둘러싼 최소의 영역인 감시영역만을 촬영함으로써 골프공의 타격 시점, 즉 구형물체가 비행을 개시하는 시점을 파악하기 위해 사용된다. 따라서 집중감시 카메라로 선택된 카메라는 줌인(zoom-in) 및 줌아웃(zoom-out)에 의해 감시영역과 대상영역을 각각 촬영한다.
앞에서도 설명한 바와 같이 촬영부(110)는 집중감시 카메라로 사용되는 카메라를 포함하여 복수의 카메라로 구성되며, 바람직하게는 제1카메라, 제2카메라 및 제3카메라의 세 개의 카메라로 구성된다. 도 2는 촬영부(110)의 구성의 일 예를 도시한 도면으로, 도 2를 참조하면, 촬영부(110)는 동일한 높이에 위치하는 제1카메라(112) 및 제2카메라(114), 그리고 제1카메라(112) 및 제2카메라(114)의 하부에 위치하는 제3카메라(116)로 구성된다. 이 중에서 선택된 하나의 카메라, 예를 들면, 제3카메라(116)가 집중감시 카메라로서 사용될 수 있다. 또한 촬영부(110)의 크기 및 각 카메라 간의 간격은 사용되는 카메라의 크기에 따라 달라질 수 있으나, 일 예로서 제1카메라(112)와 제2카메라(114) 사이의 간격(a)은 18.5mm로, 상부에 위치한 제1카메라(112) 및 제2카메라(114)와 하부에 위치한 제3카메라(116) 사이의 간격(b)은 24mm로 할 수 있다.
촬영부(110)가 제1카메라(112), 제2카메라(114) 및 제3카메라(116)로 구성되는 경우에 구형물체가 비행개시지점에 위치하는 동안, 예를 들면, 골프공이 타격지점에 놓여져 있는 동안에는 집중감시 카메라로 사용되는 제3카메라(116)의 줌인에 의해 감시영역이 제1촬영주기로 촬영된다. 이후 골프공이 타격에 의해 비행을 시작하면 제3카메라(116)는 대상영역 전체를 촬영하도록 줌아웃되며, 제1카메라(112) 및 제2카메라(114)와 함께 제2촬영주기로 대상영역을 촬영한다.
이때 제1카메라(112) 내지 제3카메라(116)는 제2촬영주기에 대응하는 촬영간격에 따라 순차적으로 대상영역을 촬영하게 된다. 즉, 감시영역을 촬영하기 위해 줌인되었던 제3카메라(116)가 다시 줌아웃되는 동안 제1카메라(112) 또는 제2카메라(114)가 대상영역을 촬영하며, 다음 촬영주기에 제3카메라(116)가 대상영역을 촬영하는 방법으로 대상영역에 대한 복수의 영상이 얻어지는 것이다. 이와 같이 함으로써 초고속 카메라를 사용하여 대상영역을 촬영하는 것과 동일한 결과를 얻을 수 있다.
이와 같이 제3카메라(116)가 감시영역을 촬영하거나 제1카메라(112) 내지 제3카메라(116)가 대상영역을 촬영하는 동작은 촬영 제어부(120)로부터 출력되는 트리거 신호에 의해 제어된다. 촬영 제어부(120)는 집중감시 카메라, 즉 제3카메라(116)가 감시영역을 제1촬영주기로 촬영하도록 하는 제1트리거 신호 및 촬영부(110)를 구성하는 복수의 카메라, 즉 제1카메라(112) 내지 제3카메라(116)가 대상영역을 제2촬영주기로 촬영하도록 하는 제2트리거 신호를 출력함으로써 촬영부(110)의 촬영 동작을 제어한다.
여기서 제1트리거 신호 및 제2트리거 신호는 각각 제1촬영주기 및 제2촬영주기에 대응하는 촬영간격에 따라 출력될 수 있다. 따라서 촬영 제어부(120)는 감시영역만을 촬영하고자 할 때에는 제1트리거 신호를 제1촬영주기에 대응하는 촬영간격에 따라 제3카메라(116)로 출력함으로써 제1트리거 신호가 입력될 때마다 제3카메라(116)의 촬영동작이 이루어지도록 하고, 대상영역 전체를 촬영할 때에는 제2트리거 신호를 제2촬영주기에 대응하는 촬영간격에 따라 제1카메라(112) 내지 제3카메라(116)로 순차적으로 출력함으로써 제2트리거 신호가 입력될 때마다 제1카메라(112) 내지 제3카메라(116)의 순차적인 촬영동작이 이루어지도록 한다.
한편, 집중감시 카메라인 제3카메라(116)로 출력되는 제1트리거 신호 및 제2트리거 신호는 제3카메라(116)의 주밍(zooming) 동작을 제어하는 신호와 함께 출력될 수 있다. 즉, 제1트리거 신호가 최초로 제3카메라(116)로 출력될 때에는 제3카메라(116)의 촬영범위가 감시영역에 대응되도록 줌인 신호와 함께 출력될 수 있고, 제2트리거 신호가 최초로 제3카메라(116)로 출력될 때에는 제3카메라(116)의 촬영범위가 대상영역에 대응되도록 줌아웃 신호와 함께 출력될 수 있다.
이와 같이 촬영 제어부(120)는 제3카메라(116)의 주밍 동작을 제어하기 위해 대상영역 내의 비행개시지점에 놓인 구형물체가 검출되면 구형물체의 좌표 및 크기 정보를 기초로 주밍 비율을 설정한다. 따라서 제1트리거 신호가 출력되기 전, 즉 구형물체가 비행개시지점에 놓여져 구형물체의 탐지를 위한 촬영이 개시되기 이전에 대상영역이 제1카메라(112) 내지 제3카메라(116) 중 어느 하나의 카메라 또는 별도로 구비된 카메라에 의해 일정한 촬영주기로 촬영될 필요가 있다. 이때의 촬영주기는 제1촬영주기 또는 제2촬영주기와 동일하게 설정되거나 새로운 값으로 설정될 수 있다.
촬영 제어부(120)는 이와 같이 대상영역을 촬영하여 얻어진 영상에서 비행개시지점에 놓인 구형물체가 검출되면 주밍 비율을 설정한 후 제1트리거 신호와 주밍 제어 신호를 제3카메라(116)로 출력한다. 이후 제1트리거 신호에 대응하여 제3카메라(116)에 의해 촬영된 영상에서 구형물체의 움직임이 검출되면 촬영 제어부(120)는 구형물체의 비행이 개시된 것, 즉 골프공의 타격이 발생한 것으로 판단하고, 제3카메라(116)를 줌아웃시키는 주밍 제어 신호와 제2트리거 신호를 출력한다. 제2트리거 신호에 대응하여 촬영부(110)의 제1카메라(112) 내지 제3카메라(116)에 의해 촬영된 복수의 영상은 비행중인 구형물체의 속도, 방향 등 각종 비행정보를 측정하기 위해 사용된다.
촬영부(110)의 촬영동작은 이와 같이 촬영 제어부(120)로부터 입력된 트리거 신호에 의존할 수도 있으나, 제1트리거 신호 및 제2트리거 신호에 대응하는 촬영주기 및/또는 주밍 비율이 사전에 촬영부(110)에 저장되고, 촬영 제어부(120)로부터 트리거 신호가 입력되면 설정된 값에 따라 촬영부(110)가 자동으로 대상영역 또는 감시영역을 촬영할 수도 있다. 이 경우에도 촬영 제어부(120)의 트리거 신호 출력은 대상영역을 촬영한 영상으로부터 구형물체를 검출한 결과 및 감시영역을 촬영한 영상의 분석 결과에 의해 이루어진다.
이상에서 설명한 것과 같이 촬영 제어부(120)는 대상영역 또는 감시영역을 촬영하여 얻어진 영상의 분석 결과에 대응하여 제1트리거 신호 및 제2트리거 신호를 출력한다. 영상 분석부(130)는 촬영부(110)로부터 출력된 영상을 분석하여 촬영 제어부(120)의 트리거 신호 출력을 제어하는 한편, 구형물체의 비행속도, 비행각도, 비행방향 및 회전량을 포함하는 비행정보를 산출한다.
먼저 구형물체가 비행개시지점에 놓이기 이전에 대상영역 전체를 촬영한 영상으로부터 구형물체를 검출하여 제1트리거 신호를 출력하는 과정 및 제1트리거 신호에 의해 감시영역을 촬영한 영상으로부터 구형물체의 움직임을 검출하여 제2트리거 신호를 출력하는 과정에 대하여 설명한다.
도 3은 대상영역 전체를 촬영한 영상과 감시영역을 촬영한 영상의 예를 나타낸 도면이다. 도 3의 (a)는 대상영역의 비행개시지점에 놓인 구형물체(200)를 촬영한 영상이며, (b)는 구형물체(200)를 둘러싼 감시영역만을 확대하여 촬영한 영상이다. 영상 분석부(130)는 도 3의 (a)와 같이 대상영역을 촬영한 영상으로부터 구형물체(200)가 검출되고, 구형물체(200)가 위치하는 지점이 사전에 설정된 비행개시지점일 경우에 영상 내에서의 구형물체(200)의 좌표(210) 및 크기 정보를 촬영 제어부(120)로 제공한다.
촬영 제어부(120)는 영상 분석부(130)로부터 비행개시지점에 놓인 구형물체(200)의 정보가 입력되면 제3카메라(116)의 주밍 비율을 산출하여 주밍 제어 신호와 제1트리거 신호를 제3카메라(116)로 출력한다. 도 3의 (b)는 제1트리거 신호에 의해 제3카메라(116)가 감시영역을 촬영하여 얻어진 영상이다. 감시영역은 구형물체(200)의 미세한 움직임까지 검출할 수 있도록 도 3의 (b)와 같이 구형물체(200)를 포함하는 최소 크기의 영역으로 설정된다. 또한 제1트리거 신호에 대응하는 제3카메라(116)의 촬영 간격인 제1촬영주기는 각 화소의 화소값의 미세한 변화를 빠르게 검출할 수 있도록 작은 값으로 설정된다. 바람직하게는, 제3카메라(116)가 1초당 3000프레임을 촬영하도록 제1촬영주기가 설정될 수 있다.
영상 분석부(130)는 제1트리거 신호에 따라 제3카메라(116)로부터 연속적으로 출력되는 감시영상을 화소 단위로 분석하여 구형물체(200)의 비행개시 여부를 판별한다. 구형물체(200)의 비행개시 여부는 감시영상을 구성하는 각 화소의 화소값을 기초로 판별되며, 일 예로서, 감시영상에서 화소값의 변화량이 사전에 설정된 기준값 이상인 화소가 사전에 설정된 기준개수 이상이면 영상 분석부(130)는 촬영 제어부(120)가 제2트리거 신호를 출력하도록 제어신호를 출력할 수 있다. 또는 감시영상을 구성하는 화소들의 화소값 평균이 기준값 이상으로 변화하면 구형물체(200)가 움직인 것으로 판단하여 촬영 제어부(120)가 제2트리거 신호를 출력하도록 할 수도 있다.
이와 같이 본 발명에 따른 비행정보 측정장치는 구형물체(200)의 움직임을 포착하기 위해 기존의 시스템과 같이 일정한 영역을 통과하는 구형물체(200)를 감지하는 것이 아닌 구형물체(200)가 위치하는 영역을 화소 단위로 관찰함으로써 움직임이 발생하는 시점, 즉 골프공의 타격이 발생하는 시점을 정확하게 포착할 수 있다. 따라서 구형물체(200)가 움직이는 순간부터 움직임을 추적하여 비행정보를 정확하게 산출할 수 있다.
제2트리거 신호에 의해 제1카메라(112) 내지 제3카메라(116)로부터 차례로 출력되는 영상들은 영상 분석부(130)로 입력되어 비행중인 구형물체(200)의 비행정보를 산출하기 위해 사용된다. 이하에서는 대상영역을 촬영한 영상으로부터 구형물체(200)의 위치 및 크기 정보를 사용하여 비행속도, 비행각도, 비행방향 및 회전량 등을 산출하는 방법을 설명한다.
영상 분석부(130)는 먼저 제2트리거 신호에 대응하여 출력된 영상으로부터 구형물체(200)를 검출한 후 구형물체(200)의 위치 및 크기정보를 산출한다. 이때 제1카메라(112) 및 제2카메라(114)가 동일한 높이에 위치하므로 제1카메라(112) 및 제2카메라(114)로부터 연속하여 출력된 영상을 사용하여 구형물체(200)의 위치 및 크기정보를 산출하고, 산출된 정보를 기초로 비행각도, 비행속도 및 비행방향 등을 산출할 수 있다.
도 4는 대상영역에서 구형물체(200)의 움직임을 나타낸 도면이다. 대상영역을 촬영한 두 개의 카메라로부터 얻어진 영상을 기초로 대상영역 내에서의 구형물체(200)의 위치정보를 산출함으로써 도 4와 같은 구형물체(200)의 시간에 따른 움직임을 파악할 수 있다. 도 4를 참조하면, 구형물체(200)는 대상영역에서 비행개시지점에 대응하는 A 위치로부터 비행을 개시한 후 B 위치로 이동하였다. 따라서 비행을 개시한 직후의 구형물체(200)의 비행각도는 삼각함수를 사용하여 다음의 수학식 1과 같이 산출할 수 있다.
Figure pat00001
여기서, θ는 구형물체(200)의 비행각도, (x1,y1)은 A 지점의 좌표, 그리고 (x2,y2)는 B 지점의 좌표이다.
이와 같은 구형물체(200)의 비행각도는 구형물체(200)가 비행을 개시한 시점부터 일정하게 유지되는 것이 아니므로, 영상 분석부(130)는 제1카메라(112) 내지 제3카메라(116)로부터 연속하여 출력되는 복수의 영상을 사용하여 구형물체(200)의 비행각도를 지속적으로 산출할 수 있다.
다음으로 영상 분석부(130)는 구형물체(200)의 비행방향을 산출하기 위해 핀홀 카메라 모델을 사용할 수 있다. 도 5는 핀홀 카메라 모델을 도시한 도면으로, 도 5에서 x는 대상영역을 촬영한 영상으로부터 검출된 구형물체(200)의 크기, f는 핀홀 카메라의 초점거리, Z는 구형물체(200)와 촬영부(110) 사이의 거리, 그리고 X는 구형물체(200)의 실제 크기이다. 도 5에 표시된 네 가지 값 중에서 x, f 및 X의 값은 사전에 알 수 있는 값이므로 촬영부(110)로부터 구형물체(200)까지의 실제 거리인 Z의 값을 구하여 구형물체(200)의 비행방향을 산출하기 위해 사용할 수 있다. 핀홀 카메라 모델의 수식인
Figure pat00002
로부터 Z의 값은
Figure pat00003
와 같이 산출할 수 있으며,
Figure pat00004
와 같이 상수로 치환하면 촬영부(110)로부터 구형물체(200)까지의 거리와 검출된 구형물체(200)의 크기 사이의 관계는 다음의 수학식 2와 같다.
Figure pat00005
영상 분석부(130)는 수학식 2를 이용하여 복수의 영상에서 촬영부(110)로부터 구형물체(200)까지의 거리를 지속적으로 산출하며, 그에 따라 구형물체(200)의 비행방향을 산출할 수 있다.
도 6은 비행방향의 산출 방법을 설명하기 위한 도면으로, 대상영역을 위에서 내려다본 형태를 도시한 것이다. 도 6에서 x1 및 x2는 구형물체(200)의 수평방향으로의 위치이며, Z, Z1 및 Z2는 촬영부(110)로부터 구형물체(200)까지의 거리이다. 또한 A는 구형물체(200)가 비행개시지점으로부터 출발하여 좌측 방향으로 움직인 경우이며, B는 구형물체(200)가 우측 방향으로 움직인 경우이다. 구형물체(200)의 비행방향은 구형물체(200)가 좌측 및 우측으로 움직이는 경우에 각각 산출되는 각도인 θ1 및 θ2로부터 측정된다. θ1 및 θ2 역시 삼각함수를 이용하여 산출할 수 있다.
수학식 2와 같이 촬영부(110)로부터 구형물체(200)까지의 거리(Z)와 검출된 구형물체(200)의 크기(x)는 반비례 관계에 있으므로 Z의 값이 작을수록 x의 값이 커지며, x의 변화량이 많아도 Z의 값은 작은 범위 내에서 변화하게 된다. 따라서 촬영부(110)와 구형물체(200)가 인접하도록 하는 것이 정확한 비행방향의 측정을 위해 바람직하다.
다음으로 구형물체(200)의 비행속도는 구형물체(200)의 수평 방향으로의 이동거리와 촬영부(110)로부터 구형물체(200)까지의 거리가 산출되면 도 6과 같이 피타고라스 정리를 이용하여 구형물체(200)의 실제 이동거리를 산출함으로써 얻어진다. 즉, 제2촬영주기에 따라 촬영된 영상으로부터 각각의 영상이 촬영된 시간정보를 알 수 있으므로 구형물체(200)의 이동거리가 산출되면 비행속도가 얻어진다.
또한, 구형물체(200)의 비행속도, 비행각도 및 비행방향이 산출되면 다음의 수학식 3을 이용하여 비거리를 산출할 수 있다.
Figure pat00006
여기서, X는 구형물체(200)의 비거리, V는 구형물체(200)의 비행속도, g는 중력가속도, 그리고 θ는 구형물체(200)의 비행각도이다.
한편, 구형물체(200)는 특성상 비행하는 동안 회전할 수 있으므로 구형물체(200)의 비행정보로서 회전량을 측정할 수 있다. 회전량 측정을 위해서는 구형물체(200)의 표면에 일정 패턴의 표시, 예를 들면 일정 간격으로 표시된 복수의 점을 사전에 그려넣고, 제2트리거 신호에 따라 대상영역을 촬영하였을 때 얻어진 영상에서 구형물체(200) 상에 보이는 패턴을 이용할 수 있다.
도 7은 시간의 경과에 따른 구형물체(200)의 높이 변화의 예를 도시한 그래프이다. 도 7을 참조하면, 구형물체(200)는 시간 t0에서 비행개시지점인 y1에 위치하며, 이때부터 제1트리거 신호에 따라 제3카메라(116)에 의한 감시영역의 촬영이 이루어진다. 구형물체(200)가 비행을 개시하여 움직임이 검출됨에 따라 촬영 제어부(120)로부터 제2 트리거 신호가 출력되고, 제1카메라(112) 내지 제3카메라(116)는 제2촬영주기에 따라 순차적으로 대상영역을 촬영한다.
제1카메라(112) 내지 제3카메라(116)의 촬영 순서가 '제2카메라(114)→제3카메라(116)→제1카메라(112)'인 경우, 도 7에서 t1은 제2카메라(114)의 촬영 시점, t2는 제3카메라(116)의 촬영 시점, 그리고 t3는 제1카메라(112)의 촬영 시점이다. 이때 제3카메라(116)는 감시영역을 촬영하기 위해 시간 t0에서 줌인 상태가 되었으므로, 구형물체(200)의 움직임이 검출되면 시간 t2가 되기 전까지 줌아웃 동작에 의해 촬영범위가 대상영역에 일치하도록 한다.
영상 분석부(130)는 세 개의 카메라(112, 114, 116)에 의해 촬영된 영상 중에서 제1카메라(112) 및 제3카메라(116)에 의해 촬영된 영상을 구형물체(200)의 회전량 산출에 사용할 수 있다. 도 8은 시간의 경과에 따라 구형물체(200) 표면에 표시된 패턴의 변화를 도시한 그래프이다. 도 8에 표시된 구형물체(200)의 형태는 비행개시지점에 놓여 있을 때 제1트리거 신호가 출력되어 제3카메라(116)에 의해 시간 t0에서 촬영된 형태, 제2트리거 신호가 출력되어 제3카메라(116)에 의해 시간 t2에서 촬영된 형태 및 제1카메라(112)에 의해 시간 t3에서 촬영된 형태이다.
도 8을 참조하면, 시간의 경과에 따라 구형물체(200)가 회전하여 표면에 표시된 점의 패턴에 변화가 발생하는 것을 확인할 수 있다. 영상 분석부(130)는 이러한 패턴의 변화로부터 구형물체(200)의 회전량을 산출한다.
도 9는 본 발명에 따른 비행정보 측정장치가 골프 시뮬레이션 시스템에 적용되는 경우의 예를 도시한 도면이다. 도 9를 참조하면, 우타석의 경우에 촬영부(110)는 골프공(200)을 사이에 두고 연습자의 맞은편에 위치한다. 이때 골프공(200)과 촬영부(110) 사이의 거리를 200~250mm로 근접하게 함으로써 앞에서 설명한 바와 같이 오차를 줄일 수 있다.
도 10은 본 발명에 따른 구형물체의 비행정보 측정방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
도 10을 참조하면, 대상영역을 촬영하는 영상을 분석하여 비행개시지점에 위치하는 구형물체(200)가 검출되면(S1010), 촬영 제어부(120)는 제1트리거 신호를 출력하여 촬영부(110)를 구성하는 복수의 카메라 중 집중감시 카메라가 구형물체(200)를 포함하는 최소의 영역인 감시영역을 제1촬영주기로 촬영하도록 한다(S1020). 영상 분석부(130)는 제1트리거 신호에 의해 촬영된 영상을 분석하여 구형물체(200)의 움직임을 검출하고, 촬영 제어부(120)는 구형물체(200)의 움직임이 발생하면(S1030) 제2트리거 신호를 출력하여 복수의 카메라가 제2촬영주기에 따라 순차적으로 대상영역을 촬영하도록 한다(S1040). 영상 분석부(130)는 제2트리거 신호에 의해 촬영된 복수의 영상을 분석하여 구형물체(200)의 비행속도, 비행각도, 비행방향 및 회전량을 포함하는 비행정보를 산출한다(S1050).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
110 - 촬영부
112 - 제1카메라
114 - 제2카메라
116 - 제3카메라
200 - 구형물체
210 - 구형물체의 좌표

Claims (15)

  1. 비행개시지점으로부터 출발하여 대상영역 내에서 움직이는 구형물체의 비행정보를 측정하기 위한 비행정보 측정장치에 있어서,
    상기 대상영역을 사전에 설정된 촬영주기로 촬영하는 복수의 카메라로 구성된 촬영부;
    상기 복수의 카메라 중에서 선택된 집중감시 카메라가 상기 구형물체를 포함하는 최소의 영역인 감시영역을 사전에 설정된 제1촬영주기로 촬영하도록 하는 제1트리거 신호 및 상기 복수의 카메라가 상기 대상영역을 사전에 설정된 제2촬영주기에 의해 순차적으로 촬영하도록 하는 제2트리거 신호를 출력하는 촬영 제어부; 및
    상기 촬영부로부터 출력된 복수의 영상으로부터 상기 구형물체를 검출하고, 상기 구형물체의 비행속도, 비행각도, 비행방향 및 회전량을 포함하는 비행정보를 산출하는 영상 분석부;를 포함하며,
    상기 촬영 제어부는 상기 대상영역을 촬영한 영상으로부터 검출된 상기 구형물체의 위치가 상기 비행개시지점이면 상기 제1트리거 신호를 출력하고, 상기 제1트리거 신호에 의해 상기 촬영부로부터 연속하여 출력된 복수의 감시영상에서 상기 구형물체에 해당하는 영역에 움직임이 발생하면 상기 제2트리거 신호를 출력하는 것을 특징으로 하는 비행정보 측정장치.
  2. 제 1항에 있어서,
    상기 촬영 제어부는 시간적으로 연속하는 상기 복수의 감시영상에서 화소값의 변화량이 사전에 설정된 기준값 이상인 화소의 개수가 사전에 설정된 기준개수 이상이면 상기 제2트리거 신호를 출력하는 것을 특징으로 하는 비행정보 측정장치.
  3. 제 1항 또는 제 2항에 있어서,
    상기 촬영 제어부는 상기 집중감시 카메라가 상기 제1트리거 신호에 의해 상기 감시영역을 촬영하고 상기 제2트리거 신호에 의해 상기 대상영역을 촬영하도록 상기 집중감시 카메라의 주밍 비율을 제어하는 신호를 출력하는 것을 특징으로 하는 비행정보 측정장치.
  4. 제 1항 또는 제 2항에 있어서,
    상기 집중감시 카메라가 상기 감시영역을 촬영하도록 하는 주밍 비율은 상기 대상영역을 촬영한 영상으로부터 검출된 상기 구형물체의 좌표 및 상기 구형물체의 크기를 기초로 결정되는 것을 특징으로 하는 비행정보 측정장치.
  5. 제 1항 또는 제 2항에 있어서,
    상기 영상 분석부는 상기 촬영부를 구성하는 복수의 카메라 중에서 동일한 높이에 위치하는 적어도 두 개의 카메라에 의해 각각 촬영된 영상을 기초로 상기 구형물체의 위치 및 크기를 측정하는 것을 특징으로 하는 비행정보 측정장치.
  6. 제 1항 또는 제 2항에 있어서,
    상기 영상 분석부는 상기 촬영부를 구성하는 복수의 카메라 중에서 상이한 높이에 위치하는 적어도 두 개의 카메라에 의해 각각 촬영된 영상을 기초로 상기 구형물체의 회전량을 측정하는 것을 특징으로 하는 비행정보 측정장치.
  7. 제 1항 또는 제 2항에 있어서,
    상기 촬영부는 동일한 높이에 위치하는 제1카메라와 제2카메라 및 상기 제1카메라와 상기 제2카메라의 하부에 위치하는 제3카메라로 구성되며, 상기 제3카메라는 상기 집중감시 카메라인 것을 특징으로 하는 비행정보 측정장치.
  8. 제 1항 또는 제 2항에 있어서,
    상기 제1카메라, 제2카메라 및 제3카메라는 상기 촬영 제어부로부터 입력되는 트리거 신호에 대응하여 상기 대상영역 또는 상기 감시영역을 촬영하는 스틸 카메라인 것을 특징으로 하는 비행정보 측정장치.
  9. 비행개시지점으로부터 출발하여 대상영역 내에서 움직이는 구형물체의 비행정보를 측정하기 위한 비행정보 측정방법에 있어서,
    (a) 상기 대상영역을 촬영한 영상으로부터 검출된 상기 구형물체의 위치가 상기 비행개시지점이면 상기 대상영역을 사전에 설정된 촬영주기로 촬영하는 복수의 카메라 중에서 선택된 집중감시 카메라가 상기 구형물체를 포함하는 최소의 영역인 감시영역을 사전에 설정된 제1촬영주기로 촬영하도록 하는 제1트리거 신호를 출력하는 단계;
    (b) 상기 제1트리거 신호에 의해 상기 복수의 카메라로부터 연속하여 출력된 복수의 감시영상에서 상기 구형물체에 해당하는 영역에 움직임이 발생하면 상기 복수의 카메라가 상기 대상영역을 사전에 설정된 제2촬영주기에 의해 순차적으로 촬영하도록 하는 제2트리거 신호를 출력하는 단계; 및
    (c) 상기 복수의 카메라로부터 출력된 복수의 영상으로부터 상기 구형물체를 검출하고, 상기 구형물체의 비행속도, 비행각도, 비행방향 및 회전량을 포함하는 단계;를 포함하는 것을 특징으로 하는 비행정보 측정방법.
  10. 제 9항에 있어서,
    상기 (b) 단계에서, 시간적으로 연속하는 상기 복수의 감시영상에서 화소값의 변화량이 사전에 설정된 기준값 이상인 화소의 개수가 사전에 설정된 기준개수 이상이면 상기 제2트리거 신호를 출력하는 것을 특징으로 하는 비행정보 측정방법.
  11. 제 9항 또는 제 10항에 있어서,
    상기 집중감시 카메라가 상기 제1트리거 신호에 의해 상기 감시영역을 촬영하고 상기 제2트리거 신호에 의해 상기 대상영역을 촬영하도록 상기 집중감시 카메라의 주밍 비율을 제어하는 신호를 출력하는 것을 특징으로 하는 비행정보 측정방법.
  12. 제 9항 또는 제 10항에 있어서,
    상기 집중감시 카메라가 상기 감시영역을 촬영하도록 하는 주밍 비율은 상기 대상영역을 촬영한 영상으로부터 검출된 상기 구형물체의 좌표 및 상기 구형물체의 크기를 기초로 결정되는 것을 특징으로 하는 비행정보 측정방법.
  13. 제 9항 또는 제 10항에 있어서,
    상기 (c) 단계에서, 상기 복수의 카메라 중에서 동일한 높이에 위치하는 적어도 두 개의 카메라에 의해 각각 촬영된 영상을 기초로 상기 구형물체의 위치 및 크기를 측정하는 것을 특징으로 하는 비행정보 측정방법.
  14. 제 9항 또는 제 10항에 있어서,
    상기 (c) 단계에서, 상기 복수의 카메라 중에서 상이한 높이에 위치하는 적어도 두 개의 카메라에 의해 각각 촬영된 영상을 기초로 상기 구형물체의 회전량을 측정하는 것을 특징으로 하는 비행정보 측정방법.
  15. 제 9항 또는 제 10항에 기재된 비행정보 측정방법을 컴퓨터로 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020100125593A 2010-12-09 2010-12-09 구형물체의 비행정보 측정장치 및 방법 Abandoned KR20120064389A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100125593A KR20120064389A (ko) 2010-12-09 2010-12-09 구형물체의 비행정보 측정장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100125593A KR20120064389A (ko) 2010-12-09 2010-12-09 구형물체의 비행정보 측정장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120064389A true KR20120064389A (ko) 2012-06-19

Family

ID=46684512

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100125593A Abandoned KR20120064389A (ko) 2010-12-09 2010-12-09 구형물체의 비행정보 측정장치 및 방법

Country Status (1)

Country Link
KR (1) KR20120064389A (ko)

Similar Documents

Publication Publication Date Title
JP6484321B2 (ja) 高速ビデオカメラを用いた飛行物体の飛行データ測定装置及び方法、及びこれを遂行するためのプログラムを記録したコンピュータで読取可能な記録媒体
KR100871595B1 (ko) 고속카메라를 이용한 구형물체의 비행정보 측정 시스템
JP6176673B2 (ja) 複数のカメラで運動する被写体を撮影し、その撮影イメージに基づいて被写体の実際の運動軌跡を取得するための方法およびシステム
CN108156450B (zh) 用于校准摄像机的方法、校准设备、校准系统以及机器可读的存储介质
KR100937922B1 (ko) 구형 물체의 비행정보 측정 시스템 및 방법
KR101275297B1 (ko) 이동객체 추적 카메라 장치
KR101951336B1 (ko) 퍼팅 분석 시스템
KR101230613B1 (ko) Ｃｍｏｓ센서를 기반으로 한 구형 물체의 비행정보 측정 시스템 및 방법
US20230408696A1 (en) Systems and methods for tracking three-dimensional objects
KR20180014141A (ko) 스크린골프 시스템의 골프볼 궤적분석장치
JP4269908B2 (ja) 電子カメラ、電子カメラの制御プログラム
JP4436990B2 (ja) ボール弾道計測装置
CN110235191B (zh) 检测系统和方法
KR101231387B1 (ko) 카메라 영상을 이용하는 구형물체의 비행속도 추정 방법
JP2009141538A5 (ko)
KR101905848B1 (ko) 골프클럽 및 골프공 측정장치 및 측정방법 및 이를 수행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
JP2010223752A (ja) 飛翔体高度計測装置
KR20120064389A (ko) 구형물체의 비행정보 측정장치 및 방법
JP4464902B2 (ja) カメラ制御装置およびカメラ制御プログラム
US20240382804A1 (en) Image analysis method for sensing moving ball, and sensing device using same
KR101128967B1 (ko) 대상물체의 비행정보 측정 장치 및 방법
KR101649181B1 (ko) 비행물체의 비행정보 추정 장치 및 비행정보 추정 방법
CN107866058A (zh) 一种基于多层映射解析定位的乒乓球运动系统
KR101944705B1 (ko) 고속 영상 카메라를 이용한 비행물체의 비행데이터 측정장치 및 방법 및 이를 수행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
KR20170052969A (ko) 스크린골프 시스템의 골프볼 궤적분석장치

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20101209

PA0201 Request for examination
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20110124

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120816

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20130221

NORF Unpaid initial registration fee
PC1904 Unpaid initial registration fee