KR20120033946A - Apparatus and method for calculating motion of object - Google Patents

Apparatus and method for calculating motion of object Download PDF

Info

Publication number
KR20120033946A
KR20120033946A KR1020110023394A KR20110023394A KR20120033946A KR 20120033946 A KR20120033946 A KR 20120033946A KR 1020110023394 A KR1020110023394 A KR 1020110023394A KR 20110023394 A KR20110023394 A KR 20110023394A KR 20120033946 A KR20120033946 A KR 20120033946A
Authority
KR
South Korea
Prior art keywords
image
change amount
calculating
images
motion
Prior art date
Application number
KR1020110023394A
Other languages
Korean (ko)
Other versions
KR101801126B1 (en
Inventor
김명규
김종성
백성민
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US13/238,134 priority Critical patent/US8913785B2/en
Publication of KR20120033946A publication Critical patent/KR20120033946A/en
Application granted granted Critical
Publication of KR101801126B1 publication Critical patent/KR101801126B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/285Analysis of motion using a sequence of stereo image pairs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image
    • G06T2207/30224Ball; Puck
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

PURPOSE: A device for calculating the movement of an object and a method thereof are provided to drive a part of lines of a low speed camera to acquire a plurality of line scan images at a low cost. CONSTITUTION: An image acquiring unit(110) acquires first images for each axis by at least two or more axes line scan on a rotating object. An image generating unit(120) generates second images with the object by combining the first images acquired in the same time zone. A movement calculating unit(130) calculates the displacement of the object based on the second images. The stereoscopic speed and spin of the rotating object is calculated by combining the line scan images.

Description

오브젝트 움직임 계산 장치 및 방법 {Apparatus and method for calculating motion of object}Apparatus and method for calculating motion of object}

본 발명은 오브젝트의 움직임을 계산하는 장치 및 방법에 관한 것이다. 보다 상세하게는, 타격된 회전체의 초기 속도와 스핀을 측정하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for calculating the movement of an object. More particularly, it relates to an apparatus and a method for measuring the initial speed and spin of a striking rotor.

시뮬레이션 게임에서 회전체의 속도 및 스핀을 측정하기 위한 기술들은 레이저 센서나 고속 영역 스캔 카메라를 기반으로 한다. 레이저 센서를 이용한 회전체의 속도 및 스핀 측정 시스템으로는 미국 Folcatron 사의 GolfAchiever 시스템이 있으며, 고속 영역 스캔 카메라를 이용한 회전체의 속도 및 스핀 측정 시스템으로는 캐나다 Interactive Sports Technologies 사의 High Definition Golf 시스템이 있다.Techniques for measuring the speed and spin of a rotating body in simulation games are based on laser sensors or high-speed area scan cameras. Rotor speed and spin measurement systems using laser sensors include the GolfAchiever system from Folcatron, USA, and Rotor speed and spin measurement systems using high-speed range scan cameras include the High Definition Golf system from Interactive Sports Technologies, Canada.

그런데, 레이저 센서를 이용한 시스템은 레이저 광막을 통과하는 회전체(ex. 볼)와 클럽의 레이저 영상에 기반한 스윙 패스 및 클럽 헤드 속도 분석을 통하여 회전체의 발사 속도 및 스핀을 계산한다. 이 방법은 정밀하다는 장점이 있으나, 레이저 센서와 레이저 광막 장치가 고가이고 레이저 장치의 안전성을 담보해야 하는 불편이 있어 저가의 아케이드 게임에는 적용시키기 어려운 단점이 있다.However, the system using the laser sensor calculates the firing speed and spin of the rotating body through the swing pass and club head speed analysis based on the laser (ex. Ball) passing through the laser light film and the laser image of the club. This method has the advantage of being precise, but it is difficult to apply to low-cost arcade games because the laser sensor and the laser film device are expensive and the inconvenience of ensuring the safety of the laser device is inconvenient.

고속 영역 스캔 카메라를 이용한 시스템은 쿼드비전(QuadVision) 시스템으로서 4대의 고속 카메라를 이용한 스테레오스코픽(Stereoscopic) 비전 기술을 통하여 회전체(ex. 볼)와 클럽의 속도, 방향, 회전축, 회전각 등을 3차원 복원할 수 있다. 그러나, 4대의 고속 카메라를 사용하기 때문에 시스템 비용이 높아 이 역시 저가의 아케이드 게임에 적용시키기 어려운 단점이 있으며, 복수개의 카메라들 사이의 동기화와 유지 보수도 쉽지 않다는 문제점도 있다.The system using the high-speed area scan camera is a QuadVision system that uses the stereoscopic vision technology using four high-speed cameras to control the speed, direction, axis of rotation, and angle of rotation of the rotating body (ex. Ball) and club. 3D can be restored. However, since four high-speed cameras are used, the system cost is high, which is difficult to apply to low-cost arcade games, and there is a problem that synchronization and maintenance between a plurality of cameras are not easy.

본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 영역 스캔 카메라의 일부 라인만을 사용하여 라인스캔 이미지를 획득하고, 이 라인스캔 이미지를 결합시킨 복합 이미지로 회전체의 3차원 속도와 3차원 스핀을 계산하는 오브젝트 움직임 계산 장치 및 방법을 제안함을 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and obtains a line scan image using only a few lines of an area scan camera, and combines the line scan images into three-dimensional speed and three-dimensional spin of the rotating body. An object of the present invention is to propose an apparatus and method for calculating an object motion.

본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 회전체의 속도 및 스핀 인식을 위한 장치로서 기존 영역 스캔 카메라의 일부 라인만 스캔하도록 조정하여 고속으로 라인스캔 이미지 캡쳐링이 가능하도록 하는 이미지 캡쳐링 장치를 제안한다.SUMMARY OF THE INVENTION The present invention has been made to achieve the above object, and is an apparatus for recognizing the speed and spin of a rotating body, and adjusting to scan only a few lines of an existing area scan camera to capture a line scan image at high speed. Propose a ring device.

또한, 본 발명은 임의의 라인스캔 이미지 캡쳐링 장치를 사용하여 한 또는 수 개의 개별 라인을 동작시키도록 하는 단계와, 상기 개별 라인에 대하여 복수의 연속적인 회전체 운동 이미지들을 캡쳐링하는 단계와, 상기 각각의 라인별로 복수의 연속적인 회전체 운동 이미지들을 결합하여 복합 이미지를 생성하는 단계와, 상기 한 또는 수 개 라인의 복합 이미지를 이용하여 회전체의 3차원 속도 벡터를 계산하는 단계와, 상기 한 또는 수 개 라인의 복합 이미지를 이용하여 회전체의 3차원 스핀 벡터를 계산하는 단계를 포함하는 회전체 속도 및 스핀 인식 방법을 제안한다.In addition, the present invention provides a method of operating one or several individual lines using any line scan image capturing device, capturing a plurality of consecutive rotational motion images for the individual lines, Generating a composite image by combining a plurality of continuous rotational motion images for each line, calculating a three-dimensional velocity vector of the rotating body using the composite image of one or several lines, and The present invention proposes a rotational speed and spin recognition method including calculating a three-dimensional spin vector of a rotating body using a composite image of one or several lines.

바람직하게는, 각각의 라인에 대하여 복합 이미지를 생성하는 단계는, 결합되는 복수의 연속적인 회전체 운동 이미지들에 대한 시간 결맞음(Time Coherence) 정보를 계산하여 복합 이미지를 생성한다.Preferably, the step of generating a composite image for each line calculates time coherence information for the plurality of consecutive rotating body motion images to be combined to generate the composite image.

바람직하게는, 회전체의 3차원 속도 벡터를 계산하는 단계는, 2개 이상 라인의 복합 이미지에 대한 중심점 추출 및 추적 방법을 이용하여 회전체의 3차원 속도를 계산한다.Preferably, the step of calculating the three-dimensional velocity vector of the rotating body, the three-dimensional velocity of the rotating body is calculated using a method of extracting and tracking the center point of the composite image of two or more lines.

바람직하게는, 회전체의 3차원 스핀 벡터를 계산하는 단계는, 2개 이상 라인의 복합 이미지에 대한 특이점 추출 및 추적 방법을 이용하여 회전체의 3차원 스핀을 계산한다. 더욱 바람직하게는, 특이점을 이용한 회전체 스핀을 계산하는 방법은, 각각의 라인의 복합 이미지에서 3개 이상의 특이점을 이용하여 3차원 개체 좌표계(Material Frame)를 계산한 후에, 2개 이상의 3차원 개체 좌표계 정보를 이용하여 회전체의 3차원 스핀을 계산한다.Preferably, the step of calculating the three-dimensional spin vector of the rotating body, the three-dimensional spin of the rotating body is calculated using a singular point extraction and tracking method for a composite image of two or more lines. More preferably, the method for calculating the rotational spin using the singularity, after calculating the three-dimensional object frame using three or more singular points in the composite image of each line, two or more three-dimensional objects The three-dimensional spin of the rotating body is calculated using the coordinate system information.

바람직하게는, 회전체의 3차원 속도 벡터 및 스핀 벡터를 계산하는 단계는, 복합 이미지를 구성하는 라인스캔 이미지에 회전체 외각 아크(Arc)의 곡률 변화를 계산하여 중심점 및 특이점들의 깊이 변화를 계산하고, 이 깊이 변화를 2차원 좌표 변화와 결합하여 회전체의 3차원 속도 및 스핀을 계산한다.Preferably, the calculating of the three-dimensional velocity vector and the spin vector of the rotating body includes calculating a change in the curvature of the outer shell arc in the line scan image constituting the complex image to calculate the depth change of the center point and the singular points. The depth change is combined with the two-dimensional coordinate change to calculate the three-dimensional velocity and spin of the rotating body.

본 발명은 다음과 같은 효과가 있다. 첫째, 저가의 저속 카메라에서 일부 라인만을 구동하여 복수의 라인스캔 이미지들을 획득함으로써 고속 카메라와 같은 효과를 가지며 저비용으로 시스템을 구성할 수 있다. 둘째, 회전체의 운동에 따라 정해진 시간마다 캡처된 라인스캔 이미지들을 결합하여 복합 이미지를 생성함으로써 회전체의 속도 벡터와 스핀 벡터를 계산할 수 있다. 세째, 복합 이미지를 근거로 계산한 회전체의 속도 벡터와 스핀 벡터를 데이터로 활용함으로써 실감있는 물리 시뮬레이션을 제공하는 콘텐츠(ex. 게임 콘텐츠)를 생성할 수 있다.The present invention has the following effects. First, by driving only a few lines in a low speed low speed camera to obtain a plurality of line scan images, the system can be configured at low cost with the same effect as a high speed camera. Second, the velocity vector and the spin vector of the rotating body can be calculated by combining the line scan images captured at predetermined times according to the motion of the rotating body to generate a composite image. Third, by using the velocity vector and the spin vector of the rotating body calculated on the basis of the composite image as data, it is possible to generate content (eg game content) that provides a realistic physics simulation.

도 1은 본 발명의 바람직한 실시예에 따른 오브젝트 움직임 계산 장치를 개략적으로 도시한 블록도이다.
도 2와 도 3은 본 오브젝트 움직임 계산 장치의 내부 구성을 세부적으로 도시한 블록도이다.
도 4는 본 오브젝트 움직임 계산 장치의 일실시 예시도이다.
도 5는 본 일실시예에서 라인스캔 이미지를 캡쳐하는 카메라를 나타낸 구성도이다.
도 6은 본 일실시예에서 카메라를 통해 각각의 라인별로 복수의 라인스캔 이미지를 캡쳐하는 방법을 나타낸 도면이다.
도 7은 본 일실시예에서 얻은 복합 이미지를 나타낸 도면이다.
도 8은 본 발명의 바람직한 실시예에 따른 오브젝트 움직임 계산 방법을 도시한 흐름도이다.
도 9는 일실시예에 따른 라인스캔 카메라 장치 기반 속도 및 스핀 인식 방법을 순차적으로 도시한 흐름도이다.
1 is a block diagram schematically illustrating an apparatus for calculating an object motion according to a preferred embodiment of the present invention.
2 and 3 are block diagrams showing the internal configuration of the present object motion calculation apparatus in detail.
4 is an exemplary view of the present object motion calculation apparatus.
5 is a diagram illustrating a camera capturing a line scan image in the present embodiment.
FIG. 6 is a diagram illustrating a method of capturing a plurality of line scan images for each line through a camera in this embodiment.
7 is a view showing a composite image obtained in this embodiment.
8 is a flowchart illustrating an object motion calculation method according to a preferred embodiment of the present invention.
9 is a flowchart sequentially illustrating a line scan camera device based speed and spin recognition method according to an embodiment.

이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, with reference to the accompanying drawings will be described in detail the operating principle of the present invention. In the following description of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. The following terms are defined in consideration of the functions of the present invention, and may be changed according to the intentions or customs of the user, the operator, and the like. Therefore, the definition should be made based on the contents throughout the specification.

도 1은 본 발명의 바람직한 실시예에 따른 오브젝트 움직임 계산 장치를 개략적으로 도시한 블록도이다. 도 2와 도 3은 본 오브젝트 움직임 계산 장치의 내부 구성을 세부적으로 도시한 블록도이다. 이하 설명은 도 1 내지 도 3을 참조한다.1 is a block diagram schematically illustrating an apparatus for calculating an object motion according to a preferred embodiment of the present invention. 2 and 3 are block diagrams showing the internal configuration of the present object motion calculation apparatus in detail. The following description refers to FIGS. 1 to 3.

도 1에 따르면, 오브젝트 움직임 계산 장치(100)는 이미지 획득부(110), 이미지 생성부(120), 움직임 계산부(130), 전원부(150) 및 주제어부(160)를 포함한다.According to FIG. 1, the object motion calculating apparatus 100 includes an image obtaining unit 110, an image generating unit 120, a motion calculating unit 130, a power supply unit 150, and a main control unit 160.

오브젝트 움직임 계산 장치(100)는 타격된 회전체의 초기 속도 및 스핀을 측정하는 장치이다. 오브젝트 움직임 계산 장치(100)는 스포츠 아케이드 게임 중 사용자가 치거나 던지거나 차거나 굴린 회전체를 저가 카메라의 한 또는 수 개의 라인만 사용하여 고속 효과로 촬영하는 카메라, 및 라인스캔 이미지를 결합한 복합 이미지를 사용하여 회전체의 초기 궤적과 회전을 복원하고 회전체의 3차원 속도 및 스핀을 계산하기 위한 제어부를 포함한다. 본 실시예에서는 이미지 획득부(110)가 카메라로 구현될 수 있으며, 그 외 구성부는 제어부로 구현될 수 있다. 카메라와 제어부의 기능과 관련해서는 도 4 내지 도 8을 참조하여 후술한다.The object motion calculating device 100 is a device for measuring the initial speed and spin of the hitting rotating body. The object motion calculation apparatus 100 combines a composite image that combines a line scan image and a camera that shoots a rotating body hit, thrown, kicked, or rolled by a high speed effect using only one or several lines of a low-cost camera during a sports arcade game. And a controller for restoring the initial trajectory and rotation of the rotor and calculating the three-dimensional velocity and spin of the rotor. In this embodiment, the image acquisition unit 110 may be implemented as a camera, and other components may be implemented as a controller. The functions of the camera and the controller will be described later with reference to FIGS. 4 to 8.

이미지 획득부(110)는 회전하는 오브젝트의 적어도 두 측을 라인스캔하여 각 측에 대하여 제1 이미지를 획득하는 기능을 수행한다. 바람직하게는, 이미지 획득부(110)는 오브젝트와 관련된 경계선이 포함된 오브젝트의 일측을 라인스캔한다.The image acquisition unit 110 performs a function of line scanning at least two sides of the rotating object to acquire a first image for each side. Preferably, the image acquisition unit 110 lines scan one side of the object including the boundary line associated with the object.

이미지 생성부(120)는 획득된 제1 이미지들끼리 결합시켜 오브젝트가 포함된 제2 이미지를 생성하는 기능을 수행한다. 이미지 생성부(120)는 도 2의 (a)에 도시된 바와 같이 시간 결맞음 정보 계산부(121)와 이미지 결합부(122)를 포함할 수 있다. 이때, 시간 결맞음 정보 계산부(121)는 각 제1 이미지에 대하여 시간 결맞음(Time Coherence) 정보를 계산하는 기능을 수행한다. 이미지 결합부(122)는 계산된 시간 결맞음 정보에 따라 제1 이미지들끼리 서로 결합시켜 제2 이미지를 생성하는 기능을 수행한다.The image generator 120 combines the obtained first images to generate a second image including an object. The image generator 120 may include a time coherence information calculator 121 and an image combiner 122 as shown in FIG. 2A. In this case, the time coherence information calculation unit 121 calculates time coherence information for each first image. The image combiner 122 combines the first images with each other according to the calculated time coherence information to generate a second image.

움직임 계산부(130)는 생성된 제2 이미지들을 기초로 오브젝트의 움직임 변화량을 계산하는 기능을 수행한다. 움직임 계산부(130)는 도 2의 (b)에 도시된 바와 같이 기준점 추출부(131)와 움직임 변화량 계산부(132)를 포함할 수 있다. 기준점 추출부(131)는 각 제2 이미지에서 미리 정해진 기준점을 추출하는 기능을 수행한다. 기준점에는 중심점, 특이점 등이 있다. 움직임 변화량 계산부(132)는 추출된 기준점들을 기초로 움직임 변화량으로 기준점의 3차원 위치 변화량, 오브젝트의 속도 성분, 및 오브젝트의 스핀 성분을 계산하는 기능을 수행한다. 예컨대, 움직임 변화량 계산부(132)가 오브젝트의 속도 성분을 계산할 때에는 기준점으로 중심점을 이용할 수 있으며, 오브젝트의 스핀 성분을 계산할 때에는 기준점으로 특이점을 이용할 수 있다.The motion calculator 130 calculates a motion change amount of the object based on the generated second images. The motion calculator 130 may include a reference point extractor 131 and a motion change calculator 132 as shown in FIG. 2B. The reference point extractor 131 extracts a predetermined reference point from each second image. Reference points include center points and singular points. The motion change calculator 132 calculates a three-dimensional position change amount of the reference point, a velocity component of the object, and a spin component of the object based on the extracted reference points. For example, the motion change amount calculator 132 may use the center point as a reference point when calculating the velocity component of the object, and may use the singular point as the reference point when calculating the spin component of the object.

움직임 변화량으로 기준점의 3차원 위치 변화량을 계산할 때에, 움직임 변화량 계산부(132)는 도 3의 (a)에 도시된 바와 같이 곡률 변화량 계산부(141), 깊이 변화량 계산부(142), 제1 위치 변화량 계산부(143) 및 제2 위치 변화량 계산부(144)를 포함할 수 있다. 곡률 변화량 계산부(141)는 각 제2 이미지마다 오브젝트와 관련된 경계선(ex. 외곽 아크(arc))의 곡률 변화량을 계산하는 기능을 수행한다. 깊이 변화량 계산부(142)는 각 제2 이미지마다 곡률 변화량을 기초로 기준점의 깊이 변화량을 계산하는 기능을 수행한다. 제1 위치 변화량 계산부(143)는 제2 이미지들로부터 기준점의 2차원 위치 변화량을 계산하는 기능을 수행한다. 제2 위치 변화량 계산부(144)는 깊이 변화량과 2차원 위치 변화량을 기초로 기준점의 3차원 위치 변화량을 계산하는 기능을 수행한다.When calculating the three-dimensional position change amount of the reference point by the movement change amount, the motion change amount calculation unit 132 performs the curvature change amount calculation unit 141, the depth change amount calculation unit 142, and the first as shown in FIG. The position change amount calculator 143 and the second position change amount calculator 144 may be included. The curvature variation calculator 141 calculates a curvature variation amount of a boundary line (eg, an outer arc) associated with the object for each second image. The depth change calculator 142 calculates a depth change amount of the reference point based on the curvature change amount for each second image. The first position change amount calculator 143 calculates a two-dimensional position change amount of the reference point from the second images. The second position change amount calculator 144 calculates a three-dimensional position change amount of the reference point based on the depth change amount and the two-dimensional position change amount.

움직임 변화량으로 오브젝트의 속도 성분을 계산할 때에, 움직임 변화량 계산부(132)는 도 3의 (b)에 도시된 바와 같이 제3 위치 변화량 계산부(145), 시간 변화량 계산부(146) 및 속도 성분 계산부(147)를 포함할 수 있다. 제3 위치 변화량 계산부(145)는 각 제2 이미지에서 기준점에 대한 위치 성분(ex. 3차원 위치 벡터)을 구하여 제2 이미지들 간 위치 변화량을 계산하는 기능을 수행한다. 시간 변화량 계산부(146)는 각 제2 이미지마다 구한 위치 성분을 기초로 제2 이미지들 간 시간 변화량을 계산하는 기능을 수행한다. 속도 성분 계산부(147)는 위치 변화량과 시간 변화량을 기초로 오브젝트의 속도 성분을 계산하는 기능을 수행한다.When calculating the velocity component of the object with the motion variation, the motion variation calculator 132 includes the third position variation calculator 145, the time variation calculator 146 and the velocity component as shown in FIG. The calculator 147 may be included. The third position change calculator 145 calculates a position change amount between the second images by obtaining a position component (eg, a 3D position vector) with respect to the reference point in each second image. The time variation calculator 146 calculates a time variation between the second images based on the position component obtained for each second image. The velocity component calculator 147 calculates a velocity component of the object based on the position change amount and the time change amount.

움직임 변화량으로 오브젝트의 스핀 성분을 계산할 때에, 기준점 추출부(131)는 기준점으로 각 제2 이미지에서 좌표값이 다른 특이점을 추출하며, 움직임 변화량 계산부(132)는 도 3의 (c)에 도시된 바와 같이 개체 좌표계 계산부(148)와 스핀 성분 계산부(149)를 포함할 수 있다. 개체 좌표계 계산부(148)는 추출된 특이점들을 이용하여 제2 이미지들에 대한 3차원 개체 좌표계를 계산하는 기능을 수행한다. 스핀 성분 계산부(149)는 3차원 개체 좌표계를 기초로 오브젝트의 스핀 성분을 계산하는 기능을 수행한다.When calculating the spin component of the object using the motion change amount, the reference point extractor 131 extracts a singular point having different coordinate values from each second image as a reference point, and the motion change amount calculator 132 is illustrated in FIG. As described above, the object coordinate system calculator 148 and the spin component calculator 149 may be included. The object coordinate system calculator 148 calculates a 3D object coordinate system for the second images using the extracted singular points. The spin component calculator 149 calculates a spin component of the object based on the 3D object coordinate system.

한편, 움직임 변화량 계산부(132)는 각 제2 이미지의 모션 블러 특징을 이용하여 오브젝트의 스핀 성분을 계산할 수 있다. 또한, 움직임 변화량 계산부(132)는 제2 이미지들에 기초하여 오브젝트의 3차원 모션을 모델링하고, 모델링에 의해 구축된 오브젝트의 입체 형상에 기반하여 오브젝트의 스핀 성분을 계산하는 것도 가능하다.The motion variation calculator 132 may calculate the spin component of the object by using the motion blur feature of each second image. In addition, the motion variation calculator 132 may model the 3D motion of the object based on the second images, and calculate the spin component of the object based on the three-dimensional shape of the object constructed by the modeling.

전원부(150)는 오브젝트 움직임 계산 장치(100)를 구성하는 각 부에 전원을 공급하는 기능을 수행한다.The power supply unit 150 supplies power to each unit constituting the object motion calculating apparatus 100.

주제어부(160)는 오브젝트 움직임 계산 장치(100)를 구성하는 각 부의 전체 작동을 제어하는 기능을 수행한다.The main control unit 160 performs a function of controlling the overall operation of each unit constituting the object motion calculating apparatus 100.

다음으로, 오브젝트 움직임 계산 장치(100)를 일실시예를 들어 설명한다. 본 발명은 카메라의 하나 또는 복수의 라인만을 구동하여 고속 카메라와 같은 효과를 가지는 회전체의 속도 및/또는 스핀 측정(또는 인식) 장치 및/또는 그 방법에 관한 것이다. 본 발명에서는 카메라의 하나 또는 복수의 라인만을 구동하여 복수의 라인스캔 이미지들을 캡쳐하고, 각 라인별로 각각 캡쳐한 복수의 라인스캔 이미지를 결합하여 복합 이미지를 생성하고, 생성한 복합 이미지의 아크의 곡률을 근거로 좌표 변화를 계산하고, 계산한 좌표 변화를 근거로 회전체의 속도 및/또는 스핀을 계산한다.Next, the object motion calculation apparatus 100 will be described with reference to one embodiment. The present invention relates to a speed and / or spin measurement (or recognition) device and / or method of a rotating body which drives only one or a plurality of lines of the camera and has the same effect as a high speed camera. The present invention captures a plurality of line scan images by driving only one or a plurality of lines of the camera, generates a composite image by combining a plurality of line scan images captured for each line, and curvature of the arc of the generated composite image. The coordinate change is calculated based on the calculation, and the speed and / or spin of the rotating body is calculated based on the calculated coordinate change.

도 4는 일실시예에 따른 회전체의 속도 및/또는 스핀 측정 장치(400)의 구성을 나타낸 블록도이다. 도 4에 따르면, 회전체의 속도 및/또는 스핀 측정 장치(400)는 카메라(410)와 제어부(420)를 포함한다.4 is a block diagram illustrating a configuration of an apparatus 400 for measuring speed and / or spin of a rotating body according to an exemplary embodiment. According to FIG. 4, the speed and / or spin measurement apparatus 400 of the rotating body includes a camera 410 and a controller 420.

본 장치(400)는 회전체의 3차원 속도 벡터와 3차원 스핀 벡터를 인식하는 것을 목적으로 하며, 라인스캔(linescan)만을 이용하여 기존 카메라 장치에서 몇개의 라인만 스캔하는 고속 라인스캔 이미지 캡처링 장치를 제안한다. 본 장치(400)는 회전체 발사시 회전체의 3차원 속도와 스핀을 정확하게 인식하는 효과를 얻을 수 있다.The apparatus 400 aims to recognize a three-dimensional velocity vector and a three-dimensional spin vector of a rotating body, and captures a high-speed line scan image that scans only a few lines from an existing camera apparatus using only a line scan. Suggest a device. The apparatus 400 can obtain the effect of accurately recognizing the three-dimensional speed and spin of the rotating body when the rotor is launched.

카메라(410)는 적어도 하나의 이미지 센서에 의해 얻어지는 정지 영상 또는 동영상 등의 영상 프레임을 처리한다. 즉, 코덱(CODEC)에 따라 이미지 센서에 의해 얻어지는 해당 영상 데이터들을 각 규격에 맞도록 디코딩한다. 그리고, 카메라(410)에서 처리된 영상 프레임은 제어부(420)의 제어에 의해 디스플레이부(미도시)에 표시되거나 저장부(미도시)에 저장될 수 있다.The camera 410 processes an image frame such as a still image or a moving image obtained by at least one image sensor. That is, the corresponding image data obtained by the image sensor is decoded in accordance with each standard according to a codec. The image frame processed by the camera 410 may be displayed on a display unit (not shown) or stored in a storage unit (not shown) under the control of the controller 420.

그리고, 카메라(410)는 제어부(420)의 제어에 의해 임의의 회전체에 대한 라인스캔 이미지를 캡쳐(촬영)한다. 즉, 도 5에 도시한 바와 같이, 480×640 형태의 카메라(410)는 640 라인 전체로 구성된 영역 이미지를 초당 30 프레임씩 캡쳐하는 대신에, 제어부(420)의 제어에 의해 640 라인 중 미리 설정된 라인 수만큼만(일 예로, 1개 라인 또는 2개 라인 등) 캡쳐한다. 따라서, 예를 들어, 카메라(410)가 1개 라인을 캡쳐하는 경우, 카메라(410)는 초당 640×30=19200 프레임씩 라인스캔 이미지를 캡쳐할 수 있다. 또한, 다른 예로, 카메라(410)가 2개 라인(일 예로, 라인 A와 라인 B)을 캡쳐하는 경우, 카메라(410)는 초당 320×30=9600 프레임씩 라인스캔 이미지를 캡쳐할 수 있다.The camera 410 captures (photographs) a line scan image of an arbitrary rotating body under the control of the controller 420. That is, as shown in FIG. 5, instead of capturing an area image composed of the entire 640 lines by 30 frames per second, the camera 410 having a 480 × 640 type is previously set among 640 lines by the control of the controller 420. Capture only as many lines as one line or two lines, for example. Thus, for example, when the camera 410 captures one line, the camera 410 may capture the line scan image by 640 × 30 = 19200 frames per second. Also, as another example, when the camera 410 captures two lines (eg, line A and line B), the camera 410 may capture line scan images at 320 × 30 = 9600 frames per second.

도 6은 일실시예에 따른 미리 설정한 2개의 라인스캔 카메라(410)에 의해 캡쳐되는 각각의 라인에 대한 8개의 라인 이미지를 나타낸다. 예를 들어, 회전체의 속도가 시속 180km, 즉 초속 50m이고 회전체의 직경이 0.05m인 경우, 회전체가 회전체 자신의 직경 거리를 이동하는데 걸리는 시간은 (0.05m)/(50m/sec)=0.001sec이다. 따라서, 2개 라인스캔 카메라(410)는 초당 9600개의 라인 이미지를 캡쳐하므로, 각각의 라인은 회전체를 9600×0.001=9.6번 캡쳐한다. 또한, 회전체가 좀더 작으면, 카메라(410)는 8번 정도 회전체를 캡쳐할 수 있으며, 이는 도 6과 같은 실시예일 수 있다. 또한, 회전체가 더 느리면, 카메라(410)는 더 많은 수의 라인 이미지를 캡쳐할 수도 있다.6 shows eight line images for each line captured by two preset line scan cameras 410, according to one embodiment. For example, if the speed of the rotating body is 180km per hour, that is, 50m per second and the diameter of the rotating body is 0.05m, the time taken for the rotating body to move the diameter distance of the rotating body itself is (0.05m) / (50m / sec ) = 0.001 sec. Thus, the two line scan cameras 410 capture 9600 line images per second, so each line captures the rotating body 9600 x 0.001 = 9.6 times. In addition, if the rotating body is smaller, the camera 410 may capture the rotating body about eight times, which may be an embodiment as shown in FIG. 6. Also, if the rotating body is slower, the camera 410 may capture a larger number of line images.

또한, 카메라(410)는 마이크(미도시)와 함께 하나의 입력부(미도시)를 구성할 수도 있다. 여기서, 입력부는 사용자에 의한 버튼 조작에 따른 신호를 수신하거나, 디스플레이되는 화면을 터치/스크롤하는 등의 조작에 의해 생성된 명령 또는 제어 신호를 수신한다.In addition, the camera 410 may configure one input unit (not shown) together with a microphone (not shown). Here, the input unit receives a signal according to a button operation by a user or receives a command or control signal generated by an operation such as touching / scrolling a displayed screen.

그리고, 입력부는 키보드(keyboard), 키패드(Key Pad), 돔 스위치(Dome Switch), 터치 패드(정압/정전), 터치 스크린(touch screen), 조그 셔틀(Jog Shuttle), 조그 휠, 조그 스위치, 마우스(mouse), 스타일러스 펜(Stylus Pen), 터치 펜(Touch Pen), 레이저 포인터 등의 다양한 장치가 사용될 수 있다. 이때, 입력부는 다양한 장치에 의한 입력에 대응하는 신호를 수신한다.The input unit may include a keyboard, a keypad, a dome switch, a touch pad (static pressure / capacitance), a touch screen, a jog shuttle, a jog wheel, a jog switch, Various devices such as a mouse, a stylus pen, a touch pen, and a laser pointer may be used. In this case, the input unit receives a signal corresponding to an input by various devices.

그리고, 마이크는 마이크로폰(Microphone)에 의해 회전체의 이동 등에 따른 음향 신호를 포함하는 외부의 음향 신호를 수신하여 전기적인 데이터로 변환한다. 또한, 변환한 데이터는 스피커(미도시)를 통해 출력한다. 또한, 마이크는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음을 제거하기 위해 다양한 잡음 제거 알고리즘이 적용될 수도 있다.The microphone receives an external sound signal including a sound signal according to the movement of the rotating body by a microphone and converts the sound signal into electrical data. In addition, the converted data is output through a speaker (not shown). In addition, various noise reduction algorithms may be applied to the microphone to remove noise generated while receiving an external sound signal.

제어부(420)는 회전체의 속도 및/또는 스핀 측정 장치(400)의 전반적인 동작을 제어한다.The controller 420 controls the speed of the rotating body and / or the overall operation of the spin measuring device 400.

그리고, 제어부(420)는 미리 설정한 적어도 하나의 라인별로 카메라(410)에 의해 캡쳐된 복수의 라인스캔 이미지를 결합하여 라인별로 복합 이미지를 생성한다. 즉, 제어부(420)는 결합하는 복수의 연속적인 회전체의 라인스캔 이미지에 대한 시간 결맞음(Time Coherence) 정보를 계산하고, 계산한 시간 결맞음 정보를 근거로 복수의 라인스캔 이미지를 결합하여 복합 이미지를 생성한다. 이때, 제어부(420)는 도 7에 도시한 바와 같이, 도 6에서 2개의 라인 각각에 대해 얻어진 8개의 라인스캔 이미지를 결합하여 2개의 라인 각각에 대해 복합 이미지를 생성하여 회전체의 초기 궤적과 회전을 복원한다. 여기서, 도 7의 (a)는 도 6의 라인 A로부터 스캔된(캡쳐된) 복수의 라인스캔 이미지를 결합한 복합 이미지를 나타내고, 도 7의 (b)는 도 6의 라인 B로부터 스캔된 복수의 라인스캔 이미지를 결합한 복합 이미지를 나타낸다. 이와 같은, 복합 이미지를 구성하는 라인스캔 이미지에서 회전체(일례로, 구형의 형태)의 일부 외각 아크(arc)의 곡률은 일정하거나 변화할 수 있다. 즉, 회전체의 곡률이 일정한 경우는 카메라(410)에 대해 깊이가 일정한 경우이며, 회전체의 곡률이 변하는 경우는 카메라(410)에 대해 깊이가 변화하는 경우이다. 따라서, 곡률 변화를 근거로 깊이 변화를 알 수 있으며, 깊이 변화와 2차원 좌표 변화를 결합하여 3차원 좌표 변화를 확인할 수 있다.The controller 420 combines the plurality of line scan images captured by the camera 410 for each of at least one predetermined line to generate a composite image for each line. That is, the control unit 420 calculates time coherence information on the line scan images of a plurality of continuous rotating bodies to be combined, and combines the plurality of line scan images based on the calculated time coherence information. Create In this case, as shown in FIG. 7, the control unit 420 combines the eight line scan images obtained for each of the two lines in FIG. 6 to generate a composite image for each of the two lines, thereby generating the initial trajectory of the rotating body. Restore the rotation. Here, FIG. 7A illustrates a composite image combining a plurality of line scan images scanned (captured) from line A of FIG. 6, and FIG. 7B illustrates a plurality of scanned images from line B of FIG. 6. Represents a composite image that combines linescan images. In this line scan image constituting the composite image, the curvature of some outer arcs of the rotating body (for example, a spherical shape) may be constant or change. That is, when the curvature of the rotating body is constant, the depth is constant with respect to the camera 410, and when the curvature of the rotating body is changing, the depth is changing with respect to the camera 410. Therefore, the change in depth can be known based on the change in curvature, and the change in three-dimensional coordinate can be confirmed by combining the change in depth and the change in two-dimensional coordinate.

일례로, 회전체의 실제 반경이 a이고 회전체와 카메라(410) 간의 거리가 z0이고 캡쳐된 라인 스캔 이미지의 아크의 반경이 r0일 때, 첫번째와 마지막 라인 스캔 이미지의 아크의 반경이 각각 ri와 rf인 경우, 제어부(120)는 첫번째와 마지막 라인 스캔 캡쳐된 회전체의 길이 zi와 zf는 다음식으로 계산할 수 있다.For example, when the actual radius of the rotor is a, the distance between the rotor and the camera 410 is z0 and the radius of the arc of the captured line scan image is r0, the radius of the arc of the first and last line scan image is ri, respectively. In the case of and rf, the control unit 120 may calculate the lengths zi and zf of the first and last line scan captured rotary bodies by the following equation.

Figure pat00001
Figure pat00001

Figure pat00002
Figure pat00002

또한, 제어부(420)는 복합 이미지의 중심점의 좌표가 (x, y)인 경우, 회전체의 3차원 좌표 (x, y, t)는 다음식으로 계산할 수 있다.In addition, when the coordinate of the center point of the composite image is (x, y), the controller 420 may calculate the three-dimensional coordinates (x, y, t) of the rotating body by the following equation.

Figure pat00003
Figure pat00003

그리고, 제어부(420)는 생성한 복합 이미지를 근거로 회전체의 3차원 속도 벡터 및/또는 3차원 스핀 벡터를 계산한다. 즉, 제어부(420)는 생성한 복합 이미지에 대한 중심점 추출 및 추적 방법을 이용하여 회전체의 3차원 속도를 계산한다. 또한, 제어부(420)는 생성한 복합 이미지에 대한 특징점 추출 및 추적 방법을 이용하여 회전체의 3차원 스핀을 계산한다. 이때, 제어부(420)는 복합 이미지에서 3개 이상의 특징점(또는 특이점)을 이용하여 3차원 개체 좌표계(Material Frame)를 계산하고, 계산한 2개 이상의 3차원 개체 좌표계 정보를 이용하여 회전체의 3차원 스핀을 계산할 수 있다. 또한, 제어부(420)는 복합 이미지를 구성하는 라인스캔 이미지의 회전체 외각 아크의 곡률 변화를 계산하고, 중심점 및 특이점들의 깊이 변화를 계산하고, 계산한 깊이 변화를 2차원 좌표 변화와 결합하여 각각의 회전체의 3차원 속도 및 스핀을 계산할 수도 있다.The controller 420 calculates a three-dimensional velocity vector and / or a three-dimensional spin vector of the rotating body based on the generated composite image. That is, the controller 420 calculates the three-dimensional velocity of the rotating body by using the center point extraction and tracking method for the generated composite image. In addition, the controller 420 calculates a three-dimensional spin of the rotating body by using a feature point extraction and tracking method for the generated composite image. At this time, the control unit 420 calculates a three-dimensional object coordinate system (Material Frame) using three or more feature points (or singular points) in the composite image, and using the three or more three-dimensional object coordinate system information calculated The dimensional spin can be calculated. In addition, the controller 420 calculates a change in curvature of the outer shell arc of the rotating body of the line scan image constituting the composite image, calculates a change in depth of the center point and singular points, and combines the calculated change in depth with the two-dimensional coordinate change, respectively. It is also possible to calculate the three-dimensional velocity and spin of the rotor.

그리고, 제어부(420)는 계산한 회전체의 3차원 속도 및/또는 스핀을 임의의 단말에 제공한다. 해당 단말은 회전체의 3차원 속도 및/또는 스핀을 초기값으로 사용하여 회전체의 비행 운동이나 지면 운동과 같은 운동 궤적에 대한 사실적인 물리 시뮬레이션을 제공할 수 있으며, 사실적 시뮬레이션 기반의 게임이나 훈련 콘텐츠를 제공할 수도 있다.In addition, the controller 420 provides the calculated three-dimensional speed and / or spin of the rotating body to any terminal. The terminal may provide a realistic physics simulation of a motion trajectory such as flight motion or ground motion of the rotating body by using the three-dimensional velocity and / or spin of the rotating body as an initial value. You can also provide content.

회전체의 속도 및 스핀 측정 장치(400)는 회전체의 속도 및/또는 스핀 측정 장치(400)가 동작하는데 필요한 데이터와 프로그램 등을 저장하는 저장부(미도시)를 더 포함할 수 있다. 이때, 저장부는 회전체의 속도 벡터를 계산하는데 이용하는 임의의 이미지에 대한 중심점 추출 및 추적 방법에 대한 알고리즘, 회전체의 스핀 벡터를 계산하는데 이용하는 임의의 이미지에 대한 특징점 추출 및 추적 방법에 대한 알고리즘 등을 저장한다.The speed and spin measurement apparatus 400 of the rotating body may further include a storage unit (not shown) that stores data and programs required for operating the speed and / or spin measurement apparatus 400 of the rotating body. At this time, the storage unit algorithm for extracting and tracking the center point for any image used to calculate the velocity vector of the rotating body, algorithm for extracting and tracking the feature point for any image used for calculating the spin vector of the rotating body, etc. Save it.

그리고, 저장부는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory : RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory : ROM), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다.The storage unit may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg, SD or XD memory), a magnetic Memory, Magnetic Disk, Optical Disk, Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Programmable Read-Only Memory (PROM), Electrically Erasable Programmable Read- Only memory) may include at least one storage medium.

회전체의 속도 및/또는 스핀 측정 장치(400)는 제어부(420)의 제어에 의해 카메라(410)를 통해 캡쳐된 이미지(영상)을 표시하는 디스플레이부(미도시)를 더 포함할 수 있다. 이때, 디스플레이부는 액정 디스플레이(Liquid Crystal Display : LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display : TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode : OLED), 플렉시블 디스플레이(Flexible Display), 전계 방출 디스플레이(Feld Emission Display : FED), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다.The speed and / or spin measurement apparatus 400 of the rotating body may further include a display unit (not shown) which displays an image (image) captured by the camera 410 under the control of the controller 420. In this case, the display unit includes a liquid crystal display (LCD), a thin film transistor liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. It may include at least one of a field emission display (FED), a 3D display.

그리고, 디스플레이는 회전체의 속도 및/또는 스핀 측정 장치(400)의 구현 형태에 따라 디스플레이가 2개 이상 존재할 수 있다. 예를 들면, 회전체의 속도 및/또는 스핀 측정 장치(400)에 복수의 디스플레이들이 하나의 면(동일면)에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.In addition, the display may have two or more displays according to the speed of the rotating body and / or the implementation form of the spin measuring apparatus 400. For example, the plurality of displays may be spaced apart or integrally disposed on one surface (same surface) or may be disposed on different surfaces, respectively, in the speed and / or spin measurement apparatus 400 of the rotating body.

그리고, 디스플레이는 터치 동작을 감지하는 센서가 구비되는 경우, 출력 장치 이외에도 입력 장치로도 사용될 수 있다. 즉, 터치 필름, 터치 시트, 터치 패드 등의 터치 센서가 디스플레이에 구비되는 경우, 디스플레이는 터치 스크린으로 동작할 수 있다.The display may be used as an input device in addition to an output device when a sensor for detecting a touch motion is provided. That is, when a touch sensor such as a touch film, a touch sheet, or a touch pad is provided on the display, the display may operate as a touch screen.

회전체의 속도 및/또는 스핀 측정 장치(400)는 임의의 외부 단말과 유/무선 통신 기능을 수행하는 통신부(또는 무선 통신 모듈)를 더 포함할 수 있다. 이때, 통신부는 무선 인터넷 접속을 위한 모듈 또는 근거리 통신(Short Range Communication)을 위한 모듈을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN : WLAN), 와이브로(Wireless Broadband : Wibro), 와이 파이(Wi-Fi), 와이맥스(World Interoperability for Microwave Access : Wimax), HSDPA(High Speed Downlink Packet Access) 등이 포함될 수 있고, 또한, 근거리 통신 기술로는 블루투스(Bluetooth), 지그비(ZigBee), UWB(Ultra Wideband), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association : IrDA) 등이 포함될 수 있다. 또한, 유선 통신 기술은, USB(Universal Serial Bus) 통신 등을 포함할 수 있다.The speed and / or spin measurement apparatus 400 of the rotating body may further include a communication unit (or a wireless communication module) performing a wired / wireless communication function with any external terminal. In this case, the communication unit may include a module for wireless Internet access or a module for short range communication. Here, wireless Internet technologies include wireless LAN (WLAN), WiBro, Wi-Fi, WiMAX (World Interoperability for Microwave Access: Wimax), HSDPA (High Speed Downlink Packet Access). ), And also, short-range communication technologies may include Bluetooth, ZigBee, Ultra Wideband (UWB), Radio Frequency Identification (RFID), Infrared Data Association (IrDA), and the like. have. In addition, the wired communication technology may include USB (Universal Serial Bus) communication.

이와 같이, 회전체의 속도 및/또는 스핀 측정 장치(400)는 카메라에서 적어도 하나의 라인을 구동하여 각 라인별로 복수의 라인스캔 이미지들을 캡쳐하고, 캡쳐한 복수의 라인스캔 이미지를 결합하여 각 라인별로 복합 이미지를 생성하고, 생성한 복합 이미지를 근거로 회전체의 속도 및/또는 스핀을 계산한다.As such, the speed and / or spin measurement apparatus 400 of the rotating body drives at least one line in the camera to capture a plurality of line scan images for each line, and combines the captured plurality of line scan images to each line. A composite image is generated each time, and the speed and / or spin of the rotating body is calculated based on the generated composite image.

다음으로, 일실시예에 따른 회전체의 속도 및/또는 스핀 측정 방법을 설명한다. 이하에서는 도 4 내지 도 7을 이용하여 설명하도록 한다.Next, a method of measuring the speed and / or spin of the rotating body according to an embodiment. Hereinafter, a description will be given with reference to FIGS. 4 to 7.

먼저, 카메라(410)는 미리 설정한 적어도 하나의 라인(하나 또는 복수의 라인)에 대해 임의의 이동하는(운동하는) 회전체에 대한 복수의 라인스캔 이미지(또는, 복수의 연속적인 회전체 운동 이미지)를 캡쳐한다. 여기서, 임의의 이동하는 회전체는 도구(골프 클럽, 방망이 등)를 사용하거나 사용하지 않은 상태로 임의의 사용자에 의해 치거나 던져지거나 차거나 굴려진 회전체일 수 있다.First, the camera 410 may include a plurality of line scan images (or a plurality of continuous rotational motions) for any moving (moving) rotating body with respect to at least one preset line (one or a plurality of lines). Image). Here, any moving rotating body may be a rotating body hit, thrown, kicked or rolled by any user with or without using a tool (golf club, bat, etc.).

일 예로, 카메라(410)는 도 5에 도시한 바와 같이, 미리 설정한 2개 라인(라인 A와 라인 B)에 대해서 각 라인별로 연속적인 복수의 라인스캔 이미지를 캡쳐한다.For example, as illustrated in FIG. 5, the camera 410 captures a plurality of continuous line scan images for each line for two preset lines (line A and line B).

그리고, 제어부(420)는 카메라(410)에 의해 캡쳐된 라인별 복수의 라인스캔 이미지를 결합하여 복합 이미지를 생성한다. 즉, 제어부(420)는 카메라(410)에 의해 캡쳐된 라인별 연속적인 복수의 라인스캔 이미지에 대해서 시간 결맞음 정보를 계산하고, 계산한 시간 결맞음 정보를 근거로 복수의 라인스캔 이미지를 결합하여 복합 이미지를 생성한다.The controller 420 combines a plurality of line scan images for each line captured by the camera 410 to generate a composite image. That is, the control unit 420 calculates time coherence information for a plurality of consecutive line scan images for each line captured by the camera 410, and combines the plurality of line scan images based on the calculated time coherence information to combine them. Create an image.

일 예로, 제어부(420)는 도 6 및 도 7에 도시한 바와 같이, 2개의 라인(라인 A 및 라인 B) 각각에 대해서 얻은 8개의 연속적인 회전체의 라인스캔 이미지를 결합하여 2개의 라인 각각에 대해서 복합 이미지를 생성한다.For example, as illustrated in FIGS. 6 and 7, the controller 420 combines line scan images of eight consecutive rotating bodies obtained for each of two lines (line A and line B), respectively. Create a composite image for.

그리고, 제어부(420)는 생성한 복합 이미지를 근거로 회전체의 3차원 속도 벡터를 계산한다. 즉, 제어부(420)는 생성한 복합 이미지에 대해서 회전체의 중심점의 3차원 위치 벡터를 구하여 시간에 따른 변화를 추적한다. 그리고 제어부(420)는 회전체의 중심점의 3차원 위치 벡터의 차이와 시간 차로부터 회전체의 3차원 속도 벡터를 구한다.The controller 420 calculates a three-dimensional velocity vector of the rotating body based on the generated composite image. That is, the controller 420 obtains a three-dimensional position vector of the center point of the rotating body of the generated composite image and tracks the change over time. The controller 420 obtains a three-dimensional velocity vector of the rotating body from a time difference and a difference between the three-dimensional position vector of the center point of the rotating body.

일 예로, 제어부(420)는 첫번째와 두번째 복합 이미지의 중심점의 좌표가 각각 (x1, y1, z1)과 (x2, y2, z2)이고 시간 차가 dt인 경우, 회전체의 3차원 속도 벡터는 다음 식으로 구할 수 있다.For example, when the coordinates of the center points of the first and second composite images are (x1, y1, z1) and (x2, y2, z2) and the time difference is dt, the three-dimensional velocity vector of the rotating body is You can get it by

Figure pat00004
Figure pat00004

여기서, z1과 z2는 수학식 2와 수학식 3을 이용하여 구할 수 있으며, z1 = (zi1+zf1)/2, z2 = (zi2+zf2)/2 이다.Here, z1 and z2 may be obtained by using Equations 2 and 3, where z1 = (zi1 + zf1) / 2 and z2 = (zi2 + zf2) / 2.

그리고, 제어부(420)는 생성한 복합 이미지를 근거로 회전체의 3차원 스핀 벡터를 계산한다. 즉, 제어부(420)는 생성한 복합 이미지에 대해서 회전체의 특징점들의 3차원 위치 벡터들을 구하여 시간에 따른 변화를 추적한다. 그리고 제어부(420)는 회전체의 특징점의 3차원 위치 벡터의 차이와 시간 차로부터 회전체의 3차원 스핀 벡터를 구한다. 이때, 제어부(420)는 회전체 단일 스캔라인 이미지로부터 노출 시간 동안 연속된 운동에 의해 발생한 이미지 상의 모션 블러(motion blur) 특징을 기반으로 스핀을 구하는 방법, 3차원 모션 모델 기반 특징을 직접 이용하여 스핀을 구하는 방법 등을 이용하여 특징점 기반 회전체의 3차원 스핀 벡터를 구할 수 있다.The controller 420 calculates a three-dimensional spin vector of the rotating body based on the generated composite image. That is, the controller 420 obtains three-dimensional position vectors of the feature points of the rotating body of the generated composite image and tracks the change over time. The controller 420 obtains the three-dimensional spin vector of the rotating body from the time difference and the three-dimensional position vector of the feature points of the rotating body. In this case, the control unit 420 obtains a spin based on a motion blur feature on the image generated by the continuous motion during the exposure time from the rotating single scanline image, and directly uses the 3D motion model based feature. A three-dimensional spin vector of the feature-based rotating body can be obtained using a method of obtaining a spin.

일 예로, 제어부(420)는 생성한 복합 이미지에서 3개 이상의 특징점을 근거로 3차원 개체 좌표계를 계산하고, 계산한 2개 이상의 3차원 좌표계 정보를 근거로 회전체의 3차원 스핀을 계산한다.For example, the controller 420 calculates a three-dimensional object coordinate system based on three or more feature points in the generated composite image, and calculates a three-dimensional spin of the rotating body based on the calculated two or more three-dimensional coordinate system information.

그리고 제어부(420)는 복합 이미지를 구성하는 연속적인 회전체의 라인스캔 이미지에서 회전체의 일부 외각 아크의 곡률은 일정하거나 변화할 수 있으며, 회전체의 곡률이 일정한 경우에는, 카메라(410)에 대해 깊이가 변화하는 경우인 특성을 이용하여 곡률 변화를 근거로 깊이 변화를 확인하고 확인한 깊이 변화와 2차원 좌표 변화를 결합하여 3차원 좌표 변화를 확인할 수도 있다.The controller 420 may have a constant or change in curvature of some outer arcs of the rotating body in the line scan image of the continuous rotating body constituting the composite image. Depth can be checked based on the curvature change using a characteristic that is a case where the depth changes, and the 3D coordinate change can be confirmed by combining the checked depth change and the 2D coordinate change.

즉, 제어부(420)는 회전체의 3차원 속도 벡터 또는 스핀 벡터를 계산할 때, 복합 이미지를 구성하는 라인스캔 이미지의 회전체 외각 아크의 곡률 변화를 계산하고, 회전체의 중심점 및 특징점의 깊이 변화를 각각 계산하고, 계산한 깊이 변화와 2차원 좌표 변화를 결합하여 회전체의 3차원 속도 벡터 및 스핀 벡터를 각각 계산할 수도 있다.That is, when calculating the three-dimensional velocity vector or spin vector of the rotating body, the controller 420 calculates a change in curvature of the outer shell arc of the rotating body of the line scan image constituting the composite image, and changes the depth of the center point and the feature point of the rotating body. And calculate the three-dimensional velocity vector and spin vector of the rotor by combining the calculated depth change and two-dimensional coordinate change, respectively.

다음으로, 오브젝트 움직임 계산 장치(100)의 오브젝트 움직임 계산 방법에 대해서 설명한다. 도 8은 본 발명의 바람직한 실시예에 따른 오브젝트 움직임 계산 방법을 도시한 흐름도이다. 이하 설명은 도 8을 참조한다.Next, the object motion calculation method of the object motion calculation apparatus 100 is demonstrated. 8 is a flowchart illustrating an object motion calculation method according to a preferred embodiment of the present invention. The following description refers to FIG. 8.

먼저, 회전하는 오브젝트의 적어도 두 측을 라인스캔하여 각 측에 대하여 제1 이미지를 획득한다(이미지 획득 단계, S800). 이미지 획득 단계(S800)에서는 오브젝트와 관련된 경계선이 포함된 오브젝트의 일측을 라인스캔한다.First, at least two sides of the rotating object are line-scanned to acquire a first image for each side (image acquisition step S800). In the image acquisition step (S800), one side of the object including the boundary line associated with the object is line scanned.

이미지 획득 단계(S800)를 수행한 후, 획득된 제1 이미지들끼리 결합시켜 오브젝트가 포함된 제2 이미지를 생성한다(이미지 생성 단계, S810). 이미지 생성 단계(S810)는 시간 결맞음 정보 계산 단계와 이미지 결합 단계로 구성될 수 있다. 시간 결맞음 정보 계산 단계에서는 각 제1 이미지에 대하여 시간 결맞음(Time Coherence) 정보를 계산한다. 이미지 결합 단계에서는 계산된 시간 결맞음 정보에 따라 제1 이미지들끼리 서로 결합시켜 제2 이미지를 생성한다.After performing the image acquisition step S800, the obtained first images are combined with each other to generate a second image including an object (image generation step S810). The image generation step S810 may include a time coherence information calculation step and an image combining step. In the step of calculating time coherence information, time coherence information is calculated for each first image. In the image combining step, the first images are combined with each other according to the calculated time coherence information to generate a second image.

이미지 생성 단계(S810)를 수행한 후, 생성된 제2 이미지들을 기초로 오브젝트의 움직임 변화량을 계산한다(움직임 계산 단계, S820). 움직임 계산 단계(S820)는 기준점 추출 단계와 움직임 변화량 계산 단계로 구성될 수 있다. 기준점 추출 단계에서는 각 제2 이미지에서 미리 정해진 기준점을 추출한다. 움직임 변화량 계산 단계에서는 추출된 기준점들을 기초로 움직임 변화량으로 기준점의 3차원 위치 변화량, 오브젝트의 속도 성분, 및 오브젝트의 스핀 성분을 계산한다.After the image generating step S810 is performed, the movement change amount of the object is calculated based on the generated second images (motion calculation step S820). The motion calculation step S820 may include a reference point extraction step and a motion change amount calculation step. In the reference point extraction step, a predetermined reference point is extracted from each second image. In the motion variation calculation step, a three-dimensional position change amount of the reference point, a velocity component of the object, and a spin component of the object are calculated based on the extracted reference points.

움직임 변화량으로 기준점의 3차원 위치 변화량을 계산할 때에, 움직임 변화량 계산 단계는 곡률 변화량 계산 단계, 깊이 변화량 계산 단계, 제1 위치 변화량 계산 단계 및 제2 위치 변화량 계산 단계로 구성될 수 있다. 곡률 변화량 계산 단계에서는 각 제2 이미지마다 오브젝트와 관련된 경계선의 곡률 변화량을 계산한다. 깊이 변화량 계산 단계에서는 각 제2 이미지마다 곡률 변화량을 기초로 기준점의 깊이 변화량을 계산한다. 제1 위치 변화량 계산 단계에서는 제2 이미지들로부터 기준점의 2차원 위치 변화량을 계산한다. 제2 위치 변화량 계산 단계에서는 깊이 변화량과 2차원 위치 변화량을 기초로 기준점의 3차원 위치 변화량을 계산한다.When calculating the three-dimensional position change amount of the reference point as the movement change amount, the motion change amount calculation step may include a curvature change amount calculation step, a depth change amount calculation step, a first position change amount calculation step, and a second position change amount calculation step. In the curvature change calculation step, the curvature change amount of the boundary line associated with the object is calculated for each second image. In the depth variation calculation step, the depth variation amount of the reference point is calculated based on the curvature variation amount for each second image. In the first position change amount calculating step, the two-dimensional position change amount of the reference point is calculated from the second images. In the second position change amount calculating step, the three-dimensional position change amount of the reference point is calculated based on the depth change amount and the two-dimensional position change amount.

움직임 변화량으로 오브젝트의 속도 성분을 계산할 때에, 움직임 변화량 계산 단계는 제3 위치 변화량 계산 단계, 시간 변화량 계산 단계 및 속도 성분 계산 단계로 구성될 수 있다. 제3 위치 변화량 계산 단계에서는 각 제2 이미지에서 기준점에 대한 위치 성분을 구하여 제2 이미지들 간 위치 변화량을 계산한다. 시간 변화량 계산 단계에서는 각 제2 이미지마다 구한 위치 성분을 기초로 제2 이미지들 간 시간 변화량을 계산한다. 속도 성분 계산 단계에서는 위치 변화량과 시간 변화량을 기초로 오브젝트의 속도 성분을 계산한다.When calculating the velocity component of the object with the motion change amount, the motion change amount calculation step may include a third position change amount calculation step, a time change amount calculation step, and a speed component calculation step. In the third position change amount calculating step, a position component of a reference point in each second image is obtained to calculate a position change amount between the second images. In the time variation calculation step, a time variation amount between the second images is calculated based on the position component obtained for each second image. In the velocity component calculation step, the velocity component of the object is calculated based on the position change amount and the time change amount.

움직임 변화량으로 오브젝트의 스핀 성분을 계산할 때에, 기준점 추출 단계에서는 기준점으로 각 제2 이미지에서 좌표값이 다른 특이점을 추출하며, 움직임 변화량 계산 단계는 개체 좌표계 계산 단계와 스핀 성분 계산 단계로 구성될 수 있다. 개체 좌표계 계산 단계에서는 추출된 특이점들을 이용하여 제2 이미지들에 대한 3차원 개체 좌표계를 계산한다. 스핀 성분 계산 단계에서는 3차원 개체 좌표계를 기초로 오브젝트의 스핀 성분을 계산한다.When calculating the spin component of the object by the motion change amount, the reference point extraction step extracts a singular point having different coordinate values from each second image as a reference point, and the motion change amount calculation step may include an object coordinate system calculation step and a spin component calculation step. . In the object coordinate system calculation step, the 3D object coordinate system for the second images is calculated using the extracted singular points. In the spin component calculation step, the spin component of the object is calculated based on the three-dimensional object coordinate system.

도 9는 일실시예에 따른 라인스캔 카메라 장치 기반 속도 및 스핀 인식 방법을 순차적으로 도시한 흐름도이다.9 is a flowchart sequentially illustrating a line scan camera device based speed and spin recognition method according to an embodiment.

S900에서는 시뮬레이션 게임에서 사용자에 의해 치거나 던지거나 차거나 굴린 회전체를 라인스캔 장치로 이미지 캡쳐를 수행하여 각각의 라인에 대하여 복수의 라인스캔 이미지를 얻는다. 다음으로, S910에서는 S900에서 구한 라인스캔 이미지들을 결합하여 복합 이미지를 생성하는데, 2개 라인스캔 카메라에 대해서는 이와 같은 복합 이미지가 2개 생성된다. 다음으로, S920에서는 S910에서 얻어진 2개의 복합 이미지 각각에 대하여 회전체의 중심점의 3차원 위치 벡터를 구하여 시간에 따른 변화를 추적한다. 다음으로, S930에서는 중심점의 3차원 위치 벡터의 차이와 시간 차로부터 회전체의 3차원 속도 벡터를 구한다. 다음으로, S940에서는 S910에서 얻어진 2개의 복합 이미지 각각에 대하여 회전체의 특징점들의 3차원 위치 벡터들을 구하여 시간에 따른 변화를 추적한다. 다음으로, S950에서는 특징점들의 3차원 위치 벡터의 차이와 시간 차로부터 회전체의 3차원 스핀 벡터를 구한다.In S900, a plurality of line scan images are obtained for each line by capturing an image of a rotating body hit, thrown, kicked or rolled by a user in a simulation game with a line scan device. Next, in S910, a composite image is generated by combining the line scan images obtained in S900. Two such composite images are generated for two line scan cameras. Next, in S920, a three-dimensional position vector of the center point of the rotating body is obtained for each of the two composite images obtained in S910 to track the change over time. Next, in S930, the three-dimensional velocity vector of the rotating body is obtained from the difference between the three-dimensional position vector of the center point and the time difference. Next, in S940, three-dimensional position vectors of the feature points of the rotating body are obtained for each of the two composite images obtained in S910 to track the change over time. Next, in S950, the three-dimensional spin vector of the rotating body is obtained from the difference between the three-dimensional position vector of the feature points and the time difference.

상기에서 구한 회전체의 3차원 속도와 스핀을 초기값으로 사용하면 회전체의 비행 운동이나 지면 운동과 같은 운동 궤적에 대한 사실적인 물리 시뮬레이션을 제공하며, 사실적 시뮬레이션 기반의 게임이나 훈련 콘텐츠 제공이 가능하다. 도 9의 속도 및 스핀 인식 방법은 도 5의 저가 카메라 장치에 기반하므로, 저가형 사실적 게임이나 훈련 시스템 개발에 유용함을 예상할 수 있다. 하지만, 사실적 물리 시뮬레이션 방법과 게임이나 훈련 콘텐츠 제작은 본 발명의 청구 범위를 벗어나 본 발명에서는 구체적으로 다루지 않는다.Using the above-mentioned three-dimensional velocity and spin of the rotor as an initial value, it provides realistic physics simulation of motion trajectories such as flight or ground motion of the rotor, and can provide realistic simulation-based games or training contents. Do. Since the speed and spin recognition method of FIG. 9 is based on the low cost camera device of FIG. 5, it can be expected to be useful for developing a low cost realistic game or training system. However, realistic physics simulation methods and game or training content production are not addressed specifically in the present invention beyond the scope of the claims.

한편, 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위 뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.Meanwhile, in the detailed description of the present invention, specific embodiments have been described, but various modifications are possible without departing from the scope of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined not only by the scope of the following claims, but also by those equivalent to the scope of the claims.

본 발명은 라인스캔 이미지(linescan image)를 캡처한 뒤 이 라인스캔 이미지에 기반하여 회전체의 속도를 측정하고 스핀을 인식하는 장치 및 방법에 관한 것으로서, 게임 분야나 트레이닝 분야, 예컨대 회전 궤적 인식 기술이 반영된 아케이드 게임 분야나 스포츠 게임 분야에 적용될 수 있다.The present invention relates to an apparatus and method for capturing a linescan image and then measuring the speed of the rotating body and recognizing the spin based on the linescan image. This can be applied to the reflected arcade game field or sports game field.

100 : 오브젝트 움직임 계산 장치 110 : 이미지 획득부
120 : 이미지 생성부 121 : 시간 결맞음 정보 계산부
122 : 이미지 결합부 130 : 움직임 계산부
131 : 기준점 추출부 132 : 움직임 변화량 계산부
141 : 곡률 변화량 계산부 142 : 깊이 변화량 계산부
143 : 제1 위치 변화량 계산부 144 : 제2 위치 변화량 계산부
145 : 제3 위치 변화량 계산부 146 : 시간 변화량 계산부
147 : 속도 성분 계산부 148 : 개체 좌표계 계산부
149 : 스핀 성분 계산부 410 : 카메라
420 : 제어부
100: object motion calculation device 110: image acquisition unit
120: image generating unit 121: time coherence information calculation unit
122: image combiner 130: motion calculator
131: reference point extraction unit 132: motion variation calculation unit
141: curvature change amount calculation unit 142: depth change amount calculation unit
143: first position change amount calculation unit 144: second position change amount calculation unit
145: third position change amount calculation unit 146: time change amount calculation unit
147: velocity component calculation unit 148: object coordinate system calculation unit
149: spin component calculation unit 410: camera
420: control unit

Claims (14)

회전하는 오브젝트의 적어도 두 측을 라인스캔하여 각 측에 대하여 제1 이미지를 획득하는 이미지 획득부;
같은 시간대에 획득된 제1 이미지들끼리 결합시켜 상기 오브젝트가 포함된 제2 이미지를 생성하는 이미지 생성부; 및
생성된 제2 이미지들을 기초로 상기 오브젝트의 움직임 변화량을 계산하는 움직임 계산부
를 포함하는 것을 특징으로 하는 오브젝트 움직임 계산 장치.
An image obtaining unit which lines-scans at least two sides of the rotating object to obtain a first image for each side;
An image generator for generating a second image including the object by combining the first images acquired in the same time zone; And
A motion calculator configured to calculate a motion change amount of the object based on the generated second images
Apparatus for calculating the motion of an object comprising a.
제 1 항에 있어서,
상기 이미지 생성부는,
각 제1 이미지에 대하여 시간 결맞음(Time Coherence) 정보를 계산하는 시간 결맞음 정보 계산부; 및
계산된 시간 결맞음 정보에 따라 상기 제1 이미지들끼리 서로 결합시켜 상기 제2 이미지를 생성하는 이미지 결합부
를 포함하는 것을 특징으로 하는 오브젝트 움직임 계산 장치.
The method of claim 1,
The image generator,
A time coherence information calculation unit for calculating time coherence information for each first image; And
An image combiner for generating the second image by combining the first images with each other according to the calculated time coherence information.
Apparatus for calculating the motion of an object comprising a.
제 1 항에 있어서,
상기 움직임 계산부는,
각 제2 이미지에서 미리 정해진 기준점을 추출하는 기준점 추출부; 및
추출된 기준점들을 기초로 상기 움직임 변화량으로 상기 기준점의 3차원 위치 변화량, 상기 오브젝트의 속도 성분, 및 상기 오브젝트의 스핀 성분을 계산하는 움직임 변화량 계산부
를 포함하는 것을 특징으로 하는 오브젝트 움직임 계산 장치.
The method of claim 1,
The motion calculation unit,
A reference point extracting unit which extracts a predetermined reference point from each second image; And
A motion change calculator for calculating a three-dimensional position change of the reference point, a velocity component of the object, and a spin component of the object based on the extracted reference points.
Apparatus for calculating the motion of an object comprising a.
제 3 항에 있어서,
상기 움직임 변화량 계산부는,
각 제2 이미지마다 상기 오브젝트와 관련된 경계선의 곡률 변화량을 계산하는 곡률 변화량 계산부;
각 제2 이미지마다 상기 곡률 변화량을 기초로 상기 기준점의 깊이 변화량을 계산하는 깊이 변화량 계산부;
상기 제2 이미지들로부터 상기 기준점의 2차원 위치 변화량을 계산하는 제1 위치 변화량 계산부; 및
상기 깊이 변화량과 상기 2차원 위치 변화량을 기초로 상기 움직임 변화량으로 상기 기준점의 3차원 위치 변화량을 계산하는 제2 위치 변화량 계산부
를 포함하는 것을 특징으로 하는 오브젝트 움직임 계산 장치.
The method of claim 3, wherein
The change amount calculation unit,
A curvature change amount calculator configured to calculate a curvature change amount of a boundary line associated with the object for each second image;
A depth change calculator configured to calculate a depth change amount of the reference point based on the curvature change amount for each second image;
A first position change amount calculator for calculating a two-dimensional position change amount of the reference point from the second images; And
A second position change amount calculator for calculating a three-dimensional position change amount of the reference point as the movement change amount based on the depth change amount and the two-dimensional position change amount;
Apparatus for calculating the motion of an object comprising a.
제 3 항에 있어서,
상기 움직임 변화량 계산부는,
각 제2 이미지에서 상기 기준점에 대한 위치 성분을 구하여 상기 제2 이미지들 간 위치 변화량을 계산하는 제3 위치 변화량 계산부;
각 제2 이미지마다 구한 위치 성분을 기초로 상기 제2 이미지들 간 시간 변화량을 계산하는 시간 변화량 계산부; 및
상기 위치 변화량과 상기 시간 변화량을 기초로 상기 움직임 변화량으로 상기 오브젝트의 속도 성분을 계산하는 속도 성분 계산부
를 포함하는 것을 특징으로 하는 오브젝트 움직임 계산 장치.
The method of claim 3, wherein
The change amount calculation unit,
A third position change amount calculating unit which calculates a position change amount between the second images by obtaining a position component of the reference point in each second image;
A time variation calculator for calculating a time variation between the second images based on a position component obtained for each second image; And
Velocity component calculating unit that calculates a velocity component of the object based on the position change amount and the time change amount.
Apparatus for calculating the motion of an object comprising a.
제 3 항에 있어서,
상기 기준점 추출부는 상기 기준점으로 각 제2 이미지에서 좌표값이 다른 특이점을 추출하며,
상기 움직임 변화량 계산부는,
추출된 특이점들을 이용하여 상기 제2 이미지들에 대한 3차원 개체 좌표계를 계산하는 개체 좌표계 계산부; 및
상기 3차원 개체 좌표계를 기초로 상기 오브젝트의 스핀 성분을 계산하는 스핀 성분 계산부
를 포함하는 것을 특징으로 하는 오브젝트 움직임 계산 장치.
The method of claim 3, wherein
The reference point extracting unit extracts a singular point having a different coordinate value from each second image as the reference point,
The change amount calculation unit,
An entity coordinate system calculator configured to calculate a 3D entity coordinate system for the second images using the extracted singularities; And
A spin component calculator configured to calculate a spin component of the object based on the three-dimensional object coordinate system;
Apparatus for calculating the motion of an object comprising a.
제 1 항에 있어서,
상기 이미지 획득부는 상기 오브젝트와 관련된 경계선이 포함된 상기 오브젝트의 일측을 라인스캔하는 것을 특징으로 하는 오브젝트 움직임 계산 장치.
The method of claim 1,
And the image obtaining unit lines scan one side of the object including a boundary line associated with the object.
회전하는 오브젝트의 적어도 두 측을 라인스캔하여 각 측에 대하여 제1 이미지를 획득하는 이미지 획득 단계;
같은 시간대에 획득된 제1 이미지들끼리 결합시켜 상기 오브젝트가 포함된 제2 이미지를 생성하는 이미지 생성 단계; 및
생성된 제2 이미지들을 기초로 상기 오브젝트의 움직임 변화량을 계산하는 움직임 계산 단계
를 포함하는 것을 특징으로 하는 오브젝트 움직임 계산 방법.
An image acquisition step of line scanning at least two sides of the rotating object to obtain a first image for each side;
An image generation step of generating a second image including the object by combining the first images acquired in the same time zone; And
A motion calculation step of calculating a motion change amount of the object based on the generated second images
Object movement calculation method comprising a.
제 8 항에 있어서,
상기 이미지 생성 단계는,
각 제1 이미지에 대하여 시간 결맞음(Time Coherence) 정보를 계산하는 시간 결맞음 정보 계산 단계; 및
계산된 시간 결맞음 정보에 따라 상기 제1 이미지들끼리 서로 결합시켜 상기 제2 이미지를 생성하는 이미지 결합 단계
를 포함하는 것을 특징으로 하는 오브젝트 움직임 계산 방법.
The method of claim 8,
The image generation step,
A time coherence information calculation step of calculating time coherence information for each first image; And
The image combining step of generating the second image by combining the first images with each other according to the calculated time coherence information
Object movement calculation method comprising a.
제 8 항에 있어서,
상기 움직임 계산 단계는,
각 제2 이미지에서 미리 정해진 기준점을 추출하는 기준점 추출 단계; 및
추출된 기준점들을 기초로 상기 움직임 변화량으로 상기 기준점의 3차원 위치 변화량, 상기 오브젝트의 속도 성분, 및 상기 오브젝트의 스핀 성분을 계산하는 움직임 변화량 계산 단계
를 포함하는 것을 특징으로 하는 오브젝트 움직임 계산 방법.
The method of claim 8,
The motion calculation step,
A reference point extracting step of extracting a predetermined reference point from each second image; And
A motion change amount calculating step of calculating a three-dimensional position change amount of the reference point, a velocity component of the object, and a spin component of the object based on the extracted reference points;
Object movement calculation method comprising a.
제 10 항에 있어서,
상기 움직임 변화량 계산 단계는,
각 제2 이미지마다 상기 오브젝트와 관련된 경계선의 곡률 변화량을 계산하는 곡률 변화량 계산 단계;
각 제2 이미지마다 상기 곡률 변화량을 기초로 상기 기준점의 깊이 변화량을 계산하는 깊이 변화량 계산 단계;
상기 제2 이미지들로부터 상기 기준점의 2차원 위치 변화량을 계산하는 제1 위치 변화량 계산 단계; 및
상기 깊이 변화량과 상기 2차원 위치 변화량을 기초로 상기 움직임 변화량으로 상기 기준점의 3차원 위치 변화량을 계산하는 제2 위치 변화량 계산 단계
를 포함하는 것을 특징으로 하는 오브젝트 움직임 계산 방법.
The method of claim 10,
The movement variation calculation step,
A curvature variation calculation step of calculating a curvature variation amount of a boundary line associated with the object for each second image;
A depth change calculation step of calculating a depth change amount of the reference point based on the curvature change amount for each second image;
A first position change amount calculating step of calculating a two-dimensional position change amount of the reference point from the second images; And
A second position change amount calculating step of calculating a three-dimensional position change amount of the reference point as the movement change amount based on the depth change amount and the two-dimensional position change amount
Object movement calculation method comprising a.
제 10 항에 있어서,
상기 움직임 변화량 계산 단계는,
각 제2 이미지에서 상기 기준점에 대한 위치 성분을 구하여 상기 제2 이미지들 간 위치 변화량을 계산하는 제3 위치 변화량 계산 단계;
각 제2 이미지마다 구한 위치 성분을 기초로 상기 제2 이미지들 간 시간 변화량을 계산하는 시간 변화량 계산 단계; 및
상기 위치 변화량과 상기 시간 변화량을 기초로 상기 움직임 변화량으로 상기 오브젝트의 속도 성분을 계산하는 속도 성분 계산 단계
를 포함하는 것을 특징으로 하는 오브젝트 움직임 계산 방법.
The method of claim 10,
The movement variation calculation step,
A third position change amount calculating step of calculating a position change amount between the second images by obtaining a position component with respect to the reference point in each second image;
A time variation amount calculating step of calculating a time variation amount between the second images based on the position component obtained for each second image; And
A velocity component calculating step of calculating a velocity component of the object based on the position change amount and the time change amount;
Object movement calculation method comprising a.
제 10 항에 있어서,
상기 기준점 추출 단계는 상기 기준점으로 각 제2 이미지에서 좌표값이 다른 특이점을 추출하며,
상기 움직임 변화량 계산 단계는,
추출된 특이점들을 이용하여 상기 제2 이미지들에 대한 3차원 개체 좌표계를 계산하는 개체 좌표계 계산 단계; 및
상기 3차원 개체 좌표계를 기초로 상기 오브젝트의 스핀 성분을 계산하는 스핀 성분 계산 단계
를 포함하는 것을 특징으로 하는 오브젝트 움직임 계산 방법.
The method of claim 10,
The reference point extracting step extracts a singular point having a different coordinate value from each second image as the reference point.
The movement variation calculation step,
An entity coordinate system calculation step of calculating a three-dimensional entity coordinate system for the second images using the extracted singular points; And
A spin component calculation step of calculating a spin component of the object based on the three-dimensional object coordinate system;
Object movement calculation method comprising a.
제 8 항에 있어서,
상기 이미지 획득 단계는 상기 오브젝트와 관련된 경계선이 포함된 상기 오브젝트의 일측을 라인스캔하는 것을 특징으로 하는 오브젝트 움직임 계산 방법.
The method of claim 8,
The image acquiring step includes line scans one side of the object including a boundary line associated with the object.
KR1020110023394A 2010-09-30 2011-03-16 Apparatus and method for calculating motion of object KR101801126B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/238,134 US8913785B2 (en) 2010-09-30 2011-09-21 Apparatus and method for calculating motion of object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20100095665 2010-09-30
KR1020100095665 2010-09-30

Publications (2)

Publication Number Publication Date
KR20120033946A true KR20120033946A (en) 2012-04-09
KR101801126B1 KR101801126B1 (en) 2017-11-27

Family

ID=46136598

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110023394A KR101801126B1 (en) 2010-09-30 2011-03-16 Apparatus and method for calculating motion of object

Country Status (1)

Country Link
KR (1) KR101801126B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014109545A1 (en) * 2013-01-08 2014-07-17 (주)골프존 Apparatus and method for sensing ball in motion
WO2014109546A1 (en) * 2013-01-08 2014-07-17 (주)골프존 Apparatus and method for sensing ball in motion
WO2014109544A1 (en) * 2013-01-08 2014-07-17 (주)골프존 Device and methdo for sensing moving ball and method for processing ball image for spin calculation of moving ball

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014109545A1 (en) * 2013-01-08 2014-07-17 (주)골프존 Apparatus and method for sensing ball in motion
WO2014109546A1 (en) * 2013-01-08 2014-07-17 (주)골프존 Apparatus and method for sensing ball in motion
WO2014109544A1 (en) * 2013-01-08 2014-07-17 (주)골프존 Device and methdo for sensing moving ball and method for processing ball image for spin calculation of moving ball
JP2016507283A (en) * 2013-01-08 2016-03-10 ゴルフゾン カンパニー リミテッド Sensing device and sensing method for moving ball
US9830712B2 (en) 2013-01-08 2017-11-28 Golfzon Co., Ltd. Method and apparatus for sensing moving ball
US11582426B2 (en) 2013-01-08 2023-02-14 Golfzon Co., Ltd. Method and apparatus for sensing moving ball

Also Published As

Publication number Publication date
KR101801126B1 (en) 2017-11-27

Similar Documents

Publication Publication Date Title
US8913785B2 (en) Apparatus and method for calculating motion of object
US8998718B2 (en) Image generation system, image generation method, and information storage medium
US20110305398A1 (en) Image generation system, shape recognition method, and information storage medium
US8556716B2 (en) Image generation system, image generation method, and information storage medium
US8414393B2 (en) Game device, control method for a game device, and a non-transitory information storage medium
US8602893B2 (en) Input for computer device using pattern-based computer vision
US9552653B2 (en) Information processing apparatus, information processing method, and storage medium
US20130113829A1 (en) Information processing apparatus, display control method, and program
JP2017529635A5 (en)
CN111295234A (en) Method and system for generating detailed data sets of an environment via game play
JP5690135B2 (en) Information processing program, information processing system, information processing apparatus, and information processing method
US20160375354A1 (en) Facilitating dynamic game surface adjustment
JP2012525643A5 (en)
KR20140021619A (en) Manual and camera-based avatar control
JP2012115539A (en) Game device, control method therefor, and program
TWI528224B (en) 3d gesture manipulation method and apparatus
US11918883B2 (en) Electronic device for providing feedback for specific movement using machine learning model and operating method thereof
US10546431B2 (en) Systems and methods to augment an appearance of physical object for an augmented reality experience
US20140045593A1 (en) Virtual joint orientation in virtual skeleton
US9724613B2 (en) Game device, control method of game device, program, and information storage medium
US20210019900A1 (en) Recording medium, object detection apparatus, object detection method, and object detection system
KR101801126B1 (en) Apparatus and method for calculating motion of object
JP5536510B2 (en) Program and image generation system
JP5971816B2 (en) GAME DEVICE AND PROGRAM
Lin et al. Development of a binocular vision-based catcher robot system using DSP platform

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant