WO2016148247A1 - 球状体の回転の測定装置、測定方法、ならびに、プログラム - Google Patents

球状体の回転の測定装置、測定方法、ならびに、プログラム Download PDF

Info

Publication number
WO2016148247A1
WO2016148247A1 PCT/JP2016/058545 JP2016058545W WO2016148247A1 WO 2016148247 A1 WO2016148247 A1 WO 2016148247A1 JP 2016058545 W JP2016058545 W JP 2016058545W WO 2016148247 A1 WO2016148247 A1 WO 2016148247A1
Authority
WO
WIPO (PCT)
Prior art keywords
spherical body
image
clip
template
photographed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/058545
Other languages
English (en)
French (fr)
Inventor
敬 井尻
姫野　龍太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RIKEN
Original Assignee
RIKEN
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RIKEN filed Critical RIKEN
Priority to US15/558,393 priority Critical patent/US10586339B2/en
Priority to JP2017506616A priority patent/JP6566449B2/ja
Publication of WO2016148247A1 publication Critical patent/WO2016148247A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/42—Devices characterised by the use of electric or magnetic means
    • G01P3/44—Devices characterised by the use of electric or magnetic means for measuring angular speed
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/807—Photo cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck

Definitions

  • the present invention relates to a measuring device for measuring the rotation of a spherical body, a measuring method, and a program for realizing these by a computer.
  • Patent Documents 1 and 2 Conventionally, techniques for measuring the rotation of a spherical body such as a ball have been proposed.
  • a sensor is attached to the ball
  • Patent Document 3 a ball with a marker attached is photographed with a camera. Information such as the direction of the axis is obtained.
  • This invention solves the above subject, and it aims at providing the measuring apparatus which measures rotation of a spherical body, the measuring method, and the program for implement
  • the measuring device is A circular shape in which the spherical body is photographed from one of a plurality of frames included in the moving picture in which the spherical body is photographed, or from a photographic image in which the spherical body is photographed under photographing conditions common to the photographing conditions of the moving picture.
  • the template image is acquired,
  • the center position and size of the spherical body are matched within a predetermined error range.
  • the present invention it is possible to provide a measuring device and a measuring method for measuring the rotation of a spherical body, and a program for realizing these by a computer.
  • the measurement apparatus is typically realized by a computer executing a program.
  • the computer is connected to various output devices and input devices, and exchanges information with these devices.
  • Programs executed on a computer can be distributed and sold by servers connected to the computer so that they can communicate with each other.
  • CD-ROM Compact Disk Read Only Memory
  • flash memory flash memory
  • EEPROM Electrically Erasable Programmable ROM It is also possible to distribute, sell, etc. the information recording medium after recording it on a non-transitory information recording medium.
  • the program is installed on a non-transitory information recording medium such as a hard disk, a solid state drive, a flash memory, an EEPROM, or the like that the computer has. Then, the information processing apparatus in the present embodiment is realized by the computer.
  • a computer's CPU Central Processing Unit
  • RAM Random Access Memory
  • OS Operating System
  • the information processing apparatus of the present embodiment can be configured using a dedicated electronic circuit instead of realizing the information processing apparatus of the present embodiment by a general-purpose computer.
  • the program can be used as a material for generating a wiring diagram or timing chart of an electronic circuit.
  • an electronic circuit that satisfies the specifications defined in the program is configured by an FPGA (Field Programmable Gate Array) or ASIC (Application Specific Integrated Circuit), and the electronic circuit has the functions defined in the program.
  • the information processing apparatus of this embodiment is realized by functioning as a dedicated device.
  • the measurement apparatus will be described assuming an aspect realized by a computer executing a program.
  • FIG. 1 is an explanatory diagram showing a schematic configuration of a measuring apparatus according to an embodiment of the present invention.
  • a description will be given with reference to FIG. 1
  • the measuring apparatus 101 includes a template unit 102, a clip unit 103, a calculation unit 104, and an estimation unit 105.
  • the template unit 102 from any of a plurality of frames included in the moving image in which the spherical body is photographed, or from the photographic image in which the spherical body is photographed under the photographing condition common to the photographing condition of the moving image, A template image is acquired by extracting a circular region where a spherical body is photographed.
  • the template image may be extracted based on a user instruction or may be automatically extracted as will be described later.
  • the video is taken with a high speed video camera.
  • the moving image utilized in this embodiment assumes what was image
  • the template image is an area including a circular area in which the spherical body is photographed from either one of the frames of the moving picture in which the spherical body is photographed or from a photographic image photographed under the photographing conditions common to the photographing conditions of the moving picture. Is extracted.
  • FIG. 2 is an explanatory diagram showing an example of frames included in a moving image processed by the measurement apparatus according to the embodiment of the present invention. This figure is one of the frames included in a video shot with a high-speed video camera from a baseball pitcher about 20m diagonally behind a baseball pitcher throwing a ball.
  • FIG. 3 is an explanatory diagram showing an example of a template image acquired by the measuring apparatus according to the embodiment of the present invention.
  • a template image is one of the frames of a moving image. Therefore, an image obtained by cutting out a square area on which a spherical body is drawn is used as it is.
  • a template image is extracted from a moving image to be processed or a photographic image shot under common shooting conditions.
  • the template image of the present embodiment has other frames in the moving image and the surrounding environment where the image is taken, for example, conditions such as background brightness, lighting direction, brightness, hue, camera definition, and aperture amount. Since they are in line, measurement can be performed with high accuracy.
  • conditions such as background brightness, lighting direction, brightness, hue, camera definition, and aperture amount. Since they are in line, measurement can be performed with high accuracy.
  • the shooting conditions are common can be determined, for example, based on whether or not the above-described various conditions match, but which conditions are used can be determined through experiments or the like.
  • a photographic image may adopt one frame in another video shot under a common shooting condition, or a template image extracted from another video shot under a common shooting condition as it is, It is good also as a template image used for the process of this moving image.
  • the clip unit 103 extracts a plurality of similar regions that are similar to the acquired template image from each of the plurality of frames, and expands / contracts the center position and size of the spherical body within a predetermined error range.
  • a series of clip images in which spherical bodies are drawn so as to coincide with each other is acquired.
  • the measurement apparatus 101 obtains a plurality of clip images in which spherical bodies are drawn with the same size and their centers are common by applying an Hough transform for detecting a circle to appropriately move and scale the image. .
  • FIG. 4 is an explanatory diagram showing an example of a clip image acquired by the measurement apparatus according to the embodiment of the present invention.
  • the clip images are represented by squares having the same size, and the positions and sizes at which the spherical bodies are drawn in the squares are aligned.
  • the calculation unit 104 calculates the similarity between the plurality of clip images, and obtains a matrix in which the calculated similarity is arranged in the shooting order of the frames from which the plurality of clip images are extracted.
  • FIG. 5 is an explanatory diagram showing a matrix representing the degree of similarity acquired by the measurement apparatus according to the embodiment of the present invention.
  • each element of the similarity matrix is represented by black and white shading.
  • Each element of the similarity degree matrix represents the similarity degree between the clip image with the number of rows and the clip image with the number of columns.
  • the degree of similarity representing how much the clip images differ may be used, or the degree of similarity representing how similar the clip images may be utilized.
  • the degree of difference for example, a weighted average or a weighted sum of differences between pixels can be employed.
  • the similarity for example, a cosine of an angle formed by a vector composed of pixel values of each pixel (inner product of vector direction vectors in which pixel values are arranged) can be employed.
  • the estimation unit 105 estimates the rotational speed of the spherical body from the distribution of elements in the calculated similarity degree matrix. After the rotation speed is estimated, it is also possible to estimate the rotation axis by applying similarities between clip moving images and techniques relating to perspective projection and rotation in a three-dimensional space. Details of the estimation of the rotation axis will be described later.
  • the rotation information it is possible to estimate the rotation number (rotation speed) per unit time, the rotation cycle, the direction of the rotation axis, and the like.
  • processing in each of the above parts is executed by a computer CPU, an image processor, a dedicated electronic circuit, or the like.
  • Various moving images and images to be processed are stored in a storage device such as a RAM, a hard disk, or a solid state drive.
  • FIG. 11 is a flowchart showing the procedure of the measurement method executed by the measurement apparatus according to the embodiment of the present invention. Hereinafter, the processing executed by the measuring apparatus 101 will be described in detail.
  • the measuring apparatus 101 receives a moving image to be processed (step S201).
  • the moving image is a photograph of a spherical body.
  • a high-speed video camera can be used to analyze the rotation of the spherical body with high accuracy. Based on the sampling theorem, it is necessary to photograph the spherical body at a frame rate that is at least twice the desired rotational speed. According to experiments, favorable results have been obtained by shooting at a frame rate of about 10 times the assumed rotational speed of the spherical body.
  • V src the input moving image to be processed accepted in step S201 is denoted as V src .
  • pixels in the horizontal direction u (1 ⁇ u ⁇ W (V)) and vertical direction v (1 ⁇ v ⁇ H (V)) of the t (1 ⁇ t ⁇ N (V)) th frame of the video V The pixel value at the position is expressed as V (u, v, t).
  • a value obtained by dividing t by the frame rate corresponds to the actual time elapsed, and a value obtained by dividing N (V) by the frame rate corresponds to the shooting time length of the moving image V.
  • W (V) and H (V) are values representing the width and height of each frame of the moving image V in units of pixels.
  • N N (V src )
  • W W (V src )
  • H H (V src )
  • the measuring apparatus 101 generates an average image I mean and a mask moving image V mask from the input moving image V src (step S202).
  • the mask video V mask is a differential video that has been converted to monochrome by removing the image corresponding to the background from the input video V src and can be defined as follows.
  • V mask (u, v, t) 0, if diff (V src (u, v, t), I mean (u, v)) ⁇ BK thresh ;
  • V mask (u, v, t) 1, otherwise
  • diff (p, q) is an operation for obtaining a difference between the pixel values p and q. If p and q are pixels of a grayscale image, the absolute value of the difference between the pixel values may be calculated. When p and q are pixels of a color image, the sum of squares of differences between elements or the square root thereof may be calculated. Alternatively, the diff () for the grayscale image may be applied after applying a variety of filters to the color image to make it grayscale. In the following, in order to facilitate understanding, a gray scale moving image in which each pixel value is between 0 and 255 will be used as the input moving image V src .
  • BK thresh is a threshold value.
  • a numerical value of about 12-15 can be applied, but the value can be changed as appropriate.
  • the template unit 102 of the measuring apparatus 101 when the mask video V mask is obtained from the input video V src, the template unit 102 of the measuring apparatus 101 generates the template image I temp based on a user instruction or automatically with reference to these pieces of information.
  • the template image I temp is an image having a width and height of 2 ⁇ R + 1 obtained by extracting a square area in which a spherical body is drawn from any frame of the input moving image.
  • R represents the radius at which the spherical body is drawn in the frame expressed by the number of pixels.
  • the pixels of the original frame may be maintained as they are, or a predetermined color different from the color assumed for the transparent color or the spherical body is arranged. May be.
  • the template image I temp may be acquired from the input moving image V src based on an instruction of a user who performs processing, but can also be automatically extracted by a method disclosed in an embodiment described later.
  • the measuring apparatus 101 refers to the input moving image V src , the mask moving image V mask , and the template image I temp to generate a match moving image V tm (step S204).
  • the match video V tm is defined as follows.
  • K (u, v, t)
  • V tm (u, v, t)
  • the measuring apparatus 101 extracts an effective frame, that is, a frame in which a spherical body is captured (step S205). This assumes a situation in which a spherical body enters the screen from the outside of the screen or goes out of the screen from the inside of the screen.
  • the measurement apparatus 101 sets an appropriate threshold value TM thresh, and the maximum value of the pixel value of each frame V tm (u, v, t) max 1 ⁇ u ⁇ W max 1 ⁇ v ⁇ H V tm (u, v, t) Calculate
  • the measuring apparatus 101 has max 1 ⁇ u ⁇ W max 1 ⁇ v ⁇ H V tm (u, v, S + 1) for frame numbers S + 1, S + 2,..., S + N ′. ) ⁇ TM thresh ; max 1 ⁇ u ⁇ W max 1 ⁇ v ⁇ H V tm (u, v, S + 2) ⁇ TM thresh ; ...; max 1 ⁇ u ⁇ W max 1 ⁇ v ⁇ H V tm (u, v, S + N ') ⁇ TM thresh Among consecutive frames satisfying, a frame having the maximum N ′ is searched. As a result, when the spherical body once goes out of the screen and enters the screen again, the longer continuous frame is selected.
  • S + 1 is the first frame number in which the spherical body is photographed in the frame
  • N ′ represents the time length in which the spherical body is photographed in the frame by the number of frames.
  • the center of the spherical body is drawn at the position (x tm (t), y tm (t)).
  • a shift of several pixels occurs due to calculation errors and sampling errors.
  • the size of the spherical body drawn in the moving image also changes.
  • the measuring apparatus 101 detects each circular shape by using the Hough transform.
  • a boundary pixel whose pixel value is a boundary between 0 and non-zero is extracted, and a circle that best fits the boundary pixel is detected by Hough transform (step S206).
  • each mask movie V mask There is no need to apply the Hough transform to the entire frame. If the area to be applied is only around (x tm (t), y tm (t)), the calculation time can be greatly reduced.
  • Hough transform may be applied under the restriction of belonging.
  • the upper limit of r (t) may be left as R if it is extracted from a frame in which a spherical body is drawn as large as possible.
  • the clip unit 103 of the measuring device 101 can input the input video V src Clip the circle area with the center position (x (t), y (t)) and radius r (t) from the frame number S + 1, S + 2, ..., S + N ' Is expanded / reduced to a circle with a diameter of 2 ⁇ R + 1, thereby generating a clip video V clip consisting of a square frame with a width and height of 2 ⁇ R + 1 (step S207).
  • V clip (u, v, t) V src ((uR-1) / E (t) + x (t), (vR-1) / E (t) + y (t), t + S)
  • a circular background pixel may have a pixel value of 0, or the pixel value of the original image may be used as it is, as in the above equation.
  • various smoothing processes may be applied. For example, Gaussian smoothing having a kernel with a standard deviation of about 2 pixels can be applied. In this way, a clip image as shown in FIG. 4 is obtained.
  • the calculating unit 104 calculates a matrix D representing the similarity between frames as follows (step S208).
  • the subscripts i and j represent elements of i rows and j columns in the matrix.
  • G ⁇ (uR ⁇ 1, vR ⁇ 1) is a weight based on a two-dimensional Gaussian distribution that is symmetric about the center of each frame of the clip moving image.
  • G ⁇ (uR-1, vR-1) exp (-((uR-1) 2 + (vR-1) 2 ] / (2 ⁇ ⁇ 2 ]) That is, the spherical body is photographed more clearly and accurately near the center than near the periphery. Therefore, the weight near the center is increased.
  • ⁇ representing the spread of the Gaussian distribution
  • a constant such as (2 ⁇ R + 1) / 6 can be adopted.
  • the values of each element of the matrix D are expressed by shading, and the shading appears as a diagonal stripe pattern.
  • the estimation unit 105 of the measurement apparatus 101 estimates the specifications of the rotation of the spherical body from the distribution of elements of the matrix (step S209).
  • a method for obtaining the rotation period will be described.
  • FIG. 6 is an explanatory diagram showing the dissimilarity graph v k acquired by the measuring apparatus according to the embodiment of the present invention.
  • v k represents the change in the average element when the matrix D is viewed from the diagonal axis direction, and values with small differences appear at substantially regular intervals. Recognize.
  • This interval corresponds to the number of frames required for one rotation of the spherical body.
  • the number of frames required for one rotation of the spherical body that is, the above-described interval is expressed as a cycle T of v k .
  • the first method uses discrete cosine transform.
  • FIG. 7 is an explanatory diagram showing the obtained dissimilarity graph w k (Hanning windowed dissimilarity graph v k) by the measuring device according to an embodiment of the present invention.
  • FIG. 8 is an explanatory diagram showing a result C k of the discrete cosine transform in the measurement apparatus according to the embodiment of the present invention.
  • the sequence C k is obtained by performing the discrete cosine transform.
  • the second method uses a discrete Fourier transform. That is, the following discrete Fourier transform is performed on the sequence w k .
  • FIG. 9 is an explanatory diagram showing the power spectrum of the result Pk of the discrete Fourier transform in the measurement apparatus according to the embodiment of the present invention.
  • a complex sequence P k is obtained by discrete Fourier transform.
  • T M / k *
  • the third method uses an average amplitude difference function.
  • the average amplitude difference function a k represents a difference between v i and v i + k obtained by shifting this by k.
  • the interval between striped patterns (the period of change in the average value of similarity degrees between clip images having the same difference in shooting order) T is estimated by a plurality of methods. If the same value T is obtained for all methods, this means that the accuracy as a measurement result of the rotation period is high.
  • the periods obtained by a plurality of methods may be different. Typically, it is a situation where a value twice as large as a value obtained by a certain method or a value shifted by 0.5 to 1 from a value obtained by a certain method can be obtained by another method. In such a case, it is possible to determine which is the estimated value by majority vote, or to let the user select which is correct.
  • T 1 argmin 0 + T / 2 ⁇ k ⁇ (1 + T / 2) v k ;
  • T 2 argmin 1 + T / 2 ⁇ k ⁇ (2 + T / 2) v k ;
  • T 3 argmin 2 + T / 2 ⁇ k ⁇ (3 + T / 2) v k ;
  • T L argmin L-1 + T / 2 ⁇ k ⁇ (L + T / 2) v k
  • L is a maximum value satisfying L + T / 2 ⁇ N ′.
  • T * (T L -T 1 ) / (L-1)
  • the obtained period T * corresponds to the number of frames required for one rotation of the spherical body. Therefore, the estimated value of the rotation period of the spherical body is obtained by dividing T * by the frame rate.
  • the rotational speed (rotational speed) of the spherical body is the reciprocal of the rotational period of the spherical body.
  • a set A of unit vectors a 1 , a 2 ,..., A Z representing axial direction candidates of the rotation axis is prepared. Since it is desirable that the candidate unit vectors be as equally spaced as possible, they may be generated from the vertices of a regular polyhedron or a quasi-regular polyhedron, or generated by generating random numbers.
  • the average image J mean of the clip video V clip is obtained in the same manner as the average image I mean of the input video V src .
  • a ball video V ball is created by subtracting the average image J mean from the clip video V clip .
  • V ball (u, v, t) V clip (u, v, t) -J mean (u, v)
  • the estimation of the rotation axis is considered as follows. That is, if the axis of rotation of the sphere coincides with direction a, (1) From the frame of the ball video V ball frame number t, a transformation f for projecting each pixel of the ball video to the hemisphere is performed, (2) After rotating the hemisphere about k ⁇ ⁇ 0 around the rotation axis in direction a, (3) An image obtained by projecting the rotated hemisphere onto a plane should substantially coincide with the frame of the ball animation V ball with the frame number t + k.
  • f (u, v) ((uR-1) / R, (vR-1) / R, (1-((uR-1) / R) 2 -((vR-1) / R) 2 ] 1 / 2 );
  • f -1 (x, y, z) (x ⁇ R + R + 1, y ⁇ R + R + 1);
  • (u ', v') f -1 ( ⁇ (a, k ⁇ ⁇ 0 ) f (u, v))
  • ⁇ (a, k ⁇ ⁇ 0 ) is a rotation matrix representing rotation of an angle k ⁇ ⁇ 0 around the rotation axis in the direction a.
  • hemispherical and plane conversion assumes parallel projection.
  • an evaluation function E (a) for the rotation axis in the direction a is determined as follows, for example.
  • the evaluation function E (a) may be determined as follows.
  • E (a) since the coefficient is calculated using the position before and after rotation, the coefficient depends on the rotation axis a and a denominator for normalization is required. .
  • an estimated value a * of the rotation axis of the spherical body is obtained as follows.
  • the measuring apparatus 101 outputs an estimated value of the rotation specifications (step S210). This process is terminated.
  • FIG. 12 is a flowchart showing a procedure for automatically acquiring a template image executed by the measurement apparatus according to the embodiment of the present invention.
  • step S202 an appropriate frame (frame number B) is selected from the mask moving image V mask (step S401), and the boundary pixels of the pixel values 0 and 1 in the frame are circled.
  • the best fitting circle is detected by applying the Hough transform for detection (step S402).
  • the application range of the Hough transform here is the entire frame.
  • the diameter of the circle for detection may be about 0.5 to 2 times the diameter in a typical frame when the spherical body is photographed by the camera. This range can be changed as appropriate.
  • the narrowing may be performed before applying the Hough transform. That is, select all the polygons whose sides are the boundary between the pixel value 0 and the pixel value 1, or select a polygon having the same width and height (for example, a range of 0.8 times to 1.25 times).
  • the Hough transform is applied to the square, and the most suitable circle may be used as the detection result.
  • a circle detection method other than the Hough transform or a substantially square detection method may be employed.
  • a template image I temp is extracted based on this (step S203).
  • step S403 Whether or not N ′ is sufficiently long can be determined, for example, based on whether or not the ratio of N ′ to N is equal to or greater than a threshold (for example, 1/3, 1/4, etc.).
  • step S403 If N ′ is too short or the frame number B is not included (step S403; No), it means that the frame number B selected for template extraction is not appropriate. In this case, the frame number is selected again and the template image is extracted again. If the frame number B is appropriate (step S403; Yes), the process proceeds to step S206 and subsequent steps.
  • the order of selecting the frame number to be selected first may be regularly determined as follows. For example, if the total number of frames is N, N / 2, N / 3, 2 ⁇ N / 3, N / 4, 2 ⁇ N / 4, 3 ⁇ N / 4, N / 5, 2 ⁇ N / 5, 3 ⁇ N / 5, 4 ⁇ N / 5, ... As described above, it is possible to adopt a method such as reselecting the frame number in order.
  • a photographic image may be adopted instead of the frame of frame number B.
  • a plurality of frames are selected at random from the input video V src . Then, the center and radius of the circle are detected by applying the Hough transform to each selected frame in the same manner as described above.
  • a template candidate is created by extracting a circular region from the frame in which the ellipse is detected based on the center and radius of the detected circle.
  • the template candidates are presented to the user, and the user is allowed to select a template image I temp in which the spherical body is clearly photographed among the template candidates.
  • ⁇ ⁇ This technique can also be applied to automatic extraction. For example, image parameters such as contrast, clarity, and radius of a circular area are calculated for each template candidate. Then, based on the calculated image parameter value, the template candidates are classified into several (for example, about 3 to 5) clusters. One or more image parameters may be adopted for cluster classification. For cluster classification, for example, known techniques such as k-means and x-means can be applied.
  • template candidate is classified in the template candidates having the best image parameters is selected as a template image I temp. This is because an image classified into a cluster having a small number of elements is considered to have a high possibility of noise and erroneous detection.
  • the following method can also be adopted. First, an average of all candidate image parameters is obtained. Next, the degree of separation indicating how far each candidate image parameter is from the average is calculated, and the candidates are sorted in ascending order of the degree of separation.
  • ⁇ may be a constant of about 2 to 5, and a candidate located at a rank of 1 / ⁇ from the top may be selected as the template image I temp .
  • This method is a method that does not deviate greatly from the average and selects a reasonably good candidate.
  • the candidates when the template candidates are presented and selected by the user, the candidates can be arranged and presented in ascending order of the separation degree used here. Candidates with a large degree of separation are highly likely to be noise or misdetection, and therefore, the user can easily select a template image by lowering the order of presentation.
  • FIG. 13 is an explanatory diagram illustrating an example of frames included in a moving image shot outdoors that is processed by the measurement apparatus according to the embodiment of the present invention.
  • the right arm of the pitcher is photographed from the lower left corner of the image toward the center, and the ball is photographed at the upper center of the image.
  • the crescent-shaped highlight On the upper side of the photographed ball, there is a crescent-shaped highlight.
  • the highlight portion is generated when light emitted from illumination including the sun is reflected with high intensity, reaches the camera as it is, and saturation occurs in the photographing element.
  • FIG. 14 is an explanatory diagram showing the highlight direction of a spherical body photographed in a clip image.
  • a portion surrounded by an ellipse above the ball photographed in the clip image is a central region of the highlight portion.
  • the highlight direction d is a direction from the center of the ball toward the center area of the highlight portion.
  • the highlight direction d may be explicitly specified by a user who performs measurement, or may be automatically detected.
  • various known techniques can be adopted, but in this embodiment, (1) Since the illumination is above, the highlight portion appears in a crescent or elliptical shape above the ball. (2) In any clip image, highlight portions appear at substantially the same position and direction. it is conceivable that.
  • the brightness is expressed in 256 levels from 0 to 255.
  • a pixel position (u, v) whose lightness exceeds a predetermined threshold value for example, any positive constant of 250-255 is obtained, and its barycentric position is calculated.
  • the center-of-gravity position is the center of the highlight portion.
  • pixels having an average brightness H (u, v) equal to or greater than a predetermined area (for example, 20% of the shooting area of the ball) and greater than or equal to the threshold value are spread around the obtained center of gravity position. Find out. This spread represents the size of the highlight portion.
  • the highlight direction d is set to the direction of the center of gravity obtained from the center of the clip image. If the area of the highlight portion is small, the following highlight portion omission processing may not be executed.
  • the two-dimensional Gaussian distribution G ⁇ (uR-1, vR-1) is used as the weight, but the area of the highlight portion is sufficiently large.
  • G ⁇ (uR-1, vR -1) may be weighted as follows.
  • the above weighting function G ⁇ (x, y) G ⁇ (uR-1, vR-1 )
  • M (x, y) 0, if x 2 + y 2 > R 2 or (x, y) ⁇ d>0;
  • M (x, y) G ⁇ (x, y), otherwise
  • condition “x 2 + y 2 > R 2 ” means that the information photographed outside the ball in the clip image is ignored in the calculation of the similarity matrix Di , j . This condition can be adopted even when the area of the highlight portion is sufficiently small or does not exist.
  • the measuring device in the present embodiment is A circular shape in which the spherical body is photographed from one of a plurality of frames included in the moving picture in which the spherical body is photographed, or from a photographic image in which the spherical body is photographed under photographing conditions common to the photographing conditions of the moving picture.
  • a template part that acquires a template image by extracting an area By extracting and enlarging / reducing a plurality of similar regions respectively similar to the acquired template image from each of the plurality of frames, the center position and size of the spherical body are matched within a predetermined error range.
  • the estimation unit obtains an average value of similarity levels between clip images having the same difference in shooting order from the distribution of elements in the similarity level matrix, and the period of change of the average value with respect to the difference in shooting order is different. If the estimation is performed by a plurality of methods and the periods estimated by the plurality of methods coincide with each other, the coincident period can be estimated as the rotation period of the spherical body.
  • the plurality of methods can be configured to include a method based on a discrete cosine transform, a method based on a discrete Fourier transform, and a method based on an average amplitude difference function.
  • the template unit obtains a differential video between the video and the average image of the plurality of frames, detects a circular area drawn on the differential video, and detects the size and position of the detected circular area Can be configured to identify a circular region that continuously changes over time, and to extract the template image from the identified circular region.
  • the template part and the clip part can be configured to extract the circular region and the plurality of similar regions by Hough transform.
  • the estimator rotates the spherical body by minimizing a difference between the plurality of hypothetical images obtained by assuming that the spherical body rotates around a rotation axis candidate and the plurality of clip images. It can be configured to estimate the axis of rotation.
  • the measurement method of this embodiment is The measuring device captures the spherical body from one of a plurality of frames included in the moving image in which the spherical body is photographed or from a photographic image in which the spherical body is photographed under photographing conditions common to the photographing conditions of the moving image.
  • a template step of obtaining a template image by extracting the circular region that has been made The measurement apparatus extracts a plurality of similar regions similar to the acquired template image from each of the plurality of frames and expands / contracts the center position and size of the spherical body within a predetermined error range.
  • the measuring apparatus includes an estimating step of estimating rotation of the spherical body from a distribution of elements in the calculated similarity degree matrix.
  • the program of this embodiment is a computer, A circular shape in which the spherical body is photographed from one of a plurality of frames included in the moving picture in which the spherical body is photographed, or from a photographic image in which the spherical body is photographed under photographing conditions common to the photographing conditions of the moving picture.
  • a template part that acquires a template image by extracting an area By extracting and enlarging / reducing a plurality of similar regions respectively similar to the acquired template image from each of the plurality of frames, the center position and size of the spherical body are matched within a predetermined error range.
  • a clip unit for obtaining a plurality of clip images in which the spherical body is drawn A calculation unit that calculates the similarity between the plurality of clip images and obtains a matrix in which the calculated similarity is arranged in the shooting order of the frames from which the plurality of clip images are extracted, It functions as an estimation unit for estimating the rotation of the spherical body from the distribution of elements in the calculated similarity degree matrix.
  • the present invention it is possible to provide a measuring device and a measuring method for measuring the rotation of a spherical body, and a program for realizing these by a computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

測定装置101は、球状体の回転を測定する。テンプレート部102は、球状体が撮影された動画もしくは当該動画と共通する撮影条件で当該球状体が撮影された写真画像から、球状体が撮影されているテンプレート画像を取得する。クリップ部103は、当該動画から、テンプレート画像に類似する領域を抽出して、中心位置および大きさを揃えた複数のクリップ画像を取得する。算定部104は、クリップ画像同士の類否度を算定して、時間順に並べた行列を取得する。推定部105は、類否度の行列における要素の分布から、球状体の回転を推定する。

Description

球状体の回転の測定装置、測定方法、ならびに、プログラム
  本発明は、球状体の回転を測定する測定装置、測定方法、ならびに、これらをコンピュータにより実現するためのプログラムに関する。
  従来から、ボール等の球状体の回転を測定する技術が提案されている。たとえば、特許文献1、2では、ボールにセンサを付与することにより、特許文献3では、マーカーを貼付したボールをカメラで撮影することにより、それぞれ、ボールの回転数、回転速度、回転周期、回転軸の方向等の情報を得ている。
  このほか、野球等の球技では、スピードガンと呼ばれる装置によって簡易にボールの移動速度を測定することが広く行なわれている。
特開2012-58066号公報 特開2009-42196号公報 特開平9-68539号公報
  しかしながら、現実の球技等で利用される球状体とは異なる形態の球状体について回転を測定したとしても、球技等における分析の上で効果が低いことが多い。また、一台の機器によってボールを観察するスピードガンのように、1台のビデオカメラによってボール等を撮影することで、ボール等の球状体の回転に関する情報が測定できれば便利である。
  したがって、1台のビデオカメラでボール等の球状体を撮影した動画から、当該球状体の回転に関する情報を自動的に取得できる技術が強く望まれている。
  本発明は、以上の課題を解決するもので、球状体の回転を測定する測定装置、測定方法、ならびに、これらをコンピュータにより実現するためのプログラムを提供することを目的とする。
  本発明において、測定装置は、
  球状体が撮影された動画に含まれる複数のフレームのいずれか、もしくは、当該動画の撮影条件と共通する撮影条件により当該球状体が撮影された写真画像から、当該球状体が撮影された円状領域を抽出することにより、テンプレート画像を取得し、
  前記複数のフレームのそれぞれから、前記取得されたテンプレート画像にそれぞれ類似する複数の類似領域を抽出して拡縮することにより、前記球状体の中心位置および大きさが所定の誤差範囲内で一致するように前記球状体が描画された複数のクリップ画像を取得し、
  前記複数のクリップ画像同士の類否度を算定して、当該算定された類否度を当該複数のクリップ画像同士が抽出されたフレームの撮影順に並べた行列を取得し、
  前記算定された類否度の行列における要素の分布から、前記球状体の回転を推定する。
  本発明によれば、球状体の回転を測定する測定装置、測定方法、ならびに、これらをコンピュータにより実現するためのプログラムを提供することができる。
本発明の実施形態に係る測定装置の概要構成を示す説明図である。 本発明の実施形態に係る測定装置にて処理される動画に含まれるフレームの例を示す説明図である。 本発明の実施形態に係る測定装置にて取得されたテンプレート画像の例を示す説明図である。 本発明の実施形態に係る測定装置にて取得されたクリップ画像の例を示す説明図である。 本発明の実施形態に係る測定装置にて取得された類否度を表す行列を示す説明図である。 本発明の実施形態に係る測定装置にて取得された相違度グラフvkを示す説明図である。 本発明の実施形態に係る測定装置にて取得された相違度グラフwk(ハニング窓付き相違度グラフvk)を示す説明図である。 本発明の実施形態に係る測定装置における離散コサイン変換の結果Ckを示す説明図である。 本発明の実施形態に係る測定装置における離散フーリエ変換の結果Pkのパワースペクトルを示す説明図である。 本発明の実施形態に係る測定装置における平均振幅差関数の適用結果akを示す説明図である。 本発明の実施形態に係る測定装置にて実行される測定方法の手順を示すフローチャートである。 本発明の実施形態に係る測定装置にて実行されるテンプレート画像の自動取得の手順を示すフローチャートである。 本発明の実施形態に係る測定装置にて処理される屋外で撮影された動画に含まれるフレームの例を示す説明図である。 クリップ画像に撮影された球状体のハイライト方向を示す説明図である。
  以下に、本発明の実施形態を説明する。なお、本実施形態は、説明のためのものであり、本発明の範囲を制限するものではない。したがって、当業者であれば、本実施形態の各要素もしくは全要素を、これと均等なものに置換した実施形態を採用することが可能である。また、各実施例にて説明する要素は、用途に応じて適宜省略することも可能である。このように、本発明の原理にしたがって構成された実施形態は、いずれも本発明の範囲に含まれる。
  (測定装置が実現されるハードウェア)
  本実施形態に係る測定装置は、典型的には、プログラムをコンピュータが実行することによって実現される。当該コンピュータは、各種の出力装置や入力装置に接続され、これらの機器と情報を送受する。
  コンピュータにて実行されるプログラムは、当該コンピュータが通信可能に接続されたサーバにより配布、販売することができるほか、CD-ROM(Compact Disk Read Only Memory)やフラッシュメモリ、EEPROM(Electrically Erasable Programmable ROM)などの非一時的(non-transitory)な情報記録媒体に記録した上で、当該情報記録媒体を配布、販売等することも可能である。
  プログラムは、コンピュータが有するハードディスク、ソリッドステートドライブ、フラッシュメモリ、EEPROM等などの非一時的な情報記録媒体にインストールされる。すると、当該コンピュータにより、本実施形態における情報処理装置が実現されることになる。一般的には、コンピュータのCPU(Central Processing Unit)は、コンピュータのOS(Operating System)による管理の下、情報記録媒体からRAM(Random Access Memory)へプログラムを読み出してから、当該プログラムに含まれるコードを解釈、実行する。ただし、CPUがアクセス可能なメモリ空間内に情報記録媒体をマッピングできるようなアーキテクチャでは、RAMへの明示的なプログラムのロードは不要なこともある。なお、プログラムの実行の過程で必要とされる各種情報は、RAM内に一時的(temporary)に記録しておくことができる。
  なお、汎用のコンピュータにより本実施形態の情報処理装置を実現するのではなく、専用の電子回路を用いて本実施形態の情報処理装置を構成することも可能である。この態様では、プログラムを電子回路の配線図やタイミングチャート等を生成するための素材として利用することもできる。このような態様では、プログラムに定められる仕様を満たすような電子回路がFPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)により構成され、当該電子回路は、当該プログラムに定められた機能を果たす専用機器として機能して、本実施形態の情報処理装置を実現する。
  以下では、理解を容易にするため、測定装置は、コンピュータがプログラムを実行することによって実現される態様を想定して説明する。
  図1は、本発明の実施形態に係る測定装置の概要構成を示す説明図である。以下、本図を参照して説明する。
  本図に示すように、測定装置101は、テンプレート部102、クリップ部103、算定部104、推定部105を備える。
  ここで、テンプレート部102は、球状体が撮影された動画に含まれる複数のフレームのいずれか、もしくは、当該動画の撮影条件と共通する撮影条件により当該球状体が撮影された写真画像から、当該球状体が撮影された円状領域を抽出することにより、テンプレート画像を取得する。テンプレート画像の抽出は、ユーザの指示に基いて行うこととしても良いし、後述するように、自動抽出をすることとしても良い。
  当該動画は、ハイスピードビデオカメラにより撮影されたものとするのが典型的である。なお、本実施形態で利用される動画は、500FPS程度のフレームレートで撮影されたものを想定しているが、フレームレートは適宜変更が可能である。
  テンプレート画像は、球状体が撮影された動画のいずれかのフレームもしくは当該動画の撮影条件と共通する撮影条件で撮影された写真画像のいずれかから、球状体が撮影された円状領域を含む領域を、抽出したものである。
  図2は、本発明の実施形態に係る測定装置にて処理される動画に含まれるフレームの例を示す説明図である。本図は、野球の投手がボールを投げる様子を斜め後方約20mからハイスピードビデオカメラで撮影した動画に含まれるフレームの1枚である。
  図3は、本発明の実施形態に係る測定装置にて取得されたテンプレート画像の例を示す説明図である。画像をコンピュータで処理するにあたっては、円状領域をそのまま処理するのは計算上不利なことが多いため、本実施形態では、本図に示すように、テンプレート画像としては、動画のフレームのいずれかから、球状体が描画された正方形の領域を切り出した画像がそのまま採用されている。
  このように、処理対象の動画もしくは共通する撮影条件で撮影された写真画像からテンプレート画像を抽出する点に、本発明の特徴の一つがある。本実施形態のテンプレート画像は、動画内の他のフレームと、撮影された周囲の環境、たとえば、背景の明るさや、照明の方向、明るさ、色合い、カメラの精細度や絞り量などの条件が揃っているので、高い精度で測定が可能となるのである。なお、撮影条件が共通するか否かは、たとえば上記のような各種の条件が一致するか否かにより判断することができるが、どの条件を採用するかは、実験等により定めることができる。また、写真画像は、共通する撮影条件で撮影された他の動画内の一つのフレームを採用しても良いし、共通撮影条件で撮影された他の動画から抽出されたテンプレート画像を、そのまま、今回の動画の処理に利用するテンプレート画像としても良い。
  一方、クリップ部103は、複数のフレームのそれぞれから、取得されたテンプレート画像にそれぞれ類似する複数の類似領域を抽出して拡縮することにより、球状体の中心位置および大きさが所定の誤差範囲内で一致するように球状体が描画された一連のクリップ画像を取得する。
  具体的には、各フレームから背景を除去するためのマスク処理、各フレームとテンプレート画像との照合を行うことにより当該フレームにおいて球状体が撮影された箇所を抽出するテンプレートマッチング(template maching)、ならびに、円を検出するハフ(Hough)変換を適用して画像を適宜移動、拡縮することにより、測定装置101は、球状体が同じ大きさで描画され、その中心が共通する複数のクリップ画像を得る。
  図4は、本発明の実施形態に係る測定装置にて取得されたクリップ画像の例を示す説明図である。本図に示すように、クリップ画像は、同じ大きさの正方形で表現されており、球状体が正方形内に描画されている位置や大きさが、揃えられている。
  さらに、算定部104は、複数のクリップ画像同士の類否度を算定して、当該算定された類否度を当該複数のクリップ画像同士が抽出されたフレームの撮影順に並べた行列を取得する。
  図5は、本発明の実施形態に係る測定装置にて取得された類否度を表す行列を示す説明図である。本図では、類否度の行列の各要素を、白黒の濃淡で表現している。類否度の行列の各要素は、その行数番目のクリップ画像とその列数番目のクリップ画像との類否度を表している。
  ここで、類否度としては、クリップ画像同士がどれだけ異なるかを表す相違度を利用しても良いし、クリップ画像同士がどれだけ類似するかを表す類似度を利用しても良い。相違度としては、たとえば、各画素の差の重み付き平均や重み付き総和を採用することができる。類似度としては、たとえば、各画素の画素値からなるベクトルがなす角の余弦(画素値を並べたベクトルの方向ベクトル同士の内積)を採用することができる。
  図5に示す例では、類否度の濃淡が、斜め方向の縞模様になって現われている。この縞模様の間隔が、回転周期に相当する。そこで、推定部105は、算定された類否度の行列における要素の分布から、球状体の回転速度を推定する。回転速度が推定された後は、クリップ動画同士の類似性、ならびに、透視投影や3次元空間における回転に関する技術を応用して、回転軸を推定することも可能である。回転軸の推定の詳細については、後述する。
  このように、本実施例では、回転の情報として、単位時間あたりの回転数(回転速度)、回転周期、回転軸の方向等を推定することが可能である。
  なお、上記の各部における処理は、コンピュータのCPUや画像処理プロセッサ、専用の電子回路などにより実行される。また、処理の対象となる各種の動画や画像は、RAMやハードディスク、ソリッドステートドライブ等の記憶装置に保存される。
  図11は、本発明の実施形態に係る測定装置にて実行される測定方法の手順を示すフローチャートである。以下、測定装置101にて実行される処理にて、詳細に説明する。
  まず、測定装置101は、処理対象となる動画を受け付ける(ステップS201)。上記のように、当該動画は、球状体を撮影したものである。撮影には、ハイスピードビデオカメラを利用することで、球状体の回転を高い精度で分析することが可能である。標本化定理に基づいて、少なくとも、所望の回転速度の2倍以上のフレームレートで球状体を撮影することが必要である。実験によれば、想定される球状体の回転速度の10倍程度のフレームレートで撮影を行うことで、好ましい結果が得られている。以下、理解を容易にするため、ステップS201で受け付けられた処理対象となる入力動画を、Vsrcと表記する。
  一般に、動画Vのt (1≦t≦N(V))番目のフレームの、横方向u (1≦u≦W(V))、縦方向v (1≦v≦H(V))の画素位置の画素値をV(u,v,t)と表記することとする。tをフレームレートで割った値が、現実の時間経過に相当し、N(V)をフレームレートで割った値が、動画Vの撮影時間長に相当する。W(V)およびH(V)は、動画Vの各フレームの幅および高さを画素単位で表現した値である。なお、以下では、
    N = N(Vsrc), W = W(Vsrc), H = H(Vsrc)
のように略記する。
  次に、測定装置101は、入力動画Vsrcから、平均画像Imeanおよびマスク動画Vmaskを生成する(ステップS202)。平均画像Imeanは、入力動画Vsrcから簡易に背景を表す画像を生成したものであり、以下のように定義できる。
    Imean(u,v) = Σt=1 N Vsrc(u,v,t)/N
  マスク動画Vmaskは、入力動画Vsrcから背景に相当するものを除去してモノクロ化した差分動画であり、以下のように定義できる。
    Vmask(u,v,t) = 0, if diff(Vsrc(u,v,t), Imean(u,v)) < BKthresh; 
    Vmask(u,v,t) = 1, otherwise
  ここで、diff(p,q)は、画素値p, q同士の相違を求める演算である。p, qがグレースケール画像の画素の場合には、画素値の差の絶対値を計算すれば良い。p, qがカラー画像の画素の場合には、各要素の差の自乗和、あるいは、その平方根を計算すれば良い。また、カラー画像に各種のフィルタをかけてグレースケール化してから、グレースケール画像用のdiff()を適用しても良い。以下では、理解を容易にするため、入力動画Vsrcとして、各画素値が0-255の間のグレースケール動画を採用して説明する。
  BKthreshは、閾値であり、上記仕様のグレースケール動画では、たとえば、12-15程度の数値を適用することができるが、その値は適宜変更が可能である。
  なお、マスク動画Vmaskに対してノイズを除去する各種の処理を施して、その処理結果をマスク動画Vmaskとして扱うこととしても良い。たとえば、マスク動画Vmaskに対して、1ピクセル単位のerosionを2回、dilationを2回行うopening処理を施す、等である。
  さて、入力動画Vsrcからマスク動画Vmaskが得られたら、測定装置101のテンプレート部102は、ユーザの指示に基づいて、あるいは、これらの情報を参照して自動的に、テンプレート画像Itempを得る(ステップS203)。テンプレート画像Itempは、入力動画のいずれかのフレームから球状体が描画されている正方形領域を抽出して得られる幅および高さが2×R+1の画像である。ここで、Rは、フレームにおいて球状体が描画されている半径をピクセル数で表現したものである。また、テンプレート画像において球状体が描画されていない領域は、元のフレームの画素をそのまま維持しても良いし、透明色や球状体に想定される色とは異なるあらかじめ定められた色を配置しても良い。
  テンプレート画像Itempは、処理を行うユーザの指示に基づいて入力動画Vsrcから取得しても良いが、後述する実施例に開示する手法により、自動的に抽出することも可能である。
  図3に示すようなテンプレート画像が得られたら、測定装置101は、入力動画Vsrc、マスク動画Vmask、テンプレート画像Itempを参照して、マッチ動画Vtmを生成する(ステップS204)。マッチ動画Vtmは、以下のように定義される。
    K(u,v,t) = Σi=-R R Σj=-R R 〔Vsrc(u+i,v+j,t) - Itemp(i+R+1,j+R+1)〕2; 
    Vtm(u,v,t) = 0,                   if Vmask(u,v,t) = 0; 
    Vtm(u,v,t) = exp(-〔K(u,v,t)〕2), if Vmask(u,v,t) ≠ 0
なお、テンプレート画像Itempの背景を無視することも可能である。すなわち、
    K(u,v,t) = Σi=-R R Σj=-R R fn(i,j,t)2; 
    fn(i,j,t) = Vsrc(u+i,v+j,t) - Itemp(i+R+1,j+R+1), 
                   if (i+R+1)2+(j+R+1)2≦(R+1)2; 
    fn(i,j,t) = 0, otherwise
とするのである。これは、テンプレート画像の形状として円形を採用したことに相当する。
  なお、K(u,v,t)の値は、上記の総和計算の適用結果に適当な正定数を乗じても良いし、自乗和ではなく、絶対値の総和を利用しても良い。また、Vtm(u,v,t)の値は、上記の指数関数の適用結果に適当な定数を乗じても良いし、他の減衰関数を利用することとしても良い。
  ついで、測定装置101は、有効フレーム、すなわち、球状体が撮影されているフレームを抽出する(ステップS205)。これは、球状体が画面外から画面内に入ってきたり、画面内から画面外に出ていく状況を想定したものである。測定装置101は、適当な閾値TMthreshを設けて、各フレームVtm(u,v,t)の画素値の最大値
    max1≦u≦W max1≦v≦H Vtm(u,v,t)
を計算する。
  そして、測定装置101は、フレーム番号S+1, S+2, ..., S+N'についていずれも
    max1≦u≦W max1≦v≦H Vtm(u,v,S+1)≧TMthresh; 
    max1≦u≦W max1≦v≦H Vtm(u,v,S+2)≧TMthresh; 
     ...; 
    max1≦u≦W max1≦v≦H Vtm(u,v,S+N')≧TMthresh
を満たす連続フレームのうち、N'が最大となるものを探す。これにより、球状体が一旦画面の外に出て、再度画面内に入ってきたときには、長い方の連続フレームが選ばれることになる。
  S+1は、球状体がフレーム内に撮影されている最初のフレーム番号であり、N'は、球状体がフレーム内に撮影されている時間長をフレーム数で表現したものである。
  さて、マッチ画像Vtmに含まれるフレーム番号tのフレームにおける最大画素値を有する画素の位置(xtm(t),ytm(t))は、
    (xtm(t),ytm(t) = argmax(u,v) | 1≦u≦W, 1≦v≦H Vtm(u,v,t)
のように定義できる。すなわち、フレーム内の画素値の最大値を有する画素を探し、その画素位置を取得すれば良い。
  さて、位置(xtm(t),ytm(t))には、球状体の中心が描画されていると推定することができる。しかしながら、実際には、計算誤差や標本化誤差のため、数ピクセルのずれが生じる。また、球状体とカメラとの距離が時間経過に応じて変化する場合には、動画内に描画される球状体の大きさにも変化が生じる。
  そこで、本実施形態では、測定装置101は、ハフ変換を利用することにより、各円形状を検出する。マスク動画Vmaskの各フレームにおいて、画素値が0と非0の境界となる境界画素を抽出し、当該境界画素に最もフィットする円をハフ変換により検出するのである(ステップS206)。
  上記のように、テンプレート画像Itempを照合することで検出される円の中心のおおよその推定位置は、(xtm(t),ytm(t))であるから、マスク動画Vmaskの各フレームの全体にハフ変換を適用する必要はない。適用する領域を、(xtm(t),ytm(t))の周辺だけとすれば、計算時間を大幅に短縮できる。
  すなわち、フレーム番号tのフレームにおいて、ハフ変換により検出される円の中心位置を(x(t),y(t)), 半径をr(t)としたとき、これらの値が以下の範囲に属する、という制約の下で、ハフ変換を適用すれば良い。
    0.5×R ≦ r(t) ≦ R; 
    xtm(t)-0.5×R ≦ x(t) ≦ xtm(t)+0.5×R; 
    ytm(t)-0.5×R ≦ y(t) ≦ ytm(t)+0.5×R 
なお、球状体が次第にカメラに近付くような向きで撮影を行った場合、たとえば、キャッチャーの背後からピッチャー方向にボールを撮影した場合には、r(t)の上限は、1.5×Rや2×R等、適宜状況に応じて、検索範囲を広げることが可能である。
  また、テンプレート画像Itempを選ぶ際には、球状体ができるだけ大きく描画されているフレームから抽出することとすれば、r(t)の上限をRのままとしても良い。
  ハフ変換により各フレームに描画された球状体の中心位置(x(t),y(t))、および半径r(t)が得られたら、測定装置101のクリップ部103は、入力動画Vsrcのフレーム番号S+1, S+2, ..., S+N'のフレームから、中心位置(x(t),y(t))、半径r(t)の円領域をクリップし、これを直径2×R+1の円に拡縮することにより、幅および高さ2×R+1の正方形形状のフレームからなるクリップ動画Vclipを生成する(ステップS207)。
  すなわち、入力動画のフレーム番号t+Sのフレームを、円の中心位置(x(t),y(t))が原点になるように座標変換して、拡縮率
    E(t) = R/r(t)
あるいは
    E(t) = (2×R+1)/(2×r(t))
で拡縮した後、原点が(R+1,R+1)へ移動するように座標変換すれば、クリップ動画Vclipのフレーム番号tのフレームが得られる。拡縮率が2通りあるのは、周囲の1ドットを含めるか否かの違いであり、いずれを選択するかは任意である。さて、クリップ動画Vclipと入力動画Vsrcの画素値の最も単純な対応関係は、以下の通りである。
    Vclip(u,v,t) = Vsrc((u-R-1)/E(t)+x(t), (v-R-1)/E(t)+y(t), t+S)
クリップ動画Vclip(u,v,t)においては、1≦u≦2×R+1, 1≦v≦2×R+1, 1≦t≦N' が、有効な範囲である。すなわち、
    H(Vclip) = W(Vclip) = 2×R+1; 
    N(Vclip) = N'
  なお、円形状の背景の画素は、画素値0としても良いし、上記の式のように、もとの画像の画素値をそのまま利用しても良い。また、クリップ動画を得る際には、比較的小さい領域を拡縮することとなるので、各種の平滑化処理を適用しても良い。たとえば、標準偏差が2ピクセル程度のカーネルを有するガウシアン平滑化等を適用することができる。このようにして、図4に示すようなクリップ画像が得られる。
  クリップ動画Vclipが得られたら、算定部104は、フレーム同士の類否度を表す行列Dを、以下のように計算する(ステップS208)。ここで、添字i,jは、行列内におけるi行j列の要素を表す。
    Di,j = Σu=1 2×R+1 Σv=1 2×R+1
                Gσ(u-R-1,v-R-1)×〔Vclip(u,v,i) - Vclip(u,v,j)〕2
  なお、後述する処理においては、類否度行列Dの一部の要素の値が参照されるのみであるので、全要素の計算は、実際には不要である。また、Gσ(u-R-1,v-R-1)は、クリップ動画の各フレームの中心について対称な、2次元ガウス分布に基づく重み付けである。
    Gσ(u-R-1,v-R-1) = exp(-〔(u-R-1)2+(v-R-1)2〕/〔2×σ2〕)
  すなわち、球状体は、周縁付近に比べて中心付近の方が綺麗に精度良く撮影されている。そこで、中心付近の重み付けを大きくするのである。ガウス分布の広がりを表す標準偏差σとしては、たとえば、(2×R+1)/6などの定数を採用することができる。
  上記の通り、図5では、行列Dの各要素の値を濃淡で表現しており、その濃淡が、斜め方向の縞模様になって現われている。
  なお、類否度としては、上記の計算式に限らず、単純な差の自乗和や差の絶対値の和等、種々の手法を採用することができる。
  このように、類否度の行列が得られたら、測定装置101の推定部105は、当該行列の要素の分布から、球状体の回転の諸元を推定する(ステップS209)。以下では、まず、回転周期を求める手法について説明する。
  行列Dの対角軸に平行に各要素を足し合わせることで、撮影順の差kのフレーム同士の相違度の平均に相当する相違度グラフvkが得られる。すなわち、
    vk = Σi=1 N'/3 Di,i+k
  撮影順の差kはフレーム番号の相違であり、上記の計算によれば、その範囲は、1≦k≦(2×N'/3)の間にある。図6は、本発明の実施形態に係る測定装置にて取得された相違度グラフvkを示す説明図である。本図に示すように、vkは、行列Dを対角軸方向から見たときの平均的な要素の変化を表しており、相違度が小さい値が略一定間隔で出現していることがわかる。この間隔が、球状体が1回転するのに要するフレーム数に相当する。以下、球状体が1回転するのに要するフレーム数、すなわち、上記の間隔を、vkの周期Tと表記する。
  vkの周期Tを推定する手法としては、種々の技術を適用することができる。たとえば、以下の3通りの手法を採用することができる。
  第1の手法は、離散コサイン変換を利用するものである。離散コサイン変換では、推定部105は、数列vkに対して、幅(M = 2×N'/3)のハニング窓関数を乗じて得られる数列wk(ハニング窓付きvk)に、離散コサイン変換を施す。
  離散コサイン変換DCT-IIを採用した場合には、以下の関係が成立する。
    Ck = Σn=1 M wn×cos〔π×k×(2×n+1)/(2×M)〕; 
    wk = C1/2 + Σn=2 M Cn×cos〔π×n×(2×k+1)/(2×M)〕
  図7は、本発明の実施形態に係る測定装置にて取得された相違度グラフwk(ハニング窓付き相違度グラフvk)を示す説明図である。図8は、本発明の実施形態に係る測定装置における離散コサイン変換の結果Ckを示す説明図である。これらの図に示すように、離散コサイン変換を施すことによって、数列Ckが得られる。この数列のピークのうち、k=1を除き、次のピークを与える添字をk*とすると、周期Tは、以下のように計算可能である。
    T = 2×M/k* - 0.5
  第2の手法は、離散フーリエ変換を利用するものである。すなわち、数列wkに対して、以下の離散フーリエ変換を施す。
    Pf = (1/M)×Σn=1 M wn×exp(-i×2×π×k×n/M)
  図9は、本発明の実施形態に係る測定装置における離散フーリエ変換の結果Pkのパワースペクトルを示す説明図である。本図に示すように、離散フーリエ変換により、複素数列Pkが得られる。数列Pkのパワースペクトルには、周期的なピークが出現しており、k=1を除く最初のピークを与える添字をk*とすると、周期Tは、以下のように計算可能である。
    T = M/k*
  第3の手法は、平均振幅差関数(Average Magnitute Difference Function)を利用するものである。ここで、平均振幅差関数akは、以下のように計算できる。
    ak = 1/〔M-k〕×Σi=1 M-k |vi - vi+k|
平均振幅差関数akは、viと、これをkだけずらしたvi+kとの差分を表すものである。
  図10は、本発明の実施形態に係る測定装置における平均振幅差関数の適用結果akを示す説明図である。akに対して、k=0を除くピークのうち突出した極小値を与える添字をk*とすると、周期Tは、以下のように計算可能である。
    T = k*
  このように、本実施形態では、複数の手法により、縞模様の間隔(撮影順の差が等しいクリップ画像同士の類否度の平均値の変化の周期)Tを推定する。そして、全手法について、同じ値Tが得られたら、これは、回転周期の測定結果としての確度が高いことになる。
  一方、複数の手法で得られた周期が異なることもある。典型的には、ある手法で得られた値の2倍の値や、ある手法で得られた値から0.5乃至1だけずれた値が、他の手法で得られる状況である。このような場合には、多数決によりいずれを推定値とするかを決定しても良いし、ユーザにいずれが正しいかを選択させることとしても良い。
  さて、上記のようにして、得られた周期Tは、整数精度で表現されている。そこで、再度vkに立ち戻り、周期の微調整を行う。すなわち、
    T1 = argmin0+T/2≦k＜(1+T/2) vk; 
    T2 = argmin1+T/2≦k＜(2+T/2) vk; 
    T3 = argmin2+T/2≦k＜(3+T/2) vk; 
     ...; 
    TL = argminL-1+T/2≦k＜(L+T/2) vk
ただし、Lは、L+T/2≦N'を満たす最大値とする。
  そして、k=T, 2×T, 3×T, ..., L×Tのそれぞれに一番近いvkの極小値を検出し、その添字T1, T2, T3, ..., TLを得る。
  これらの間隔T2-T1, T3-T2, ..., TL-TL-1の平均値を、微調整された周期T*とする。
    T* = (TL-T1)/(L-1)
ここで、得られた周期T*は、球状体の一回転にかかるフレーム数に相当する。したがって、球状体の回転周期の推測値は、T*をフレームレートで除算することによって得られる。また、球状体の回転数(回転速度)は、球状体の回転周期の逆数である。
  さらに、球状体の回転軸を推定することも可能である。まず、回転軸の軸方向の候補を表す単位ベクトルa1, a2, ..., aZの集合Aを用意する。候補の単位ベクトルは、できるだけ等間隔とすることが望ましいので、正多面体や、準正多面体の頂点から求めたり、乱数を発生させることにより生成しても良い。
  次に、入力動画Vsrcの平均画像Imeanを求めるのと同様に、クリップ動画Vclipの平均画像Jmeanを求める。そして、クリップ動画Vclipから平均画像Jmeanを減算したボール動画Vballを作る。
    Jmean(u,v) = Σt=1 N' Vclip(u,v,t)/N'; 
    Vball(u,v,t) = Vclip(u,v,t) - Jmean(u,v)
  さて、上記のように、周期T*がフレーム単位で求められているから、球状体は、1フレームあたり、
    ω0 = 2×π/T*
だけ回転することとなる。
  回転軸の推定にあたっては、以下のように考える。すなわち、もし球状体の回転軸が方向aに一致しているならば、
(1)ボール動画Vballのフレーム番号tのフレームから、当該ボール動画の各画素を半球面に投影する変換fを施し、
(2)当該半球面を方向aの回転軸周りにk×ω0だけ回転させてから、
(3)回転後の半球面を平面に投影することにより得られる画像は、ボール動画Vballのフレーム番号t+kのフレームと略一致するはずである。
  上記(1)-(3)により、フレーム番号tのフレーム内における位置(u,v)の画素が、フレーム番号t+kのフレーム内では、位置(u',v')の画素に移動すると考えると、両者間の変換は、以下のように計算することができる。
    f(u,v) = ((u-R-1)/R, (v-R-1)/R, 〔1-((u-R-1)/R)2-((v-R-1)/R)2〕1/2); 
    f-1(x,y,z) = (x×R+R+1, y×R+R+1); 
    (u',v') = f-1(ρ(a,k×ω0)f(u,v))
ここで、ρ(a,k×ω0)は、方向aの回転軸周りの角度k×ω0の回転を表す回転行列である。また、半球面と平面の変換は、平行投影を仮定している。
  また、上記(1)-(3)により、フレーム番号tのフレーム内における位置(u'',v'')の画素が、フレーム番号t+kのフレーム内では、位置(u,v)の画素に移動すると考えると、両者間の変換は、以下のように計算することができる。
    (u'',v'') = f-1(ρ(a,-k×ω0)f(u,v))
  その上で、方向aの回転軸についての評価関数E(a)を、たとえば以下のように定める。
    E(a) = Σt=1 T*Σu=1 2×R+1Σv=1 2×R+1
                  Gσ(u,v) 〔Vball(u,v,t) - Vball(u',v',t+k)〕2
           +Σt=1 T*Σu=1 2×R+1Σv=1 2×R+1
                  Gσ(u,v) 〔Vball(u'',v'',t) - Vball(u,v,t+k)〕2
  このほか、評価関数E(a)は、以下のように定めても良い。
    E(a) = ｛Σt=1 T*Σu=1 2×R+1Σv=1 2×R+1Gσ(u,v)Gσ(u',v')〔Vball(u,v,t) - Vball(u',v',t+k)〕2｝/
                  ｛Σt=1 T*Σu=1 2×R+1Σv=1 2×R+1Gσ(u,v)Gσ(u',v')｝
  この評価関数E(a)では、回転前と回転後の位置を使って係数を計算しているため、係数が回転軸aに依存することになり正規化のための分母が必要になっている。
  そして、球状体の回転軸の推定値a*を、以下のように求める。
    a* = argmina∈A E(a)
すなわち、E(a1), E(a2), ..., E(aZ)の最小値が、添字iの単位ベクトルaiに対する評価値E(ai)であれば、a* = aiとするのである。
  なお、実験によれば、回転量k×ω0が、10度乃至50度の間に収まるようにkを選べば、推定される回転軸a*はほとんどの場合で同じ方向となることが実験によりわかっている。したがって、kは、上記の条件を満たす範囲で選択することが望ましい。
  また、上記の条件を満たす範囲で複数のkを選択し、それぞれで回転軸を求めた推定して、多数決をとることとしても良い。
  このようにして、回転周期、回転数(回転速度)、回転軸の方向等の回転の諸元が得られたら、測定装置101は、回転の諸元の推定値を出力して(ステップS210)、本処理を終了する。
  上記のように、テンプレート画像Itempは、ユーザの指示に基づいて入力動画Vsrcから抽出することも可能であるが、本実施例は、テンプレート画像Itempを自動または半自動で取得する。図12は、本発明の実施形態に係る測定装置にて実行されるテンプレート画像の自動取得の手順を示すフローチャートである。
  自動で行う態様では、ステップS202の後、マスク動画Vmaskから、適当なフレーム(フレーム番号B)を選択し(ステップS401)、当該フレーム内における画素値0と1の境界画素に対して、円検出用のハフ変換を適用して、最もフィットする円を検出する(ステップS402)。
  ここでのハフ変換の適用範囲は、フレーム内の全体とする。また、検出用の円の直径の範囲としては、当該球状体を当該カメラで撮影したときの、典型的なフレーム内での直径の0.5倍乃至2倍程度とすれば良い。この範囲は、適宜変更が可能である。なお、ハフ変換を適用する前に、絞り込みを行っても良い。すなわち、画素値0と画素値1の境界を辺とする多角形をすべて、あるいは、幅と高さが同程度(たとえば、0.8倍-1.25倍の範囲。)の多角形を選び出して、当該多角形に対してハフ変換を適用し、最も適合した円を検出結果とすれば良い。このほか、ハフ変換以外の円検出手法や略正方形検出手法を採用しても良い。特に、撮影された球状体を略正方形に近似して検出する手法には、種々の高速なアルゴリズムが存在するので、球状体の撮影された箇所を簡易かつ高速に得ることが可能である。
  このようにして球状体が撮影された箇所が検出されたら、これに基づいてテンプレート画像Itempを抽出する(ステップS203)。
  そして、自動抽出されたテンプレート画像Itempによってテンプレートマッチングを行った結果、フレーム番号S+1, S+2, ..., S+N'が連続する有効フレームとして選ばれたら(ステップS204-S205)、この中にフレーム番号Bのフレームが含まれており、かつ、N'が十分に長いか、を、確認する(ステップS403)。N'が十分に長いか否か、は、たとえば、Nに対するN'の割合が閾値(たとえば、1/3や1/4等)以上であるか否かにより判定することができる。また、球状体の平均的な移動速度を測定して、その移動速度で球状体が平均的な軌跡に沿って移動したときに、ハイスピードビデオカメラの視野の中にどれぐらいの時間長登場するか、を、あらかじめ測定等により調べておき、当該登場時間長のフレーム数に対するN'の割合が閾値(たとえば、1/2や1/3等)以上であるか否かにより判定しても良い。
  もしN'が短かかったり、フレーム番号Bが含まれていない場合には(ステップS403;No)、テンプレート抽出用に選択したフレーム番号Bが適切でなかった、ということになる。この場合には、フレーム番号を選び直して、テンプレート画像の抽出をやり直す。フレーム番号Bが適切な場合(ステップS403;Yes)、ステップS206以降に進む。
  フレーム番号を選ぶ際には、最も単純には、ランダムにいずれかを選択すれば良い。このほか、最初に選択するフレーム番号を選択する順序を、以下のように規則的に定めても良い。たとえば、全フレーム数がNであるとして、
N/2, 
N/3, 2×N/3, 
N/4, 2×N/4, 3×N/4, 
N/5, 2×N/5, 3×N/5, 4×N/5, ... 
のように、順にフレーム番号を選び直してみる、等の手法を採用することが可能である。
  なお、同一の撮影条件で撮影された写真画像から自動的にテンプレート画像を抽出する際には、フレーム番号Bのフレームにかえて、写真画像を採用すれば良い。
  また、半自動で行う場合には、たとえば、以下のような手順を採用することができる。
  まず、入力動画Vsrcからランダムに複数のフレームを選択する。そして、選択された各フレームに対して上記と同様にハフ変換を適用して円の中心および半径を検出する。
  円が検出されたフレームから、検出された円の中心および半径に基づいて、円状領域を抽出することにより、テンプレート候補を作成する。
  その後、テンプレート候補をユーザに提示して、テンプレート候補の中で、明瞭に球状体が撮影されているものをテンプレート画像Itempとしてユーザに選択させる。
  なお、この手法を、自動抽出に応用することも可能である。たとえば、テンプレート候補のそれぞれについて、コントラストや明瞭度、円形領域の半径などの画像パラメータを算定する。そして、算定された画像パラメータの値に基づいて、テンプレート候補を数個(たとえば、3個乃至5個程度)のクラスタに分類する。クラスタ分類に採用する画像パラメータは、1つでも良いし、複数採用しても良い。クラスタ分類には、たとえば、k-meansやx-meansなどの公知技術を適用することができる。
  クラスタ分類が終わったら、最も多い数のテンプレート候補が分類されたクラスタ内から、最も良好な画像パラメータを有するテンプレート候補を、テンプレート画像Itempとして選択する。要素数が少ないクラスタに分類された画像は、ノイズや誤検出の可能性が高いと考えられるからである。
  また、テンプレート候補の数が少ない場合には、以下の手法を採用することもできる。まず、全候補の画像パラメータの平均を求める。次に、各候補の画像パラメータが当該平均からどれだけ離れているかを表す離間度を計算し、離間度が小さい順に、候補をソートする。
  そして、ソートされた順序において中央の順位に位置する候補を、テンプレート画像Itempとして選択する。中央の順位ではなく、αを2乃至5程度の定数として、先頭から全体のα分の1の順位に位置する候補をテンプレート画像Itempとして選択しても良い。本手法は、平均から大きく離れてはおらず、ほどほどに良好な候補を選ぶ、という手法である。
  なお、ユーザにテンプレート候補を提示して選択させる際に、ここで用いた離間度の小さい順に候補を並べて提示することもできる。離間度が大きい候補は、ノイズや誤検出の可能性が高いため、順位を下げて提示することで、ユーザがテンプレート画像を選択しやすくなる。
  このように、本実施例によれば、自動もしくは半自動で、テンプレート画像を取得することが可能となる。
  上記の説明では、主として屋内での撮影を想定して説明してきたが、屋外で球状体を撮影する場合には、撮影環境が屋内に比べて明るいことが多い。図13は、本発明の実施形態に係る測定装置にて処理される屋外で撮影された動画に含まれるフレームの例を示す説明図である。本図に示す例では、画像左下隅から中央に向けてピッチャーの右腕が撮影されており、画像中央上方にボールが撮影されている。撮影されたボールの上側には、三日月状のハイライト部分が生じている。
  ハイライト部分は、太陽を含む照明から発せられた光が強い強度のまま反射して、そのままカメラに到達し、撮影素子にて飽和が生じてしまうことにより生ずる。
  そこで、太陽等による照明の方向に応じてハイライト方向dを想定し、類否度行列Di,jの算定において、ハイライト部分を除去することによって、回転の解析における精度を高めることができる。図14は、クリップ画像に撮影された球状体のハイライト方向を示す説明図である。以下、本図を参照して説明する。
  本図に示すように、クリップ画像に撮影されたボールの上方の楕円で囲まれた部分がハイライト部分の中心領域である。一方、ハイライト方向dは、ボールの中心からハイライト部分の中心領域へ向かう向きである。
  ハイライト方向dは、測定を行うユーザが明示的に指定しても良いし、自動検出を行うこととしても良い。ハイライト方向の自動検出には、種々の公知の技術を採用することができるが、本実施形態においては、
  (1)照明は上方にあるので、ハイライト部分はボールの上方に三日月状あるいは楕円状に出現する。
  (2)どのクリップ画像においても、ほぼ同じ位置、方向にハイライト部分が出現する。
と考えられる。
  たとえば、モノクロ8ビット画像においては、明度は0-255の256段階で表現される。全クリップ画像Vclip(u,v,t)の各画素位置(u,v)の平均的な明度H(u,v)を、以下のように計算する。
    H(u,v) = Σt=1 N(V) Vclip(u,v,t)/N(V)
  次に、H(u,v)のうち、明度が所定の閾値(たとえば250-255のいずれかの正定数)を超えている画素位置(u,v)を求め、その重心位置を計算する。当該重心位置が、ハイライト部分の中心である。
  さらに、求められた重心位置の周囲に、所定の面積(たとえば、ボールの撮影面積の2割)以上、前記閾値以上の平均明度H(u,v)を有する画素が隣接して広がっているか否かを調べる。この広がりが、ハイライト部分の大きさを表す。
  ハイライト部分の面積が十分に大きければ、ハイライト方向dをクリップ画像の中心から求められた重心位置の方向に定める。ハイライト部分の面積が少なければ、以下のハイライト部分の省略処理は、実行しなくとも良い。
  さて、類否度行列Di,jの算定において、上記の説明では、2次元ガウス分布Gσ(u-R-1,v-R-1)を重みとして採用したが、ハイライト部分の面積が十分に大きい場合には、Gσ(u-R-1,v-R-1)のかわりに、以下のような重み付けを行っても良い。理解を容易にするため、x = u-R-1, y = v-R-1のように変数の書き換えを行うと、上記の重み付け関数Gσ(x,y) = Gσ(u-R-1,v-R-1)にかえて、以下の重み付け関数M(x,y) = M(u-R-1,v-R-1)を採用することができる。
    M(x,y) = 0, if x2+y2>R2 or (x,y)・d>0; 
    M(x,y) = Gσ(x,y), otherwise
  ここで、条件「x2+y2>R2」は、クリップ画像においてボールの外側に撮影された情報を、類否度行列Di,jの算定において無視することを意味する。なお、この条件は、ハイライト部分の面積が十分に少ないあるいは存在しない場合であっても、採用することができる。
  また、条件「(x,y)・d>0」は、ベクトル(x,y)とベクトルdの内積が正、すなわち、ベクトル(x,y)とベクトルdのなす角が90度未満であることを表す。したがって、この条件は、ボールを、ハイライト方向dに直交する境界で、ハイライト部分が存在する半分と存在しない半分の2つに分割し、ハイライト部分が存在する半分を、類否度行列Di,jの算定において無視することを意味する。
  このように、ハイライト部分を適切に無視することで、より正確な回転の測定を行うことができる。
  (まとめ)
  以上のように、本実施形態における測定装置は、
  球状体が撮影された動画に含まれる複数のフレームのいずれか、もしくは、当該動画の撮影条件と共通する撮影条件により当該球状体が撮影された写真画像から、当該球状体が撮影された円状領域を抽出することにより、テンプレート画像を取得するテンプレート部、
  前記複数のフレームのそれぞれから、前記取得されたテンプレート画像にそれぞれ類似する複数の類似領域を抽出して拡縮することにより、前記球状体の中心位置および大きさが所定の誤差範囲内で一致するように前記球状体が描画された複数のクリップ画像を取得するクリップ部、
  前記複数のクリップ画像同士の類否度を算定して、当該算定された類否度を当該複数のクリップ画像同士が抽出されたフレームの撮影順に並べた行列を取得する算定部、
  前記算定された類否度の行列における要素の分布から、前記球状体の回転を推定する推定部
  を備える。
  また、上記測定装置において、
  前記推定部は、前記類否度の行列における要素の分布から、撮影順の差が等しいクリップ画像同士の類否度の平均値を求め、撮影順の差に対する平均値の変化の周期を、異なる複数の手法により推定し、前記複数の手法により推定された周期が一致すれば、当該一致する周期を前記球状体の回転周期と推定する
  ように構成することができる。
  また、上記測定装置において、
  前記複数の手法には、離散コサイン変換に基づく手法、離散フーリエ変換に基づく手法、および、平均振幅差関数に基づく手法が含まれる
  ように構成することができる。
  また、上記測定装置において、
  前記テンプレート部は、前記動画と、前記複数のフレームの平均画像と、の差分動画を求め、当該差分動画に描画された円状領域を検出し、当該検出された円状領域の大きさおよび位置が時間経過とともに継続して変化する円状領域を同定し、前記同定された円状領域により、前記テンプレート画像を抽出する
  ように構成することができる。
  また、上記測定装置において、
  前記テンプレート部、ならびに、前記クリップ部は、ハフ変換により、前記円状領域ならびに前記複数の類似領域を抽出する
  ように構成することができる。
  また、上記測定装置において、
  前記推定部は、前記球状体が回転軸の候補周りに回転すると仮定して得られる複数の仮定画像と、前記複数のクリップ画像と、の差分を最小化することにより、前記球状体が回転する回転軸を推定する
  ように構成することができる。
  本実施形態の測定方法は、
  測定装置が、球状体が撮影された動画に含まれる複数のフレームのいずれか、もしくは、当該動画の撮影条件と共通する撮影条件により当該球状体が撮影された写真画像から、当該球状体が撮影された円状領域を抽出することにより、テンプレート画像を取得するテンプレート工程、
  前記測定装置が、前記複数のフレームのそれぞれから、前記取得されたテンプレート画像にそれぞれ類似する複数の類似領域を抽出して拡縮することにより、前記球状体の中心位置および大きさが所定の誤差範囲内で一致するように前記球状体が描画された複数のクリップ画像を取得するクリップ工程、
  前記測定装置が、前記複数のクリップ画像同士の類否度を算定して、当該算定された類否度を当該複数のクリップ画像同士が抽出されたフレームの撮影順に並べた行列を取得する算定工程、
  前記測定装置が、前記算定された類否度の行列における要素の分布から、前記球状体の回転を推定する推定工程
  を備える。
  本実施形態のプログラムは、コンピュータを、
  球状体が撮影された動画に含まれる複数のフレームのいずれか、もしくは、当該動画の撮影条件と共通する撮影条件により当該球状体が撮影された写真画像から、当該球状体が撮影された円状領域を抽出することにより、テンプレート画像を取得するテンプレート部、
  前記複数のフレームのそれぞれから、前記取得されたテンプレート画像にそれぞれ類似する複数の類似領域を抽出して拡縮することにより、前記球状体の中心位置および大きさが所定の誤差範囲内で一致するように前記球状体が描画された複数のクリップ画像を取得するクリップ部、
  前記複数のクリップ画像同士の類否度を算定して、当該算定された類否度を当該複数のクリップ画像同士が抽出されたフレームの撮影順に並べた行列を取得する算定部、
  前記算定された類否度の行列における要素の分布から、前記球状体の回転を推定する推定部
  として機能させる。
  本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
  本願においては、日本国に対して平成27年(2015年)3月18日(水)に出願した特許出願特願2015-054616を基礎とする優先権を主張するものとし、指定国の法令が許す限り、当該基礎出願の内容を本願に取り込むものとする。
  本発明によれば、球状体の回転を測定する測定装置、測定方法、ならびに、これらをコンピュータにより実現するためのプログラムを提供することができる。
101 測定装置
102 テンプレート部
103 クリップ部
104 算定部
105 推定部

Claims (8)

  1.   球状体が撮影された動画に含まれる複数のフレームのいずれか、もしくは、当該動画の撮影条件と共通する撮影条件により当該球状体が撮影された写真画像から、当該球状体が撮影された円状領域を抽出することにより、テンプレート画像を取得するテンプレート部、
      前記複数のフレームのそれぞれから、前記取得されたテンプレート画像にそれぞれ類似する複数の類似領域を抽出して拡縮することにより、前記球状体の中心位置および大きさが所定の誤差範囲内で一致するように前記球状体が描画された複数のクリップ画像を取得するクリップ部、
      前記複数のクリップ画像同士の類否度を算定して、当該算定された類否度を当該複数のクリップ画像同士が抽出されたフレームの撮影順に並べた行列を取得する算定部、
      前記算定された類否度の行列における要素の分布から、前記球状体の回転を推定する推定部
      を備えることを特徴とする測定装置。
  2.   前記推定部は、前記類否度の行列における要素の分布から、撮影順の差が等しいクリップ画像同士の類否度の平均値を求め、撮影順の差に対する平均値の変化の周期を、異なる複数の手法により推定し、前記複数の手法により推定された周期が一致すれば、当該一致する周期を前記球状体の回転周期と推定する
      ことを特徴とする請求項1に記載の測定装置。
  3.   前記複数の手法には、離散コサイン変換に基づく手法、離散フーリエ変換に基づく手法、および、平均振幅差関数に基づく手法が含まれる
      ことを特徴とする請求項2に記載の測定装置。

  4.   前記テンプレート部は、前記動画と、前記複数のフレームの平均画像と、の差分動画を求め、当該差分動画に描画された円状領域を検出し、当該検出された円状領域の大きさおよび位置が時間経過とともに継続して変化する円状領域を同定し、前記同定された円状領域により、前記テンプレート画像を抽出する
      ことを特徴とする請求項1に記載の測定装置。

  5.   前記テンプレート部、ならびに、前記クリップ部は、ハフ変換により、前記円状領域ならびに前記複数の類似領域を抽出する
      ことを特徴とする請求項3に記載の測定装置。

  6.   前記推定部は、前記球状体が回転軸の候補周りに回転すると仮定して得られる複数の仮定画像と、前記複数のクリップ画像と、の差分を最小化することにより、前記球状体が回転する回転軸を推定する
      ことを特徴とする請求項1に記載の測定装置。

  7.   測定装置が、球状体が撮影された動画に含まれる複数のフレームのいずれか、もしくは、当該動画の撮影条件と共通する撮影条件により当該球状体が撮影された写真画像から、当該球状体が撮影された円状領域を抽出することにより、テンプレート画像を取得するテンプレート工程、
      前記測定装置が、前記複数のフレームのそれぞれから、前記取得されたテンプレート画像にそれぞれ類似する複数の類似領域を抽出して拡縮することにより、前記球状体の中心位置および大きさが所定の誤差範囲内で一致するように前記球状体が描画された複数のクリップ画像を取得するクリップ工程、
      前記測定装置が、前記複数のクリップ画像同士の類否度を算定して、当該算定された類否度を当該複数のクリップ画像同士が抽出されたフレームの撮影順に並べた行列を取得する算定工程、
      前記測定装置が、前記算定された類否度の行列における要素の分布から、前記球状体の回転を推定する推定工程
      を備えることを特徴とする測定方法。

  8.   コンピュータを、
      球状体が撮影された動画に含まれる複数のフレームのいずれか、もしくは、当該動画の撮影条件と共通する撮影条件により当該球状体が撮影された写真画像から、当該球状体が撮影された円状領域を抽出することにより、テンプレート画像を取得するテンプレート部、
      前記複数のフレームのそれぞれから、前記取得されたテンプレート画像にそれぞれ類似する複数の類似領域を抽出して拡縮することにより、前記球状体の中心位置および大きさが所定の誤差範囲内で一致するように前記球状体が描画された複数のクリップ画像を取得するクリップ部、
      前記複数のクリップ画像同士の類否度を算定して、当該算定された類否度を当該複数のクリップ画像同士が抽出されたフレームの撮影順に並べた行列を取得する算定部、
      前記算定された類否度の行列における要素の分布から、前記球状体の回転を推定する推定部
      として機能させることを特徴とするプログラム。
PCT/JP2016/058545 2015-03-18 2016-03-17 球状体の回転の測定装置、測定方法、ならびに、プログラム Ceased WO2016148247A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/558,393 US10586339B2 (en) 2015-03-18 2016-03-17 Device for measuring rotation of spherical body, measurement method, and program
JP2017506616A JP6566449B2 (ja) 2015-03-18 2016-03-17 球状体の回転の測定装置、測定方法、ならびに、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-054616 2015-03-18
JP2015054616 2015-03-18

Publications (1)

Publication Number Publication Date
WO2016148247A1 true WO2016148247A1 (ja) 2016-09-22

Family

ID=56918943

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/058545 Ceased WO2016148247A1 (ja) 2015-03-18 2016-03-17 球状体の回転の測定装置、測定方法、ならびに、プログラム

Country Status (4)

Country Link
US (1) US10586339B2 (ja)
JP (1) JP6566449B2 (ja)
TW (1) TWI687689B (ja)
WO (1) WO2016148247A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020261316A1 (ja) * 2019-06-24 2020-12-30 日本電信電話株式会社 学習データ生成装置、学習データ生成方法、プログラム
WO2022162829A1 (ja) * 2021-01-28 2022-08-04 日本電信電話株式会社 回転状態推定装置、その方法、およびプログラム
KR20250018311A (ko) * 2023-07-28 2025-02-05 (주)에스지엠 운동하는 공의 스핀을 파악하는 방법, 이를 이용하는 가상 골프 장치 및 가상 골프 시스템

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825228B (zh) * 2016-03-14 2019-04-30 百度在线网络技术（北京）有限公司 图像识别方法及装置
KR20180002408A (ko) * 2016-06-29 2018-01-08 주식회사 크리에이츠 공의 회전을 측정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN111345772B (zh) * 2018-12-20 2022-06-10 重庆金山医疗技术研究院有限公司 一种调节图像采集帧率的方法及胶囊内窥镜系统
US11396352B2 (en) 2020-04-13 2022-07-26 Eric R. Sirkin Methods and apparatus for measuring and monitoring an anchoring operation
CN111739098B (zh) * 2020-06-30 2024-05-24 上海商汤智能科技有限公司 测速方法及装置、电子设备及存储介质
WO2022162831A1 (ja) * 2021-01-28 2022-08-04 日本電信電話株式会社 回転状態推定装置、その方法、およびプログラム
TWI764768B (zh) * 2021-06-25 2022-05-11 國立高雄科技大學 桌球軌跡預測方法及其系統
CN115950774A (zh) * 2023-01-04 2023-04-11 上海烟草集团有限责任公司 一种烟丝反弹速率的测定方法
CN116277037B (zh) * 2023-05-19 2023-07-25 泓浒(苏州)半导体科技有限公司 一种晶圆搬运机械臂控制系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002333312A (ja) * 2001-05-09 2002-11-22 Sumitomo Rubber Ind Ltd 球体の三次元姿勢測定方法および該方法を用いた球体の回転量と回転軸方向の測定方法
JP2005291824A (ja) * 2004-03-31 2005-10-20 Yokohama National Univ 飛翔体の飛翔挙動測定装置および飛翔体の飛翔挙動測定方法
FR2880952A1 (fr) * 2005-01-19 2006-07-21 Renault Sas Procede de mesure de rotation de soupapes
JP2008522707A (ja) * 2004-12-06 2008-07-03 ブライアン フランシス ムーニー スピン測定方法及び装置
WO2013174707A1 (en) * 2012-05-25 2013-11-28 Marposs Societa' Per Azioni Method for estimating the rotational speed of a tool mounted on a rotating spindle of a machine tool and such a machine tool
JP2014130106A (ja) * 2012-12-28 2014-07-10 Casio Comput Co Ltd 画像解析装置、情報報知装置、画像解析方法、情報報知方法、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3227384B2 (ja) 1995-06-19 2001-11-12 住友ゴム工業株式会社 飛行球体の回転数測定装置
JP5109221B2 (ja) * 2002-06-27 2012-12-26 新世代株式会社 ストロボスコープを使った入力システムを備える情報処理装置
JP2009042196A (ja) 2007-08-13 2009-02-26 Yokohama Rubber Co Ltd:The 回転数検出システムおよび回転数検出装置
JP5681936B2 (ja) 2010-09-08 2015-03-11 国立大学法人信州大学 球体の回転検出装置及び方法
KR101706200B1 (ko) * 2011-11-25 2017-02-16 한국전자통신연구원 회전체의 회전 특성 측정 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002333312A (ja) * 2001-05-09 2002-11-22 Sumitomo Rubber Ind Ltd 球体の三次元姿勢測定方法および該方法を用いた球体の回転量と回転軸方向の測定方法
JP2005291824A (ja) * 2004-03-31 2005-10-20 Yokohama National Univ 飛翔体の飛翔挙動測定装置および飛翔体の飛翔挙動測定方法
JP2008522707A (ja) * 2004-12-06 2008-07-03 ブライアン フランシス ムーニー スピン測定方法及び装置
FR2880952A1 (fr) * 2005-01-19 2006-07-21 Renault Sas Procede de mesure de rotation de soupapes
WO2013174707A1 (en) * 2012-05-25 2013-11-28 Marposs Societa' Per Azioni Method for estimating the rotational speed of a tool mounted on a rotating spindle of a machine tool and such a machine tool
JP2014130106A (ja) * 2012-12-28 2014-07-10 Casio Comput Co Ltd 画像解析装置、情報報知装置、画像解析方法、情報報知方法、及びプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020261316A1 (ja) * 2019-06-24 2020-12-30 日本電信電話株式会社 学習データ生成装置、学習データ生成方法、プログラム
JPWO2020261316A1 (ja) * 2019-06-24 2020-12-30
JP7107440B2 (ja) 2019-06-24 2022-07-27 日本電信電話株式会社 学習データ生成装置、学習データ生成方法、プログラム
WO2022162829A1 (ja) * 2021-01-28 2022-08-04 日本電信電話株式会社 回転状態推定装置、その方法、およびプログラム
JPWO2022162829A1 (ja) * 2021-01-28 2022-08-04
JP7598392B2 (ja) 2021-01-28 2024-12-11 日本電信電話株式会社 回転状態推定装置、その方法、およびプログラム
KR20250018311A (ko) * 2023-07-28 2025-02-05 (주)에스지엠 운동하는 공의 스핀을 파악하는 방법, 이를 이용하는 가상 골프 장치 및 가상 골프 시스템
KR102836258B1 (ko) * 2023-07-28 2025-07-22 (주)에스지엠 운동하는 공의 스핀을 파악하는 방법, 이를 이용하는 가상 골프 장치 및 가상 골프 시스템

Also Published As

Publication number Publication date
US10586339B2 (en) 2020-03-10
JPWO2016148247A1 (ja) 2018-01-11
US20180174308A1 (en) 2018-06-21
TW201702600A (zh) 2017-01-16
JP6566449B2 (ja) 2019-08-28
TWI687689B (zh) 2020-03-11

Similar Documents

Publication Publication Date Title
JP6566449B2 (ja) 球状体の回転の測定装置、測定方法、ならびに、プログラム
KR101819730B1 (ko) 3차원 객체 검출 및 자세추정 방법
US9307221B1 (en) Settings of a digital camera for depth map refinement
US10824895B2 (en) Image processing apparatus, image processing method, and storage medium
JP5505410B2 (ja) データ処理装置、画像照合方法、プログラムおよび画像照合システム
US10311595B2 (en) Image processing device and its control method, imaging apparatus, and storage medium
JP6525635B2 (ja) 画像処理装置、画像処理方法及びプログラム
US8103055B2 (en) Detection of blobs in images
US20180039856A1 (en) Image analyzing apparatus, image analyzing method, and recording medium
US20150055824A1 (en) Method of detecting a main subject in an image
TWI500904B (zh) 立體攝影機及用來測量立體攝影機與基準面之距離的自動測距方法
US10540750B2 (en) Electronic device with an upscaling processor and associated method
CN111220235B (zh) 水位监测方法及装置
JP2015034732A (ja) 距離算出装置、撮像装置および距離算出方法
US11741615B2 (en) Map segmentation method and device, motion estimation method, and device terminal
CN111062954B (zh) 一种基于差分信息统计的红外图像分割方法、装置及设备
TW202022802A (zh) 辨識影像中前景物件的方法與電子裝置
WO2021051382A1 (zh) 白平衡处理方法和设备、可移动平台、相机
CN109510946A (zh) Hdr场景检测方法及系统
JP2009069019A (ja) 目標検出装置および目標検出方法
CN109948630A (zh) 靶纸图像的识别方法、装置、系统和存储介质
JP7511209B2 (ja) 対象物を３ｄ再構築するための方法
KR20190079503A (ko) 얼굴 인식을 위한 얼굴 자세 등록 장치 및 방법
WO2018078806A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
Matsushita et al. A probabilistic intensity similarity measure based on noise distributions

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16765076

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017506616

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15558393

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 16765076

Country of ref document: EP

Kind code of ref document: A1